BERTje: Als meer tekst niet helpt misschien dan minder? ...

Het verhogen van de maximale tekstlengte van 128 naar 192 werkt dus wel maar geeft minder goede resultaten. Daarnaast neemt het 2x zo lang om te trainen. Wat zou er gebeuren als we de sequence length omlaag brengen, oftewel minder tekst te leren geven? Ik breng de max seq length terug naar 64. Het moet dan ook mogelijk zijn om met grotere batches te werken dus die zet ik op 50.

De trainingstijd gaat in ieder geval met ongeveer de helpft omlaag naar een kleine 400 seconden per epoch. Dat scheelt al een hoop! Nu kijken wat de effecten op de scores zijn. Uiteraard zal dat voornamelijk bepaald worden door het feit of de classificerende informatie vooral in het eerste deel van de tekst terug te vinden is. Meer, andere informatie erbij lijkt daarna voor 'ruis' te zorgen.

De F1 score is iets beter: van 77.6 naar 78.3. De test accuracy is iets omlaag gegaan: van 88.6 naar 87.6. Maar goed iig dus de snelheids winst.

Epoch 1/10
42850/42850 [==============================] - 408s 10ms/step - loss: 2.7999 - sparse_categorical_accuracy: 0.5262
Epoch 2/10
42850/42850 [==============================] - 392s 9ms/step - loss: 0.8889 - sparse_categorical_accuracy: 0.8131
Epoch 3/10
42850/42850 [==============================] - 392s 9ms/step - loss: 0.5507 - sparse_categorical_accuracy: 0.8692
Epoch 4/10
42850/42850 [==============================] - 392s 9ms/step - loss: 0.3966 - sparse_categorical_accuracy: 0.8987
Epoch 5/10
42850/42850 [==============================] - 392s 9ms/step - loss: 0.3028 - sparse_categorical_accuracy: 0.9182
Epoch 6/10
42850/42850 [==============================] - 392s 9ms/step - loss: 0.2456 - sparse_categorical_accuracy: 0.9322
Epoch 7/10
42850/42850 [==============================] - 393s 9ms/step - loss: 0.2123 - sparse_categorical_accuracy: 0.9394
Epoch 8/10
42850/42850 [==============================] - 394s 9ms/step - loss: 0.1922 - sparse_categorical_accuracy: 0.9449
Epoch 9/10
42850/42850 [==============================] - 395s 9ms/step - loss: 0.1691 - sparse_categorical_accuracy: 0.9505
Epoch 10/10
42850/42850 [==============================] - 392s 9ms/step - loss: 0.1548 - sparse_categorical_accuracy: 0.9551