Leren met letters 05 (81%) - Grotere char-vector sizes

Dit is het resultaat van 'doorleren' met een dropout van 30%

Zoals aangegeven volgt de validation accuracy nu mooi de training accuracy, zoals te verwachten op een iets lager niveau. Helaas breekt die af bij de 71 epochs door de early stopping van 10 x geen val_loss verbetering. Dus erg veel hoger komt die helaas niet.

Ik besluit de nacht te gebruiken om 100 in plaats van 50 features voor chars2vec te testen. De dataset is nu opnieuw te groot (8.94 GB) voor mijn pc-geheugen en het programma blijkt te zijn afgebroken. Gelukkig gaat de conversie (gek genoeg) pas fout bij het proberen op te slaan van de data. Door wat overbodige variabelen weg te gooien lukt het toch om de save uit te voeren en het programma verder te laten trainen.

We komen nu boven de 81% val acc met een F1 van 81%. Niet slecht! (Maar nog niet bij de gewenste 85% 😒). Wellicht dat wat dropout nu wel kan gaan helpen?

Helaas, de dropout trekt alleen de train acc omlaag maar neemt de test/val acc niet mee omhoog. Wel grappig overigens dat de val acc voornamelijk boven de train acc blijft.

Ook een test met dubbele layers, met vectorvergroting naar 200 (max_sent   =  10, max_words  =  20, max_chars  =  15) en een correctie omdat er nog een deling door max uitgevoerd werd, toch geen hogere vall_acc score helaas.