2 - More NLP

Het model blijkt toch behoorlijk te werken. Alleen zo goed dat het maar 1 epoch nodig heeft om een behoorlijke validatie nauwkeurigheid te halen. Daarna gaat die 'overfitten' zo te zien.:

1443899/1443899 [==============================] - 1029s 712us/step - loss: 0.1504 - acc: 0.9461 - val_loss: 0.1406 - val_acc: 0.9486

Epoch 00001: val_loss improved from inf to 0.14065, saving model to model-best.h5
Epoch 2/20
1443899/1443899 [==============================] - 1018s 705us/step - loss: 0.1274 - acc: 0.9526 - val_loss: 0.1538 - val_acc: 0.9462

Epoch 00002: val_loss did not improve from 0.14065
Epoch 3/20
1443899/1443899 [==============================] - 1023s 708us/step - loss: 0.1084 - acc: 0.9601 - val_loss: 0.1549 - val_acc: 0.9443

Eens kijken of een paar dropout layers kan helpen om e.e.a. iets meer robuust te krijgen.

Uiteindelijk 'leen' ik een SpatialDropout layer uit ene ander voorbeeld. Ik haal een behoorlijke validation accuracy van bijna 95%

Tijd om de zaak eens aan Kaggle aan te bieden. Het is een 'Kernals only' competitie en dat heb ik nog nooit gedaan. Het blijkt noodzakelijk om de 'SelfAttention' layer bij de code op te nemen omdat dat niet standaard Keras is. Dat lukt uiteindelijk en de code is nu aan het draaien op de server. Spannend!!!

Net boven de benchmark. Valt een beetje tegen maar ik mag niet klagen voor een eerste ruwe test: