07 - EEGs - Zwaar overfitten?

Als ik grotere leerstappen (leercoefficient lr=1e-4 ipv 1e-5) gebeurt er iets vreemds:

Al na 20 epochs gaat de testset 'sky-high'. Ik weet niet zeker wat dat betekent. Een beetje googelen brengt bij bij de volgende grafiek:

Looks familiar, no?
Toch maar terug naar de langzamer learningrate. Het blijft vervelend dat er zulke variatie in de train-uitkomsten blijven. Overfitting kan o.a. verminderen door het model eenvoudiger te maken, meer random 'dropout' in te voeren of meer data aan te bieden. Dat laatste kan ondermeer door 'data-augmentation'. Bij afbeeldingen bijvoorbeeld ze random te draaien en/of te verschuiven en/of te zoomen. Voor mijn 'plot-afbeeldingen' weet ik niet of dat wel hulp biedt. op en neer schuiven en ietsjes zoomen wellicht.
Ik probeer eerst maar eens een (veel) eenvoudiger model om te kijken of dat wat oplevert. In ieder geval tijdswinst want de epochs duren nu maar 12 seconden. Dit is het resultaat:

More simple model

Wow! Dat vraagt om een voortzetting!

100 more epochs

Je zou zeggen dat hij  (de testset) vanaf ongeveer 160 epochs niet meet beter wordt. De trainset gaat door tot het gaatje :-)