Met een hogere leersnelheid (lr van 0,0001 naar 0,001) wordt in 100 epochs een prachtig resultaat bereikt : loss 5.99 en een score van 3.29. Nog eens 200 extra epochs extra (het was toch nacht) maakt de resultaten maar ietsjes beter: loss 5.2 en score 3.23 . Een groot deel van de gevonden punten lijken nu op hun plaatst. De vraag is wel in welke mate er sprake is van 'overfitting'. Dat wil zeggen dat de train-waarden perfect worden gevonden maar nieuwe voorbeelden niet. Normaal wordt dit volledig afgevangen door het onderscheid in train en test data. Door de 'automatische generatie' van de meerdere voorbeelden op basis van een deelset kan er toch overfitting plaatsvinden. Misschien moet ik ook maar eens testen met de validatie data.
Het aardige van de huidige opzet is dat ik die ook kan toepassen op de sax-view. Enerzijds om automatisch het LV te lokaliseren en anderzijds om automatisch te leren welke slices niet bruikbaar zijn. Dat kan best wel eens 2 vliegen in een klap zijn.
Geen opmerkingen:
Een reactie posten