De eerste tests met een karakter gebaseerd NN zijn vrij dramatisch:
 |
| Poging 1 met dense NN |
 |
| En poging 2 |
 |
| Self attention |
Ik pas nu met name de learning rate aan naar 100 kleiner:
Dat ziet er iig al wat mooier uit. Tijd voor de eerste Kaggle submit! Het is een 'code competitie'. D.w.z. dat de volledige code via een ... moet worden aangeboden. Dat blijkt even lastig omdat niet alle libraries op Kaggle beschikbaar zijn. De selfattention kan ik wel toevoegen maar de cleantext module geeft wat problemen. Dan maar weer terug naar mijn eigen, eerder gemaakte opschoning subroutine.
Ik kom op uit op een score van 1.048 (topscore 26 mei 0.460). En daarmee op ongeveer de 1000e plaats. Hmmm. Maar goed. Het is het de eerste submit nog maar. Iig lijkt alles te werken. De voorspelde waarden liggen erg dicht bij elkaar:
[[-0.94634914] [-0.93451864] [-0.9363963 ] [-0.9408344 ] [-0.947149 ] [-0.94283646]
[-0.947149 ]]
Dit is iig wel dicht bij de gemiddelde waarde: -0.9593187699947071
Geen opmerkingen:
Een reactie posten