Zelf experimenteren ...

Zo nu wordt het interessant! (vind ik dan toch :-)
De verbeteringen in het vierde algoritme hebben een toename van de betrouwbaarheid laten zien van 95,71% naar 98,77%. (Van 'net' naar 'modern net') Maar welke aanpassing levert nu wat op?
Om dat te testen besluit ik het eenvoudiger netwerk uit de 3e oefening stap voor stap met de verbeterde functies uit te breiden. Geeft ook de mogelijkheid om eens wat met de modellen te experimenteren. Ik krijg het volgende resultaat:

• 95.71% - Origineel
• 98.19% - De rectify functie (wow!)
  

• 97.96% - Dropout op input
• 98.38% - Dropout op weights
• 98.41% - Nieuwe softmax functie
• 98.65% - Gebruik van de RMSprop functie.

Hoewel de rectify functie het meest lijkt bij te dragen is het wellicht nog eens interessant om andere volgordes uit te proberen. Het blijkt (logischerwijs) dat de stappen richting de 100% steeds moeilijker worden dus wellicht geeft deze volgorde een vertekend beeld. Ook is het interessant om te kijken of de dropout op de input wel ingezet zou moeten worden. Op dit moment lijkt het de score juist te verlagen. Ik heb het nog niet uitgeprobeerd.