Zelf experimenteren 2

Zoals verwacht levert elke eerste verbeterstap het meeste op in betrouwbaarheid. Als ik de RMSprop functie (De 'versnelde gradient) bijvoorbeeld alleen aan het '3e algoritme' ('gewoon netwerk') toevoeg dan stijgt de score naar 98.17% Vrijwel evenveel als het alleen toevoegen van de rectify functie. (98.19%) Nu nog kijken of de verlaging na de input noise stap (van 98.19 naar 97.96) wel iets is om rekening mee te houden. Ik ga deze in het 'moderne netwerk algoritme' eens afzetten.