Bij het vergelijken van het effect/bijdrage van een functie in een model moet wel rekening worden gehouden met de variatie. Doordat er steeds van random waarden wordt uitgegaan (de start waarden en de de dropout) levert elke loop een nieuw resultaat op. Dit is niet per definitie beter dan het voorgaande. Ik vergelijk steeds het resultaat van de 100e leer-loop maar zoals aangegeven zit er dus best wel variatie in.
 |
| Resultaat zonder 2e rectify |
Het weglaten van functies uit het 'moderne netwerk' (oefening 4) geeft de volgende resultaten:
- 98.77 Origineel - 3437 sec
- 98.68 input noise (dropout op X) - 3368 sec
- 98.70 output noise (dropout op h2) - 3088 sec
- 98.79 middle noise (dropout op h) - 3112 sec.
- 98.47 geen noise - 2838 sec
- 97.98 Eerste rectify - 3128 sec
- 98.52 Tweede rectify - 3208 sec
Conclusies.
- De eerste rectify lijkt in ieder geval heel relevant. De tweede helpt toch ook wel.
- Noise lijkt wel noodzakelijk maar het maakt niet veel uit in welke laag die geproduceerd wordt.
- Het weglaten van de middle noise geeft 225 seconden tijdswinst (6.5%) en schijnbaar geen teruggang in resultaten. Blijft dat de variatie in het resultaat de conclusies kunnen beïnvloeden. Tevens hangt de tijdwinst uiteraard ook af van andere processen op de computer.
 |
| Resultaat bij geen 'middle noise'. |
Geen opmerkingen:
Een reactie posten