Re-current neural networks

Wow! alsof ik er al wat van begin te begrijpen?! Nou ... iig nog veel te leren. Vandaag een paar keer op de afkorting bptt gestuit. Dat is niet zo gek want ik ben mij wat meer gaan verdiepen in recurrent neural networks. Dit type is in principe meer geschikt voor tijdgerelateerde input zoals bijvoorbeeld video of tekst of geluid. Naast de huidige input krijgt het RNN in elke 'stap' ook de informatie mee van de staat van de vorige 'verborgen neurons'. Dit geeft het een soort geheugen waarmee het uiteindelijk goede tijdvoorspellingen kan doen.

Het RNN lijkt mij een uitstekend model voor een heleboel toepassingen. Met name ook om 'afwijkend gedrag' te kunnen constateren. (Anomaly detection). Misschien toepassen op mijn familie? :-)

Het eerste, eenvoudige RNN kopieer ik van "Implementing a recurrent neural network in python" 

Het testmodel 'voorspelt' het product van 2 getallen. Mmmm .... Na 500.000 !!! leerloops krijg ik dit resultaat:

Oke, blijkbaar doet ie het. De kostfunctie dendert omlaag. Maar snappen (toepasbaar maken) doe ik het nog niet.  Misschien ook deze enthousiaste uitleg maar eens doornemen. Voorspellen van letters en uiteindelijk hele Shakespeare teksten genereren! 

The Unreasonable Effectiveness of Recurrent Neural Networks

Oh ja, en BPTT staat voor back propagation trough time :-)