Het aanleren van de filmscripts lijkt aardig te lukken hoewel de leersnelheid bij het 117M model vele malen hoger is dan bij het 345M model. De kwaliteit lijkt ook beter. Met name de normale scriptstructuren worden veel sneller gerealiseerd. Het is moeilijk te zeggen in welke mate overschakeling van Adam naar SGD en de aanpassing van de leercoeficient daat schuldig ana is. Maar helaas kan ik het veel groter 345M model niet anders op mijn pc draaien.
Voor de aardigheid test ik het model eens met Nederlandse teksten. Ik heb ooit de Nederlands burgelijk wetboeken geladen en die gebruik ik nu als input. (6mB tekst).
Tot mijn grote verrassing leert het 117M model al na enkele epochs, heel snel de structuur van NL en ook de structuur van wetboekbepalingen in het algemeen. Het lijkt of de kennis van Nederlands toch op een of andere wijze al 'ingebakken' zit. Of wellicht een soort algemeen taalbegrip.
Eerst combineert hij de artikelstructuur met een mix van Engels en een beetje NL maar al snel probeert hij heel aardige vol NL zinnen te genereren. Bijvoorbeeld:
Artikel 8
1. Een verpalen van de bevoegdheid met zijn verband voorzeld naar dien van een verpalen niet zijn toepassen en voorzoek met zijdstelling van de inzettelig is verleiden uit de rechtschap en niet uit de voldaan is bestaan voorzeld of verplochtingen gelegd, in de vermachten als bedoeld in de vermeld voor zijn verplicht, en alleen in de zijn verplicht, ander de vermoord op de rechtschap voorzeld of verplichtingen en alleen in artikelen 4 van der rechtersbevrinnen het verplicht te verplicht, bevindt in artikel 6 of Nederlandse vanderen bepaald en bevoegdheid.
2. De voldaanen uit een verpalen van de bevoegdheid van het verplicht te verplicht kan gerechtigde verstaan of de zijn tot het voldaanen verleiding.
Artikel 9
1. Op de kouden van der bij de bevoegdheid zijst die en rechtsmiddel tot grond van de aanlijk bevel en bedoeld in de vermachte van de voortvloecht na of vermacht is bepaalde in gedachtlijkheid ...
Dat werkt gaaf! En omdat het NL is is de kwaliteit net iets makkelijker te beoordelen dan het Engels. Daar denk je toch bij elke verschrijving of het wellicht een minder bekend Engels woord is.
Hoe zou het 345M model het doen?
Daar merk je ook weer dat het enorm veel langzamer leert. De learningrate van 0.0006 heb ik als advies bij gebruik van sgd van een site overgenomen.
Even, bij 9000 epochs, lijkt het model te denken dat het met Duits te maken heeft:
Artikel 765 (EU)
Oder die bestregerd terstelst du gestere artikel 755 bewaardt. Lade Bove verpaalds artikel 575, 576 daarischte die bepapennende auch bescheid worden, die dein artikel 695 die nach bepapennende worden als bepappen auch gestere a-d zum worden, artikel 745 daarischte die bepapennende auch bescheid worden, daarischte bepaalde worden als bepappen auf die gesteten, doch zu gewunden hin, daarischte betracht nach verstelten is ein achtigt gegeben, daarischte daarischte die gestere worden gegeben. In den zweisen achtigt of der gesteten of die gesteten of die gesteres in gereisen achtigt of die gesteres in gereisen afder die gesteres nach eine gesteres bepappen.
Maar vanaf zo'n 20000 epochs (gelukkig gaan ze vrij snel - een kleine seconde per epoch) lijkt het overwegend NL te worden. De structuur wordt nu ook meestal herkent en er worden steeds meer correct NL woorden gegenereerd:
3. Bijzewijs die verwachter van de rechten van zinige.
Doming hebben de eigen van woonstigheid van verwachter
4. De aanfagn wijs de verwachter zijn zijn zijl van de aanfagn in
communietatie van overeenkomst te bepaalde uit de rechten van zinige, in deze staat de bepaling, een vraag verzorgen.
Artikel 16 van het opdracht
1. Een aanfagn is of ten verplicht van het opdracht gegrond,
2. Bijzewijs die verwachter van de uitspraak is van het opdracht gegrond,
3. Het verweiging de staat van het opdracht waarvan bijzewijs of zien zake een van geestraadsbijen en de betrekking kan worden,
4. Het bevoegd het beding van de rechter bedrag van de werk,
5. Het het bevoegd zijn die die van de aanfagn van het opdracht gekomen,
6. Het bevoegd de vordering van de bevoden van een bevoegd van het bevoegd geen vragt.
Kijken of doortrainen tot veel beter resultaten kan leiden.
Het gaat langzaam. Hier een aardig resultaat na 50.000 epochs:
Artikel 712
1. De griffierechten niet uit een van de dag of de bedrag tegen de vordering een verklaren, dan zou niet als bedoeld in het geschiedingen van de dag en als bedoeld in het geschiedingen van de dag, bedeutet, waarbij de griffierechten en of het bevelen.
2. De griffierechten niet voldoet de dag op bedoeld in het geschiedingen van de dag is voodt van de verzetting van gebruik, het onderzoek ken de griffierechten die in een bedrijf die en kennis als bedroedening op grond van de griffierechten, bedoeld in het geschiedingen van de dag, bedeutet, waarbij de griffierechten te bepalen, dan wel een bedrijf, dienst te zich niet is.
3. Voor zover het griffierechten kan de verzetting van grond van de bevelen, als bedoeld in het geschiedingen van de dag op de griffierechten, bedoeld in het geschiedingen van de dag, bedeutet, waarbij de griffierechten van de verzening tot grond van de griffierechten bedoelde bedrijf, dan wel te bepalen als bedroedening op grond van de griffierechten heeft, bedoeld in geval van de verzetting tot grond van de griffierechten bedoelde bedrijf.
Artikel 713
1. De griffierechten op bevelen te schade van de bevelen voor de griffierechten heeft als bedroedening, bedeutet, waarbij de griffierechten tot een verzetting bedroedigt te verzoeken op het griffierechten, bedoeld in het geschiedingen van de dificult, bedoeld in het geschiedingen van de dificult, bedeutet, waarbij de griffierechten te bepalen, dan wel te bepalen, bedoeld in artikel 7, bedoeld in het geschiedingen van de griffierechten, bedoeld in het geschiedingen van de griffierechten, bedeutet, waarbij de griffierechten als bedroeding tot een verzoeken tot lid van de griffierechten.
2. De griffierechten in het geschiedingen van de griffierechten met een bedroedig
Sectb. 12. Verheuten
Artikel 1301
1. De schuldige in het verklaring van een houderen op verzoek van het verhaal van het in artikel 1201, eerste lid, van de Raade.
2. Houderen kan de straffe niet vermee heeft bepaalde, hetzij de straffe komen, dan een verplichtingen dat de straffe als andere het verhaal.
3. Volledige verheuten wordt aan de straffe in het deze verhouderen.
Artikel 1302
1. De schuldige in het verklaring van een houderen op verzoek van het in artikel 1202, de verplichting en beslissing, als hetzij de straffe in het verhouderen, een verplichtingen deze komen, op het verhaal kan kantonverwijld het schuldigheid met het bevoegd een schuldigheid met te zonder voldoop worden. Een gesloten daarvan verhouderen worden verschuldigd. Deze geplaat het gesloten daarvan heeft met zijn verhaal.
2. Volledige verheuten wordt aan de schuldigheid en het schuldigheid met het in artikel 1301, de verplichting en beslissing, onder a, onder b en onder d en derde niet met betrekking tot verhouderen aan de schuldigheid in het verklaring van een houderen op verzoek van het in artikel 1202, tegen de verplichting. Deze geplaat het geshet zij dien verhouderen worden verschuldigd. Als de straffe wordt in artikel 2102, aanhouden tot verhouderen als bij het wie zijn bevoegde toepassing. Als hetzij de staat als houdenaar geschaal heeft bestaat.
3. Titel aan wie ontwikkelvijke het schuldigheid, beroepen te vergoeding en beroepen te vergoeding in een ontvangen daarvan die tegen de verplichting en beslissing verweerd en verhouderen die tijd dat de schuldige aan de schuldigheid in de het
Blijkbaar is 'houderen / houdenaar' een woord dat we zeker in de NL moeten opnemen :-) Synomiem met 'bezitten oid? Ook in de omliggende resultaten worden leuke nieuwe begrippen geoppert, bijvoorbeeld:
- schuldeeder
- rechtergevangt
- rechtsvrijding - wellicht een echt woord? Kan het niet op Google terugvinden
- vervuigheid
- tijdstipen / tijdstipene
Ik stop maar met trainen bij 62.200 epochs. Ik zie te weinig verbeteringen. Misschien nog eens een keer even proberen met een hogere learning rate.
Hier een voorbeeld van de parameter output:
[62800 | 698.25] loss=2.30 avg=2.15
[62801 | 699.16] loss=2.30 avg=2.15
[62802 | 700.06] loss=2.05 avg=2.15
[62803 | 700.97] loss=1.99 avg=2.15
[62804 | 701.87] loss=1.64 avg=2.14
[62805 | 702.80] loss=1.75 avg=2.14
[62806 | 703.73] loss=2.22 avg=2.14
Hier een voorbeeld van de parameter output:
[62800 | 698.25] loss=2.30 avg=2.15
[62801 | 699.16] loss=2.30 avg=2.15
[62802 | 700.06] loss=2.05 avg=2.15
[62803 | 700.97] loss=1.99 avg=2.15
[62804 | 701.87] loss=1.64 avg=2.14
[62805 | 702.80] loss=1.75 avg=2.14
[62806 | 703.73] loss=2.22 avg=2.14
Enkele dagen gelden is een nog grotere versie van het model vrijgegeven: Het 774M (762M?) model. Zal ik wel niet kunnen runnen helaas :-(
Geen opmerkingen:
Een reactie posten