06 Fish - Verbeteren en verbeteren

Yes, yes yes!

Mijn laatste verbeteringen geven in ieder geval een aardig geloofwaardige verdeling:

0 18

1 2

2 14

3 43

4 36

5 30

6 149

7 708

Dit was de trainingset verdeling:

0 200

1 117

2 67

3 465

4 299

5 176

6 734

7 1719

Onderzoek van eerdere oplossingen van winnaars van andere competities geeft altijd weer aanvullende ideeën. Bijvoorbeeld bij het identificeren van walvissen heeft men ze eerst vergelijkbaar geplaatst (van links naar rechts). Dat kan ik ook gaan doen (er zijn een aantal deelnemers die kop staart informatie al beschikbaar hebben gemaakt) maar eerst wil ik wat andere suggesties proberen. Zo-ie-zo lijkt het verstandig om dergelijke uitdagingen vergelijkbaar op te pakken als je het zelf zou leren. Bijvoorbeeld eens goed 'inzoomen' op de vinvorm of andere identificerende details.

Ik begin maar eens met het verwijderen van de ingezoomde afbeeldingen uit de validatieset. Die komt tenslotte ook niet voor in de uiteindelijke testset.

Ik laat daarnaast steeds alleen de beste oplossingen opslaan in plaats van gewoon de laatste.

Verder hebben ze in de winnende 'walvissen-oplossing' gespeeld met variatie in de training parameters. Met name een sterke aanpassing van de learning rate ergens halverwege. Ik besluit iets dergelijks te doen maar dan met de 'optimizer'. De eerste 17 rondes werk ik met 'rmsprop' om daarna over te schakelen op 'Adam'. Dat lijkt een aardig succesvolle methode:

Later nog eens kijken of ander variaties de curve opnieuw kan laten zakken. Nu eerst maar eens verder werken aan een submission file.

Spannend ....

Hmmm :-( valt vies tegen. Ook nog een flink stuk van het 'sample submission' niveau.
Toch lijkt die regelmatig behoorlijk zeker van zijn zaak. Hieronder voor de eerste dertig de hoogste waarschijnlijkheid:

0 0.394905

1 0.865984

2 0.893556

3 0.514651

4 0.455819

5 0.587176

6 0.693616

7 0.505812

8 0.952622

9 0.476833

10 0.862486

11 0.556331

12 0.993129

13 0.649682

14 0.366256

15 0.766741

16 0.835264

17 0.552001

18 0.463462

19 0.758394

20 0.624866

21 0.503535

22 0.64195

23 0.653738

24 0.713803

25 0.846063

26 0.897888

27 0.718468

28 0.859618

29 0.86105