zondag 11 september 2016

09 - EEGs - Eerste submissions

Vanochtend vroeg, in een kortstondige, slapeloze bui, heb ik mijn eerste submission aangeboden. Fijn dat het in 1 keer werkt (vaak krijg ik eerst de nodige foutmeldingen) maar het resultaat is verder behoorlijk teleurstellend:


Net even boven de 'All zeros benchmark' van 0.5.

Het ging om een aanbieding op basis van de vreemde resultaten uit de SGD optimizer (zie vorig bericht). Er is daar geen enkele waarde waarbij de voorspelling boven de .5 uitkomt.

>>> np.max(results)

0.4208566

Mijn werkwijze is dan om te kijken bij welke grens ik de verwachte aantallen bereik. Dat moet dus even worden onderzocht.
De traindata bestaat in totaal uit 6.042 samples waarvan er 450 'positief zijn'. D.w.z. maximaal een uur voor een epileptisch aanval zijn gemeten. Dat is 7.45%. Er weinig, daar zal ik nog wat mee moeten in latere metingen.  
Er zijn 6126 testmetingen. Uitgaande van een gelijke verhouding bij de train en bij de test data verwacht ik dan 7.45% van 6126 is 456 'positieve uitkomsten'. Door alles met een waarschijnlijkheid > 0.297 positief te beschouwen krijg ik 469 positieve uitkomsten.

Maar, zoals aangegeven, valt het resultaat erg tegen. Ik besluit om terug te gaan naar de Adams optimizer en gewoon het beste resultaat in 200 epochs te proberen. Het goede nieuws is dat de maximum voorspelling nu gestegen is naar 0.67 waarbij er 62 waarden boven de .5 uitkomen. Bij een grens van 0.349 krijg ik er 454, vlakbij de verwachte 456.

Dit zijn de bijbehorende grafieken:


    Het blijft, met name in de accuracy, voor mij een vreemd, onverklaarbaar verloop. Het resultaat geeft aan dat ik het hiermee slechter doe dan 'All zeros' (0.5) :-(




Geen opmerkingen:

Een reactie posten