17 - EEGs - Meeeer features ... meeer !!!! Hongerrrrrr !!!!

Voorlopig heb ik mij beperkt tot mij bekende meetkundige begrippen als gemiddelde, standaard deviatie variatie , maxima etc. Uit dit voorbeeld komen echter ook wat minder bekende mogelijke features bovendrijven. Hoewel ik ze (nog?) niet allemaal begrijp kan ik sommigen wel eenvoudig toepassen in mijn algoritme. Ik voeg toe:

• Mobility
• Skew
• Kurtosis

 Met deze resultaten:

/Volumes/Slot 4 2tB/EEG recordings/base_data_train_1.npy

0 mobility 0.0523353 skew -0.0200588 kurtosis -0.0631648 max150 -0.242883982577 std50 -0.260966676004

1 mobility 0.27188 skew -0.00617675 kurtosis -0.0652061 max150 -0.335989628134 std50 -0.294928975495

2 mobility 0.285167 skew 0.00104097 kurtosis -0.05857 max150 -0.330593024561 std50 -0.316744934306

3 mobility 0.366227 skew -0.0143969 kurtosis -0.0134535 max150 -0.373199745072 std50 -0.352717356564

4 mobility 0.307609 skew -0.0345025 kurtosis 0.0539059 max150 -0.298854600393 std50 -0.285660933307

5 mobility 0.353854 skew 0.0284561 kurtosis -0.0543017 max150 -0.365825532027 std50 -0.329818414897

6 mobility 0.304553 skew -0.0346076 kurtosis 0.0413215 max150 -0.286225112757 std50 -0.31308744867

7 mobility 0.301008 skew -0.0124692 kurtosis -0.00856104 max150 -0.307331973759 std50 -0.288222778178

8 mobility 0.267957 skew -0.0262571 kurtosis 0.0268127 max150 -0.289512624077 std50 -0.243221100591

9 mobility 0.270148 skew -0.0329627 kurtosis 0.0254555 max150 -0.311388776993 std50 -0.248309716943

/Volumes/Slot 4 2tB/EEG recordings/base_data_train_2.npy

0 mobility -0.150931 skew -0.146515 kurtosis -0.0353059 max -0.15774 std -0.143356 var -0.182106

1 mobility -0.129593 skew -0.136441 kurtosis -0.0742252 max -0.180184 std -0.130419 var -0.176175

2 mobility -0.153917 skew -0.136542 kurtosis -0.0710757 max -0.173871 std -0.11737 var -0.152299

3 mobility -0.14907 skew -0.150621 kurtosis -0.0176674 max -0.180999 std -0.15774 var -0.191165

4 mobility -0.150428 skew -0.156201 kurtosis -0.00552943 max -0.162947 std -0.160257 var -0.193626

5 mobility -0.151242 skew -0.179715 kurtosis 0.00935185 max -0.0760022 std -0.0996672 var -0.132624

6 mobility -0.147582 skew -0.1663 kurtosis 0.0068302 max -0.173156 std -0.175677 var -0.204756

7 mobility -0.147695 skew -0.158236 kurtosis 0.00842871 max -0.146987 std -0.134018 var -0.156448

8 mobility -0.14914 skew -0.16273 kurtosis -0.00343621 max -0.150193 std -0.147082 var -0.185152

9 mobility -0.148844 skew -0.168124 kurtosis 0.0150697 max -0.128591 std -0.115792 var -0.139928

/Volumes/Slot 4 2tB/EEG recordings/base_data_train_3.npy

0 mobility 0.37712 skew -0.00947632 kurtosis 0.0379376 max -0.27445 std -0.415572 var -0.388982

1 mobility 0.341428 skew -0.0333562 kurtosis 0.0842102 max -0.228343 std -0.381748 var -0.359042

2 mobility 0.299282 skew -0.0549255 kurtosis 0.0599769 max -0.209765 std -0.32824 var -0.298396

3 mobility 0.304547 skew -0.0128211 kurtosis 0.0725289 max -0.214312 std -0.355743 var -0.341279

4 mobility 0.307507 skew -0.0118719 kurtosis 0.0291579 max -0.232577 std -0.349437 var -0.332958

5 mobility 0.321745 skew -0.00989002 kurtosis -0.0112829 max -0.241705 std -0.329389 var -0.283258

6 mobility 0.277108 skew 0.0347802 kurtosis 0.0380326 max -0.181071 std -0.322692 var -0.30548

7 mobility 0.281636 skew 0.0492457 kurtosis 0.0330193 max -0.161524 std -0.308305 var -0.28655

8 mobility 0.29753 skew -0.0429441 kurtosis 0.0224731 max -0.242076 std -0.339596 var -0.316196

9 mobility 0.326863 skew -0.0270964 kurtosis 0.0405491 max -0.265741 std -0.377276 var -0.357412

De 'kurtosis' lijkt weinig bij te dragen (hoef ik mij dus niet in te verdiepen :-) maar de skew is met name voor patient 2 wellicht ook interessant. Zeker omdat deze in het algemeen de slechtste correlatie features lijkt te hebben.
De 'mobility' lijkt bij alle 3 wel een interessante toevoeging. Toch eens uitzoeken wat dat nou precies moet betekenen.

16 - EEGs - Features per patient

De aard van de competitie heeft het al wat laten blijken. Er moet een beoordeling per patient worden gemaakt. Men is er dus al een beetje vanuit gegaan dat er aparte algoritmen per patient nodig zijn. Dat is jammer. Je hoopt toch het ei van columbus te vinden en met 1 slim programma alle patienten van dienst te zijn.
Voorlopige uitkomst:

/Volumes/Slot 4 2tB/EEG recordings/base_data_train_1.npy

0 max150 -0.242883982577 std50 -0.260966676004

1 max150 -0.335989628134 std50 -0.294928975495

2 max150 -0.330593024561 std50 -0.316744934306

3 max150 -0.373199745072 std50 -0.352717356564

4 max150 -0.298854600393 std50 -0.285660933307

5 max150 -0.365825532027 std50 -0.329818414897

6 max150 -0.286225112757 std50 -0.31308744867

7 max150 -0.307331973759 std50 -0.288222778178

8 max150 -0.289512624077 std50 -0.243221100591

9 max150 -0.311388776993 std50 -0.248309716943

/Volumes/Slot 4 2tB/EEG recordings/base_data_train_2.npy

0 max -0.15774 std -0.143356 var -0.182106

1 max -0.180184 std -0.130419 var -0.176175

2 max -0.173871 std -0.11737 var -0.152299

3 max -0.180999 std -0.15774 var -0.191165

4 max -0.162947 std -0.160257 var -0.193626

5 max -0.0760022 std -0.0996672 var -0.132624

6 max -0.173156 std -0.175677 var -0.204756

7 max -0.146987 std -0.134018 var -0.156448

8 max -0.150193 std -0.147082 var -0.185152

9 max -0.128591 std -0.115792 var -0.139928

/Volumes/Slot 4 2tB/EEG recordings/base_data_train_3.npy

0 max -0.27445 std -0.415572

1 max -0.228343 std -0.381748

2 max -0.209765 std -0.32824

3 max -0.214312 std -0.355743

4 max -0.232577 std -0.349437

5 max -0.241705 std -0.329389

6 max -0.181071 std -0.322692

7 max -0.161524 std -0.308305

8 max -0.242076 std -0.339596

9 max -0.265741 std -0.377276

Per patient dus andere features. Bij patient 2 kan zelfs de std vermoedelijk achterwege blijven. De variatie doet het daar beter. Bij patient 3 blijkt het andersom.

15 - EEGs - On track! Of toch niet? ...

Een 2e serie meetresultaten van 'patient 1' lijkt nog betere resultaten te geven. Hier en daar al over de -0.5 (even in herinnering waarde tussen -1 en + 1):

0 max150 (-0.41194723992175802, 6.4307532561886419e-42) std50 (-0.43304379501542439, 1.3214398909113476e-46)

1 max150 (-0.48596710493646184, 6.3249130187555734e-60) std50 (-0.4334835522710116, 1.0465520423535658e-46)

2 max150 (-0.38712509961437946, 8.1284564387807416e-37) std50 (-0.41005723450378079, 1.6296940049387049e-41)

3 max150 (-0.31347052201956449, 4.6585385828558043e-24) std50 (-0.37891558163834688, 3.1886871059606937e-35)

4 max150 (-0.50810169324387311, 3.1496400833880827e-66) std50 (-0.48680453919838323, 3.7232202707862507e-60)

5 max150 (-0.50374007897117778, 5.9855889089138001e-65) std50 (-0.46434283643301089, 3.3712379129179665e-54)

6 max150 (-0.38604296629277873, 1.3264016738422933e-36) std50 (-0.41664613998117733, 6.2079414676572266e-43)

7 max150 (-0.42672438803953633, 3.632274538404576e-45) std50 (-0.40562005739655771, 1.4128080318195218e-40)

8 max150 (-0.44155469389755642, 1.361648207219794e-48) std50 (-0.40218135406263578, 7.3672385515236656e-40)

9 max150 (-0.36901236598909753, 2.3238389835137084e-33) std50 (-0.40252748348132128, 6.2444146827444672e-40)

Dat ziet er veelbelovend uit eens kijken of we bij patient 2 een vergelijkbare correlatie vinden:

0 max150 (-0.02060457055488684, 0.51684732569352621) std50 (-0.015136891675287435, 0.63394742710094798)

1 max150 (-0.020360584046250341, 0.52182454096207387) std50 (-0.059256619832695874, 0.06209247849948879)

2 max150 (-0.018204588157154863, 0.56684998761611238) std50 (-0.041269189197066423, 0.19403654879636154)

3 max150 (-0.0045193845378886828, 0.88695051699119309) std50 (-0.0076395587227884405, 0.81008535601819365)

4 max150 (0.073351291316438236, 0.020861885444262176) std50 (0.015196883655175707, 0.63260347583788157)

5 max150 (0.041058667608851934, 0.196322689397739) std50 (-0.010483467660498184, 0.74156590937677591)

6 max150 (0.0022728740281126227, 0.94300273163066195) std50 (-0.020356785689197503, 0.52190221985714214)

7 max150 (0.01156345260123072, 0.71604034331374677) std50 (-0.059832736921967715, 0.059591266860954409)

8 max150 (0.00228939672832075, 0.94258910106909666) std50 (-0.096075175630787407, 0.0024521753406124155)

9 max150 (-0.0046814919783101771, 0.88292418236201475) std50 (-0.049803520983771242, 0.116972551521023)

Wow, dat valt tegen! Totaal niet blijkbaar. En patient 3 ?

0 max150 (-0.14644731274910988, 3.6269879573262225e-06) std50 (-0.26141036355375996, 5.8132273417628722e-17)

1 max150 (-0.12001542679703069, 0.00015128753924536806) std50 (-0.2556799345258296, 2.860320511618802e-16)

2 max150 (-0.18647547671201301, 3.2624918323603128e-09) std50 (-0.27465510857809178, 1.2558939065168329e-18)

3 max150 (-0.13060960674568933, 3.6883129806916829e-05) std50 (-0.26350801267712604, 3.2123337712342012e-17)

4 max150 (-0.081552575690427148, 0.01018085956117081) std50 (-0.21968285964068615, 2.632797845577492e-12)

5 max150 (-0.16821967356823259, 9.8431876307007162e-08) std50 (-0.2990268121279514, 6.1251443517324953e-22)

6 max150 (-0.13168261220552904, 3.177189673862373e-05) std50 (-0.28707886522766085, 2.8272079916515941e-20)

7 max150 (-0.14181204337397416, 7.3407066015959025e-06) std50 (-0.25815319982689783, 1.4449220177103866e-16)

8 max150 (-0.13960135290646944, 1.0196171927256132e-05) std50 (-0.23337142762000831, 9.7660429345396022e-14)

9 max150 (-0.085580343767731451, 0.0069968960768383281) std50 (-0.19807102332748167, 3.1131866445992899e-10)

Doet het gelukkig iets beter, vooral bij de standaard deviatie. Maar even kijken of we dat kunnen opvoeren.

Voor patient 3 krijg ik een optimum bij 100 (max) en 25 (std):

0 max100 (-0.18879460955924696, 2.0631566295049442e-09) std25 (-0.29455664706512952, 2.6244495887082e-21)

1 max100 (-0.15371142030777118, 1.1496123003513943e-06) std25 (-0.28248168291582226, 1.1769915863931296e-19)

2 max100 (-0.15160893991875682, 1.6121003743318864e-06) std25 (-0.30510039513658987, 8.1389327948646135e-23)

3 max100 (-0.1597673915007953, 4.2318965220394497e-07) std25 (-0.27685086038770773, 6.5136912223952591e-19)

4 max100 (-0.12493494665185216, 7.9646367952700443e-05) std25 (-0.23896281111256581, 2.3904847884561682e-14)

5 max100 (-0.20720812452612253, 4.4086459676136875e-11) std25 (-0.32261674971746324, 1.8387779237907481e-25)

6 max100 (-0.15073190178343754, 1.8538020050452169e-06) std25 (-0.31137257436460047, 9.6249815557716669e-24)

7 max100 (-0.14850701853560508, 2.6329352994436819e-06) std25 (-0.27620464640478981, 7.9069497549861189e-19)

8 max100 (-0.18043828788700006, 1.0468337498516165e-08) std25 (-0.2804854344501394, 2.1685204667393187e-19)

9 max100 (-0.18327432466760299, 6.0832334496708125e-09) std25 (-0.2478252609094615, 2.3840332900239427e-15)

Even terug naar patient 2. Daar helpt het weinig om alleen de hoge waardes te nemen. Het beste resultaat krijg ik bij de standaard max en - standaarddeviatie. Hier blijkt de variatie zelfs een betere indicatie te geven dan de standaard deviatie:

0 max (-0.15773967, 9.0244858477488626e-07) std (-0.14335747, 8.2330472158979672e-06) 

                                            var (-0.18210776, 1.3263662553272545e-08)

1 max (-0.18018369, 1.8921278759115014e-08) std (-0.13041966, 5.0573043936703924e-05) 

                                            var (-0.17617513, 3.9180683058265391e-08)

2 max (-0.17387144, 5.9088873025853798e-08) std (-0.11737145, 0.00026792584986905124) 

                                            var (-0.15230002, 2.1332336029231802e-06)

3 max (-0.18099901, 1.6284500367494088e-08) std (-0.15774067, 9.0230366034571424e-07) 

                                            var (-0.19116502, 2.3658775696462445e-09)

4 max (-0.16294663, 3.8525835786630302e-07) std (-0.16025639, 6.0009809378022698e-07) 

                                            var (-0.19362582, 1.4593602652901144e-09)

5 max (-0.076002173, 0.018513720879973057)  std (-0.099667676, 0.0019896842530125834) 

                                            var (-0.13262455, 3.7545162330256774e-05)

6 max (-0.17315643, 6.7051511192179398e-08) std (-0.17567696, 4.2840885534066601e-08) 

                                            var (-0.20475614, 1.5151947896045459e-10)

7 max (-0.14698705, 4.8043612645691487e-06) std (-0.13401821, 3.1026485272994041e-05) 

                                            var (-0.15644823, 1.109898410030791e-06)

8 max (-0.15019289, 2.9534561597867743e-06) std (-0.14708143, 4.7367179093662964e-06) 

                                            var (-0.18515143, 7.5024643521806167e-09)

9 max (-0.12859055, 6.4519440287210536e-05) std (-0.11579184, 0.00032426221371761947) 
                                            var (-0.13992818, 1.3533788441700182e-05) 

14 - EEGs - In de herhaling

Bij gebrek aan succes met de chatbots maar ook gelukkig door hernieuwde interesse de uitdaging van de EEGs maar weer eens ter hand genomen. De eerdere keuzes waren vooral gebaseerd op een 'gu-feeling' met betrekking tot de data: Eerst de EEGs als grafiek aaneen convolutional netwerk aangeboden. Vervolgens de data sterk teruggebracht met behulp van histogrammen en daarna nogmaals door een verdeling over de 'hoeken' aan te bieden.

Niet veel success helaas. Nu wordt het tijd om eens echt aan feature selection te doen. Of te wel kijken of bepaalde features te vinden zijn die een sterke correlatie hebben met de uitkomst (seizure / non seizure).

Daarvoor moet ik eerst de oorspronkelijke data in 'ruwe vorm' beschikbaar hebben. Al eerder was gebleken dat het samenvoegen van alle data in 1 numpy bestand (zelfs per patient) een onmogelijke grote hoeveelheid data koppelde waar mijn arme pc-tje niet mee om kon gaan. Ik besluit dus maar een subset te gebruiken. Voor de feature selectie lijkt het mij wel handig als die subset een beetje in balans is. (~7 % was seizure). Eerst maar eens starten met 30 metingen met seizure en 30 zonder. Het gaat dan ook al om 60 * 16 * 240000 waarden! (60 metingen, 16 elektroden en 10 minuten metingen van 400Hz)

Ook hier duurt het weer even om de juiste uitkomst te krijgen. Met name het verschil tussen Python data en Numpy data geeft even verwarring. Ik selecteer ook gelijk de 'nul-metingen' uit. Daar waar 1 of meerdere elektroden (tijdelijk) geen data hebben geregistreerd.

Nu komt het 'leuke werk'. Het testen van verschillende features. Even zoeken brengt mij bij een mooie correlatie meting:

from scipy.stats import pearsonr

Deze geeft een getal terug tussen -1 en 1 van de, al dan niet positive, correlatie tussen twee datareeksen. Kijk, dat kan ik gebruiken.

Ik test over elke minuut een aantal kernwaarden: mean / max / min / std / var. Daar springen max en std ruim boven uit als significant. Vervolgens kijk ik of ik de correlatie op kan schroeven door gedeeltes van de metingen uit te sluiten. Als snel vind ik voor 'max' een grootste verbetering als ik alleen waarden > 150 neem en voor de standaard deviatie helpt het enorm als ik alleen waarden boven de 50 selecteer.

Hier het verloop over de tijdsintervallen (minuten voor de wel/niet seizure):

0 max150 (-0.2428839825773387, 2.3435010343051565e-14) std50 (-0.26096667600414636, 2.0685689963712831e-16)

1 max150 (-0.33598962813441019, 9.1784806826576722e-27) std50 (-0.29492897549479213, 1.0142709208333018e-20)

2 max150 (-0.33059302456077189, 6.4793485016530853e-26) std50 (-0.31674493430559891, 8.1837316741478994e-24)

3 max150 (-0.37319974507157977, 4.322841083800451e-33) std50 (-0.35271735656399611, 1.6702445216675265e-29)

4 max150 (-0.29885460039324757, 2.9427898839384232e-21) std50 (-0.28566093330688908, 1.7463025301619868e-19)

5 max150 (-0.36582553202669144, 9.0635043157077112e-32) std50 (-0.32981841489689517, 8.5501446927981418e-26)

6 max150 (-0.28622511275709217, 1.4729483647796412e-19) std50 (-0.31308744866968408, 2.8175041901043518e-23)

7 max150 (-0.30733197375896981, 1.9040684165552083e-22) std50 (-0.28822277817774439, 8.0362161083617587e-20)

8 max150 (-0.28951262407729206, 5.4203254023624537e-20) std50 (-0.24322110059100063, 2.1530382542027311e-14)

9 max150 (-0.3113887769925055, 4.9737967989126725e-23) std50 (-0.24830971694265835, 5.8962413007042606e-15)

Het eerste getal uit het duo geeft dus de correlatie aan en het 2e de waarschijnlijkheid om dit aan te treffen in een random dataset van een dergelijk formaat. Zie hier meer daarover.
Ok, daar kunnen we wellicht wat mee. Of misschien eerst kijken of er nog meer interessante correlaties te vinden zijn ...