donderdag 27 februari 2020

Bert en sentiment 2

Zo, ik heb nu ook reakties uit onze end-user-satisfaction-survey om kunnen zetten om te testen of sentiment analyse training, gebaseerd op film recenties, kunnen gebruikt worden voor dit soort survey reakties.


Het rare is dat het lastig te beoordelen is. De survey vraagt o.a. over een 'overall waardering voor IT' in een cijfer 1 tot 9 en daarnaast om een overall commentaar / toelichting. Die twee lijken regelmatig niet met elkaar in overeenstemming te zijn. Hier zijn een paar resultaten inclusief de voorspelling van Bert:

100 negative 7.0 There have been many instances where a ticket is closed with no actual resolution, which        can be very frustrating.
102 positive 9.0 The sorts of things that I need done are not what is displayed on the IT website: in this      case, I needed a server to be replaced.  The existing item w ...
104 negative 10.0 none
106 positive 7.0 Our local IT is good, always has been helpful. More and more though, they are unable to        help because of some new imposed process that forces us to go ...
107 positive 5.0 Often I need a local IT support. Infact the process to receive support is too long.
    For example, when we receive a new PC, we have to install and man...
110 negative 8.0 Continued slowdown or, quite frankly, unusability of the drives: Pena_Tax1 ...
111 negative 8.0 No feedback needed. IT services are good and working for me. Communications on IT related      services are done reguraly.
120 positive 7.0 -sehr schlecht: an jedem PC muss das Profil neu eingerichtet werden (Verknüpfungen,            Festplatten usw.); dies behindert vorallem IT unerfahrene Person a ...   


Oke, er zijn dus vreemde combinaties te vinden. Dat deze Bert geen Duits kent is hem vergeven :-) 
Doordat de survey score ook geen echte relatie met het sentiment in de tekst lijkt te hebben is het helaas lastig om te valideren hoe goed het model werkt en het echte sentiment hieruit kan halen.  


Geen opmerkingen:

Een reactie posten