Bert testen met incident beschrijvingen 2

In een eerdere proef heb ik getest of ik (Bert) op basis van incident beschrijvingen de bijbehorende prioriteit kon voorspellen. Dat lukte behoorlijk goed. Meer dan 82 % test accuracy! (F1=70,7%)

Ook interessant is of ik het aan de juiste business service kan koppelen. Er zijn 215 business services.
Hier is een 'redelijke' verdeling in de 15K records:

GCS Helpdesk                                                1934
PIL O2C ERP                                                 1612
HC One SAP R3                                                935
LOCAL APPS CLUSTER MED HAIFA                                 500
PIL B2B Service Cloud SMAX                                   493
HC I-IMAGING R3                                              491
PC Hardware                                                  437
Philips Volcano Manufacturing Apps Service                   427
Philips Store                                                338
...
...
Ticket Status Update                                           1
Gainesville Engineering Applications                           1
OneDrive                                                       1

71% test accuracy lijkt zeker niet slecht op basis van de beperkte omschrijvingen! De F1 is hier wat minder. Ik weet niet zeker welke conclusie ik hieruit moet trekken.

Eenzelfde uitdaging is het bijzoeken van de juiste assignmentgroup. Dat zijn er 394. Met hier wat voorbeelden:

'HP GERMANY OSS SUPPORT TEAM', 'PH PIC TSRD SUPPORT TEAM', 'PEAS Servicedesk', 'PH GCS OPIE Support Team', 'LOCAL APPS PCERV DIST SUPPORT', ...

Hoewel er in de 15K records ook assignmentgroepen zijn die maar 1 keer voorkomen is er verder een 'redelijke' verdeling. De grootste neemt zo'n 10% in, de tweede iets minder. Daarna gaat het redelijk snel omlaag: 

WT PIL O2C ERP                              1551
PH GCS ServiceMax IT Support Team           1293
WTT One IT One SAP R3                        809
HC Service Max SFDC Support                  493
WTT One IT I-IMAGING R3                      438
PH GCS LOCAL IT SUPPORT TEAM                 338
Philips Volcano Costa Rica Support Team      329
WT EAI & PI Support                          288
...
...
WTT GDS SUPPLY TEAM                            1
HP GLOBAL OSS SUPPORT TEAM                     1
HP FRANCE OSS SUPPORT TEAM                     1
TA HTC CAD  Service Desk                       1
WT PIL O2C AFTERCRE SLATAM                     1

Kijken we naar de validatie uitkomsten dan zien we redelijk wat variatie:

>>> predicts[:20]
array([265, 229, 265, 367, 390, 349, 155, 159, 196, 349, 339, 138, 155,
       303,   0, 328, 208, 353,  58,  58], dtype=int64)

Een redelijk resultaat een test accuracy van bijna 60%. De F1 ziet er hier wat minder goed uit.
De incidenten hebben ook, behalve de 'verkorte omschrijving' ook een uitgebreide omschrijving en andere metadata. Wellicht dat daarmee de accuracy nog flink omhoog te brengen is. Scheelt een hoop werk als er al een assignment en service (en prioriteits) advies gegeven kan worden.