Learning Deep Learning: Matters that matter

donderdag 14 februari 2019

Matters that matter

Een korte weergave van onderhanden onderzoek om voor documenten automatisch een juiste 'folder' voor te stellen om in op te bergen.
We hebben daartoe een selectie van 242.543 documenten beschikbaar met een totale, vermoedelijk nog met leestekens ed vervuilde, 'woordenlijst' van 394.384 woorden.
Deze moeten in 1919 verschillende folders kunnen worden ondergebracht.
Een stevige uitdaging die al snel tot allerlei memory fouten leidt!

Hier een aantal resultaten van wat verkorte testen:

All words 30K docs

30K docs word frequency > 4

30K docs word frequency > 9

Onehot(original) word freq > 20 / 10K docs

Voorlopige conclusie: Het maakt niet veel uit op het resultaat om woorden met een lage frequentie eruit te halen. Het oorspronkelijke model met een tevoren geprepareerde OneHot lijkt iets beter te performen.

Geen opmerkingen:

Een reactie posten

Code hulp

Numpy vstack

-----------------

ys = np.array([])

ys = np.vstack([ys, xs]) if ys.size else xs

Numpy unique (set in numpy)

-----------------

h = np.unique(x)

----

opencv : coordinaten: (hoogte, breedte)

Numpy: coordinaten: (row, column)

---

Numpy delete 'bad' rows

-----------------------------

x = x[numpy.in1d(x[:,0], bad, invert=True)]

Python sorting

-----------------

SlicLoc = sorted(SlicLoc, key = lambda x: (x[0],float(x[3])))

Pandas

----------

import pandas as pd

Td = pd.DataFrame(Tdist)

print(Td.describe())

Pickle

--------

import cPickle as pickle

with open('/Users/DWW/Documents/net1.pickle', 'wb') as f:

pickle.dump(net1, f, -1)

-------

Center of image

from scipy import ndimage

x,y = ndimage.measurements.center_of_mass(combi)

-------

reset CPU:

export LD_LIBRARY_PATH="/usr/local/cuda/lib"

export PATH=/usr/local/cuda/bin:$PATH

export DYLD_LIBRARY_PATH=/usr/local/cuda/lib:$DYLD_LIBRARY_PATH