donderdag 13 februari 2020

BERTje als summarizer

Enthousiast wegens het succes wil ik nu ook BERTje as summarizer gaan proberen. Ik zie hier een mooie implementatie: https://github.com/dmmiller612/bert-extractive-summarizer
De software is eenvoudig met pip te installeren en er lijken opties te zijn om ook naar het NL model te kunnen verwijzen.

from summarizer import Summarizer

body = ''' hier tekst van bepaalde langere lengte '
model = Summarizer(model="bert-base-dutch-cased")
model(body)




Helaas loop ik (weer) tegen het probleem aan dat het model bij de transformers niet beschikbaar lijkt.Hoewel hier wel in de documentatie beschreven krijg ik een foutmelding als ik het model probeer te gebruiken.
Ik zie ook dat er uberhaupt maar een paar Bert modellen standaard beschikbaar zijn. Het toevoegen van BERTje lukt helaas niet. Wel lukt het om in 'bert_parent.py' de 'bert-base-multilingual-cased' toe te voegen.


    MODELS = {
        'bert-base-uncased': (BertModel, BertTokenizer),
        'bert-large-uncased': (BertModel, BertTokenizer),
        'bert-base-multilingual-cased':(BertModel, BertTokenizer),
        'xlnet-base-cased': (XLNetModel, XLNetTokenizer),
        'xlm-mlm-enfr-1024': (XLMModel, XLMTokenizer),
        'distilbert-base-uncased': (DistilBertModel, DistilBertTokenizer),
        'albert-base-v1': (AlbertModel, AlbertTokenizer),
        'albert-large-v1': (AlbertModel, AlbertTokenizer)
    }

Kijk, nu kunnen we dat iig testen. Ik gooi er wat wiki tekstjes doorheen:


Een aannemer is een onderneming die de verantwoordelijkheid op zich neemt om bouwactiviteiten te realiseren en te coordineren de aannemer verzorgt , voor een in het contract bepaalde prijs en binnen een overeengekomen termijn , de levering van een volledig voltooid bouwwerk . De opdrachtgever of bouwheer kan op zijn beurt een architect of architectenbureau inschakelen , die het ontwerp en soms het toezicht op de bouwplaats voor zijn rekening neemt . Het ontwerp van de architect of anderszins resulteert vaak in een bestek en tekeningen waarin de beschrijving van het werk is opgenomen en hetgeen een onderlegger vormt voor en onderdeel is van de overeenkomst tussen opdrachtgever en aannemer . Het bestek en de tekeningen beschrijven zo nauwkeurig mogelijk wat de kwaliteits en kwantiteitseisen zijn die de opdrachtgever aan het werk stelt . Begripsbepaling aannemer Bouw UAV de aannemer de natuurlijke of rechtspersoon , aan wie het werk is opgedragen . Overig Aannemer is een begrip dat ook buiten de bouw wordt gebruikt . Bijvoorbeeld het aannemen van onderzoekswerk , industrieel onderhoud reparatie of het aannemen van werk in het openbaar vervoer . Bestek De beoogde kwaliteit van het werk wordt door opdrachtgever of architect vastgelegd in gedetailleerde bestekken en bestektekeningen . Soms is een aannemer zijn eigen opdrachtgever , en dus ook die van de architect , bijvoorbeeld wanneer hij zelfstandig een bouwproject begint op een door hem verworven bouwperceel , deze vorm projectontwikkeling vindt het meest plaats bij de bouw van woningen en kantoren . Bij andere projecten , zoals bedrijfsgebouwen , scholen , bankgebouwen , winkels , maar ook weg en waterbouwkundige projecten , is er vrijwel altijd sprake van een opdrachtgever . Aanbestedingsvormen Er zijn verschillende soorten van aanbesteden Europese aanbesteding Openbare aanbesteding Aanbesteding met voorafgaande selectie Onderhands aanbesteding Aanbesteding in regie . De Europese aanbesteding is de meest uitgebreide vorm van aanbesteden en kent de onder andere de varianten Open zonder voorafgaande selectieronde en Niet open met voorafgaande selectieronde . Een Europese aanbesteding is bij sommige projecten verplicht . Van alle beschikbare vormen van aanbesteding wordt de traditionele openbare aanbesteding het meest gehanteerd . Verder kennen we de aanbesteding met voorafgaande selectie , waarbij een aantal aannemers worden uitgenodigd al dan niet op basis van objectief vastgestelde criteria zich aan te melden . Indien blijkt dat zij na aanmelden aan de criteria voldoen mogen zij alsnog inschrijven op het werk . De onderhandse aanbesteding is een ouderwetse benaming van het aanbesteden van een werk aan slechts een beperkt aantal willekeurig te selecteren partijen . Deze vorm van aanbesteden komt vooral in de particuliere aanbesteding van vooral woningen veel voor . Het aanbesteding in regie is een vorm waarbij de afgesproken prijs niet gerelateerd is aan het te realiseren project maar gebaseerd op vooraf overeengekomen uurlonen , materieel en materiaalprijzen , opslagpercentages voor algemene kosten , winst en risico . Deze vorm van aanbesteding is bijzonder geschikt als het gaat om onderhoudswerkzaamheden waarvan van tevoren niet bekend is in welke aantallen de verschillende onderhoudswerken zullen gaan voorkomen . De gunning De gunning is de toewijzing van het werk aan een van de aanbieders door de opdrachtgever . De gunning vond in het verleden vrijwel altijd plaats op basis van de laagste prijs . Met de invoering van de aanbestedingswet per april , is ook gunnen op basis van de economisch meest voordelige inschrijving EMVI uitgangspunt geworden bij in elk geval Europees aanbesteden en moet de aanbestedende dienst goed motiveren als deze toch besluit om op laagste prijs te gunnen . De laatste tijd worden naast deze traditionele manier van aanbesteden steeds vaker innovatieve manieren van aanbesteden gehanteerd . Het gaat dan vooral om contract en aanbestedingsvormen waarbij de aannemer verantwoordelijk is voor zowel het ontwerp als de uitvoering , eventueel in combinatie met exploitatie en financiering . Regelgeving Tijdens het bouwproces heeft de aannemer te maken met allerhande wet en regelgeving zoals het Bouwbesluit , de Woningwet , het Bouwstoffenbesluit en de UAV in Nederland . Verder bestaat regelgeving op het gebied van arbeidsomstandigheden , milieu , voorschriften van nutsbedrijven enz . Personeel Naast administratief personeel heeft een aannemer calculatoren werkvoorbereiders projectleiders en uitvoerders in dienst . Tot zijn productiepersoneel behoren meestal timmerlieden , metselaars en opperlieden . In de weg en waterbouw kraanmachinisten en grondwerkers . Daarnaast zijn er nog talloze disciplines in de bouw werkzaam , zoals steigerbouwers , vloerenleggers , stukadoors , tegelzetters , loodgieters , installateurs , elektriciens , schilders , voegers enz . Deze laatste vaklieden worden meestal ingezet door het inschakelen van zogenaamde onderaannemers . Onderaannemer Persoon of organisatie die in opdracht van een aannemer , zonder bij de aannemer in dienst te zijn , het aangenomen werk geheel of gedeeltelijk uitvoert , vaak tegen een vastgestelde prijs . Werkproces Wanneer de opdracht is verstrekt en de nodige vergunningen geregeld zijn kan de aannemer aan de slag . De bouwplaats moet worden ingericht , een werkplanning gemaakt , keten en bouwhekken geplaatst , personeel en materieel worden gepland , materialen en onderaannemersdiensten worden ingekocht . De aannemer is in de moderne bouw meer een coordinerend dan een uitvoerend bedrijf . Op de bouwplaats is een belangrijke taak weggelegd voor de uitvoerder , deze ziet toe op de dagelijkse gang van zaken op de bouwplaats . Beroep in de bouw Civiele techniek . 

Wordt nu:

'Een aannemer is een onderneming die de verantwoordelijkheid op zich neemt om bouwactiviteiten te realiseren en te coordineren de aannemer verzorgt , voor een in het contract bepaalde prijs en binnen een overeengekomen termijn , de levering van een volledig voltooid bouwwerk . De opdrachtgever of bouwheer kan op zijn beurt een architect of architectenbureau inschakelen , die het ontwerp en soms het toezicht op de bouwplaats voor zijn rekening neemt . Het ontwerp van de architect of anderszins resulteert vaak in een bestek en tekeningen waarin de beschrijving van het werk is opgenomen en hetgeen een onderlegger vormt voor en onderdeel is van de overeenkomst tussen opdrachtgever en aannemer . Van alle beschikbare vormen van aanbesteding wordt de traditionele openbare aanbesteding het meest gehanteerd . Regelgeving Tijdens het bouwproces heeft de aannemer te maken met allerhande wet en regelgeving zoals het Bouwbesluit , de Woningwet , het Bouwstoffenbesluit en de UAV in Nederland . Tot zijn productiepersoneel behoren meestal timmerlieden , metselaars en opperlieden . Daarnaast zijn er nog talloze disciplines in de bouw werkzaam , zoals steigerbouwers , vloerenleggers , stukadoors , tegelzetters , loodgieters , installateurs , elektriciens , schilders , voegers enz . Werkproces Wanneer de opdracht is verstrekt en de nodige vergunningen geregeld zijn kan de aannemer aan de slag .'

Tja ... ziet er wel goed uit denk ik. Lastig te beoordelen of dit nu de beste samenvatting is. 



Geen opmerkingen:

Een reactie posten