Python spacy

SpaCy is een Python bibliotheek voor natuurlijke taalverwerking. Zij kan helpen om tekst om te zetten in onderdelen die een programma verder kan onderzoeken. Denk aan woorden, zinnen en herkende namen. Dat maakt de bibliotheek bruikbaar voor toepassingen waarin veel tekst moet worden geordend. Een goed project begint echter met een specifieke informatievraag, niet met de verwachting dat alle betekenis automatisch volledig wordt begrepen.

Kies een duidelijke teksttaak

Stel dat een team namen van organisaties uit binnenkomende documenten wil verzamelen. Beschrijf dan eerst welke namen meetellen. Gaat het alleen om de afzender, of ook om organisaties die ergens in de tekst worden genoemd? Moeten afkortingen en volledige namen als dezelfde organisatie worden behandeld? Zulke keuzes bepalen wat een bruikbaar resultaat is.

Verzamel een kleine set documenten die het werk goed vertegenwoordigt. Neem verschillende lengtes, stijlen en enkele lastige voorbeelden op. Beschrijf handmatig wat je in ieder document wilt terugvinden. Daarmee maak je een eerste controleverzameling. Je kunt later beoordelen of een wijziging daadwerkelijk betere uitkomsten geeft, in plaats van af te gaan op enkele opvallende successen.

Begrijp de verwerkingsstappen

SpaCy verwerkt tekst in een documentstructuur. Afhankelijk van de gekozen pipeline worden daar taalkundige gegevens aan toegevoegd. Mogelijke onderdelen zijn zinsgrenzen, woordsoorten en entiteiten zoals personen of organisaties. Niet iedere pipeline bevat dezelfde componenten. Controleer daarom welke taal en welke functies horen bij het model dat je daadwerkelijk gebruikt.

De beschikbaarheid van een taalfunctie is bovendien iets anders dan aangetoonde kwaliteit op jouw documenten. Een model kan goed omgaan met algemene tekst en toch moeite hebben met afkortingen of jargon uit een specifieke omgeving. Test daarom de eigen voorbeelden. Bekijk vooral waar grenzen verkeerd worden gelegd of namen onvolledig worden herkend.

Bewaar de oorspronkelijke context

Een lijst met gevonden namen is handig, maar zonder context lastig te controleren. Bewaar daarom bij een resultaat ook het document waaruit het komt en het relevante tekstfragment. Een medewerker kan dan zien of een naam werkelijk een organisatie aanduidt of in een andere betekenis wordt gebruikt. Dat maakt correcties gerichter en voorkomt veel zoekwerk.

Maak daarnaast onderscheid tussen het herkennen van een tekstdeel en het koppelen aan een bestaande organisatie. Twee schrijfwijzen kunnen naar hetzelfde bedrijf verwijzen, maar vergelijkbare namen kunnen ook verschillende organisaties zijn. Behandel die koppeling als een afzonderlijke stap met eigen controles. Een gevonden naam is niet automatisch een bevestigde identiteit in een klantenbestand.

Combineer modellen met gerichte regels

Voor terugkerende patronen kunnen expliciete regels nuttig zijn. Denk aan een vaste documentcode of een herkenbare productaanduiding. Een model hoeft niet ieder detail op dezelfde manier op te lossen. Bepaal per onderdeel welke aanpak eenvoudig te begrijpen en goed te onderhouden is. Leg uitzonderingen vast, zodat een volgende ontwikkelaar weet waarom een regel bestaat.

Wees voorzichtig met steeds meer regels toevoegen op basis van losse fouten. Een regel die één voorbeeld verbetert, kan andere gevallen verslechteren. Voer daarom na een wijziging opnieuw de hele controleverzameling uit. Noteer welke voorbeelden veranderen en waarom. Zo groeit het systeem vanuit aantoonbare verbeteringen in plaats van een verzameling onoverzichtelijke noodoplossingen.

Verwerk grotere verzamelingen beheerst

Begin klein voordat je een volledig archief verwerkt. Meet hoeveel tijd een representatief deel kost en bekijk hoeveel geheugen nodig is. Gebruik alleen componenten die bijdragen aan de gekozen taak. Bewaar voortgang wanneer een verwerking lang duurt, zodat een onderbreking niet betekent dat alle documenten opnieuw moeten worden behandeld.

Maak ook duidelijk wat er gebeurt met documenten die niet gelezen kunnen worden. Registreer ze apart en laat één fout niet ongemerkt een onvolledig eindresultaat opleveren. Geef bij een overzicht aan hoeveel documenten zijn verwerkt en hoeveel aandacht nodig hebben. Daarmee blijft zichtbaar hoe compleet de analyse is en waar handmatig herstel nodig kan zijn.

Maak onderhoud onderdeel van het project

Wijs binnen het team iemand aan die inhoudelijke correcties verzamelt. Bundel vergelijkbare meldingen voordat je een aanpassing maakt. Daarmee voorkom je dat incidentele wensen de gezamenlijke definitie van een goed resultaat ongemerkt veranderen.

Leg de gebruikte bibliotheek, pipeline en instellingen vast. Bewaar daarnaast voorbeelden waarop de gewenste werking is beschreven. Wanneer je later een onderdeel bijwerkt, kun je het nieuwe gedrag vergelijken met het eerdere resultaat. SpaCy wordt zo een controleerbaar onderdeel van een tekstworkflow: waardevol voor het verwerken van taal, met ruimte om context, uitzonderingen en menselijke beoordeling zorgvuldig mee te nemen.

Sergej Dergatsjev, eigenaar van Online Solutions Group, heeft CompanyGids nieuw leven ingeblazen en het platform verder uitgebouwd tot een moderne bedrijvengids voor België. Bezoek Company Gids en Online Solutions Group.