Hoe werkt een AI-detector? | Methoden & Betrouwbaarheid

AI-detectoren (ook wel AI writing detectors of AI content detectors genoemd) zijn instrumenten die zijn ontworpen om te detecteren of een tekst geheel of gedeeltelijk door kunstmatige intelligentie (AI) is gegenereerd, zoals ChatGPT.

AI-detectoren kunnen worden gebruikt om te detecteren wanneer een tekst waarschijnlijk door AI is gegenereerd. Dit is bijvoorbeeld nuttig voor docenten die willen controleren of hun studenten hun eigen werk inleveren of voor moderatoren die nep-productrecensies en spam-inhoud proberen te verwijderen.

Deze tools zijn echter vrij nieuw en experimenteel en vooralsnog lijken ze niet altijd even betrouwbaar. Hieronder leggen we uit hoe ze werken, hoe betrouwbaar ze werkelijk zijn en hoe ze worden gebruikt.

Hoe werkt een AI-detector?

AI-detectoren zijn meestal gebaseerd op taalmodellen die vergelijkbaar zijn met die van de AI-writers waarvan ze de output  proberen te detecteren. In essentie bekijkt het taalmodel de tekstinvoer en vraagt zichzelf: “Is dit wat ik geschreven zou hebben?” Als het antwoord “ja” is, concludeert de detector dat de tekst waarschijnlijk door AI gemaakt is.

De modellen kijken specifiek naar twee dingen in de tekst:

• perplexity (perplexiteit)
• burstiness (onregelmatigheid)

Hoe lager de waarden voor deze twee variabelen zijn, hoe groter de kans dat de tekst door AI gemaakt is.

Perplexity (perplexiteit)

Perplexity is een maat voor hoe onvoorspelbaar een tekst is. Hierbij gaat het om de kans dat de gemiddelde lezer erdoor in verwarring raakt (i.e., dat de tekst geen betekenis heeft of onnatuurlijk leest).

• AI-taalmodellen streven ernaar teksten met een lage perplexity te produceren die waarschijnlijk logischer en vlotter lezen, maar ook voorspelbaarder zijn.
• Menselijke teksten hebben doorgaans een hogere perplexiteit: creatieve taalkeuzes, maar vaak ook meer fouten.

Taalmodellen werken door te voorspellen welk woord in een zin op natuurlijke wijze zou volgen en dat woord vervolgens in te voegen. In onderstaande tabel zie je een overzicht van meer en minder aannemelijke voortzettingen van de voorbeeldzin: “Ik kon niet in slaap komen afgelopen …”.

Lage perplexity wordt beschouwd als bewijs dat een tekst door AI gegenereerd is.

Burstiness (onregelmatigheid)

Burstiness is een maat voor variatie in zinsstructuur en zinslengte. Deze maat is vergelijkbaar met perplexity, maar dan op het niveau van zinnen in plaats van woorden:

• Een tekst met weinig variatie in zinsstructuur en zinslengte heeft een lage burstiness.
• Een tekst met meer variatie heeft een hogere burstiness.

AI-teksten zijn doorgaans minder onregelmatig dan menselijke teksten. Aangezien taalmodellen het meest waarschijnlijke volgende woord voorspellen, produceren ze zinnen van gemiddelde lengte (bijvoorbeeld 10-20 woorden) met een conventionele zinsstructuur. Hierdoor kan een AI-gegenereerde tekst soms monotoon lijken.

Lage burstiness geeft aan dat een tekst waarschijnlijk door AI is geproduceerd.

Een potentieel alternatief: Watermerken

OpenAI, het bedrijf achter ChatGPT, beweert te werken aan een “watermerksysteem” waarbij tekst die door de tool wordt gegenereerd een onzichtbaar watermerk kan krijgen dat vervolgens door een ander systeem kan worden gedetecteerd om zeker te weten dat een tekst door AI is gegenereerd.

Dit systeem is echter nog niet ontwikkeld en de details van hoe het zou kunnen werken zijn onbekend. Het is ook niet duidelijk of de voorgestelde watermerken zouden blijven staan wanneer de gegenereerde tekst wordt bewerkt. Hoewel dit dus een veelbelovende methode is voor AI-detectie in de toekomst, bestaat er momenteel nog weinig duidelijkheid over.

Hoe betrouwbaar zijn AI-detectoren?

Onze ervaring is dat AI-detectoren doorgaans goed werken, vooral bij langere teksten, maar gemakkelijk op het verkeerde spoor kunnen worden gebracht als de AI-tekst minder voorspelbaar was of na het genereren werd bewerkt of geparafraseerd. Ook kunnen AI-detectoren door mensen geschreven tekst onterecht aanmerken als AI-gegenereerd als de tekst toevallig aan de criteria voldoet (i.e., lage perplexity en burstiness). Aangezien academische teksten vaak voorspelbaar en weinig creatief zijn, is het risico op een false positive vrij groot.

Ons voorlopig onderzoek wijst uit dat AI-detectoren gemiddeld genomen ongeveer 60% accuraat zijn. Ze geven een nuttige indicatie van hoe waarschijnlijk het is dat een tekst door AI is gegenereerd, maar we raden af ze op zichzelf als bewijs te beschouwen. Aangezien taalmodellen zich blijven ontwikkelen, is het waarschijnlijk dat detectietools altijd zullen moeten wedijveren om ze bij te houden.

Hoewel sommige bedrijven beweren dat hun AI-detectoren zeer accuraat zijn, ondersteunen onafhankelijke beoordelingen deze beweringen zelden. Zelfs de meer zelfverzekerde aanbieders geven meestal toe dat hun tools niet kunnen worden gebruikt als definitief bewijs dat een tekst door AI is gegenereerd en onderwijsinstellingen hebben er tot nu toe weinig vertrouwen in.

AI detectoren vs plagiaatcheckers

AI-detectoren en plagiaatcheckers kunnen beide door universiteiten worden gebruikt om academische oneerlijkheid te ontmoedigen, maar ze verschillen in de manier waarop ze werken en waarnaar ze zoeken:

• AI-detectoren proberen teksten te vinden die eruitzien alsof ze zijn gegenereerd door een AI-schrijfprogramma. Dat doen ze door specifieke kenmerken van de tekst te meten (perplexity en burstiness) en niet door de tekst te vergelijken met een database.
• Plagiaatcheckers (zoals Scribbrs gratis Plagiaat Checker) proberen tekst te vinden die uit een andere bron is overgenomen. Dat doen ze door de tekst te vergelijken met een grote database van eerder gepubliceerde bronnen, scripties van studenten, enzovoort, en overeenkomsten op te sporen en niet door specifieke kenmerken van de tekst te meten.

Wij hebben echter geconstateerd dat plagiaatcheckers gedeeltes van door AI-gegenereerde teksten als plagiaat aan kunnen merken. Dit komt doordat AI-teksten gebruikmaken van bronnen die niet worden geciteerd. Hoewel AI-tools meestal originele zinnen genereren, kunnen AI-teksten ook zinnen bevatten die rechtstreeks uit bestaande teksten zijn gekopieerd, of er in ieder geval sterk op lijken.

Deze aanmerking van plagiaat gebeurt met name bij populaire of algemeen bekende onderwerpen en minder vaak bij meer gespecialiseerde onderwerpen waarover minder is geschreven. Naarmate er meer AI-teksten online verschijnen, kunnen AI-teksten eerder als plagiaat worden aangemerkt, simpelweg omdat er al andere AI-teksten over hetzelfde onderwerp bestaan met vergelijkbare bewoordingen.

Hoewel plagiaatcheckers dus niet ontworpen zijn om als AI-detectoren te fungeren, kunnen ze AI-teksten in veel gevallen toch als gedeeltelijk plagiaat markeren. Maar ze zijn zeker minder effectief in het vinden van AI-teksten dan een AI-detector.

Waarvoor worden AI-detectoren gebruikt?

AI-detectors zijn bedoeld voor iedereen die wil nagaan of een stuk tekst mogelijk door AI is gegenereerd. Potentiële gebruikers zijn onder meer:

• Opleiders (leraren en universitaire docenten) die willen controleren of het werk van hun studenten origineel is;
• Uitgevers die ervoor willen zorgen dat ze alleen door mensen geschreven inhoud publiceren;
• Recruiters die er zeker van willen zijn dat de sollicitatiebrieven van kandidaten van hun eigen hand zijn;
• Contentschrijvers die AI-gegenereerde content willen publiceren, maar bezorgd zijn dat die content lager scoort in zoekmachines als de tekst als AI-tekst wordt aangemerkt;
• Moderatoren van sociale media en andere personen die geautomatiseerde desinformatie bestrijden en door AI-gegenereerde spam en nepnieuws willen herkennen.

Vanwege de bezorgdheid over de betrouwbaarheid van AI (e.g., de betrouwbaarheid van ChatGPT) zijn de meeste gebruikers voorlopig huiverig om volledig op AI-detectoren te vertrouwen, maar ze winnen al aan populariteit.

AI-teksten handmatig detecteren

Naast het gebruik van AI-detectoren kun je ook leren zelf de kenmerken van AI-teksten te herkennen. Het is moeilijk om dat op betrouwbare wijze te doen, want menselijk schrijven lijkt soms robotachtig en AI-writers worden steeds overtuigender, maar je kunt er een goed instinct voor ontwikkelen.

De specifieke criteria die AI-detectoren gebruiken, namelijk lage perplexity en burstiness, zijn vrij technisch, maar je kunt proberen ze te herkennen door naar tekst te zoeken:

• Die monotoon leest, met weinig variatie in zinsopbouw of lengte;
• Met voorspelbare, algemene woordkeuzes en weinig verrassingen.

Je kunt ook benaderingen gebruiken die AI-detectoren niet gebruiken, door te letten op:

• Overdreven beleefd taalgebruik: Chatbots zoals ChatGPT zijn ontworpen om de rol van een behulpzame assistent te spelen, dus hun taal is standaard erg beleefd en formeel.
• Hedging taal: Let op een gebrek aan gedurfde, originele uitspraken en op een neiging tot overmatig gebruik van algemene afdekkingszinnen: “Het is belangrijk op te merken dat …”, “X wordt algemeen beschouwd als …”, “Sommigen zouden kunnen zeggen dat …”.
• Inconsistentie in stem: Als je de gebruikelijke schrijfstijl en stem van de auteur kent (e.g., bij studenten), dan kun je meestal zien wanneer ze iets indienen dat heel anders leest dan hoe ze normaal schrijven.
• Onbewerkte of onjuist geciteerde beweringen: In de context van academisch schrijven is het belangrijk om naar je bronnen te verwijzen. AI-writers hebben de neiging dit niet of onjuist te doen (door niet-bestaande of irrelevante bronnen aanhalen).
• Logische fouten: AI schrijft weliswaar steeds vloeiender, maar de inhoud is niet altijd samenhangend of logisch. Let op punten waar iemand zichzelf tegenspreekt, een ongeloofwaardige bewering doet of onsamenhangende argumenten presenteert.

In het algemeen is het uitproberen van AI-writers, kijken wat voor teksten ze kunnen genereren en wennen aan hun schrijfstijl een goede manier om tekst te herkennen die mogelijk door AI is gegenereerd.

AI-beeld en -videodetectoren

AI-beeld- en videoproducenten zoals DALL-E, Midjourney en Synthesia winnen ook aan populariteit. Het wordt steeds belangrijker AI-beelden en -video’s (ook wel “deepfakes” genoemd) te kunnen detecteren om te voorkomen dat ze worden gebruikt voor het verspreiden van verkeerde informatie.

Vanwege de huidige technologische beperkingen zijn er enkele duidelijke aanwijzingen in veel AI-beelden en -video’s:

• anatomische fouten zoals handen met te veel vingers;
• onnatuurlijke bewegingen;
• opname van onzinnige tekst;
• niet overtuigende gezichten.

Naarmate deze AI-beelden en -video’s geavanceerder worden, kunnen ze moeilijker handmatig worden gedetecteerd en is het nodig om hier tools voor te gebruiken. We hebben de betrouwbaarheid van deze tools nog niet getest.

Andere interessante artikelen

Op zoek naar meer informatie over ChatGPT, AI tools, retoriek en onderzoeksbias? Bekijk onze artikelen met uitleg en voorbeelden!

Veelgestelde vragen over AI-detector

Kan ik ChatGPT mijn paper laten schrijven?

Nee, over het algemeen is het geen goed idee om ChatGPT je paper te laten schrijven. Het wordt beschouwd als plagiaat of academische oneerlijkheid om het werk van iemand anders te presenteren als je eigen werk (zelfs als die “iemand” een AI-taalmodel is). Zelfs als je ChatGPT citeert, is het niet toegestaan, tenzij de AI-richtlijnen van je onderwijsinstelling anders vermelden. Onderwijsinstellingen kunnen AI-detectoren gebruiken om deze regels af te dwingen.

Bovendien laten de beperkingen van ChatGPT dat niet toe en is ChatGPT niet betrouwbaar als bron van informatie. Zo is ChatGPT in staat om bestaande teksten opnieuw te combineren, maar kan de tool niet echt nieuwe kennis genereren. Ook mist de tool specialistische kennis van academische onderwerpen. Daarom is het niet mogelijk om originele onderzoeksresultaten te verkrijgen, en kan de geproduceerde tekst feitelijke fouten bevatten.

Toch kun je ChatGPT meestal nog wel op andere manieren gebruiken voor opdrachten, bijvoorbeeld als bron van inspiratie en feedback voor het schrijven van je essay.

Kan ik ChatGPT gebruiken om bronvermeldingen te genereren?

Nee, het is niet verstandig om bronvermeldingen te generen met ChatGPT. De chatbot is niet ontworpen voor dit doeleinde en heeft de neiging om bronnen te verzinnen die niet bestaan. Ook worden bronnen vaak gepresenteerd in het verkeerde format.

In plaats daarvan kun je beter een tool gebruiken die ervoor ontworpen is, zoals Scribbrs Bronnengenerator.

Je kunt ChatGPT wel op andere manieren gebruiken, bijvoorbeeld ter inspiratie, voor feedback of voor schrijfadvies.

Hoe werkt ChatGPT?

ChatGPT is een chatbot gebaseerd op een large language model (LLM). Deze modellen worden getraind op basis van enorme datasets die bestaan uit honderden miljarden woorden tekst, waardoor het model leert om effectief natuurlijke reacties te voorspellen op de prompts die je invoert.

ChatGPT is daarnaast ook verfijnd via een proces dat reinforcement learning from human feedback (RLHF) heet, waarbij het model wordt “beloond” voor nuttige antwoorden en ongepaste antwoorden worden ontmoedigd, zodat het minder fouten maakt.

In wezen baseert ChatGPT de respons door te voorspellen wat het meest waarschijnlijke antwoord is op basis van de trainingsdata en het beloningssysteem. In feite is ChatGPT dus een extreem geavanceerde versie van een tool die tekst voorspelt. Dit is ook een van de beperkingen van ChatGPT: aangezien de antwoorden gebaseerd zijn op waarschijnlijkheden, zijn ze niet altijd betrouwbaar.

Vertelt ChatGPT de waarheid?

ChatGPT probeert waarheidsgetrouwe antwoorden te geven op alle vragen die je stelt en doet dat meestal goed. De tool liegt nooit met opzet, maar de chat geeft niet altijd betrouwbare of correcte informatie.

Dat komt omdat de antwoorden gebaseerd zijn op patronen die de tool heeft gezien in de teksten waarop de chatbot is getraind. Het antwoord is niet gebaseerd op een database van feiten, maar op patronen, en dit kan leiden tot onbedoelde fouten. Bovendien gaat de informatie waarop ChatGPT is getraind slechts tot 2021, zodat de chatbot vragen over recentere gebeurtenissen niet goed kan beantwoorden.

Hierdoor doet ChatGPT soms zelfverzekerde uitspraken over onderwerpen die de tool eigenlijk niet begrijpt, waardoor de tool in principe “liegt”. Daarom is het belangrijk om alle informatie van ChatGPT te toetsen aan betrouwbare bronnen in plaats van aan te nemen dat de gegenereerde tekst feitelijk correct is.

Is ChatGPT een betrouwbare bron?

Nee, ChatGPT is geen betrouwbare bron voor feitelijke informatie en je kunt beter niet verwijzen naar de tool bij wetenschappelijk onderzoek. Hoewel de chatbot probeert nauwkeurige en correcte antwoorden te geven, zit de tool er vaak naast omdat de antwoorden gebaseerd zijn op patronen in plaats van feiten en data.

De CRAAP-test om de betrouwbaarheid van bronnen te evalueren maakt gebruik van vijf criteria: recentelijkheid, relevantie, autoriteit, accuraatheid en doel. ChatGPT voldoet aan minstens drie daarvan niet:

• Recentelijkheid: De dataset waarop ChatGPT is getraind stopt bij 2021, waardoor de data enigszins verouderd zijn.
• Autoriteit: Het is slechts een taalmodel en daarmee geen betrouwbare bron van feitelijke informatie.
• Accuraatheid: De tool baseert de antwoorden eerder op patronen dan op bewijs en kan geen bronnen citeren ter ondersteuning.

Je kunt ChatGPT dus beter niet aanhalen als betrouwbare bron voor een feitelijke bewering. Je kunt wel naar ChatGPT verwijzen om andere redenen, bijvoorbeeld als je een prompt hebt gebruikt voor je onderzoek.