Is ChatGPT betrouwbaar? | Accuraatheid getest
ChatGPT, het populaire AI-taalmodel, is een indrukwekkend stukje technologie. Als reactie op je input kan de tool onmiddellijk vloeiende, menselijk klinkende antwoorden genereren. Maar hoe correct zijn die antwoorden?
Bij het testen van de tool zijn we tot de conclusie gekomen dat de taalmogelijkheden erg indrukwekkend zijn, maar dat de antwoorden niet altijd correct zijn. Wij adviseren ChatGPT te gebruiken als bron van inspiratie en feedback, maar niet als bron van informatie.
Hieronder leggen we uit wat ChatGPT goed doet en welke dingen de tool vaak fout doet. We onderzoeken ook waarom de antwoorden niet altijd betrouwbaar zijn en kijken naar de beste manieren om de chatbot verantwoord te gebruiken.
Waarvoor kun je ChatGPT goed gebruiken?
ChatGPT is getraind op een enorme hoeveelheid informatie, dus het is waarschijnlijk dat de tool in mindere of meerdere mate kennis heeft van vrijwel alles waarnaar je vraagt. De chatbot kan ook goed voorbeelden bedenken om antwoorden toe te lichten.
ChatGPT: Het Hawthorne-effect is een fenomeen dat optreedt wanneer mensen zich anders gaan gedragen omdat ze weten dat ze worden geobserveerd of deel uitmaken van een studie of experiment. Het werd voor het eerst waargenomen in de jaren 1920 en 1930 tijdens een reeks studies die werden uitgevoerd bij de Western Electric Company in Hawthorne, Illinois.
In deze studies werd onderzocht hoe de werkomstandigheden van fabrieksarbeiders de productiviteit en kwaliteit van hun werk beïnvloeden. Tot de verbazing van de onderzoekers nam de productiviteit van de arbeiders toe, ongeacht de omstandigheden waaronder ze werkten. Zelfs wanneer de omstandigheden slechter werden gemaakt, bleef de productiviteit stijgen.
De onderzoekers realiseerden zich dat de verbetering in productiviteit niet zozeer te wijten was aan de veranderingen in de werkomstandigheden, maar eerder aan het feit dat de arbeiders zich bewust waren van de observatie en aandacht die hen werden gegeven als onderdeel van het onderzoek.
Julia: Kun je een voorbeeld geven van het Hawthorne-effect?
ChatGPT: Ja, natuurlijk! Een voorbeeld van het Hawthorne-effect zou kunnen zijn dat studenten beter presteren op een test wanneer ze weten dat ze worden geobserveerd door hun leraar of docent, zelfs als er geen veranderingen zijn aangebracht in de testomstandigheden. Bijvoorbeeld, als een leraar aankondigt dat er een onaangekondigde quiz zal zijn en dan de klas observeert terwijl de quiz wordt afgenomen, kunnen de studenten hun antwoorden zorgvuldiger overwegen en beter presteren dan wanneer er geen observatie was. Dit komt door het Hawthorne-effect, waarbij de wetenschap van de observatie de prestaties van de studenten beïnvloedt.
Bovendien kan ChatGPT de antwoorden aanpassen aan de behoeften van de gebruiker. Neem het volgende voorbeeld, waar we eerst op een algemene manier naar een onderwerp vragen en vervolgens om een eenvoudigere uitleg vragen.
ChatGPT: De speciale relativiteitstheorie stelt dat de wetten van de natuurkunde hetzelfde zijn voor alle waarnemers die zich met constante snelheid ten opzichte van elkaar bewegen. Dit betekent dat de snelheid van licht altijd dezelfde is, ongeacht de snelheid van de waarnemer. Het gevolg hiervan is dat tijd en afstand relatief worden en afhankelijk zijn van de waarnemer. Bijvoorbeeld, als iemand met bijna de snelheid van het licht reist, lijkt de tijd voor die persoon langzamer te gaan dan voor iemand die stilstaat.
De algemene relativiteitstheorie voegt hieraan toe dat massa de structuur van ruimte en tijd beïnvloedt en zwaartekracht veroorzaakt. Het stelt dat massa de ruimte-tijd vervormt en dat objecten zich in de richting van deze vervormingen bewegen. Dit verklaart bijvoorbeeld waarom planeten om sterren draaien en waarom sterrenstelsels en zwarte gaten zich gedragen zoals ze doen.
In het kort is de relativiteitstheorie een fysische theorie die ons begrip van de structuur van ruimte, tijd en zwaartekracht verandert. Het heeft ons inzicht gegeven in de fundamentele wetten van de natuur en heeft geleid tot de ontwikkeling van nieuwe technologieën zoals GPS en de ontdekking van zwaartekrachtsgolven.
Julia: Ik begrijp de algemene relativiteitstheorie niet. Kun je deze in simpele termen uitleggen?
ChatGPT: Natuurlijk, ik zal proberen de algemene relativiteitstheorie in eenvoudige termen uit te leggen.
De algemene relativiteitstheorie stelt dat zwaartekracht wordt veroorzaakt door de vervorming van ruimte en tijd rond massa. In plaats van dat de zwaartekracht als een mysterieuze kracht tussen objecten werkt, zoals Newton’s zwaartekrachttheorie suggereert, verklaart de algemene relativiteitstheorie dat massa de structuur van de ruimte-tijd zelf beïnvloedt.
Om het wat concreter te maken, stel je voor dat je een bowlingbal op een matras legt. De matras zal door de zware bowlingbal vervormen en de hellingen van de matras zullen het pad van een lichtere bal beïnvloeden die in de buurt van de zware bal rolt. Op dezelfde manier vervormt massa de ruimte-tijd, wat betekent dat objecten in de buurt van massa’s langs gebogen paden bewegen.
Dit verklaart waarom planeten rond sterren draaien en waarom sterrenstelsels en zwarte gaten zich gedragen zoals ze doen. Het verklaart ook waarom de zwaartekracht op verschillende plaatsen op aarde anders is, omdat de massa van de aarde de ruimte-tijd in de buurt ervan vervormt.
Waarvoor kun je ChatGPT beter niet gebruiken?
Hoewel ChatGPT een groot aantal onderwerpen goed kan uitleggen, is het niet verstandig om zomaar te vertrouwen op de antwoorden zonder deze te vergelijken met betrouwbare bronnen. Als je een meer specifieke vraag stelt (die eenvoudig zou zijn voor een mens), gaat het al snel mis.
ChatGPT: Ja, er bestaan enkele zelfstandige naamwoorden in het Engels die eindigen op een enkele “s”. Enkele voorbeelden zijn:
- Glass
- Grass
- Mass
- Bass
- Gas
- Pass
- Class
Hier is het antwoord van de tool duidelijk fout: zes van de zeven voorbeelden die de chatbot geeft eindigen op een dubbele “s”. Toch komt ChatGPT hier net zo zelfverzekerd over als bij een correct antwoord.
In dit geval is het makkelijk om vast te stellen dat het antwoord fout is, maar bij moeilijkere onderwerpen is het misschien niet zo duidelijk. Daarom is het belangrijk om de informatie die ChatGPT geeft te controleren aan de hand van betrouwbare bronnen.
Kan ChatGPT leren van zijn fouten?
ChatGPT zou in staat moeten zijn om te onthouden wat er al is gezegd in de chat en de tool zou ook moeten kunnen reageren op correcties van de gebruiker. De vraag is of de chatbot de feedback daadwerkelijk kan begrijpen en kan toepassen om eerdere fouten te herstellen.
We hebben geprobeerd ChatGPT te corrigeren na het foute antwoord, maar we ontdekten al snel dat de tool toch foute antwoorden bleef geven (ook al accepteerde ChatGPT de feedback). Dit suggereert dat de tool moeite heeft om correcties te begrijpen als de initiële vraag al niet goed begrepen wordt.
ChatGPT: Excuses daarvoor, je hebt gelijk. De meeste woorden die eindigen op “s” in het Engels zijn meervoudsvormen of hebben meervoudige betekenissen. Toch zijn er een paar voorbeelden van enkelvoudige zelfstandige naamwoorden die eindigen op een enkele “s”, waaronder:
- bus
- class
- grass
- glass
- kiss
- witness
Het is belangrijk om op te merken dat deze woorden in sommige gevallen ook als meervoudsvormen kunnen worden gebruikt, zoals “buses” en “classes”. Het is afhankelijk van de context waarin ze worden gebruikt.
Bij een moeilijker grammaticaal onderwerp deed zich hetzelfde probleem voor. ChatGPT kon het eerste probleem waarop wij wezen wel oplossen, maar maakte daarbij een andere fout. Toen wij deze tweede fout corrigeerden, deed de chatbot alsof hij de feedback begreep, maar werd nog steeds geen correct antwoord gegeven.
ChatGPT: Een voorbeeld van een bezittelijk zelfstandig naamwoord dat onafhankelijk wordt gebruikt in plaats van als determinator is “mine”.
In een zin als “This book is mine”, wordt “mine” gebruikt als een bezittelijk voornaamwoord dat het bezit van het boek aangeeft. Maar “mine” kan ook op zichzelf staan als een zelfstandig naamwoord om te verwijzen naar iets dat van de spreker is, bijvoorbeeld: “Whose book is this?” “It’s mine.”
Een ander voorbeeld van een bezittelijk zelfstandig naamwoord is “yours”, dat kan worden gebruikt in zinnen zoals “The blue car is yours” of als een onafhankelijk zelfstandig naamwoord zoals in “Is this book yours?” “Yes, it’s mine.”
Julia: “Mine” is een voornaamwoord, geen zelfstandig naamwoord.
ChatGPT: Je hebt helemaal gelijk, excuses voor de verwarring. “Mine” is inderdaad een voornaamwoord en geen zelfstandig naamwoord. Het spijt me voor mijn fout. Hier is een voorbeeld van een bezittelijk zelfstandig naamwoord dat onafhankelijk wordt gebruikt: “Mark’s car is brand new.” In deze zin is “Mark’s” een bezittelijk zelfstandig naamwoord dat bezit aangeeft en het woord wordt niet gebruikt als een determinator voor een zelfstandig naamwoord. In plaats daarvan wordt het gebruikt om de relatie tussen het zelfstandig naamwoord “car” en de persoon “Mark” te laten zien.
Julia: In dat voorbeeld wordt “Mark’s” gebruikt als determinator bij het zelfstandig naamwoord “car”.
ChatGPT: Je hebt gelijk, mijn excuses voor de verwarring en de foutieve informatie in mijn vorige antwoord. “Mark’s” fungeert inderdaad als een determinator in die zin en wordt niet onafhankelijk gebruikt.
Op de lange termijn zal ChatGPT waarschijnlijk leren van sommige fouten, omdat de tool voor toekomstige updates verder zal worden getraind op de gesprekken die nu met gebruikers worden gevoerd. In de context van een individuele chat lijkt het vermogen van de tool om feedback te begrijpen en vast te houden beperkt.
Waarom maakt ChatGPT fouten?
ChatGPT is een AI-taalmodel. De tool dient vloeiende en overtuigende antwoorden te geven op de input. De chatbot is getraind op veel tekst uit de meest uiteenlopende bronnen, waardoor ChatGPT allerlei onderwerpen kan bespreken. De antwoorden worden echter niet gegenereerd door informatie op te zoeken in een database. ChatGPT baseert zich op patronen die in de training aan bod zijn gekomen.
Stel dat je de tool vraagt om uit te leggen wat confirmation bias is. In dat geval zal ChatGPT niet denken “Wat weet ik over confirmation bias?”, maar denkt de tool eerder “Hoe ziet een uitleg over confirmation bias er meestal uit?” De antwoorden zijn meer gebaseerd op patronen dan op feiten, en de tool kan meestal geen bron noemen voor het gegeven antwoord.
Als je een ongebruikelijke vraag stelt, wordt deze beperking meteen duidelijk. Stel dat je vraagt of Frankrijk de hoofdstad van Parijs is. Een mens zou direct weten dat Parijs juist de hoofdstad van Frankrijk is, maar ChatGPT raakt in de war.
ChatGPT: Nee, Parijs is niet de hoofdstad van Frankrijk. Parijs is een stad in Frankrijk en de hoofdstad van Frankrijk is Parijs.
ChatGPT liegt niet met opzet, maar heeft ook geen goed begrip van wat goed en fout is. In dit geval begrijpt ChatGPT de vraag niet (omdat de vraag vreemd is) en spreekt de tool zichzelf tegen.
ChatGPT geeft meestal correcte antwoorden op vragen over algemene onderwerpen, maar kan dus gemakkelijk een fout antwoord geven of dingen verzinnen (ook wel hallucineren genoemd door de ontwikkelaars). Dit komt voornamelijk voor bij specifieke onderwerpen of vreemd geformuleerde vragen.
Hoe gebruik je ChatGPT op een effectieve manier?
Hoewel ChatGPT gepaard gaat met beperkingen, is het een fascinerende en nuttige tool. Je kunt ChatGPT gebruiken voor je schoolopdrachten en bij academisch schrijven, maar het is belangrijk dat je dit op een verantwoorde, effectieve en efficiënte manier doet.
Je kunt:
- ChatGPT vragen om algemene onderwerpen uit te leggen;
- ChatGPT gebruiken om te brainstormen of ideeën te verkennen voor onderzoeksvragen;
- ChatGPT vragen om feedback te geven op je tekst.
Je kunt niet:
- Vertrouwen op informatie van ChatGPT zonder betrouwbare bronnen te raadplegen ter controle;
- Verwijzen naar ChatGPT als bron van feitelijke informatie;
- Vragen aan ChatGPT om je opdrachten te maken (dit valt onder plagiaat).
Andere interessante artikelen
Op zoek naar meer informatie over ChatGPT, AI tools, retoriek en onderzoeksbias? Bekijk onze artikelen met uitleg en voorbeelden!
Veelgestelde vragen over ChatGPT
- Is ChatGPT een betrouwbare bron?
-
Nee, ChatGPT is geen betrouwbare bron voor feitelijke informatie en je kunt beter niet verwijzen naar de tool bij wetenschappelijk onderzoek. Hoewel de chatbot probeert nauwkeurige en correcte antwoorden te geven, zit de tool er vaak naast omdat de antwoorden gebaseerd zijn op patronen in plaats van feiten en data.
De CRAAP-test om de betrouwbaarheid van bronnen te evalueren maakt gebruik van vijf criteria: recentelijkheid, relevantie, autoriteit, accuraatheid en doel. ChatGPT voldoet aan minstens drie daarvan niet:
- Recentelijkheid: De dataset waarop ChatGPT is getraind stopt bij 2021, waardoor de data enigszins verouderd zijn.
- Autoriteit: Het is slechts een taalmodel en daarmee geen betrouwbare bron van feitelijke informatie.
- Accuraatheid: De tool baseert de antwoorden eerder op patronen dan op bewijs en kan geen bronnen citeren ter ondersteuning.
Je kunt ChatGPT dus beter niet aanhalen als betrouwbare bron voor een feitelijke bewering. Je kunt wel naar ChatGPT verwijzen om andere redenen, bijvoorbeeld als je een prompt hebt gebruikt voor je onderzoek.
- Waar haalt ChatGPT informatie vandaan?
-
ChatGPT is een AI-taalmodel dat werd getraind op een grote hoeveelheid tekst uit verschillende bronnen (bv. Wikipedia, boeken, nieuwsartikelen, wetenschappelijke tijdschriften). De dataset had informatie over gebeurtenissen tot 2021, wat betekent dat informatie over recentere gebeurtenissen ontbreekt.
Het is belangrijk om te begrijpen dat ChatGPT geen toegang heeft tot een database met feiten om je vragen te beantwoorden. In plaats daarvan zijn de antwoorden gebaseerd op patronen die de tool ontdekte in de trainingsgegevens.
ChatGPT is dus niet altijd betrouwbaar. De chatbot kan algemene kennisvragen meestal accuraat beantwoorden, maar kan ook gemakkelijk misleidende antwoorden geven op meer gespecialiseerde onderwerpen.
Een ander gevolg van deze manier van antwoorden genereren is dat ChatGPT gebruikte bronnen meestal niet nauwkeurig kan citeren. De tool weet niet echt op welke bron een specifieke bewering gebaseerd is. Het is het beste om alle informatie die de tool geeft te controleren met betrouwbare bronnen.
- Kan ik ChatGPT gebruiken om bronvermeldingen te genereren?
-
Nee, het is niet verstandig om bronvermeldingen te generen met ChatGPT. De chatbot is niet ontworpen voor dit doeleinde en heeft de neiging om bronnen te verzinnen die niet bestaan. Ook worden bronnen vaak gepresenteerd in het verkeerde format.
In plaats daarvan kun je beter een tool gebruiken die ervoor ontworpen is, zoals Scribbrs Bronnengenerator.
Je kunt ChatGPT wel op andere manieren gebruiken, bijvoorbeeld ter inspiratie, voor feedback of voor schrijfadvies.
Citeer dit Scribbr-artikel
Als je naar deze bron wilt verwijzen, kun je de bronvermelding kopiëren of op “Citeer dit Scribbr-artikel” klikken om de bronvermelding automatisch toe te voegen aan onze gratis Bronnengenerator.
Merkus, J. (2023, 10 mei). Is ChatGPT betrouwbaar? | Accuraatheid getest. Scribbr. Geraadpleegd op 9 december 2024, van https://www.scribbr.nl/ai-tools-gebruiken/chatgpt-betrouwbaar/
