Betrouwbaarheid in je scriptie

Betrouwbaarheid heeft betrekking op de mate waarin een meting in je scriptie vrij is van fouten, op consistente wijze iets meet, en daarmee herhaalbaar is. Je kunt voor een hoge betrouwbaarheid zorgen door willekeurige meetfouten (random errors) te voorkomen.

Drie belangrijke vormen van betrouwbaarheid zijn:

  1. Herhaalbaarheid
  2. Interne consistentie
  3. Gelijkwaardigheid: 

Willekeurige fouten (random errors) voorkomen

Willekeurige fouten worden ook wel toevallige fouten genoemd. Des te groter de kans is dat de resultaten uit je onderzoek op toeval berusten, des te lager de betrouwbaarheid van je onderzoek is.

Deze toevallige fouten kun je voorkomen door op een zorgvuldige en consistente wijze te werken en door ervoor te zorgen dat je steekproef groot genoeg is.

Voorbeelden: Toevallige fouten voorkomen
  1. De respondent weet het antwoord op de vraag niet of begrijpt deze verkeerd en vult maar wat in.
    • Voorkom dit door je respondenten zorgvuldig te selecteren, ze voorafgaand aan het onderzoek van basisinformatie te voorzien en door meerdere vragen te stellen om hetzelfde te meten, zodat je kunt controleren of de respondent de vraag heeft begrepen. Ook kun je van tevoren een pilot uitvoeren, waarbij studiegenoten of je begeleider de vragenlijst controleren op onduidelijkheden, zodat je deze nog voor het echte onderzoek kunt verbeteren.
  1. De respondent heeft bij het invullen van de vragenlijst last van harde muziek.
    • Voorkom dit door je vragenlijst bij alle respondenten in eenzelfde (rustige) omgeving af te nemen en bijvoorbeeld ook op hetzelfde tijdstip.
  1. De respondent zet per ongeluk een kruisje bij een verkeerd antwoord.
    • Je kunt niet voorkomen dat respondenten soms foutjes maken, maar je kunt wel voorkomen dat deze impact hebben op je resultaten door ervoor te zorgen dat je steekproef groot genoeg is.
  1. De onderzoekers gebruiken per ongeluk niet hetzelfde observatieformulier.
  1. De onderzoekers interpreteren een begrip anders.
  1. Bij het invoeren van de gegevens maakt de onderzoeker een fout.
    • Voorkom dergelijke fouten door zorgvuldig te werk te gaan en te werken met handige tools als Excel of SPSS. Controleer je dataset na afloop of laat deze controleren door iemand anders.

Herhaalbaarheid waarborgen

Je kunt controleren of een onderzoek betrouwbaar is door het onderzoek te repliceren en te kijken of je bij deze hermeting (ongeveer) hetzelfde resultaat vindt. De kans op gelijke resultaten kun je vergroten door fouten te voorkomen en een van de volgende handelingen uit te voeren:

  • Test-hertest: Voer dezelfde meting meerdere keren uit en meet de consistentie van deze metingen door de tijd heen (de mate van overeenstemming).
  • Paralleltest: Je doet een tweede meting met een parallel instrument om de overeenstemming te bekijken.
  • Replicatie: Je herhaalt simpelweg het hele onderzoek om de mate van overeenstemming te bepalen.

Herhaalbaarheid van kwalitatief onderzoek waarborgen met je logboek

Als je een kwalitatief onderzoek uitvoert, waarborg je de herhaalbaarheid door tijdens je onderzoek een logboek bij te houden waarin je vermeldt hoe het onderzoek verloopt. Dit heet een audit trail.

Deze audit trail komt voornamelijk van pas bij een scriptie, omdat je vaak niet de tijd hebt om het onderzoek meerdere keren uit te voeren en hiermee de herhaalbaarheid aan te tonen. In de audit trail, oftewel je logboek, leg je daarom alles vast wat je hebt gedaan tijdens het onderzoek. Zo maak je inzichtelijk op welke wijze je de onderzoeksgegevens hebt verkregen.

Ook het primaire onderzoeksmateriaal, zoals bijvoorbeeld de transcripten van je interviews, stel je beschikbaar voor derden mits je hier toestemming voor hebt gevraagd aan de participanten. Je kunt alle documentatie in de bijlagen van je scriptie opnemen. Zo maak je je onderzoek herhaalbaar en navolgbaar.

Lees waarom zo veel studenten Scribbr inschakelen

Ontdek nakijken op taal

Interne consistentie garanderen

Interne consistentie heeft betrekking op de mate van samenhang (homogeniteit) tussen meerdere vragen of items die je gebruikt om hetzelfde te meten. Je kunt de interne consistentie waarborgen door ervoor te zorgen dat je scriptie een hoge validiteit heeft. Je berekent de correlaties tussen vragen die hetzelfde meten, om te bepalen of de antwoorden op deze vragen samenhangen.

Een respondent zal op twee (of meer) vragen die hetzelfde meten en voldoende met elkaar samenhangen ongeveer dezelfde antwoorden geven. Is dit niet zo? Dan hangen de vragen waarschijnlijk onvoldoende met elkaar samen en is je meting niet betrouwbaar. Het kan ook voorkomen dat je participant een van de vragen niet heeft begrepen of zomaar wat heeft ingevuld.

Je kunt dan het beste de interne consistentie bepalen met behulp van een statistische toets, oftewel een associatiemaat. Hiermee kun je de samenhang tussen vragen meten. Een voorbeeld van zo’n associatiemaat is Cronbach’s alpha.

Voorbeeld: Interne consistentie
Onderzoek naar: de klanttevredenheid van de bezoekers van de Hema met behulp van een vragenlijst.
Vragen/items: 5 vragen met een 10-puntsschaal.
Voorbeelden van vragen: Hoe waardeer je de behulpzaamheid van het personeel in deze Hema-vestiging?”, en “Hoe waardeer je de klachtafhandeling van de Hema-vestiging?”

Aanpak: Om de klanttevredenheid te onderzoeken, wil je het gemiddelde van deze 5 vragen gebruiken als eindcijfer. Voordat je dit kunt doen, moet je eerst weten of de vragen goed met elkaar samenhangen en of deze vragen allemaal hetzelfde construct (de klanttevredenheid) meten.

Je kunt dit aantonen door de correlatie tussen de 5 vragen uit te rekenen. Met andere woorden: liggen de scores van de 5 afzonderlijke vragen bij elkaar in de buurt? Is er homogeniteit tussen de set van vragen? Ook kun je hiervoor de Cronbach’s alpha berekenen.

Gelijkwaardigheid: inter-/intrabeoordelaarsbetrouwbaarheid

Voor ieder betrouwbaar onderzoek is het van belang dat de manier waarop het onderzoek wordt afgenomen en de wijze waarop de resultaten worden verwerkt steeds hetzelfde zijn. Deze twee aspecten zijn van belang als één onderzoeker de meting uitvoert, maar ook als meerdere onderzoekers dit doen.

De invloed van de onderzoekers op de resultaten moet dus zo klein mogelijk zijn. Hiernaar kun je streven door:

  • Dezelfde methode, vragenlijst of meting te gebruiken;
  • De methode, vragenlijst of meting op dezelfde manier te gebruiken;
  • Te zorgen voor soortgelijke omstandigheden bij alle metingen;
  • Resultaten telkens op dezelfde manier te beoordelen.

Intrabeoordelaarsbetrouwbaarheid

De intrabeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van dezelfde metingen door dezelfde onderzoeker.

Als je 10 interviews afneemt bij dezelfde steekproef en onder dezelfde omstandigheden, dan zouden er veel overeenkomsten moeten zijn tussen de interviews. Als de interviews van elkaar verschillen, waardoor je ze niet goed met elkaar kunt vergelijken, neemt de intrabeoordelaarsbetrouwbaarheid af.

Voorbeeld: Intrabeoordelaarsbetrouwbaarheid bepalen
De intrabeoordelaarsbetrouwbaarheid kan worden uitgedrukt in Cohen’s kappa of de ICC-waarde. Die bereken je bijvoorbeeld met behulp van SPSS. Tijdens de data-analyse kun je hiermee controleren of de resultaten betrouwbaar zijn.

Je kunt ook zonder statistiek de intrabeoordelaarsbetrouwbaarheid beoordelen. Stel dat er tijdens 1 van de 20 interviews veel onverwachte geluidsoverlast was, waardoor de respondent zich niet kon concentreren, dan kun je beredeneren dat de uitkomsten van dit interview niet heel betrouwbaar zijn. In dit geval kun je beslissen dit interview niet mee te nemen in je resultaten.

Interbeoordelaarsbetrouwbaarheid

De interbeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van een meting die door meerdere onderzoekers is uitgevoerd.

Als je met meerdere onderzoekers aan een onderzoek werkt, dan moet je ervoor zorgen dat verschillende onderzoekers zoveel mogelijk dezelfde resultaten kunnen verkrijgen. Hierbij moet je erop letten dat je het onderzoek op dezelfde manier afneemt en dat je op dezelfde punten focust. Maak daarom goede afspraken met je medeonderzoekers en stel een protocol op.

Voorbeeld: Interbeoordelaarsbetrouwbaarheid bepalen
De interbeoordelaarsbetrouwbaarheid kan – net als de intrabeoordelaarsbetrouwbaarheid – worden uitgedrukt in Cohen’s kappa of de ICC-waarde.

Betrouwbaarheid beargumenteren in je scriptie

Je beschrijft hoe je betrouwbaarheid van je onderzoek hebt gewaarborgd, net zoals je aangeeft hoe je voor een hoge validiteit hebt gezorgd. In de meeste gevallen ga je in op je keuzes in de methodologie, maar ook in de discussie van je onderzoek. Zo geef je bijvoorbeeld aan of er beperkingen waren, waardoor de validiteit en betrouwbaarheid van je onderzoek mogelijk toch lager zijn dan aanvankelijk gedacht werd.

Verschil in argumentatie tussen kwantitatief en kwalitatief onderzoek

Bij kwantitatief onderzoek kun je de betrouwbaarheid aantonen met behulp van statistische toetsen, zoals Cronbach’s alpha en Cohen’s kappa. Bovendien kun je zorgen voor een betrouwbaar onderzoek door een representatieve steekproef samen te stellen.

Bij kwalitatief onderzoek kun je de betrouwbaarheid van je onderzoek enkel beargumenteren. Hierbij beroep je je vaak op je logboek.

Betrouwbaarheid per onderzoeksmethode

Wat vind jij van dit artikel?
Bas Swaen

Bas is mede-oprichter van Scribbr. Bas komt uit een echt onderwijsgezin en is een ervaren scriptieschrijver. Met heldere uitleg over moeilijke materie probeert Bas studenten op weg te helpen.

1 reactie

Bas Swaen
Bas Swaen (Scribbr Team)
23 november 2016 om 17:55

Bedankt voor het lezen! Ik hoop dat je er iets aan hebt gehad. Is er nog iets onduidelijk of ontbreekt er iets aan het artikel? Laat een opmerking achter, dan zal ik proberen je te antwoorden.

Is er iets nog niet helemaal duidelijk of ontbreekt er wat? Laat een opmerking achter.

Please click the checkbox on the left to verify that you are a not a bot.