Betrouwbaarheid in je scriptie

Gepubliceerd op door Laatste update op: 21 maart 2017

Betrouwbaarheid is de mate waarin een meting vrij is van willekeurige meetfouten (random error).

Willekeurige fouten worden ook wel toevallige fouten genoemd. Hoe groter de kans is dat de resultaten uit je onderzoek op toeval berusten hoe lager de betrouwbaarheid.

Bij betrouwbaarheid stel je jezelf de vraag: Zou je, als je onder dezelfde condities nog een keer het onderzoek uitvoert, dezelfde resultaten krijgen? Als het antwoord op deze vraag ja is, dan is er geen sprake van toeval en is je onderzoek betrouwbaar.

Voorbeeld van toeval

Barcelona won in een bizarre wedstrijd op 8 maart 2017 met 6-1 van Paris Saint-Germain. Niemand had dit voor mogelijk gehouden.

Iedereen is het erover eens dat als deze wedstrijd nog een keer gespeeld zou worden deze einduitslag niet op het scorebord zou verschijnen. Het was toeval dat net deze avond alles voor Barcelona meezat. De scheidsrechter werkte aardig mee, Barcelona scoorde een heel vroeg doelpunt etc.

Het is duidelijk je niet kunt zeggen dat bij alle toekomstige wedstrijden die onder dezelfde condities worden gespeeld dezelfde uitslag zich zou voordoen. Het resultaat van deze wedstrijd is geen betrouwbare graadmeter voor toekomstige wedstrijden.

In dit voorbeeld over toeval is het meteen duidelijk dat een voetbaluitslag niet betrouwbaar is. Bij het doen van onderzoek voor je scriptie is die betrouwbaarheid vaak moeilijker om aan te tonen.

Voorbeeld betrouwbaarheid

Je doet een onderzoek naar de sociale vaardigheden van kinderen tussen de 4 en 6 jaar. Daarvoor maak je gebruik van observaties. Door tijdsgebrek heb je echter maar weinig observaties kunnen doen.Van tevoren weet je eigenlijk al dat het onderzoek niet heel betrouwbaar is. Dit komt omdat toeval een te grote invloed heeft op het resultaat. De kans is groot dat je wanneer je nog een paar observaties doet andere uitkomsten zal krijgen. Het kan toeval zijn dat de paar observaties die je hebt gedaan bepaalde resultaten laten zien.

Je kunt dit voorkomen door een grotere steekproef te nemen. Dan stabiliseert het resultaat en ga je de grote lijn zien. Pas bij een zeer groot aantal observaties zijn de resultaten generaliseerbaar naar een grotere groep.

Voorbeelden van toevallige fouten (willekeurige fouten)

Voorbeelden van toevallige fouten die de betrouwbaarheid aantasten:

  • De respondent weet het antwoord niet op de vraag en vult maar wat in.
  • De respondent heeft bij het invullen van de vragenlijst last van harde muziek.
  • De respondent zet per ongeluk een kruisje bij een verkeerd antwoord.
  • De onderzoekers gebruiken per ongeluk niet hetzelfde observatieformulier.
  • De onderzoekers interpreteren een begrip anders.
  • Bij het invoeren van de gegevens maakt de onderzoeker een fout.

De vormen van betrouwbaarheid in je scriptie

Kijkend naarVorm van betrouwbaarheidBetekenisPaar kenmerken
Resultaten = externe betrouwbaarheidherhaalbaarheidde mate waarin eenzelfde meting dezelfde resultaten oplevertbetrouwbaarheid in zijn algemeenheid (Baarda, de Goede & Theunissen, 2005)
Opzet en uitvoering = interne betrouwbaarheidinterne consistentie of inter-item betrouwbaarheidsamenhang tussen items die tot dezelfde ‘schaal’ behorenbetreft de opzet; samenhang binnen een set vragen
intrabeoordelaarsbetrouwbaarheidovereenkomst tussen de uitkomsten van dezelfde metingen, uitgevoerd door dezelfde beoordelaarbetreft de afname; invloed van de onderzoeker
interbeoordelaarsbetrouwbaarheidovereenkomst tussen de uitkomsten van dezelfde metingen bij meerdere beoordelaarsbetreft de afname; invloed van de onderzoeker

Bij kwantitatief onderzoek heb je altijd de mogelijkheid om de betrouwbaarheid met statistische toetsen te controleren. Bij kwalitatief onderzoek zal je dit moeten beargumenteren.

Herhaalbaarheid

De belangrijkste toetssteen voor betrouwbaarheid is dat bij hermeting (ongeveer) hetzelfde resultaat wordt opgetekend.

In de onderzoekswereld komen daarbij de volgende begrippen voor:

  • Test-hertest-betrouwbaarheid: Meerdere keren doe je dezelfde meting en meet je de consistentie van deze metingen door de tijd heen (de mate van overeenstemming).
  • Paralleltest betrouwbaarheid: Je doet een tweede meting met een parallel instrument om overeenstemming bekijken.
  • Replicatie: Je herhaalt simpelweg het hele onderzoek om de overeenstemming te bekijken.
  • Audit trail: Dit is een procedure om een eventuele herhaalbaarheid van kwalitatief onderzoek te garanderen. Alles wat zich gedurende het onderzoek heeft afgespeeld dient op zo’n manier gedocumenteerd te worden dat voor derden inzichtelijk (te maken) is op welke wijze de onderzoeksgegevens verkregen zijn. Ook het primaire onderzoeksmateriaal, zoals interviewtranscripten en observatieprotocollen, stel je voor derden beschikbaar.*

* Bron: Baarda, B.D., de Goede, M.P.M. & Teunissen, J. (2005). Basisboek kwalitatief onderzoek. Houten/ Groningen: Noordhoff Uitgevers.

Alles vastleggen – de Audit trail -> logboek

In je scriptie heb je vaak niet de tijd om het onderzoek meerdere keren uit te voeren en hiermee de herhaalbaarheid aan te tonen. Daarom zal je een ‘Audit trail’ moet maken.

De ‘Audit trail’ wordt ook wel het logboek genoemd. Alles wat je hebt gedaan gedurende het onderzoek leg je vast in dit logboek. Zo maak je inzichtelijk op welke wijze je de onderzoeksgegevens hebt verkregen.

Ook het primaire onderzoeksmateriaal, zoals bijvoorbeeld de transcripten van je interviews stel je beschikbaar voor derden. Je kunt alle documentatie in de bijlagen van je scriptie opnemen. Zo maak je je onderzoek herhaalbaar en navolgbaar.

Interne consistentie

Interne consistentie is de mate van samenhang (homogeniteit) tussen meerdere vragen/items die jij gebruikt om een iets te meten.

Zo stel je bijvoorbeeld in een vragenlijst een aantal vragen om de klanttevredenheid te bepalen. Deze vragen moeten goed bij elkaar passen om er zeker van te zijn dat je met deze vragen wel het overkoepelende begrip klanttevredenheid kunt meten.

Voorbeeld interne consistentie

Je wilt de klanttevredenheid van de bezoekers van de Hema achterhalen. Hiervoor maak je een vragenlijst. Je hebt 5 vragen opgesteld met een schaal van 1 tot 10.

Voorbeelden van vragen zijn: “Hoe waardeer je de behulpzaamheid van het personeel in deze Hema-vestiging?”, en “Hoe waardeer je de klachtafhandeling van de Hema-vestiging?”.

Om de klanttevredenheid aan te tonen, wil je graag het gemiddelde van deze 5 vragen gebruiken als ‘eindcijfer’. Voordat je dit kunt doen, moet je eerst weten of de vragen samen goed met elkaar overeenkomen en ongeveer hetzelfde meten (in dit voorbeeld klanttevredenheid).

Je kunt dit aantonen door de correlatie tussen de 5 vragen uit te rekenen. Met andere woorden, liggen de scores van de 5 afzonderlijke vragen bij elkaar in de buurt? Is er homogeniteit tussen de set van vragen?

Stel, een respondent geeft een 7 op de vraag over de behulpzaamheid van het personeel maar een 1 op de vraag over de klachtafhandeling. Dan bestaat nu al het vermoeden dat de homogeniteit tussen de vragen niet groot is. Je zou namelijk verwachten dat beide scores dichter bij elkaar zouden liggen. Scoren de afzonderlijke vragen allemaal ongeveer hetzelfde, dan is de samenhang juist wel groot.

Statistiek en interne consistentie

Het is lastig om door te beredeneren aan te tonen dat er sprake is van interne consistentie. Dit kun je veel beter door middel van een statistische toets doen.

Deze statistische toets noem je een associatiemaat. Met de associatiemaat kun je de samenhang tussen vragen meten. Een voorbeeld van zo’n associatiemaat is Cronbach’s alpha.

Intrabeoordelaarsbetrouwbaarheid

Intrabeoordelaarsbetrouwbaarheid geeft de overeenkomst weer tussen de uitkomsten van dezelfde metingen die dezelfde onderzoeker heeft gedaan.

Als jij 10 interviews houdt onder dezelfde steekproef en onder dezelfde omstandigheden dan zouden er veel overeenkomsten moeten zitten tussen de interviews. Als er omstandigheden zich voordoen waardoor je de interviews minder goed met elkaar kunt vergelijken wordt de intrabeoordelaarsbetrouwbaarheid lager.

Voorbeeld intrabeoordelaarsbetrouwbaarheid

Je maakt gebruik van een kwalitatief interview om achter de oorzaken van werkdruk te komen.

Bij een interview was je erg gehaast omdat je maar net op tijd was voor de afspraak. Hierdoor is de kans groot dat je dit interview hebt afgeraffeld en dat je daardoor de vragen net iets anders hebt gesteld dan bij de overige interviews.

Dit maakt dat je dit gehaaste interview niet goed kunt vergelijken met de rest van de interviews.  De intrabeoordelaarsbetrouwbaarheid is laag en dit maakt dat je onderzoek minder betrouwbaar is.

Statistiek en intrabeoordelaarsbetrouwbaarheid

De intrabeoordelaarsbetrouwbaarheid kan uitgedrukt worden in Cohen’s Kappa of ICC-waarde en bereken je bijvoorbeeld met behulp van SPSS. Tijdens de analyse van de data die je hebt verkregen kun je hiermee controleren of de resultaten betrouwbaar zijn.

Je kunt ook zonder statistiek de intrabeoordelaarsbetrouwbaarheid beoordelen. In het voorbeeld komt aan bod dat je erg gehaast was tijdens het houden van het interview. Van dit interview zou je dus zelf al, zonder gebruik te maken van statistiek, kunnen zeggen dat de data niet heel betrouwbaar is. Een oplossing hiervoor is het gehaaste interview niet mee te nemen in de resultaten van je onderzoek.

Interbeoordelaarsbetrouwbaarheid

Interbeoordelaarsbetrouwbaarheid is de mate van overeenkomst tussen de uitkomsten van een meting die door meerdere onderzoekers is uitgevoerd.

Als jij in een onderzoek met meerdere onderzoekers werkt dan moet je ervoor zorgen dat verschillende onderzoekers zoveel mogelijk dezelfde resultaten kunnen verkrijgen. De resultaten moeten dus zo onafhankelijk mogelijk zijn van de onderzoeker. Dit wordt het beste duidelijk met het voorbeeld.

Voorbeeld interbeoordelaarsbetrouwbaarheid

Je schrijft je scriptie samen met een studiegenoot. Jullie maken gebruik van observaties om sociale vaardigheden te meten. Hierbij doen jullie allebei de helft van de observaties.

Achteraf blijkt dat jij meer op verbaal gedrag hebt gelet, terwijl je studiegenoot meer op non-verbaal gedrag heeft gefocust. De resultaten zijn daardoor onbetrouwbaar geworden.

Statistiek en intrabeoordelaarsbetrouwbaarheid

De interbeoordelaarsbetrouwbaarheid kan uitgedrukt worden in Cohen’s Kappa of ICC-waarde.

Betrouwbaarheid per onderzoeksmethode

Wat vind jij van dit artikel? (je stem is anoniem)
Bezig met het verwerken van je stem...
Je stem is doorgevoerd :-)
Je hebt al gestemd op dit artikel. Bedankt :-)
6 lezers vinden dit artikel handig. 8 stemmen in totaal.

Geen taalfouten en pijnlijke missers in je scriptie?

Schakel snel een professionele editor van Scribbr in.
Meer info & prijzen » Trustpilot score van 9.7
Scribbr prof

Geschreven door Bas Swaen

Bas is mede-oprichter van Scribbr. Bas komt uit een echt onderwijsgezin en is een ervaren scriptieschrijver. Met heldere uitleg over moeilijke materie probeert Bas studenten op weg te helpen.

4 reacties

  1. Dennis:

    Beste Bas,

    Ik heb een vraag mbt mijn scriptie en onderzoek. De marketingdoelstelling van mijn bedrijf waar ik stage loop is door middel van communicatie de dienst van het bedrijf te positioneren bij een nieuwe doelgroep (consumenten) om het klantenbestand te verhogen. Nu heeft het bedrijf zelf B2B bestaande klanten en willen ze de B2C markt op en consumenten tot de nieuwe klanten hebben. Is een klantentevredenheidsonderzoek nuttig in dit geval en waarom wel of waarom niet? Verdere tips altijd welkom. Bedankt!

    Gr Dennis

    • Maud:

      Hoi Dennis,

      Als ik jouw vraag zo lees, lijkt een klantentevredenheidsonderzoek mij niet de beste benadering. Je wil namelijk een nieuwe doelgroep aan gaan spreken die nog geen ervaring met de dienst/het product heeft. Een klanttevredenheidsonderzoek zal jou derhalve niet de gewenste informatie geven. Ik zou eerder onderzoek gaan doen naar de behoeften van die potentiële doelgroep. Zouden zij deze dienst willen gebruiken? Waarom wel of waarom niet? Welke dingen moet de dienst bieden om deze klant aan te spreken? Dat soort kwalitatieve vragen zal eerder antwoord geven op welke B2C klanten je wil gaan benaderen en op welke manier je dit het beste kan doen.

      Ik hoop hiermee jouw vraag te hebben beantwoord.

      Groetjes,

      Maud

  2. Dennis:

    Hoi Maud,
    Bedankt voor je antwoord. Kan ik in een enquête dit te weten komen met open vragen en gesloten vragen en daarbij in die enquête ook gelijk de doelgroep segmenteren? Ik wil dan een hoge respons en betrouwbaarheid voor het onderzoek, dus veel mensen het laten invullen. Intern ga ik al interviews afnemen aangezien het een positioneringsvraagstuk betreft en ik de inside (organisatie) out (doelgroep en concurrenten) in die volgorde analyseer. Is dat te verdedigen en uit te voeren?
    Groetjes,
    Dennis

    • Maud:

      Hoi Dennis,

      Dat kan zeker. Je moet zelf even nagaan of je liever open of gesloten vragen stelt of een combinatie hiervan. Die hangt namelijk af van hoe jij de enquête wil verwerken. Ga jij de resultaten van de enquête bijvoorbeeld aan de hand van SPSS analyseren, dan is het handiger om met een likert-scale en gesloten vragen te werken. Benader jij de resultaten van de enquête puur uit een kwalitatieve hoek, dan geven open vragen jou meer inzicht dan gesloten vragen. Betrouwbaarheid creëer jij met zo’n enquête inderdaad door respondenten random te selecteren (om biased results te voorkomen) en hoe meer respondenten hoe beter. Probeer zoveel mogelijk respondenten te krijgen met verschillende achtergronden, verschillende inkomensgroepen, verschillende leeftijdsgroepen, etc.

      Groetjes,

      Maud

Reageer