De kwaliteit van een onderzoek beoordelen | Uitleg & voorbeelden

Onderzoekers beoordelen de kwaliteit van een onderzoek altijd op basis van de validiteit, betrouwbaarheid, bruikbaarheid, onafhankelijkheid, generaliseerbaarheid, representativiteit, toetsbaarheid en informativiteit (repliceerbaarheid en reproduceerbaarheid)

Hoe beter je al deze aspecten op orde hebt, hoe hoger de kwaliteit van je onderzoek (en dus scriptie) zal zijn.

Validiteit

Als onderzoeker wil je er zeker van zijn dat je precies hebt gemeten wat je wilde gaan meten. Met andere woorden: je moet ervoor zorgen dat er geen systematische fouten zijn gemaakt bij het onderzoek in je scriptie.

Een voorbeeld van een systematische fout is een sociaal wenselijk antwoord. Dit betekent dat de respondent bewust of onbewust een verkeerd antwoord geeft op jouw vraag, bijvoorbeeld omdat het om een gevoelig onderwerp gaat of omdat er andere mensen bij het interview aanwezig zijn. Dit veroorzaakt zogenaamde systematische vertekening van je resultaten.

Door de validiteit te controleren, kijk je dus eigenlijk naar de echtheid of het waarheidsgehalte van het onderzoek en naar de mate waarin je de resultaten kunt generaliseren.

Betrouwbaarheid

Door de betrouwbaarheid vast te stellen, ga je na hoeveel toevallige fouten voorkomen in het onderzoek van je scriptie. Deze fouten worden willekeurige meetfouten genoemd.

Bij toevallige fouten kun je denken aan:

  • Per ongeluk het verkeerde antwoord aankruisen.
  • Een fout maken bij het invoeren van de gegevens.

Een betrouwbaar onderzoek is herhaalbaar en geeft iedere keer dat je het onderzoek opnieuw uitvoert dezelfde resultaten.

Hoeveel fouten bevat jouw scriptie?

De taalexperts van Scribbr verbeteren gemiddeld 150 fouten per 1000 woorden. Benieuwd wat er precies wordt verbeterd? Verschuif de cursor van links naar rechts!

Scriptie nakijken op taal

Bruikbaarheid

Ook al scoor je soms niet heel goed op validiteit en betrouwbaarheid (bijvoorbeeld door tijdgebrek of weinig middelen), toch kun je de bruikbaarheid van je onderzoek vaak wel als goed beoordelen.

Het kan voorkomen dat je opdrachtgever erg blij is met je onderzoek, omdat het bedrijf mogelijk alsnog met de resultaten aan de slag kan.

Voorbeeld: Bruikbaarheid
Binnen een bedrijf wordt een bepaalde afdeling onderzocht. De steekproef is klein en select en er was geluidsoverlast bij het invullen van de vragenlijsten. Toch kan het bedrijf iets hebben aan het onderzoek. Het onderzoek kan namelijk een indicatie geven van de situatie, richting geven aan beleid of een aanleiding vormen voor vervolgonderzoek.

Onafhankelijkheid

Onderzoek hoort onafhankelijk te zijn. Dit houdt in dat er geen rekening wordt gehouden met voorkeuren en meningen van betrokkenen of van de onderzoeker(s). Als onderzoeker is het daarom belangrijk dat je afstand houdt van het onderwerp en objectief blijft.

Het is soms lastig deze objectiviteit te bereiken, omdat onderzoekers ook maar mensen zijn. Daarom wordt ook vaak gezegd dat een onderzoek intersubjectief moet zijn: verschillende onderzoekers moeten het eens zijn over de resultaten. Onderzoek moet tot vergelijkbare resultaten leiden als het opnieuw wordt uitgevoerd door een andere onderzoeker.

Tip: Bekijk wie voor het onderzoek heeft betaald en welke achtergrond de onderzoeker heeft. De frisdrankindustrie sponsort bijvoorbeeld onderzoek naar de relatie tussen het drinken van light frisdrank en gewichtsafname, en sigarettenfabrikant Philip Morris sponsort onderzoek naar het verminderen van de risico’s van roken.

Het is niet ondenkbaar dat deze opdrachtgevers het onderzoek voor hun eigenbelang in een bepaalde richting hebben geduwd. Dat blijkt ook uit onderzoek naar de onafhankelijkheid van onderzoek naar de negatieve effecten van frisdrank. Als de onderzoekers niet onafhankelijk waren, was de kans 5 keer zo groot dat ze geen relatie konden aantonen tussen het gebruik van frisdrank en gewichtstoename.

Generaliseerbaarheid

Onderzoekers analyseren een specifiek deel van de werkelijkheid en doen hier uitspraken over. Ze willen dat deze uitspraken gelden voor een zo groot mogelijke groep personen of situaties. Dit noem je generaliseerbaarheid.

Onderzoekers nemen daarom een steekproef (een selectie) uit de populatie (de groep die ze willen onderzoeken) die zo veel mogelijk gelijk is aan de populatie.

Voorbeeld: Steekproef
De populatie bestaat uit studenten. De operationele populatie (ingeperkte populatie op basis van je probleemstelling of doelstelling) bestaat uit studenten van Tilburg University. Uit deze laatste groep trek je een steekproef. De leeftijd en verdeling van studierichting moeten ongeveer gelijk zijn aan de verhoudingen in de populatie.

Als de populatie bijvoorbeeld bestaat uit 10% Scheikundestudenten, 30% Letterenstudenten, 25% Geneeskundestudenten, 15% Rechtenstudenten en 20% Communicatiestudenten moet de steekproef ook ongeveer die verhoudingen bevatten.

De mate waarin de steekproef representatief is, bepaalt de externe validiteit en de generaliseerbaarheid van de resultaten.

Uitspraken worden precies volgens alle voorwaarden getoetst, zodat ze geldig zijn in andere situaties en voor andere personen. Het toetsen van uitspraken gebeurt vaak door middel van statistische generalisatie.

Bij statistische generalisatie wordt met statistische testen getoetst of een resultaat generaliseerbaar is. Dit is vaak van toepassing bij kwantitatief onderzoek. Bij kwalitatief onderzoek is statistische generalisatie soms minder belangrijk. In dat geval wordt gestreefd naar inhoudelijke generalisatie: in welke mate zijn de resultaten vergelijkbaar in soortgelijke situaties?

Voorbeeld: Inhoudelijke generalisatie
Er is kwalitatief onderzoek uitgevoerd onder studenten van één bepaalde studie. Met de resultaten kunnen geen uitspraken gedaan worden over alle studenten van de universiteit, maar de resultaten kunnen wel een indicatie geven van hoe het onderzoek zou uitpakken bij andere studenten.

Representativiteit van de steekproef

Als een steekproef representatief is, zijn de onderzoeksresultaten geldig voor de populatie (generaliseerbaarheid). Een steekproef is representatief als deze aselect getrokken is en in alle belangrijke kenmerken lijkt op de populatie waarover je uitspraken wilt doen.

Toetsbaarheid

Een onderwerp, vraag of uitspraak moet toetsbaar zijn. Dit betekent dat het onderzoek resultaten moet opleveren over zaken die waarneembaar zijn in de werkelijkheid. Een uitspraak als “aliëns bestaan” is niet te controleren door deze te toetsen.

Informativiteit: repliceerbaarheid en reproduceerbaarheid

Het is belangrijk dat je altijd maximale informatie verschaft, zodat een ander die niks met jouw onderzoek te maken had het onderzoek precies zou kunnen repliceren of de analyses zou kunnen reproduceren.

Om uitspraken te kunnen toetsen, moeten ze heel nauwkeurig geformuleerd worden. Je moet aangeven wat onderzocht wordt, wanneer en met wie. Dit kun je bijvoorbeeld doen door een logboek bij te houden en bijlagen met testmateriaal of ruwe data toe te voegen.

Veelgestelde vragen

Wat is validiteit?

Bij validiteit gaat het om de vraag of de resultaten uit jouw scriptie wel juist zijn en of je op basis hiervan harde conclusies kunt trekken. Zo corresponderen de resultaten van een valide onderzoek met de werkelijke eigenschappen, fenomenen en variaties in de fysieke en sociale wereld.

Het gaat bij de validiteit voornamelijk om het “instrument” waarmee je onderzoek hebt gedaan.

Wat is betrouwbaarheid?

Bij betrouwbaarheid gaat het om hoe consistent een methode iets meet. Hierbij is het van belang dat de uitkomsten hetzelfde zijn als je de meting of het gehele onderzoek op exact dezelfde wijze nog een keer uitvoert (reproduceert of repliceert).

Wat is het verschil tussen validiteit en betrouwbaarheid?

Bij validiteit gaat het om het meten wat je beoogt te meten. Bij betrouwbaarheid daarentegen gaat het om de vraag of je onderzoeksresultaten hetzelfde zouden zijn als je het onderzoek op dezelfde wijze nogmaals uitvoert.

Wat vind jij van dit artikel?
Bas Swaen

Bas is mede-oprichter van Scribbr. Bas komt uit een echt onderwijsgezin en is een ervaren scriptieschrijver. Met heldere uitleg over moeilijke materie probeert Bas studenten op weg te helpen.

1