Externe validiteit waarborgen | Uitleg, bedreigingen en voorbeelden
Externe validiteit is de mate waarin je de resultaten van je onderzoek kunt generaliseren naar andere omstandigheden en groepen. In andere woorden: zijn je resultaten te generaliseren naar een bredere context?
Het doel van wetenschappelijk onderzoek is om generaliseerbare kennis over de echte wereld te verzamelen. In kwalitatieve onderzoeken wordt externe validiteit “overdraagbaarheid” genoemd.
Soorten externe validiteit
Er zijn twee belangrijke soorten externe validiteit: populatievaliditeit (population validity) en ecologische validiteit (ecological validity). Deze worden vaak besproken bij experimenteel onderzoek.
Populatievaliditeit
Populatievaliditeit heeft te maken met de mate waarin je de bevindingen uit je steekproef logischerwijs kunt generaliseren naar een grotere groep mensen (de populatie).
De populatievaliditeit hangt af van de keuze voor een populatie en van de mate waarin de steekproef die populatie weerspiegelt. Voor het gemak worden vaak selecte in plaats van aselecte steekproeven gebruikt, maar hierdoor kun je de resultaten alleen generaliseren naar vergelijkbare populaties.
Je werft meer dan 200 participanten die natuurkunde studeren. Het grootste deel is Nederlands, man, en tussen de 18 en 21 jaar oud. Ook hebben ze over het algemeen een hoge sociaaleconomische status.
Je laat de participanten een natuurkundetoets maken in een laboratorium en vervolgens vraag je ze om hun eigen prestatie in te schatten. Je ontdekt dat de gemiddelde deelnemer slimmer denkt te zijn dan 66% van de leeftijdsgenoten.
Kun je nu concluderen dat de meeste mensen denken dat ze veel beter zijn in natuurkunde dan anderen?
In dit geval was de steekproef niet representatief voor de gehele populatie studenten, omdat de universiteit veel meer studies aanbiedt dan alleen natuurkunde. De bevindingen kunnen alleen worden gegeneraliseerd naar populaties die kenmerken delen met de participanten van het onderzoek (bijvoorbeeld jonge mannen met een natuurkunde-achtergrond en een hoge sociaaleconomische status).
Als je de populatievaliditeit wilt verhogen, moet je ervoor zorgen dat de steekproef uit mensen met verschillende kenmerken bestaat (bijvoorbeeld ook vrouwen en non-binaire mensen, studenten die een ander soort studie volgen, en mensen met een lagere sociaaleconomische status).
Ecologische validiteit
Ecologische validiteit gaat over de mate waarin je de resultaten van een onderzoek kunt generaliseren naar andere omstandigheden en settings in de “echte wereld”.
Je nodigt participanten uit in een laboratorium voor een eenvoudige computertaak waarbij reactietijden worden gemeten. Aan de deelnemers wordt gevraagd zich in te beelden dat ze op het circuit rijden. Ze moeten dubbelklikken met de muis als ze een oranje kat op het scherm zien. De deelnemers voltooien twee rondes: een ronde met een podcast op de achtergrond en een ronde zonder podcast op de achtergrond. Uit de data-analyse blijkt dat de reactietijden toenemen als mensen naar de podcast luisteren.
Kun je concluderen dat de reactietijden tijdens het rijden toenemen als mensen luisteren naar anderen die praten?
In het bovenstaande voorbeeld is het moeilijk om de bevindingen te generaliseren naar echte rij-omstandigheden. Een computertaak met een muis lijkt niet op autorijden met een stuur. Bovendien is een stilstaand beeld van een oranje kat niet representatief voor echte obstakels en onverwachte omstandigheden tijdens het rijden in het echte leven.
Om de ecologische validiteit in een laboratoriumomgeving te verbeteren, zou je een simulator kunnen gebruiken met een stuur en voetpedaal in plaats van een computer en muis. Dit verhoogt het realisme door het autorijden beter na te bootsen.
Als je de ecologische validiteit nog meer zou willen verhogen, zou je het experiment ook kunnen uitvoeren in een echte auto op een afgesloten circuit met obstakels.
Wisselwerking tussen externe en interne validiteit
De interne validiteit gaat over de mate waarin je erop kunt vertrouwen dat de vastgestelde causale relatie niet door andere (externe) factoren kan worden verklaard.
Er is een wisselwerking tussen externe en interne validiteit: des te beter je ervoor zorgt dat de resultaten kunnen worden gegeneraliseerd naar andere contexten, des te slechter je kunt controleren voor de externe factoren.
Door het experiment van een laboratoriumsetting te verplaatsen naar een circuit, verhoog je de externe validiteit aanzienlijk. Tegelijkertijd kun je de interne validiteit minder goed waarborgen, omdat je geen controle hebt over externe factoren, zoals het weer.
Bedreigingen voor de externe validiteit
Het is belangrijk om bedreigingen voor de externe validiteit te herkennen, zodat je je experimentele design eventueel kunt aanpassen.
Er wordt een pre-test en post-test afgenomen, waarbij de participanten moeten aangeven hoe vaak ze de afgelopen week angst hebben ervaren. Tijdens het onderzoek volgen alle deelnemers een individuele mindfulnesstraining en wordt gevraagd om elke ochtend 15 minuten mindfulness te oefenen.
Het angstniveau was lager bij de post-test dan bij de pre-test en daarom concludeert de onderzoeker dat alle mensen met mentale gezondheidsproblemen baat kunnen hebben bij mindfulness.
| Bedreiging | Betekenis | Voorbeeld |
|---|---|---|
| Sampling bias | De steekproef is niet representatief voor de populatie. | De steekproef bevatte alleen mensen met een burn-out. Ze hebben kenmerken die sterk kunnen verschillen van mensen met andere mentale gezondheidsproblemen. |
| Geschiedenis | Een ongerelateerde gebeurtenis beïnvloedt de uitkomst. | Vlak voor de pre-test vindt een natuurramp plaats in het gebied waar de participanten wonen. Hierdoor zijn de angstscores bij de pre-test hoger dan normaal. |
| Onderzoekerseffect (experimenter effect) | De eigenschappen of gedragingen van de onderzoeker(s) hebben onbedoeld invloed op de uitkomsten. | De instructeur van de mindfulness-sessie geeft per ongeluk aan dat het onderzoek erg belangrijk is voor de financiering van de mindfulness-school. Participanten werken extra hard om hun angstniveau te verlagen. |
| Hawthorne-effect | De neiging van participanten om zich anders te gedragen, omdat ze weten dat ze onderzocht worden. | De participanten vermijden situaties die angstgevoelens kunnen aanwakkeren, omdat ze zich bewust zijn van hun deelname aan het experiment. |
| Test-effect | Het gebruik van een pre- of post-test beïnvloedt de resultaten. | Participanten raken gewend aan het format van de pre-test en de vragen, waardoor ze minder angstig zijn bij de post-test en ze zich de angstgevoelens van de afgelopen week minder goed herinneren. |
| Aptitude-treatment | Interacties tussen kenmerken van de groep en individuele variabelen beïnvloeden samen de afhankelijke variabele. | Interacties tussen bepaalde kenmerken van de participanten met een burn-out (zoals negatieve gedachtepatronen) en de mindfulness-oefeningen (zoals “focus op het heden”) zorgen ervoor dat angstgevoelens afnemen. De resultaten kunnen niet worden gerepliceerd voor mensen met persoonlijkheidsstoornissen. |
| Situatie-effect (situation effect) | Factoren zoals de setting, het tijdstip, de locatie en de eigenschappen van de onderzoekers beperken de generaliseerbaarheid van de resultaten. | Het onderzoek wordt herhaald met één wijziging: de deelnemers voeren de mindfulness-oefeningen ’s avonds in plaats van ’s ochtends uit. De resultaten laten dit keer geen verbetering zien. |
Hoe ga je bedreigingen van de externe validiteit tegen?
Er zijn verschillende manieren waarop je de externe validiteit kunt waarborgen.
- Gedeeltelijke replicaties kunnen bijna alle bedreigingen tegengaan door de generaliseerbaarheid te onderzoeken voor andere situaties en populaties.
- Veldexperimenten gaan test- en situatie-effecten tegen door een laboratoriumsetting in te ruilen voor een natuurlijke omgeving.
- Aselecte steekproeven gaan een sampling bias tegen door ervoor te zorgen dat iedereen in een populatie een gelijke kans heeft om voor een steekproef te worden geselecteerd.
- Algoritmen kunnen worden gebruikt om een selectiebias of sampling bias tegen te gaan, door de weging van bepaalde factoren (zoals leeftijd) te corrigeren.
Veelgestelde vragen
- Wat is externe validiteit?
-
Externe validiteit is de mate waarin je de resultaten van je onderzoek kunt generaliseren naar andere omstandigheden en groepen.
- Wat zijn de twee soorten externe validiteit?
-
De twee soorten externe validiteit zijn populatievaliditeit (of je je resultaten naar andere groepen kunt generaliseren) en ecologische validiteit (of je je resultaten naar andere contexten kunt generaliseren).
- Wat is het verschil tussen de interne en externe validiteit?
-
Interne validiteit is de mate waarin je met zekerheid kunt stellen dat een vastgestelde oorzaak-gevolgrelatie (causaal verband) niet door andere factoren kan worden verklaard.
Externe validiteit is de mate waarin je je resultaten kunt generaliseren naar andere omstandigheden of groepen.
De validiteit van je experiment is afhankelijk van je experimentele design.
Citeer dit Scribbr-artikel
Als je naar deze bron wilt verwijzen, kun je de bronvermelding kopiëren of op “Citeer dit Scribbr-artikel” klikken om de bronvermelding automatisch toe te voegen aan onze gratis Bronnengenerator.
Merkus, J. (2021, 16 september). Externe validiteit waarborgen | Uitleg, bedreigingen en voorbeelden. Scribbr. Geraadpleegd op 9 december 2024, van https://www.scribbr.nl/onderzoeksmethoden/externe-validiteit/
