Replicaties en meta-studies in het domein van de (school-) psychologie: Voorbeelden van ‘good science’

De discussie over het gebrek aan replicatiestudies in de psychologie is nog lang niet ten einde. Het belang van replicatie mag niet onderschat worden en de zorgen over de ‘replicatie crisis’ zijn dan ook terecht. Eerder in een blog op onze site werd hier al aandacht aan besteed. In deze blog willen we niet zozeer ingaan op de bezorgdheid over deze crisis, maar willen we juist een aantal voorbeelden geven van ‘good science’ in het domein van de (school)psychologie.

Theorie volgens Fokke en SukkeBelangrijk in de discussie over replicaties is om te definiëren wat ‘replicatie’ precies inhoudt. Is exacte replicatie mogelijk? Waar het experimenten in laboratoria betreft, lijkt dat misschien zo. In een laboratorium kun je zoveel mogelijk parameters onder controle houden, maar ook daar is het lastig om exacte replicaties uit te voeren. Wanneer je een psychologisch onderzoek bij mensen wilt repliceren, zullen er altijd toevalsfactoren zijn waardoor een steekproef bijvoorbeeld niet exact gelijk is. In veldonderzoek, zoals het onderzoek op scholen, is het nagenoeg onmogelijk om alle parameters onder controle te houden. Hoe dan een veldonderzoek te repliceren? Van IJzendoorn (1988) hanteert de volgende definitie van replicatie: “We noemen een replicatie gelijk aan de originele studie als de replicatie op essentiële punten identiek is aan de originele studie” (p.230). Een studie naar bewijsvoering voor bijvoorbeeld de gehechtheidstheorie of de zelfdeterminatietheorie zou in een Amerikaanse steekproef dus bij benadering dezelfde resultaten moeten opleveren als een zelfde studie in een Vlaamse steekproef.

“We noemen een replicatie gelijk aan de originele studie als de replicatie op essentiële punten identiek is aan de originele studie” (p.230).

Wanneer we deze bredere definitie hanteren, dan is de stand van zaken in de (school)psychologie misschien toch iets minder somber. Laten we als voorbeeld eens kijken naar ons onderzoek naar leerkracht-leerlingrelaties. Binnen dit domein zijn er bij mijn weten geen exacte replicatiestudies te vinden. Hoewel studies verschillen in methoden, wordt toch consistent teruggevonden dat de leerkracht-leerlingrelatie een invloed heeft op het schools functioneren van kinderen. Een objectieve manier om na te gaan of al die onderzoeken inderdaad de achterliggende theorie over leerkracht-leerlingrelaties ondersteunen, is het uitvoeren van een meta-analyse. Meta-analyses integreren de resultaten van bestaand onderzoek binnen een bepaald gebied in een nieuwe statistische analyse en worden daarmee ook gezien als een vorm van replicatie onderzoek (Van IJzendoorn, 1988).  Zo toont een meta-analyse over leerkracht-leerlingrelaties aan dat de kwaliteit van de leerkracht-leerlingrelatie, hoewel de gevonden verbanden doorgaans klein zijn, toch overtuigend samenhangt met de schoolprestaties van kinderen en adolescenten (Roorda et al., 2011). De resultaten van deze meta-analyse waren gebaseerd op 99 wetenschappelijke onderzoeken. Inmiddels is de database ge-update met de meest recente onderzoeken en tonen nieuwe analyses aan dat, overeenkomstig de achterliggende theorie, een deel van het positieve effect van leerkracht-leerlingrelaties op de schoolprestaties van kinderen verklaard wordt door een verhoging van de schoolse betrokkenheid (Roorda et al., 2017).

Een tweede voorbeeld is onderzoek naar de interventie Taakspel. Geertje Leflot promoveerde op onderzoek naar Taakspel binnen onze onderzoeksgroep. Taakspel heeft als doel het voorkomen of verminderen van disruptief gedrag en het verbeteren van taakgericht gedrag van leerlingen door het versterken van het klassenmanagement van leerkrachten door middel van een beloningssysteem (zie onze eerdere blogs hier en hier en hier). Deze preventieve gedragsinterventie is gebaseerd op de Good Behavior Game. De interventie werd ontwikkeld in Amerika en de eerste wetenschappelijke studie werd gepubliceerd in 1969 door Barrish, Saunders en Wolf. Een exacte replicatie van de studie is er niet geweest. Wel zijn er verschillende studies geweest door verschillende onderzoeksgroepen, in verschillende schoolpopulaties en in verschillende landen. Al die studies leverden convergente informatie op in die zin dat de basisprincipes van de Good Behavior Game ondersteund werden (Flower et al., 2014; Nolan et al., 2014). Ook lieten deze studies zien dat bepaalde aanpassingen in bepaalde culturen essentieel en verklaarbaar waren, wat leidde tot een verfijning van de methode, zoals bijvoorbeeld meer aandacht voor het belonen van gewenst gedrag.

Een derde voorbeeld is het onderzoek naar het belang van spel voor de ontwikkeling van kleuters. Veel mensen hebben een sterke mening over het belang van spel voor kleuters (zie bijvoorbeeld dit artikel in dagblad Trouw). De United Nations ziet spel als een recht van ieder kind dat beschermd moet worden. Ook veel wetenschappers zeggen dat spel, en vooral doen-alsof spel (rollenspel), cruciaal is voor de ontwikkeling van jonge kinderen.playingtolearn  Omwille van de sterke claims ten aanzien van het ontwikkelingsbelang van spel, reviewden Lillard et al. (2013) de wetenschappelijke evidentie voor deze claims. In een meta-studie onderzochten zij de effecten van spel in verschillende ontwikkelingsdomeinen waaronder taal, probleem oplossen, creativiteit, executieve functies, emotieregulatie en sociale vaardigheden. Zij analyseerden meer dan 150 wetenschappelijke studies en kwamen tot de conclusie dat er slechts geringe wetenschappelijke evidentie is voor een cruciale invloed van spel op de ontwikkeling van jonge kinderen. Tegelijkertijd stelden zij methodologische tekorten in het bestaande onderzoek vast: “It may be that we’ve been testing the wrong things; and it may well be that when a future experiment is really well done we may find something that pretend play does for development, but at this point these claims are all overheated. This is our conclusion from having really carefully read the studies.” Dit is een controversieel resultaat en verschillende onderzoekers hebben hier commentaar op gegeven (zie bijvoorbeeld Weisberg et al., 2013). Dit meta-review van Lillard et al. (2013) stimuleert dus de wetenschappelijke dialoog en zet aan tot meer en vooral ook beter wetenschappelijk onderzoek. (Een interview met de auteur, Angeline Lillard, vindt u hier).

En ik ken meer van deze uiterst zinvolle meta-analyses zoals, om er een paar te noemen, over stereotype threat* als verklaring voor de lagere wiskundeprestatie van meisjes in vergelijking met jongens (Stoet & Geary, 2013) of over het verband tussen sociale relaties en depressie (Rueger et al., 2016). Deze meta-studies bevestigen of ontkrachten een hypothese, nuanceren de resultaten van enkelvoudige studies, wijzen op methodologische tekorten en op hiaten in onze kennis.

nnano.2013.204-i1

“File drawer effect”

Meta-analyses vormen daarmee een stimulans voor aanvullend en beter onderzoek. Wel moet gezegd worden dat de resultaten van meta-analyses gevoelig zijn voor publicatiebias en mede-afhankelijk van de kwaliteit van het opgenomen onderzoek (zie bijvoorbeeld hier). Publicatiebias (of “filedrawer effect”: het niet kunnen of willen publiceren van nul-resultaten) is echt een probleem voor meta-studies en wetenschappelijk onderzoek in het algemeen, maar er zijn wel methoden om publicatiebias op te sporen en te corrigeren (bijvoorbeeld met een funnel-plot). Een goede meta-studie analyseert dus niet alleen de mate van convergentie in onderzoeksresultaten, maar biedt ook een kritische reflectie op de kwaliteit van het bestaande onderzoek én houdt rekening met publicatiebias.

 

Deze meta-studies bevestigen of ontkrachten een hypothese, nuanceren de resultaten van enkelvoudige studies, wijzen op methodologische tekorten en op hiaten in onze kennis.

 

—————————————————————————————————————————————–

* Stereotype threat staat voor het fenomeen dat mensen onder hun niveau gaan presteren wanneer er in de samenleving negatieve stereotypen bestaan over de eigen groep. Een voorbeeld daarvan is het idee dat ‘meisjes minder goed zijn in wiskunde dan jongens’. Stoet en Geary (2013) laten zien dat er nogal wat schort aan het bestaande onderzoek. Vooralsnog lijkt seksestereotypering een weinig overtuigende verklaring voor geslachtsverschillen in wiskundeprestaties.

REFERENTIES

  • Barrish, H. H., Saunders, M., & Wolf, M. M. (1969). Good Behavior Game: Effects of individual contingencies for group consequences on disruptive behavior in a classroom. Journal of Applied Behavior Analysis, 2(2), 119-124.
  • Flower, A., McKenna, J. W., Bunuan, R. L., Muething, C. S., & Vega, R. (2014). Effects of the Good Behavior Game on Challenging Behaviors in School Settings. Review of Educational Research, 84(4), 546-571. doi:10.3102/0034654314536781
  • Lillard, A. S., Lerner, M. D., Hopkins, E. J., Dore, R. A., Smith, E. D., & Palmquist, C. M. (2013). The impact of pretend play on children’s development: A review of the evidence. Psychological Bulletin, 139(1), 1.
  • Nolan, J. D., Houlihan, D., Wanzek, M., & Jenson, W. R. (2014). The Good Behavior Game: A classroom-behavior intervention effective across cultures. School Psychology International, 35, 191–205. doi: 10.1177/0143034312471473.
  • Stoet, G., & Geary, D. C. (2012). Can stereotype threat explain the gender gap in mathematics performance and achievement? Review of General Psychology, 16(1), 93.
  • van IJzendoorn, M. H. (1988). Een proces-model voor replicatieonderzoek: over de samenhang tussen verschillende typen replicaties. Nederlands Tijdschrift voor Opvoeding, Vorming en Onderwijs5, 12.
  • Roorda, D. L., Koomen, H. M. Y., Spilt, J. L., & Oort, F. J. (2011). The influence of affective teacher-student relationships on students’ school engagement and achievement: a meta-analytic approach. Review of Educational Research, 81, 493 – 529. doi:10.3102/0034654311421793
  • Roorda, D.L., Jak. S., Zee, M., Oort, F.J., & Koomen, H.M.Y. (2017). Affective teacher-student relationships and students’ engagement and achievement: A meta-analytic update and test of the mediating role of engagement. School Psychology Review, 46, 1-23. Doi:10.17105/SPR-2017-0035.V46-3
  • Rueger, S. Y., Malecki, C. K., Pyun, Y., Aycock, C., & Coyle, S. (2016). A meta-analytic review of the association between perceived social support and depression in childhood and adolescence. Psychological Bulletin, 142, 1017-1067. doi:http://dx.doi.org/10.1037/bul0000058
Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s