Negatieve effecten uit zelfrapportages, in het bijzonder wanneer deze van blijvende aard zijn, wijzen er zonder meer op dat SMK schade kan berokkenen aan sommige personen met bepaalde soorten van SMK-ervaringen. Het probleem waar wij ons hier echter op richten is de vraag of SMK in het algemeen schade tot gevolg heeft. Eerder al zagen wij dat er een statistisch significante correlatie bestaat tussen SMK en verminderd welbevinden, hoewel de omvang van deze relatie klein is. Een van de meest fundamentele beginselen van de wetenschappelijke methodologie is dat correlatie niet hetzelfde is als causaliteit. Dat er bijvoorbeeld een correlatie bestaat tussen ras en I.Q. wil dus nog niet zeggen dat de factor ras verantwoordelijk is voor de verschillen in I.Q. Het is goed mogelijk dat er een derde variabele bestaat zoals de thuisomgeving of sociaal-economische status, die verantwoordelijk is voor het verband tussen ras en I.Q.

Om dit concept te illustreren geven we een simplistisch voorbeeld (zie figuur 1). Wie van een dorp naar een kleine stad naar een grote stad reist, zal zien dat het aantal kerken toeneemt. Ook zul je zien dat als je van een dorp naar een kleine stad naar een grote stad trekt, de hoeveelheid criminaliteit toeneemt. Betekent dit dat met de bouw van nieuwe kerken de criminaliteit stijgt, of bij sloop daalt? Nee, omdat er nog sprake is van een derde variabele, namelijk bevolking, die voor beide verantwoordelijk is. Wanneer de bevolking toeneemt, worden er meer kerken gebouwd en meer misdaden gepleegd. Als we de omvang van de bevolking in dit voorbeeld uitfactoriseren, dan zal de correlatie tussen het aantal kerken en de hoeveelheid criminaliteit waarschijnlijk verdwijnen.

Correlatie betekent nog niet een oorzakelijk verband omdat er een derde variabele is

Wij hebben met dit idee in het achterhoofd de relatie tussen SMK en genoemde symptomen onderzocht. In dit geval vormen gezinsomstandigheden de derde variabele die voor beide verantwoordelijk zou kunnen zijn. Een gebroken gezin, of een gezin waarin lichamelijke mishandeling of emotionele verwaarlozing plaatsvindt, zou kinderen of tieners voor normafwijkend gedrag, zoals het gebruik van drugs of het betrokken raken bij seksuele activiteiten die onder SMK geclassificeerd worden, kunnen voorbestemmen. Een gebroken gezin kan echter ook een negatieve invloed op het welbevinden hebben. Vanuit dit oogpunt bezien zou de relatie tussen SMK en symptomen die wij in onze meta-analyses gevonden hebben het resultaat kunnen zijn van gezinsomstandigheden.

Uit onze eerdere meta-analyses weten we dat bij subjecten uit de studentensteekproeven 0,81% van de variabiliteit in welbevinden door SMK voor zijn rekening wordt genomen. We voerden een serie meta-analyses uit om vast te stellen welk percentage van de variabiliteit in SMK door gezinsomstandigheden veroorzaakt wordt. Het resultaat was 1,69%. Vervolgens voerden wij een serie meta-analyses uit om vast te stellen welk percentage van de variabiliteit in welbevinden op het conto van gezinsomstandigheden geschreven kan worden. Het resultaat bedroeg 8,41%. Deze resultaten laten met andere woorden zien dat gezinsomstandigheden een substantieel grotere verantwoordelijkheid dragen - namelijk met een factor 10 - voor de variabiliteit in welbevinden dan SMK. Deze resultaten laten eveneens zien dat SMK inderdaad met gezinsomstandigheden vervlochten is, want subjecten met SMK-ervaringen bleken vaker afkomstig uit armere of ontregelde gezinnen. Deze bevindingen doen gezamenlijk vermoeden dat het kleine doch statistisch significante verband tussen SMK en welbevinden niet causaal is.

Dertien studentenonderzoeken maakten bij het bestuderen van het verband tussen SMK en welbevinden gebruik van statistische technieken voor het uitfactoriseren van gezinsomstandigheden (zie Tabel 11). Veertien steekproeven afkomstig uit deze onderzoeken bestudeerden 83 verbanden tussen SMK en welbevinden. Voorafgaand aan de statistische controle was 41% van deze relaties statistisch significant. Na statistische controle - dat wil zeggen, na het verwijderen van de effecten van gezinsomstandigheden - bleek slechts 17% statistisch significant. Dit betekent een afname van 59%. Omdat het verband tussen SMK en welbevinden in elk gegeven onderzoek een neiging tot correlatie vertoont, berekenden wij het afnamepercentage in statistische significantie door een totaalresultaat per onderzoek te gebruiken. Op deze manier berekend, daalden de statistisch significante resultaten met 83%. Deze bevindingen bekrachtigen op ondubbelzinnige wijze de mogelijkheid dat veel statistisch significante verbanden tussen SMK en welbevinden In werkelijkheid schijnrelaties zijn.

Resultaten van statistische controle op de relaties tussen SMK en symptomen

Opmerking: N geeft het nummer syptoommetingen aan waarvan de samenhang met SMK werd onderzocht (of door de auteurs bedoeld werd te onderzoeken) door middel van statistische controle. Voor geeft het aantal significante verbanden aan voor het toepassen van de statistische controle. Na geeft het aantal significante verbanden aan na het toepassen van de statistische controle. % Reductie geeft het aantal significante verbanden aan dat na de statistische controle niet meer significant bleek.

a Dit is gebaseerd op het percentage van alle significante verbanden die na de controle niet meer significant bleken. Het ongewogen percentage van de reductie was 83%.