Methodologische kanttekeningen bij de Motivatiebarometer
Binnen de Motivatiebarometer worden in functie van de evolutie van de pandemie op geregelde tijdstippen meetgolven uitgezet. Ook al zijn er voor elke meetgolf vele duizenden respondenten uit Nederlandstalig en Franstalig België, toch zijn de resultaten niet representatief voor de gehele bevolking. De belangrijkste reden hiervoor is dat deelname berust op een beslissing van de respondent zelf. Hierdoor treedt zelfselectie op. Dit betekent dat bepaalde antwoordpatronen relatief meer kunnen voorkomen omdat mensen met bepaalde kenmerken (veeleer dan een representatieve staal van de bevolking) aan de bevraging deelnemen. Deze zelfselectie kan gedreven zijn door situationele, psychologische of sociodemografische elementen. Respondenten zijn bijvoorbeeld mensen met een computer, tablet of smartphone en internetverbinding, met interesse voor (aspecten van) het COVID-19 beleid, met motivatie om de lijst in te vullen, met een bepaalde overtuiging voor of tegen bepaalde maatregelen, met een begrip voor de opgestelde vragen, etc. Merk op dat dergelijke zelfselectie zich ook voordoen als representatieve steekproeven worden gesampled via een panelstudie daar ook psychologische of situationele factoren de instroom van deelnemers kunnen beïnvloeden. Deze zelfselectie kan enerzijds tot op zekere hoogte gecorrigeerd worden via statistische methoden, maar legt anderzijds ook beperkingen op aan wat we uit dit survey-onderzoek kunnen concluderen. We bespreken hier beide aspecten.
Correctiemogelijkheden
Verspreiding
Om zelfselectie zo veel mogelijk tegen te gaan, is het belangrijk dat mensen uit alle lagen van de bevolking met de uitnodiging tot deelname in contact komen en hierop in gaan. Om deze reden worden de uitnodigingen langs zo veel mogelijk kanalen verspreid, zoals nieuwswebsites, een brede reeks kranten, en internetkanalen zoals Facebook en Twitter. Helaas zullen mensen die geen “mainstream” nieuwskanalen volgen en/of geen sociale media volgen niet bereikt worden. Omdat dezelfde verspreidingskanalen doorheen het gehele onderzoek worden gehanteerd, blijft de sociodemografische samenstelling globaal stabiel over de meetgolven heen.
Weging
Het niet-representatieve karakter van de respondenten uit zich onder andere in hun sociodemografische kenmerken zoals leeftijd, geslacht, opleidingsniveau, en landsregio. Aangezien de sociodemografische samenstelling van de hele Belgische populatie goed gekend is (stabel.fgov.be), kunnen de antwoorden van bepaalde types respondenten meer of minder gewicht gegeven worden in de analyses om op die wijze de echte sociodemografische kenmerken van de populatie te benaderen. Dergelijke wegingsprocedures worden gehanteerd binnen de Motivatiebarometer. Dergelijke weging corrigeert echter niet voor mogelijk relevante variabelen waarvan de verdeling minder goed gekend is over de verschillende geledingen van de populatie (bijv. percentage ouders met jonge, schoolgaande kinderen, vaccinatiestatus van de respondenten, etc.) of voor het feit dat psychologische kenmerken de zelfselectie drijven (bijv. motivatie of ergernis van deelnemers).
Conclusies
Omdat correctiemogelijkheden voor zelfselectiebias beperkt zijn, is het van belang goed af te lijnen welk soort conclusies met meer of minder zekerheid kunnen getrokken worden.
Relatief zekere conclusies
Uitspraken over de structurele verbanden tussen gemeten of gemanipuleerde psychologische variabelen (bijv. communicatiestijl, gedrag, motivatie, vaccinatie, welbevinden, en vertrouwen in het beleid) of tussen sociodemografische en psychologische variabelen (bijv. leeftijd en motivatie) zijn minder beïnvloed door het niet-representatieve karakter van de data. Dit betreft:
- Toetsing van de interne coherentie (i.c., betrouwbaarheid) en validiteit (bijv. interne en constructvaliditeit) van constructen;
- Cross-sectionele (dynamische) relaties tussen variabelen;
- Longitudinale verbanden bij dezelfde mensen;
- Relatieve verschillen tussen gemanipuleerde variabelen in experimentele designs;
Het onderzoeken van deze structurele verbanden tussen verschillende variabelen laat ons toe om hypothesen te toetsen die geïnspireerd zijn door sterk gevalideerde theoretische denkkaders. Op basis daarvan kunnen we een betekenisvol psychologisch narratief ontwikkelen (bv. over de rol van risicoperceptie voor de motivatie, over verandering in draagvlak voor bepaalde maatregelen, etc.) dat duiding en houvast biedt aan de bevolking en het beleid en dat omwille van de empirische basis anekdotische indrukken overstijgt.
Conclusies die voorzichtigheid vereisen
Het niet-representatieve karakter van de steekproeven bemoeilijkt het doen van betrouwbare uitspraken over
- De (absolute) mate waarin bepaalde kenmerken in de populatie als geheel aanwezig zijn (bijv. percentage draagvlak voor verplichte vaccinatie; het percentage deelnemers dat positief staat t.a.v. de coronapas (CST), etc.).
- De relatieve mate waarin bepaalde kenmerken (bijv. vertrouwen in de politiek, welbevinden) bij subpopulaties aanwezig zijn (bijv. gevaccineerden vs. ongevaccineerden; jongere vs. oudere deelnemers).
Op die manier kunnen bepaalde cijfers over- of onderschattingen inhouden van wat er zich in de werkelijkheid afspeelt. Bij het doen van dergelijke uitspraken leggen we hierom de nodige voorzichtigheid aan de dag door:
- De aandacht te vestigen op de evoluties doorheen de tijd in de gemeten kenmerken (bijv. daling/stijging in motivatie) veeleer dan op het procentueel voorkomen van deze kenmerken op zich.
- De resultaten in functie van relevante kenmerken die niet in de weging worden meegenomen (bijv. vaccinatiestatus) apart te presenteren. Hierbij wordt de aandacht gevestigd op het verschil en de effectgrootte van dit verschil veeleer dan op het differentieel voorkomen van bepaalde kenmerken.
- In onze communicatie over de resultaten in de media de psychologische duiding zoveel mogelijk in de verf te zetten (bijv. een daling van motivatie is toe te schrijven aan een daling in risicobesef).