Précisions méthodologiques sur le Baromètre de la Motivation
Dans le cadre du Baromètre de la Motivation, des prises de mesure sont planifiées à intervalles réguliers, en fonction de l'évolution de la pandémie. Même si plusieurs milliers de personnes répondent aux enquêtes de chaque côté de la frontière linguistique lors de chaque vague, les résultats ne peuvent être considérés comme représentatifs de l’ensemble de la population belge. La principale raison en est que la participation au questionnaire repose sur une décision des répondants. Il en résulte une auto-sélection. Cela signifie que certains profils de réponses peuvent être relativement plus fréquents puisque les personnes participant aux enquêtes présentent certaines caractéristiques et, par conséquent, ne constituent pas un échantillon représentatif de la population. Cette auto-sélection peut s’expliquer par des éléments situationnels, psychologiques ou sociodémographiques. Les répondants sont par exemple des personnes disposant d'un ordinateur, d'une tablette ou d'un smartphone et d'une connexion internet, disposant de temps, ayant un intérêt pour (les aspects de) la politique sanitaire liée au COVID-19, ayant une motivation pour remplir les enquêtes, ayant une certaine position en faveur ou à l’encontre de certaines mesures, ayant une compréhension des questions posées, etc. Il convient de remarquer que ce problème d’auto-sélection touche toutes les enquêtes par questionnaires (en ce compris les sondages d’opinion supposés « représentatifs ») et est une des limites de ce type de méthode (chaque méthode ayant ses avantages et inconvénients). D’une part, cette auto-sélection peut être corrigée par des mesures statistiques (dans une certaine mesure), mais d’autre part, elle impose également une certaine prudence quant à ce que nous pouvons conclure de ces résultats de recherche. Le point suivant aborde ces deux aspects de manière détaillée.
Possibilités de correction
La diffusion
Afin d'éviter au mieux le problème d’auto-sélection, il est important qu’un maximum de personnes de toutes les couches de la population soient touchés par l’invitation à participer au questionnaire et y répondent. C’est pourquoi nos invitations sont distribuées par le plus de canaux de communication possible, tels que les sites d’information, un large éventail de journaux et de réseaux sociaux comme Facebook et Twitter. Malheureusement, les personnes qui ne suivent pas les chaînes d’information « grand public » et/ou qui ne suivent pas les réseaux sociaux ne seront pas touchées. Comme les mêmes canaux de diffusion sont utilisés tout au long de l’étude, la composition sociodémographique reste globalement stable d’une vague de mesure à l’autre.
Pondération
Le caractère non représentatif des répondants s'exprime dans leurs caractéristiques sociodémographiques telles que l'âge, le sexe, le niveau d'éducation et la région linguistique. La composition sociodémographique de l'ensemble de la population belge étant bien connue (stabel.fgov.be), il est possible de donner plus ou moins de poids aux réponses de certains profils de répondants dans les analyses afin d'approcher les caractéristiques sociodémographiques réelles de la population. C’est du reste ce que nous faisons dans le cadre du Baromètre de la Motivation. Cependant, cette méthode ne corrige pas les variables éventuellement pertinentes dont la distribution est moins bien connue dans les différentes strates de la population (par exemple, la proportion de parents d'enfants en bas âge ou en âge scolaire, le statut vaccinal des répondants, etc.) ou le fait que des caractéristiques psychologiques déterminent l'auto-sélection (par exemple, la motivation ou l'ennui des participants).
Conclusions
Les possibilités de correction du biais d'auto-sélection étant limitées, il est important de délimiter clairement les types de conclusions qui peuvent être tirées avec plus ou moins de certitude.
Des conclusions relativement certaines
Les affirmations concernant les relations structurelles entre les variables psychologiques mesurées ou manipulées (par exemple, le style de communication, le comportement, la motivation, la vaccination, le bien-être et la confiance dans la politique) ou entre les variables sociodémographiques et psychologiques (par exemple, l'âge et la motivation) sont moins influencées par le caractère non représentatif des données. Cela concerne :
- La cohérence interne (aussi appelée fiabilité) et la validité (par exemple, les validités concurrente et discriminante) des construits psychologique mobilisés
- Les relations transversales (dynamiques) entre les variables ;
- Les relations longitudinales impliquant les mêmes personnes
- Les différences relatives entre les variables examinées dans les plans expérimentaux
L'examen de ces relations structurelles entre différentes variables nous permet de tester des hypothèses inspirées de cadres théoriques bien établis. Sur cette base, nous pouvons élaborer un récit cohérent et étayé du point de vue des sciences psychologiques (par exemple, sur le rôle de la perception du risque dans la motivation, sur les changements dans le soutien à certaines mesures, etc.) et qui fournit des interprétations et des indications pertinentes pour la population et ses représentants politiques. Ce récit permet d’aller au-delà des « impressions » sur la situation grâce à sa base empirique.
Les conclusions qui nécessitent une certaine prudence ou qui doivent être évitées
En raison de la nature non représentative des échantillons, il faut se montrer prudent quant aux éléments suivants
- Le degré (absolu) avec lequel certaines caractéristiques sont présentes dans l'ensemble de la population (par exemple, le pourcentage de soutien à la vaccination obligatoire ; le pourcentage de participants qui sont favorables au certificat covid (CST), etc.)
- Le degré relatif de présence de certaines caractéristiques (par exemple, la confiance politique, le bien-être) dans des sous-populations (par exemple, les participants vaccinés ou non, les jeunes ou les plus âgés).
Ainsi, certains chiffres peuvent surestimer ou sous-estimer la réalité. Compte tenu de ce qui précède, nous entendons donc faire preuve de prudence
- En attirant l'attention sur l'évolution dans le temps des caractéristiques mesurées (par exemple, diminution/augmentation de la motivation) plutôt que sur le pourcentage d'occurrence de ces caractéristiques prises isolément.
- En présentant les résultats séparément pour les caractéristiques pertinentes qui ne sont pas incluses dans la pondération (par exemple, le statut vaccinal). Ici, l'attention est centrée sur la différence et l'ampleur de cette différence plutôt que sur l'occurrence différentielle de certaines caractéristiques.
- En mettant en évidence autant qu’il est possible une interprétation psychologique dans notre communication des résultats dans les médias (par exemple, en pointant qu’une diminution de la motivation peut être attribuée à une diminution de la conscience du risque).