Erreur de couverture : quel impact sur les sondages en ligne ?

Erreur de couverture de la base de sondage© FrameAngel (FreeDigitalPhotos.net)

L’erreur de couverture est souvent le principal problème évoqué à propos des sondages en ligne. On sait bien que certaines catégories d’individus ne sont pas couvertes puisque la totalité de la population n’a pas accès à internet. Comment savoir si ce problème vous concerne ?

Le risque d’erreur de couverture a de tous temps agité la communauté des chercheurs dans le domaine des études statistiques… on dénonçait déjà ce risque lorsque les enquêtes téléphoniques étaient à leur apogée, et aujourd’hui ce sont les enquêtes en ligne qui sont incriminées.

De quoi s’agit-il ? Tout simplement du fait qu’on utilise un média qui ne permet pas de toucher la totalité de la population. Donc on ne peut pas prétendre avoir un échantillon représentatif de cette population !

questionnaire-pro, logiciel d'enquêtes édité par Questio
Filtres et branchements conditionnels, reprise de réponses, fonctions avancées pour optimiser le questionnaire

Encore des inégalités importantes dans l’accès à Internet en France

Le dernier Baromètre du numérique réalisé par l’Autorité de régulation des communications électroniques et des postes (ARCEP) en 2018 indique que 4 Français sur 5 se connectent à Internet tous les jours, un usage en constante progression au fil des années. Ce pourcentage monte même à 90% pour les 12-59 ans et il progresse dans toutes les tranches d’âge.

Toutefois, alors que le plan France Très Haut Débit vise à couvrir 100 % de la population en très haut débit d’ici 2022, la fracture numérique reste un problème en France.

Dans son rapport publié en 2019, le Défenseur des Droits rappelle notamment que :
– 500.000 personnes, vivant dans des zones blanches, n’ont pas accès à une connexion Internet fixe,
– 15% de la population française n’a pas accès à un Internet de qualité, notamment ceux qui vivent dans des communes de moins de 1.000 habitants.

Ce qui pose un sérieux problème dans le cadre de la dématérialisation des services publics. Mais ce n’est pas notre sujet ici… 😉

Cela dit, pour le créateur d’un sondage, la question se pose également : comment interroger par Internet des personnes qui n’y accèdent pas ?

Qui sont les non internautes ? Combien sont-ils ? Le baromètre de l’ARCEP répond à cette deuxième question : en 2018, on dénombre 11 % de personnes qui déclarent ne jamais se connecter à Internet.

Parmi eux, la quasi-totalité a plus de 40 ans, et la part des non internautes atteint 40 % chez les plus de 70 ans. De façon générale, l’absence de connexion est plus élevée chez les retraités, les non diplômés, et les personnes ayant de faibles revenus.

Ce sont autant d’éléments à prendre en compte quand on cherche à sonder la population par des questionnaires en ligne car le risque est de générer des biais dans les résultats, faute de couverture de la base de sondage.

L’erreur de couverture dans la théorie des sondages

Dans la théorie des sondages, on parle d’erreur de couverture de la base de sondage lorsque les données sont incomplètes, c’est-à-dire ne « recouvrent » pas l’exhaustivité de la population cible.

Tirage aléatoire des boules du Loto
A LIRE AUSSI

Méthodes d’échantillonnage aléatoires et non aléatoires
Les résultats d’une enquête par sondage ne sont extrapolables à la population tout entière que si l’échantillon est représentatif. Or cette représentativité est liée à la méthode d’échantillonnage appliquée […] Lire la suite

Le fait qu’on ne puisse pas interroger par Internet une partie de la population rentre dans ce cas de figure.

Le risque d’erreur de couverture peut s’avérer gênant car on observe des différences sociales marquées dans la probabilité d’être connecté : les internautes français sont plus jeunes, plus diplômés, plus urbains, plus aisés et sont davantage représentés chez les cadres et professions intellectuelles supérieures.

De plus les internautes ont des opinions et des modes de vie spécifiques. Selon les enquêtes du CREDOC sur les conditions de vie et les aspirations des Français, le fait de disposer d’une connexion à Internet ou pas explique de nombreuses différences d’attitude, comme sur la perception des nouvelles technologies et du progrès technique, ou même sur les mœurs…

En attendant le rapprochement (qui semble inéluctable) entre le profil des internautes et celui des non-internautes, il convient d’être prudent si on souhaite extrapoler les résultats de son enquête en ligne à la totalité de la population.

L’erreur de de couverture entraînera probablement un biais dans les résultats ou une diminution de la fiabilité des estimations de l’enquête.

En pratique pour la majorité de vos enquêtes

Dans la très grande majorité des cas, vous ne rencontrerez pas ce problème : l’erreur de couverture disparaît lorsqu’on ne cherche pas à être représentatif de la population dans son ensemble mais d’une population spécifique.

Donc pas de souci si vous voulez interroger les visiteurs de votre site Web, vos clients, les abonnés à votre newsletter, les personnes inscrites sur un forum ou un blog, vos suiveurs sur les réseaux sociaux, etc.

Groupe de personnes en train de s'exprimer
A LIRE AUSSI

10 solutions pour diffuser une enquête en ligne
Dans cet article, pas moins de dix solutions pratiques à découvrir pour diffuser votre enquête en ligne, en faire la promotion et recueillir des réponses correspondant à vos besoins […] Lire la suite

A fortiori, si vous disposez d’une base de données exhaustive des personnes qui constituent la population à étudier (vos clients, vos adhérents, etc.), vous n’êtes pas concerné !



Initialement publié sur ce blog le 28 octobre 2017, cet article a été actualisé avec les dernières données statistiques sur l’accès à Internet et son usage par les Français, disponibles au 6 mars 2019. Ces données sont susceptibles d’évoluer au fil des années.


Le Baromètre du Numérique est un sondage qui mesure l’adoption des équipements et des usages numériques dans la population française. La solidité, l’ancienneté et la régularité de cette étude en font un baromètre de référence.

En 2018, le sondage a été réalisé par le CREDOC :

  • auprès de 2214 personnes interrogées en face-à-face entre le 14 juin 2018 et le 12 juillet 2018,
  • les résultats sont redressés et représentatifs de l’ensemble de la population des personnes de 12 ans et plus,
  • le questionnaire et la démarche sont adaptés pour les mineurs,
  • cette enquête décrit l’équipement et les usages des individus (et non celui des ménages),
  • l’ensemble des données de l’enquête depuis 2007 sont disponibles en open data sur le site data.gouv.fr.

Le rapport du Défenseur des Droits intitulé Dématérialisation et inégalités d’accès aux services publics, daté de janvier 2019, est consultable ici.

A propos de Françoise Lafont

Cofondatrice de Questio (éditeur du logiciel questionnaire-pro), consultante et formatrice, je partage dans ce blog mes connaissances théoriques et pratiques dans le domaine des enquêtes et sondages en ligne, auto-diagnostics numériques et protection des données (RGPD).

2 commentaire(s) sur “Erreur de couverture : quel impact sur les sondages en ligne ?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Résoudre : *
39 ⁄ 13 =