La représentativité des échantillons est un enjeu majeur dans le monde des études, voire une exigence absolue pour certains types de sondages. Mais les cas de figure sont nombreux et variés. Alors, l’échantillon représentatif est-il impératif, souhaitable ou pas indispensable ?
Un gros volume de répondants suffit-il pour assurer la représentativité d’une enquête ? Le redressement de l’échantillon peut-il corriger les biais observés au niveau du recueil des réponses ? Peut-on considérer comme négligeables les populations qui ne répondent pas aux enquêtes en ligne en raison d’un handicap visuel, de l’illectronisme ou parce qu’ils n’ont pas de smartphone ?
Telles sont quelques unes des questions que nous posent nos clients face à cette injonction que constitue la représentativité de l’échantillon dans le domaine des études quantitatives, qu’il s’agisse de sondages d’opinion, d’études de marché ou d’enquêtes de satisfaction.
Or cette exigence de représentativité n’est ni systématique ni absolue. Tout dépend des circonstances et des objectifs de chaque enquête. Passons en revue quelques cas de figure parmi les plus courants :
- les sondages (sondages d’opinion ou autres types de sondages),
- les études de marché ou études marketing,
- la mesure de la satisfaction client,
- enfin, les enquêtes internes menées auprès des salariés.
questionnaire-pro, logiciel d'enquêtes édité par Questio
Solution SaaS d’enquêtes en ligne conçue pour être utilisée de façon autonome
En théorie, pas de véritable sondage sans échantillon représentatif
Le terme de « sondage » est largement galvaudé mais rappelons en premier lieu que le principe même d’une enquête par sondage, c’est que l’échantillon est conçu pour être représentatif de la population étudiée, avec une marge d’erreur connue (définie ou calculée).
Pour les médias, les annonceurs ou grandes marques, les instituts d’études et plus généralement tous les acteurs qui conduisent des sondages d’opinion à l’échelle nationale, voire internationale, la problématique est réelle. Quelles que soient les techniques d’échantillonnage utilisées, les échantillons de répondants doivent impérativement être représentatifs des populations étudiées pour pouvoir extrapoler les résultats obtenus sur échantillon à la population toute entière.
Pour ces acteurs majeurs du monde des études, la représentativité est un véritable enjeu et ils sont constamment à la recherche de solutions pour constituer leurs échantillons (panels, river sampling par exemple). Constatant depuis quelque temps la désaffection des consommateurs qui ne veulent plus participer aux études – surtout si les questionnaires sont longs et rébarbatifs – ou en sont exclus pour diverses raisons, les instituts les plus en pointe déploient de nouvelles stratégies pour optimiser les taux de participation aux études des différentes catégories de population.
Ce que l’on appelle l’empêchement physique ou culturel à participer aux études concerne potentiellement des millions de Français. Cet « empêchement » se trouve renforcé du fait de l’écrasante majorité des enquêtes menées désormais sur internet. Plusieurs facteurs y contribuent :
- le handicap visuel : il y aurait en France à peu près à 1,7 million personnes dont la vue est déficiente au point de ne pas pouvoir lire un texte de près ;
- l’illectronisme (inaptitude d’un individu à se servir des outils numériques du quotidien) qui concernerait 17% de la population française selon l’INSEE ;
- enfin, toujours selon l’INSEE, 7 % de la population vivant en France n’aurait ni smartphone ni accès à Internet à domicile.
Dans la théorie des sondages, il faut que chaque individu de la population étudiée ait les mêmes chances de pouvoir répondre au sondage et on parle d’erreur de couverture lorsque ce n’est pas le cas.
A LIRE AUSSI
Méthodes d’échantillonnage aléatoires et non aléatoires
Les résultats d’une enquête par sondage ne sont extrapolables à la population tout entière que si l’échantillon est représentatif. Or cette représentativité est liée à la méthode d’échantillonnage […] Lire la suite
Par ailleurs, les sondages ne sont pas tous des sondages d’opinion. D’autres types de sondages requièrent également des échantillons représentatifs. C’est le cas par exemple des études menées dans le cadre de recherches universitaires ou des enquêtes conduites pour obtenir des données statistiques sur une population particulière.
Chez Questio, nous avons notamment comme clients des organisations professionnelles qui mènent des enquêtes annuelles pour mesurer l’évolution des pratiques dans leurs métiers. La crédibilité de leurs résultats repose sur la représentativité des échantillons obtenus. Les redressements que nous effectuons a posteriori ne suffisent pas toujours à compenser des taux de réponse trop faibles sur certaines cibles. D’où l’importance de contrôler les échantillons lorsqu’ils sont en train de se constituer, lors de la phase de recueil des réponses.
A LIRE AUSSI
Comment traiter les données d’enquête
Dans les enquêtes en ligne, le traitement des données récoltées est largement automatisé. Toutefois quelques vérifications s’imposent avant de se plonger dans le rapport […] Lire la suite
Études de marché, études marketing, des problématiques variées
Penchons-nous maintenant sur le cas des études de marché, aussi appelées études marketing. Une étude de marché peut se définir comme l’analyse qualitative et quantitative d’un marché (demande, concurrence, produits, environnement, etc.) pour répondre à une problématique spécifique d’une entreprise.
Selon les cas (sans que cette liste soit exhaustive), il peut s’agir :
- d’identifier des opportunités sur un marché ou des problèmes auxquels des consommateurs sont confrontés,
- de lancer, d’ajuster ou d’évaluer des actions marketing (marché cible, nouveau produit, politique de prix, communication…),
- de mesurer la performance marketing : part de marché, circuit de distribution, mesure de la satisfaction par exemple.
La collecte des données nécessaires pouvant s’effectuer de nombreuses manières différentes, les types d’enquêtes sont variés. La question de la nécessité de constituer un échantillon représentatif de la population étudiée se pose lors de la phase quantitative.
Lors de la phase de conception de l’étude, il convient avant tout pour répondre à la problématique de bien définir la population étudiée et de caractériser l’unité d’échantillonnage. Le plus souvent l’unité statistique est l’individu, la personne physique, qui répond à l’enquête mais il peut aussi s’agir d’un foyer familial ou encore d’une entreprise (études BtoB).
Ensuite, selon le type d’étude et les objectifs poursuivis, des choix méthodologiques doivent être effectués : plan d’échantillonnage, taille de l’échantillon, impact sur la précision des résultats.
Pendant la phase de recueil des réponses, un des problèmes sur lequel tout le monde se focalise est d’obtenir un maximum de répondants. Mais un autre problème, non négligeable, est d’obtenir les bons répondants !
Dans certaines situations, il est essentiel d’avoir en tête la notion d’empêchement physique ou culturel à participer aux études évoquée précédemment. L’exemple suivant est cité par Bruno François :
Si vous êtes un acteur du hard discount, aurez-vous une bonne vision de votre marché si vous n’interrogez pas des gens qui ne maitrisent pas très bien la langue, ou qui sont méfiantes ou peu à l’aise avec les outils électroniques d’aujourd’hui ? Il y a des chances que non, le risque étant de prendre de mauvaises décisions.
Mesure de la satisfaction client : une représentativité souvent souhaitable
Les enquêtes de satisfaction sont parfois considérées comme une simple branche des études de marché.
Toutefois, la mesure de la satisfaction client a pris une importance considérable ces dernières années et fait appel à des méthodologies d’enquête particulières. Par exemple les enquêtes dites « en miroir » où l’on interroge à la fois les employés et les clients. Ou encore les communautés sur internet ou sur les réseaux sociaux.
Aussi est-on souvent amené à considérer que l’obtention d’un échantillon représentatif reste souhaitable dans le principe mais n’est pas toujours systématique.
Tout dépend de la finalité de l’enquête de satisfaction : s’il s’agit d’extrapoler les résultats obtenus à la totalité de la clientèle, un plan d’échantillonnage s’impose tandis qu’il n’est pas forcément nécessaire pour mettre en œuvre des plans d’actions comme identifier et traiter les principaux irritants clients.
A LIRE AUSSI
CSAT, NPS®, CES… les indicateurs de mesure de la satisfaction client
Plusieurs indicateurs permettent d’évaluer la satisfaction client. Parmi les plus connus et les plus utilisés, figurent le CSAT, le NPS® et le CES. Mais que sont exactement ces indicateurs […] Lire la suite
Dans certains cas, on peut retrouver la problématique d’empêchement à répondre évoquée précédemment et des outils spécifiques doivent être mis en œuvre pour permettre à tous les individus de s’exprimer.
Par exemple, chez Questio, un de nos clients est un groupe qui gère des établissements d’hébergement pour personnes âgées dépendantes (EHPAD). Dans le cadre de sa démarche qualité, ce client conduit régulièrement des enquêtes de satisfaction auprès des résidents des EHPAD et de leurs familles.
Pour obtenir une bonne représentation des avis exprimés, un dispositif spécifique est mis en place. Le personnel de chaque établissement est mobilisé pour aider les résidents qui le souhaitent à répondre à l’enquête en ligne. Des questions spécifiques sont posées en fin de questionnaire, notamment pour savoir si le résident a répondu seul ou avec une aide, à des fins de contrôle.
Sans ce dispositif, l’avis de la totalité des résidents ne pourrait pas être recueilli, ce qui entacherait la mesure de la satisfaction.
De façon générale, pour les services publics et spécialement dans le domaine de la santé ou du handicap, l’enjeu de représentativité est très lié à la problématique de l’accessibilité. Ce n’est pas forcément un sujet dans tous les secteurs d’activité.
Enquêtes auprès des salariés, tout dépend de la taille de l’entreprise…
Pour finir, voyons le cas des enquêtes internes. Ici encore, la question de la représentativité de l’échantillon de salariés devra être vue différemment selon le contexte et surtout la taille de l’entreprise : plus l’entreprise compte de salariés, plus l’obtention d’un échantillon représentatif s’avère nécessaire.
A LIRE AUSSI
Interroger les salariés : les clés du succès
Des motifs nombreux et variés peuvent conduire les entreprises à réaliser des enquêtes de satisfaction auprès de leurs salariés. Cet article en dresse un panorama et met l’accent sur les facteurs clés […] Lire la suite
Pour la clientèle de Questio, essentiellement constituée d’entreprises petites ou moyennes (TPE/PME), l’exigence de représentativité peut conduire à définir une taille d’échantillon théorique proche de l’effectif total !
Par exemple, pour un effectif de 100 personnes, le calcul de la taille de l’échantillon auquel on applique le coefficient correcteur approprié aux populations réduites conduit à interroger 80 personnes sur 100 pour obtenir un niveau de confiance de 95% avec une marge d’erreur de 5%.
A LIRE AUSSI
Déterminer la taille de l’échantillon
Dans toutes les enquêtes quantitatives, la taille de l’échantillon est un facteur déterminant pour obtenir des données fiables. Les spécialistes des sondages font appel à des théories statistiques […] Lire la suite
Pour des entreprises d’une centaine de salariés ou moins, le pragmatisme l’emporte sur la théorie.
Souvent, ce qui compte avant tout, c’est la participation des employés et leur implication. Les études de satisfaction internes ont fréquemment pour finalité principale l’animation du personnel, les enquêtes doivent permettre d’identifier les grandes tendances et de mettre en œuvre des changements.
Chez Questio, nous préconisons donc d’inviter tout le personnel à répondre, sans se préoccuper de constituer un échantillon représentatif. C’est lors de l’exploitation des résultats qu’on examine la qualité de l’échantillon obtenu pour ajuster l’analyse et décider de procéder (ou non) à un redressement des réponses.
Vous souhaitez nous consulter sur votre projet d’enquête ou sondage ? N’hésitez pas à nous contacter ou à réserver directement un créneau dans mon agenda en ligne.
Sources
– « L’inclusion est un réel enjeu pour le monde des études » par Bruno François, La Voix du Client, article paru le 12/07/2022
– Chiffres sur la déficience visuelle fournis par la Fédération des Aveugles de France
– Etudes de l’INSEE sur l’illectronisme et sur l’absence de smartphone et d’accès à internet
Si cet article vous a intéressé ou suscite des remarques ou des questions, merci de m’en faire part dans les commentaires.
Merci pour votre blog qui est très intéressant.
1. Quel est le lien entre la taille de l’échantillon et le type d’échantillonnage (aléatoire, empirique)?
2. Quelle doit être la taille minimum échantillon (tout type) pour avoir des résultats significatifs?
3. Quelle doit être la taille minimum d’un sous groupe d’échantillon ‘désagrégation) pour faire des observations significatives?
Merci d’avance
A moi de vous remercier également, Tidiani, pour l’intérêt que vous portez à ce blog. Je vais tenter de répondre à vos 3 questions, avec une démarche essentiellement pragmatique et opérationnelle, parfois un peu éloignée de la théorie pure.
1. Quel est le lien entre la taille de l’échantillon et le type d’échantillonnage (aléatoire, empirique) ?
Les formules de calcul de la taille de l’échantillon sont basées sur la théorie des sondages et la loi de Gauss (précisément la loi normale centrée réduite) et reposent sur l’hypothèse que le tirage de l’échantillon est aléatoire.
Dans la pratique des études quantitatives, comme le recours aux méthodes de sondage aléatoire est difficile voire quasi impossible à mettre en œuvre, on se tourne le plus souvent vers une méthode de sondage empirique comme par exemple la méthode des quotas. Et on admet que l’échantillon obtenu par la méthode des quotas se comporte comme un échantillon aléatoire, ce qui permet de calculer :
– en amont : la taille d’échantillon nécessaire pour un degré de précision voulu
– en aval : la précision obtenue à partir de l’échantillon réel
2. Quelle doit être la taille minimum échantillon (tout type) pour avoir des résultats significatifs ?
Tout dépend de la précision recherchée ! Vous trouverez la formule de calcul dans cet autre article que j’ai rédigé : Déterminer la taille de l’échantillon
(je vous invite à lire aussi les commentaires sous cet article, certains points abordés sont très instructifs)
3. Quelle doit être la taille minimum d’un sous groupe d’échantillon ‘désagrégation) pour faire des observations significatives ?
Les règles qui s’appliquent à un échantillon tout entier s’appliquent aussi à ses sous-parties.
Cela dit, cela peut dépendre de la nature des variables analysées et de la dispersion des données. On s’accorde généralement à dire qu’il faut au moins 30 observations pour stabiliser une proportion et 50 pour stabiliser une moyenne, c’est pragmatique ce n’est pas scientifique !
Merci pour ces éclaircissements mais je voudrais savoir ,est ce que la représentativité est indispensable dans le jugement de la fiabilité d’une étude ? Quand est ce qu’on peut qualifier que l’echantillon est représentatif dans une étude épidémiologique
Tout d’abord, Toilibdine, qu’il s’agisse d’une étude épidémiologique ou d’une étude de marché ou encore de satisfaction client, les lois statistiques sur lesquelles repose la théorie des sondages sont les mêmes.
Pour faire simple, un échantillon est représentatif s’il est obtenu grâce à une méthode d’échantillonnage aléatoire. Par extension, dans le domaine des enquêtes d’opinion et des études marketing notamment, on admet que les échantillons obtenus par certaines méthodes empiriques (la méthode des quotas par exemple) peuvent aussi être représentatifs.
Comme j’essaie de l’expliquer dans cet article, où nous nous intéressons aux sondages d’opinion, aux études marketing, à la mesure de la satisfaction client et aux enquêtes menées auprès des salariés d’une entreprise, la représentativité de l’échantillon obtenu n’est pas toujours une condition sine qua non.
Mais ce qu’il est essentiel de retenir, c’est que seul un échantillon représentatif permet d’extrapoler les résultats obtenus sur l’échantillon à la population toute entière dont cet échantillon est tiré (en calculant au passage le degré de précision et l’intervalle de confiance des résultats).
Dans tous les autres cas, on peut étudier les résultats obtenus sur l’échantillon et en tirer éventuellement des plans d’action opérationnels (par exemple pour éliminer des irritants et ainsi améliorer la satisfaction client) mais on ne peut pas extrapoler à l’ensemble de la population des moyennes ou des proportions observées sur l’échantillon.