Des questions piège pour repérer les robots, plaisantins et fraudeurs

Vérifier l’authenticité ou la sincérité des réponses recueillies par questionnaire peut s’avérer un enjeu important dans certains cas d’enquêtes, sondages ou diagnostics digitaux. L’ajout de questions piège, utilisées à bon escient, est une solution à considérer.

Quand on évoque le contrôle de la qualité des réponses dans les études quantitatives via l’utilisation de questions piège, chacun peut avoir une problématique différente à l’esprit car cette pratique peut répondre à plusieurs objectifs.

Dans les grands instituts de sondage ou chez les fournisseurs de panels, on utilise des questions piège notamment pour s’assurer que les répondants sont bien des personnes réelles et pas des robots ou des machines. Mais on peut aussi utiliser des questions piège, ou parfois simplement des items piège au sein d’une question normale, dans des enquêtes ad hoc de divers types, y compris celles réalisées en mode DIY (Do It Yourself).

Pourquoi utiliser des questions piège dans un questionnaire ? Quel type de question choisir ?

On distingue 3 types de questions piège, que nous allons détailler dans la première partie de cet article, qui correspondent à des finalités différentes :

• les questions de vérification,
• les questions d’attention,
• et les questions de contrôle de la sincérité.

Le but de ces questions est de vérifier que les réponses apportées à une enquête ou un sondage répondent à des standards de qualité, pour écarter les réponses fantaisistes ou éventuellement frauduleuses, avant de procéder à l’analyse des résultats.

questionnaire-pro, logiciel d'enquêtes édité par Questio
Nombreux types de questions pour s’adapter à tous les besoins de recueil de réponses par questionnaire

Découvrir questionnaire-pro

Comme évoqué précédemment, un premier type de question piège est la question de vérification utilisée notamment par les grands instituts de sondage et les fournisseurs de panels. Ce sont souvent des sociétés internationales qui brassent des volumétries très importantes et doivent s’assurer, pour satisfaire leurs clients, que les participants aux enquêtes sont des personnes réelles et pas des robots.

Chacune de ces sociétés a développé ses propres techniques de contrôle. Une des plus connues est le système des captchas : il s’agit d’identifier le contenu d’images ou des vidéos, d’associer des réponses concordantes ou de faire un calcul mathématique, etc.

Le but est de bloquer le répondant s’il ne parvient pas à répondre correctement.

Remarque

En complément des captchas ou équivalents, il existe d’autres techniques pour vérifier qu’on a bien affaire à des humains.

Par exemple :
– le contrôle des questionnaires remplis trop rapidement,
– la vérification manuelle des réponses aux questions ouvertes (on sait que la qualité des réponses aux questions ouvertes est un très bon indicateur de la qualité générale des données recueillies),
– la vérification des réponses des participants aux questions présentées sous forme de tableaux (pour repérer le phénomène de click-through, réponses cochées systématiquement à gauche ou alors à droite ou au milieu).

Aucun de ces techniques n’est infaillible mais combinées entre elles, on peut arriver à un contrôle efficace.

A l’inverse des questions de vérification (captchas), les autres formes de questions piège ne sont pas systématiquement positionnées en début de questionnaire, elles peuvent apparaître à n’importe quel moment dans le questionnaire, ce sont les questions destinées à :

• vérifier que les répondants maintiennent leur attention, lisent les questions et les réponses proposées dans leur intégralité, sans répondre à la va-vite et, si possible, en donnant des réponses cohérentes ;
• contrôler qu’ils répondent de façon sincère, sans chercher à dissimuler ou au contraire à enjoliver leurs attitudes, comportements et opinions.

Pour vérifier que le répondant est bien attentif, on peut poser des questions avec instruction, simples ou plus élaborées, placées généralement en milieu de questionnaire :

Les répondants qui donnent une mauvaise réponse sont soit écartés lors de l’exploitation des résultats (on supprime ou on désactive leurs réponses) soit font l’objet d’un contrôle manuel approfondi.

Comme pour les questions de vérification type catpcha, je conseille d’annoncer clairement au répondant que la question posée est destinée à vérifier que ce n’est pas un robot ou une machine qui répond. Par déontologie et dans un esprit de transparence. Et aussi parce que les internautes ne sont pas des imbéciles !

A LIRE AUSSI

Contrer l’inattention des personnes interrogées
Pour retenir l’attention des internautes en train de répondre à votre sondage, pas de solution miracle. Mais en travaillant tant sur le fond que sur la forme du questionnaire, vous pouvez limiter […] Lire la suite

Pour vérifier la sincérité du répondant, c’est plus délicat. Il faut donc être plus astucieux, le piège ne doit pas être visible. Mais d’abord il faut comprendre pourquoi un répondant peut fournir des réponses malhonnêtes, intentionnellement ou non.

Premièrement, il y a les enquêtes qui permettent de gagner quelque chose, d’obtenir une récompense, une prime voire même une rémunération. Les concepteurs de ce type d’enquêtes savent qu’ils doivent se prémunir contre les fraudeurs. Les contrôles peuvent porter sur l’identité du participant ou d’autres caractéristiques.

Par exemple, la personne a-t-elle vraiment acheté le produit qui conditionne sa participation au jeu-concours ? Une solution consiste à lui demander de fournir la photo du ticket de caisse.

A LIRE AUSSI

Téléverser documents ou images en guise de réponse à une enquête
Besoin de recueillir des fichiers (documents, photos…) fournis par les répondants via un questionnaire d’enquête en ligne ? C’est ce que la question de téléversement disponible sur […] Lire la suite

Au-delà des simples contrôles, rien n’empêche d’ajouter une ou plusieurs questions piège pour détecter ceux qui seraient tentés de tricher pour obtenir l’incentive associé au questionnaire.

On peut par exemple poser une question de ce style :

Comment se présente l’emballage du produit que vous avez acheté ?

D’autres raisons peuvent conduire les interviewés à ne pas répondre sincèrement, elles apparaissent en général quand le questionnaire aborde des sujets sensibles, comme le statut social et les revenus, la vie privée (hygiène, santé, sexualité), les comportements marginaux, les questions de religion, etc.

Ce phénomène porte le nom de désirabilité sociale. Pour donner une meilleure image d’eux-mêmes ou se conformer à la norme sociale, les répondants peuvent être tentés par la dissimulation, consciemment ou non.

Si cette problématique vous concerne, je vous renvoie à un autre article que j’ai rédigé sur ce blog, consacré à la meilleure façon de rédiger les questions pour obtenir des réponses sincères. J’y aborde différents moyens pratiques pour contrer les biais de désirabilité sociale.

A LIRE AUSSI

Comment obtenir des réponses sincères à un sondage
Collecter des réponses sincères est évidemment la clé d’un bon sondage. Le problème se pose quand on aborde des sujets sensibles : pour des raisons diverses (désirabilité sociale), les répondants […] Lire la suite

Enfin, une autre façon de procéder consiste à ajouter un item piège dans une question normale du questionnaire. Cette pratique sert à détecter des comportements inappropriés. Un nouvel article sur ce sujet est en cours de rédaction. A suivre !

Cet article vous a intéressé ? Avez-vous personnellement déjà utilisé des question piège dans un questionnaire ? N’hésitez pas à vous exprimer, je m’attache à répondre à tous les commentaires.