Ajouter des pièges et mesurer la fiabilité du questionnaire

Pour contrôler la qualité des réponses à un questionnaire, l’ajout de questions piège est une option à considérer, a fortiori si c’est un questionnaire d’évaluation et qu’on veut mesurer la fiabilité du répondant.

Dans un article récent de ce blog, j’évoquais l’utilisation des questions piège pour repérer les plaisantins et les fraudeurs dans les enquêtes de satisfaction ou les études de marché et plus généralement tous les types d’enquêtes et de sondages (je vous mets le lien pour y accéder à la fin).

Aujourd’hui, je veux vous parler d’une fonctionnalité complémentaire, que nous avons développée sur la plateforme questionnaire-pro pour appliquer ce type de contrôle de la qualité des réponses dans le cas où le questionnaire aboutit à générer un autodiagnostic.

Nous l’avons appelé l’indice de fiabilité et je vous en parle dans la deuxième partie de l’article.

questionnaire-pro, logiciel d'enquêtes édité par Questio
Contrôle d’accès au questionnaire par mot de passe, par identifiant, sur invitation par e-mail ou sur-mesure

Découvrir questionnaire-pro

Commençons par re-situer l’utilisation des questions piège ou des items piège dans un questionnaire.

Les questions piège sont utilisées dans les questionnaires dans le but de garantir la qualité des réponses fournies lors d’une enquête ou d’un sondage. Elles permettent de contrôler que les répondants sont d’authentiques personnes physiques et/ou d’éliminer les réponses fantaisistes ou potentiellement frauduleuses avant d’analyser les résultats.

A LIRE AUSSI

Des questions piège pour repérer les robots, plaisantins et fraudeurs
Vérifier l’authenticité ou la sincérité des réponses recueillies par questionnaire peut s’avérer un enjeu important dans certains cas d’enquêtes, sondages ou diagnostics digitaux. L’ajout […] Lire la suite

Trois types de questions piège sont généralement utilisés, chacun ayant une finalité spécifique : les questions de vérification, les questions d’attention et les questions de contrôle de la sincérité.

a) Questions de vérification

Les questions de vérification sont utilisées pour s’assurer que les participants sont de véritables personnes et non des robots. Des techniques telles que les captchas sont souvent utilisées pour cette vérification.

Ce type de question est généralement posé au début du questionnaire, et si le répondant ne parvient pas à y répondre, il est bloqué. Les autres formes de questions piège, destinées à maintenir l’attention des répondants et à contrôler leur sincérité, peuvent être placées à n’importe quel moment du questionnaire.

A LIRE AUSSI

Comment obtenir des réponses sincères à un sondage
Collecter des réponses sincères est évidemment la clé d’un bon sondage. Le problème se pose quand on aborde des sujets sensibles : pour des raisons diverses (désirabilité sociale), les répondants […] Lire la suite

b) Questions d’attention

Pour tester l’attention du répondant, des questions avec des instructions peuvent être posées. Les répondants donnant une réponse erronée peuvent être exclus de l’analyse des résultats ou faire l’objet d’un contrôle manuel approfondi.

Voici un exemple (simple) de ce qui s’appelle une question avec instruction :

Pour continuer, choisissez la couleur rouge :

• bleu

• rouge

• vert

• jaune

c) Questions de contrôle de la sincérité

Pour vérifier la sincérité des répondants, des questions plus subtiles doivent être posées, de manière à ce que le piège ne soit pas (trop) visible.

Certains répondants peuvent être tentés de fournir des réponses malhonnêtes, notamment lorsqu’il y a des récompenses ou des primes (couramment appelées incentives) associées au questionnaire. Si besoin, des contrôles stricts peuvent être mis en place pour prévenir les fraudes.

Par ailleurs, certains sujets sensibles peuvent entraîner des réponses biaisées en raison de la désirabilité sociale. Les répondants peuvent dissimuler certaines informations pour donner une meilleure image d’eux-mêmes ou pour se conformer à la norme sociale. Dans de tels cas, des techniques spécifiques doivent être utilisées pour inciter les répondants à répondre de manière sincère.

A LIRE AUSSI

Minimiser les erreurs de mesure grâce à un bon questionnaire
L’inexactitude ou l’imprécision des réponses, appelée erreur de mesure, peut parfois être imputée à la mauvaise foi des répondants… mais 9 fois sur 10, c’est dans le questionnaire […] Lire la suite

En résumé, pour conclure cette première partie, les questions piège sont utilisées dans un questionnaire pour vérifier l’identité des répondants, maintenir leur attention et contrôler leur sincérité. Différentes techniques peuvent être employées en fonction des objectifs poursuivis.

Voyons maintenant comment nous proposons de mesurer la fiabilité des réponses à un questionnaire, notamment dans le cas où la finalité est d’évaluer les répondants.

Rappelons d’abord que la plateforme d’enquêtes questionnaire-pro dispose d’un module complémentaire permettant de réaliser des autodiagnostics ou des auto-évaluations à partir d’un questionnaire.

Ce module s’appuie sur un questionnaire programmé sur la plateforme, auquel on applique un modèle de scoring paramétrable pour :

1. qualifier le répondant sur un ou plusieurs critères,
2. lui restituer ses résultats sous forme synoptique,
3. proposer des actions en fonction du diagnostic effectué.

Restituer un autodiagnostic à la fin du questionnaire ?
Le module développé par Questio complète le logiciel questionnaire-pro pour générer des auto-diagnostics personnalisés.

Je découvre la solution

Cet outil permet, entre autres, d’évaluer le profil ou le niveau de candidats (organismes de formation, services RH, coachs, recruteurs, etc.). Pour nos clients qui utilisent l’outil d’auto-diagnostic dans ce contexte, nous avons développé une fonctionnalité pour évaluer l’honnêteté des réponses d’un répondant à partir d’items de réponse pièges introduits dans le questionnaire.

En effet, sachant que leur profil ou leur candidature vont être évalués à partir de leurs réponses au questionnaire, certains individus peuvent être tentés :

• de choisir les réponses qui vont donner la meilleure image d’eux-mêmes,
• ou de s’arroger des connaissances ou des compétences qu’ils n’ont pas.

Voici un exemple de question contenant un item piège :

Dans vos expériences passées de chargé(e) d’études statistiques, quelles méthodes d’échantillonnage avez-vous utilisées ? (plusieurs réponses possibles)

• l’échantillonnage aléatoire simple

• l’échantillonnage par grappes

• la pyramide de Maslow

• la méthode empirique des quotas

• aucune de ces méthodes (réponse exclusive)

Dans cet exemple, un des items proposés n’est pas une méthode d’échantillonnage, la pyramide de Maslow. Le candidat qui coche cette réponse montre à la fois son ignorance et son manque d’honnêteté.

Pour contrer ce type de biais comportementaux, nous proposons chez Questio de calculer un indice de fiabilité pour chaque questionnaire répondu, basé sur 100 points. Chaque fois que le répondant sélectionne un item piège (introduit à dessein dans le questionnaire par son créateur), des points sont enlevés à l’indice de fiabilité.

Prenons un exemple :

Imaginons que 10 items piège sont disséminés dans un questionnaire d'auto-évaluation des compétences (dans le style de l'exemple qui précède) et qu'on leur accorde 4 points chacun.

Le répondant A n'en coche aucun, l'indice de fiabilité égale 100.
Le répondant B en coche 3, l'indice de fiabilité égale 88.
Le répondant C en coche 7, l'indice de fiabilité égale 72.

L'évaluation des compétences du répondant B est moins fiable que celle du répondant A, celle du répondant C l'est encore moins.

L’indice de fiabilité est indépendant du système de pondérations qui permet de calculer les scores individuels. C’est un indicateur supplémentaire pour éclairer le concepteur de l’outil d’autoévaluation.

Cet indicateur n’est généralement pas fourni au répondant lors de la restitution de son auto-diagnostic.

D’autres options avancées sont également disponibles pour affiner la restitution obtenue par le répondant ou définir les conditions dans lesquelles le diagnostic peut être valablement produit. Par exemple :

• définir un seuil d’acceptabilité des réponses apportées au questionnaire, qui déclenche l’affichage ou non du diagnostic
• paramétrer un score global à afficher dans le diagnostic (simple ou pondéré, plusieurs modalités d’affichage)
• afficher ou non certains axes d’analyse selon les réponses obtenues

A LIRE AUSSI

3 options avancées pour affiner un autodiagnostic digital
Le module d’auto-diagnostic de Questio complète la plateforme logicielle questionnaire-pro. Des options avancées de paramétrage de la restitution de son auto-évaluation au répondant sont […] Lire la suite

Cet article vous a intéressé ou vous souhaitez réagir ? Pour toute question d’ordre général, vous pouvez utiliser l’espace de commentaire ci-dessous. Pour des questions sur un projet précis, veuillez plutôt nous contacter pour obtenir une réponse personnalisée.