Les enquêtes avec des questions répétitives produisent de mauvaises données, selon une étude

  • Français


  • Selon une nouvelle étude menée par UC Riverside, les enquêtes qui posent trop de questions du même type fatiguent les répondants et renvoient des données peu fiables.

    L’étude a révélé que les gens se lassent des questions qui ne varient que légèrement et ont tendance à donner des réponses similaires à toutes les questions au fur et à mesure que l’enquête progresse. Les spécialistes du marketing, les décideurs et les chercheurs qui s’appuient sur de longues enquêtes pour prédire le comportement des consommateurs ou des électeurs disposeront de données plus précises s’ils élaborent des enquêtes conçues pour obtenir des réponses fiables et originales, suggèrent les chercheurs.

    “Nous voulions savoir, c’est toujours mieux de collecter plus de données dans les enquêtes, ou si poser trop de questions pouvait conduire les répondants à fournir des réponses moins utiles à mesure qu’ils s’adaptent à l’enquête”, a déclaré le premier auteur Ye Li, professeur adjoint de gestion à UC Riverside. “Cela pourrait-il paradoxalement conduire à poser plus de questions mais à obtenir de moins bons résultats ?”

    Bien qu’il puisse être tentant de supposer que plus de données sont toujours meilleures, les auteurs se sont demandé si les processus décisionnels utilisés par les répondants pour répondre à une série de questions pourraient changer, en particulier lorsque ces questions utilisent un format similaire et répétitif.

    La recherche portait sur des enquêtes quantitatives du type généralement utilisé dans les études de marché, l’économie ou la recherche sur les politiques publiques qui cherchent à comprendre les valeurs des gens à propos de certaines choses. Ces enquêtes posent souvent un grand nombre de questions structurellement similaires.

    Les chercheurs ont analysé quatre expériences qui demandaient aux répondants de répondre à des questions portant sur le choix et la préférence.

    Les répondants aux sondages ont adapté leur prise de décision en répondant à des questions de choix plus répétitives et structurées de la même manière, un processus que les auteurs appellent « adaptation ». Cela signifie qu’ils ont traité moins d’informations, appris à peser plus lourdement certains attributs ou adopté des raccourcis mentaux pour combiner des attributs.

    Dans l’une des études, les répondants ont été interrogés sur leurs préférences pour différentes configurations d’ordinateurs portables. C’est le genre de questions que les spécialistes du marketing utilisent pour déterminer si les clients sont prêts à sacrifier un peu de taille d’écran en échange d’une capacité de stockage accrue, par exemple.

    “Lorsqu’on vous pose sans cesse des questions sur les configurations d’ordinateurs portables qui ne varient que légèrement, les deux ou trois premières fois, vous les regardez attentivement, mais après cela, vous ne regardez peut-être qu’un attribut, comme la durée de vie de la batterie. Nous utilisons raccourcis. L’utilisation de raccourcis vous donne moins d’informations si vous demandez trop d’informations », a déclaré Li.

    Alors que les humains sont connus pour s’adapter à leur environnement, la plupart des méthodes de recherche comportementale utilisées pour mesurer les préférences ont sous-estimé ce fait.

    “En aussi peu que six ou huit questions, les gens répondent déjà de telle manière que vous êtes déjà moins bien loti si vous essayez de prédire le comportement dans le monde réel”, a déclaré Li. “Dans ces enquêtes, si vous posez sans cesse aux gens les mêmes types de questions, ils commencent à donner les mêmes types de réponses.”

    Les résultats suggèrent certaines tactiques qui peuvent augmenter la validité des données tout en économisant du temps et de l’argent. Le traçage de processus, une méthodologie de recherche qui suit non seulement la quantité d’observations mais aussi leur qualité, peut être utilisé pour diagnostiquer l’adaptation, aidant à identifier quand elle menace la validité. L’adaptation pourrait également être réduite ou retardée en modifiant à plusieurs reprises le format de la tâche ou en ajoutant des questions de remplissage ou des pauses. Enfin, la recherche suggère que pour maximiser la validité des enquêtes de mesure des préférences, les chercheurs pourraient utiliser un ensemble de méthodes, utilisant de préférence plusieurs moyens de mesure, tels que des questions qui impliquent de choisir entre des options disponibles à différents moments, des questions d’appariement et une variété de contextes.

    “Le compromis n’est pas toujours évident. Plus de données ne sont pas toujours meilleures. Soyez conscient des compromis”, a déclaré Li. “Lorsque votre objectif est de prédire le monde réel, c’est là que ça compte.”

    Li a été rejoint dans la recherche par Antonia Krefeld-Schwalb, Eric J. Johnson et Olivier Toubia à l’Université de Columbia ; Daniel Wall de l’Université de Pennsylvanie ; et Daniel M. Bartels de l’Université de Chicago. L’article, “Plus vous demandez, moins vous obtenez : lorsque des questions supplémentaires nuisent à la validité externe”, est publié dans le Revue de recherche marketing.

    L'équipe de Comparaland

    L'équipe rédactionnnelle du site

    Pour contacter personnellement le taulier :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *