Exploitez la pleine valeur des questions ouvertes

View PDF version

Un questionnaire de sondage contient généralement deux types de questions : Ouvertes et fermées. Les questions fermées pour lesquelles la personne interrogée se voit proposer un choix parmi des réponses préétablies sont facilement quantifiables et analysées, mais nécessitent une connaissance préalable permettant de proposer des réponses adéquates, sous peine de retrouver un grand nombre de réponses sous le choix « autre ». Les questions ouvertes, quant à elles, donnent aux répondants la possibilité de répondre librement, sans qu’ils soient limités ou influencés par les choix de réponses. Ces types de réponses qualitatives sont cependant plus difficiles et plus longs à analyser, en raison de leur caractère non structuré. Pourtant, poser des questions ouvertes peut s’avérer très avantageux. Ce type de questions fournit en effet des réponses souvent plus riches en informations que des questions fermées. Le fait de poser des questions ouvertes, sans réponses prédéfinies, est une manière de s’ouvrir aux idées neuves, aux réponses non anticipées.

QDA Miner et WordStat sont deux solutions d’analyse sémantique efficaces pour répondre aux procédures longues et complexes qu’implique le traitement manuel des questions ouvertes. Ces outils d’analyse sémantique offrent une assistance informatique unique pour coder et analyser très rapidement un grand volume de réponses non structurées. Nous examinerons ici certaines fonctionnalités de ces deux outils et vous proposerons quelques astuces pour vous permettre de choisir la meilleure stratégie pour vos analyses. Bien que nous nous concentrions ici sur le codage et l’analyse des questions ouvertes à partir de données de sondage, les mêmes techniques s’appliquent à d’autres types de données composées d’un grand volume de réponses courtes, comme les commentaires de clients ou les tweets et autres flux de médias sociaux.

QDA Miner ou WordStat ?

QDA Miner et WordStat offrent tous deux des solutions de codage et d’analyse des questions ouvertes. Le choix du logiciel à utiliser dépend d’une variété de facteurs : la quantité de réponses à coder, le temps et les ressources financières disponibles, la récurrence, la fréquence et le processus de collecte des données sont autant de paramètres qui pourraient influencer votre choix.

Quand utiliser QDA Miner ?

QDA Miner est essentiellement un outil de codage manuel où la décision finale d’appliquer un code à une réponse spécifique reste sous le contrôle du codeur. Bien que QDA Miner offre de nombreuses fonctionnalités d’assistance informatique pour rendre le codage plus rapide et plus fiable, le codeur a toujours la possibilité d’examiner les suggestions avant que tout codage soit appliqué. La fonction d’assistance au codage la plus élémentaire est l’outil de recherche de texte qui permet de récupérer et de coder toutes les réponses contenant des mots-clés ou des phrases-clés spécifiques. Cependant, le logiciel va bien au-delà en offrant des fonctions de recherche avancées reposant sur des techniques de recherche d’informations comme l’apprentissage par exemples avec rétroaction sur la pertinence (« relevance feedback »), l’appariement flou, etc. Voici quelques-uns des outils avancés les plus utiles pour analyser les transcriptions des questions ouvertes :

L’outil d’extraction de groupements d’items est un dispositif de codage innovant.Il est basé sur une méthode d’apprentissage machine non supervisée. Cet outil regroupe automatiquement des réponses similaires (même avec des fautes d’orthographe) et permet au codeur d’examiner et de coder rapidement ces groupements d’items à l’aide d’un dispositif intuitif de codage glisser-déposer. Il permet souvent de multiplier la vitesse du codage manuel par un facteur de trois à 100.

La fonction de similarité de codage permet d’identifier rapidement des segments de texte similaires à des éléments qui ont déjà été codés dans le projet actuel ou dans un autre projet. Cette fonction peut être utilisée pour accélérer le codage des projets partiellement codés. Elle peut également être utilisée dans des projets entièrement codés pour identifier les éléments qui peuvent avoir été omis. Cette fonction permet ainsi d’augmenter à la fois la vitesse et la fiabilité du codage.

La fonction de recherche-par-exemplespermet au codeur de se concentrer sur un segment de texte spécifique ou sur toutes les réponses associées à un code spécifique et de retrouver d’autres réponses qui partagent certaines similitudes. Elle inclut une fonctionnalité de « pertinence » qui permet au codeur d’indiquer, à partir de la liste des segments de texte extraits, ceux qui sont pertinents ou non pertinents, ce qui amène le logiciel à apprendre de cette rétroaction, à affiner la recherche et à extraire des exemples pluspertinents.

Une fois les réponses codées, QDA Miner offrira de nombreux outils pour récupérer toutes les réponses associées à un code spécifique ou à une combinaison de codes, pour calculer des statistiques descriptives et créer des graphes de présentation sur ces codes (graphiques à barres, diagrammes circulaires, nuages de codes), examiner laco-occurrenceentre les codes en utilisant l’analyse par grappes (« clustering»), le positionnement multidimensionnel ou les graphes de proximité. QDA Miner permet également de mettre en relation les codes liés à des réponses ouvertes et les réponses aux questions fermées en utilisant des outils tels que le tableau croisé, l’analyse factorielle de correspondance, les cartes thermiques, les diagrammes à bulles, etc.

Quand utiliser WordStat ?

WordStat se base sur une approche très différente pour le codage et l’analyse des réponses aux questions ouvertes. Plutôt que d’interagir avec le codage manuel, le logiciel permet d’automatiser en partie, voire en totalité, l’analyse de grandes quantités de réponses ou l’extraction rapide de thèmes. WordStat est particulièrement adapté à l’analyse de grands volumes de réponses aux questions ouvertes allant de plusieurs milliers à des centaines de milliers, voire des millions de réponses, ou lorsqu’on souhaite développer une solution de codage pouvant s’appliquer aux questions similaires de futurs sondages ou provenant d’une collecte continue.Bien qu’une révision manuelle soit toujours possible, celle-ci survient non pas avant les opérations de codage ou de classification, comme dans QDA Miner, mais plutôt après ces opérations. WordStat offre trois types de stratégies d’analyse pour les réponses aux questions ouvertes:

1. TEXT MINING– Il est possible d’adopter une approche exploratoire des données textuelles en appliquant une combinaison de techniques TAL (traitement automatique des langues) et des méthodes statistiques. Les thèmes qui ressortent des questions ouvertes peuvent être identifiés automatiquement au moyen de la fonction d’extraction de thèmes (« topic modeling»), ou en appliquant les techniques de regroupement hiérarchique pour analyser la co-occurrence des mots et expressions les plus courants. Le graphe de proximité peut également être utilisé pour isoler les mots ou expressions qui sont le plus souvent associés à un sujet spécifique, une marque, un individu ou un nom d’entreprise et pour comparer rapidement ceux-ci avec d’autres mots et expressions associés à un autre sujet, une marque, un individu ou une entreprise. L’analyse factorielle de correspondance peut être utilisée pour identifier des mots, des expressions ou des thèmes spécifiques à différentes classes de répondants. Toutes ces techniques exploratoires peuvent produire des résultats utiles à partir d’une grande collection de données textuelles, et cela souvent en quelques secondes.

2. ANALYSE DE CONTENU – WordStat propose des outils d’analyse de contenu à la fine pointe de la technologie pouvant être utilisés pour construire et appliquer des dictionnaires de catégorisation (ou «taxonomies»). L’objectif principal de cette approche est de mesurer la référence à des concepts ou thèmes spécifiques de façon plus précise et constante qu’avec l’approche précédente. Un dictionnaire d’analyse de contenu peut être composé d’un grand nombre de catégories, chacune pouvant contenir plusieurs centaines de mots, de modèles de mots, d’expressions et de règles. On peut appliquer des dictionnaires d’analyse de contenu existants ou créer son propre dictionnaire. Bien que l’élaboration et la validation d’un dictionnaire nécessitent du temps, l’analyse d’un grand volume de réponses ouvertes à l’aide d’un dictionnaire de catégorisation s’avère souvent plus rapide que le codage manuel de chacune des réponses. Une fois élaboré, le dictionnaire peut être réappliqué à de nouvelles réponses à des questions similaires et permet ainsi de produire des résultats en quelques secondes. Une telle approche est idéale si l’on a besoin d’automatiser le codage des réponses textuelles à partir d’enquêtes récurrentes ou d’analyser des données textuelles collectées en continue, telles que les commentaires dans les médias sociaux ou sur des sites web.

3. CLASSIFICATION AUTOMATIQUE– Une troisième approche consiste à coder des réponses ouvertes en appliquant des techniques d’apprentissage supervisé pour classer automatiquement les réponses en une ou plusieurs catégories. Une telle approche nécessite la disponibilité d’une quantité plus ou moins importante de réponses déjà catégorisées. Les codes associés à ces réponses sont alors utilisés comme exemples au moyen desquels le logiciel tente d’identifier automatiquement les mots ou expressions qui caractérisent ces différents codes afin de tenter de les reconnaître dans les réponses non codées. WordStat offre deux techniques d’apprentissage machine : Le « Naive Bayes » et la méthode des plus proches voisins (« k-nearest neighbors »). Ces techniques permettent d’effectuer des classements dichotomiques (ex. : présent ou absent, positif ou négatif) ou une répartition dans de multiples classes. La classification automatique de documents peut également être utilisée pour générer un score sur une échelle ordinale (telle qu’une échelle de Likert).

Bien que chacune des techniques ci-dessus puisse être utilisée séparément, on bénéficiera souvent de la combinaison de celles-ci. Par exemple, un regroupement hiérarchique des mots les plus fréquents peut être utilisé pour identifier non seulement les thèmes les plus courants, mais également l’agencement de ces thèmes. Une telle structure peut alors être répliquée dans un dictionnaire d’analyse de contenu par la création de catégories spécifiques pour mesurer ces thèmes et en groupant ces catégories spécifiques sous des thématiques plus larges. Une analyse factorielle de correspondance sur les mots peut également être utilisée pour identifier des hypothèses pouvant être testées ultérieurement par l’élaboration de dictionnaires ciblés. Il est également possible d’utiliser un dictionnaire d’analyse de contenu pour restreindre la classification automatique à des mots ou expressions spécifiques, ou pour regrouper les formes fléchies, mal orthographiées et les synonymes et s’assurer ainsi qu’ils soient traités comme autant de références à une même idée.

Pourquoi faut-il utiliser à la fois QDA Miner et WordStat ?

Il existe de nombreuses façons de combiner les fonctions de codage qualitatif assisté par ordinateur de QDA Miner et les outils d’analyse de contenu et d’extraction de texte disponibles dans WordStat. Même ceux qui privilégient un codage manuel trouveront les fonctionnalités d’analyse exploratoire de WordStat utiles pour se familiariser avec l’éventail des sujets abordés dans l’ensemble du corpus à analyser et pour identifier non seulement les codes que l’on pourrait utiliser, mais aussi une structure de livre de code appropriée pour organiser tous ces codes. L’analyse de contenu ou les fonctions de classification automatique de documents de WordStat peuvent également être utiles pour sélectionner un nombre limité de documents pertinents provenant d’une quantité énorme de données textuelles (trop volumineuses pour être codées manuellement) en vued’un examen attentif par des codeurs experts.

Les chercheurs qui utilisent WordStat pour quantifier automatiquement les réponses textuelles désireront souvent effectuer des ajustements manuels afin d’obtenir une plus grande précision. Ils peuvent également trouver certains sujets difficiles à identifier automatiquement et pourront donc avoir besoin de revenir à une approche de codage manuel par un expert dans ce domaine. Enfin, la mise au point d’un modèle de classification automatique de documents requiert un ensemble de réponses ayant déjà fait l’objet d’une classification manuelle par des codeurs humains. Si un tel ensemble n’est pas disponible, le chercheur n’aura d’autre choix que de le créer. Les fonctionnalités d’assistance informatique QDA Miner s’avéreront alors très utiles pour coder et valider rapidement un tel ensemble de données d’apprentissage.