Cependant, plus de quinze ans plus tard, de nombreux outils CAQDAS ont mis en \u0153uvre des techniques de traitement automatique du langage (TAL) et d’apprentissage automatique telles que l’analyse de sentiments, l’extraction automatique de th\u00e8mes et le minage d’opinions \u2014 des techniques sp\u00e9cifiquement con\u00e7ues pour analyser de grandes quantit\u00e9s de donn\u00e9es textuelles non structur\u00e9es. On pourrait logiquement supposer que ces limitations des outils CAQDAS appartiennent au pass\u00e9. Une approche plus prudente consisterait toutefois \u00e0 \u00e9valuer les derni\u00e8res versions de ces outils pour v\u00e9rifier s’ils poss\u00e8dent la capacit\u00e9 de mise \u00e0 l’\u00e9chelle et les performances n\u00e9cessaires pour traiter de plus grands ensembles de donn\u00e9es.<\/p>\n
En d\u00e9cembre 2023, Steve Wright a pr\u00e9sent\u00e9 les r\u00e9sultats d’une telle \u00e9valuation. Il a tent\u00e9 d’analyser des donn\u00e9es provenant d’une vaste enqu\u00eate. Il a mis \u00e0 l’\u00e9preuve trois outils CAQDAS : NVivo, Atlas.ti et notre propre logiciel, QDA Miner<\/a>, ainsi que Leximancer (qui, techniquement, rel\u00e8ve davantage de la cat\u00e9gorie de la fouille de textes, tout comme notre logiciel WordStat<\/a>). Sa conclusion a \u00e9t\u00e9 que ni NVivo ni Atlas.ti n’\u00e9taient suffisamment rapides ou capables de passer \u00e0 l’\u00e9chelle (scale up), plantant souvent lors du traitement de grandes quantit\u00e9s de donn\u00e9es textuelles. Pour r\u00e9pondre \u00e0 ces questions, et tenter \u00e9galement d’identifier certains des facteurs pouvant expliquer les diff\u00e9rences de performance et de capacit\u00e9 de mise \u00e0 l\u2019\u00e9chelle \u00ab scalability \u00bb, nous avons d\u00e9cid\u00e9 de soumettre les principaux outils CAQDAS de bureau actuellement sur le march\u00e9 \u00e0 des tests sur de grands ensembles de donn\u00e9es.<\/p>\n Bien que nous ayons trait\u00e9 par le pass\u00e9 des projets QDA Miner contenant des millions d’enregistrements, nous avons d\u00e9cid\u00e9 de commencer avec un ensemble de donn\u00e9es beaucoup plus modeste, mais tout de m\u00eame relativement volumineux du point de vue de la recherche qualitative. Les donn\u00e9es consistaient en 50 425 commentaires sur des vols a\u00e9riens extraits de TripAdvisor. Nous avons compar\u00e9 les performances de QDA Miner avec celles de trois de ses concurrents : MaxQDA, Atlas.ti et NVivo. Tous ces outils de bureau int\u00e8grent des fonctionnalit\u00e9s de fouille de textes similaires \u00e0 celles pr\u00e9sentes dans notre logiciel WordStat, un logiciel d\u00e9di\u00e9 \u00e0 la fouille de textes et \u00e0 l’analyse quantitative de contenu.<\/p>\n Nous avons mesur\u00e9 la vitesse de diverses t\u00e2ches, y compris l\u2019importation, la recherche de texte, l\u2019encodage automatique, la r\u00e9cup\u00e9ration des segments cod\u00e9s, ainsi que certaines techniques exploratoires telles que la production d\u2019un nuage de mots et d\u2019un tableau de fr\u00e9quence des mots, et l\u2019extraction de n-grammes (locutions de 2 \u00e0 5 mots). Nous avons \u00e9galement examin\u00e9 le temps n\u00e9cessaire pour effectuer une analyse de sentiments, extraire des th\u00e8mes et exporter les segments de texte r\u00e9cup\u00e9r\u00e9s vers des fichiers Excel et .DOCX. Le tableau 1 pr\u00e9sente les performances obtenues sur ces t\u00e2ches. D’embl\u00e9e, on constate une diff\u00e9rence significative de performance lors de l’importation des donn\u00e9es \u00e0 partir d’une feuille de calcul Excel. Alors que QDA Miner a import\u00e9 l’ensemble de donn\u00e9es de test en environ 17 secondes, le temps d’importation pour les autres outils s’est \u00e9chelonn\u00e9 de 1 heure 23 minutes pour Atlas.ti \u00e0 2 heures et 23 minutes pour NVivo (sans codage de th\u00e8mes ni de sentiments). MaxQDA a plant\u00e9 apr\u00e8s une heure et demie, mais a tout de m\u00eame r\u00e9ussi \u00e0 importer le fichier, ce qui nous a permis de continuer \u00e0 tester le logiciel. Une observation importante est que, pour les trois outils CAQDAS concurrents, la vitesse d’importation s’est consid\u00e9rablement d\u00e9grad\u00e9e \u00e0 mesure que le nombre d’enregistrements import\u00e9s augmentait. Pour des raisons \u00e9videntes, nous avons d\u00e9cid\u00e9 de ne pas soumettre ces outils \u00e0 des ensembles de donn\u00e9es plus volumineux.<\/p>\n Les r\u00e9sultats restants pour toutes les autres t\u00e2ches du tableau 1 d\u00e9montrent clairement l’\u00e9cart de performance substantiel entre QDA Miner et les autres outils. QDA Miner a accompli toutes les t\u00e2ches en quelques secondes. Les proc\u00e9dures les plus longues ont \u00e9t\u00e9 l’extraction de n-grammes (2 \u00e0 5 mots) et l’encodage automatique de 6 049 paragraphes, toutes deux n’ayant pris que 16 secondes. En comparaison, plusieurs de ces t\u00e2ches ont pris plusieurs minutes, voire une heure ou plus, pour les trois autres logiciels. Les outils concurrents ont affich\u00e9 leurs meilleures performances lors des op\u00e9rations de recherche et de r\u00e9cup\u00e9ration, tandis que les pires performances ont \u00e9t\u00e9 observ\u00e9es lors des op\u00e9rations d’encodage automatique, au moment de tenter d’appliquer des codes \u00e0 des segments de texte. L’encodage automatique dans Atlas.ti s’est av\u00e9r\u00e9 particuli\u00e8rement probl\u00e9matique, saturant souvent la totalit\u00e9 des 64 Go de m\u00e9moire de l’ordinateur avant de planter. La m\u00eame cons\u00e9quence (saturation de la m\u00e9moire et plantage) s’est produite lors de la tentative de production d’un simple tableau de fr\u00e9quence des mots dans Atlas.ti.<\/p>\n Des trois autres outils CAQDAS, NVivo a sembl\u00e9 offrir les performances les plus constantes, outre sa tr\u00e8s faible performance pour l’importation de l’ensemble de donn\u00e9es. Il est toutefois important de noter que, bien que NVivo ait obtenu le meilleur r\u00e9sultat pour une recherche de texte simple avec 8 secondes, il lui a fallu 1 minute et 36 secondes pour afficher les 100 premiers r\u00e9sultats, et 30 secondes suppl\u00e9mentaires pour chaque tranche de 100 r\u00e9sultats suivants. En revanche, QDA Miner a recherch\u00e9 et r\u00e9cup\u00e9r\u00e9 l’ensemble des 6 045 segments en 12 secondes, suivi de MaxQDA (33 secondes) et d’Atlas.ti (49 secondes). Cela peut \u00e9galement ne pas refl\u00e9ter les performances sur d’autres op\u00e9rations. Par exemple, nous avons d\u00fb interrompre une requ\u00eate de codage matricielle dans NVivo qui, selon nos estimations, aurait pris plus de 16 jours \u00e0 s’ex\u00e9cuter, une op\u00e9ration qui a pu \u00eatre r\u00e9alis\u00e9e en quelques secondes dans MaxQDA ou QDA Miner.<\/p>\n D’une mani\u00e8re g\u00e9n\u00e9rale, WordStat a \u00e9t\u00e9 le plus rapide sur les t\u00e2ches de fouille de textes (voir le tableau 2), mais les comparaisons ne sont pas aussi simples que ce que nous avons vu plus haut. Chaque outil diff\u00e8re grandement dans sa fa\u00e7on d’effectuer l’analyse de sentiments. NVivo analyse et encode automatiquement les r\u00e9ponses selon le sentiment en une seule op\u00e9ration, ce qui prend un peu plus de 14 minutes. Atlas.ti et MaxQDA calculent d’abord le sentiment, puis permettent \u00e0 l’utilisateur d’encoder automatiquement les commentaires dans une seconde op\u00e9ration. Bien que la partie analyse soit effectu\u00e9e rapidement en moins d’une minute pour les deux, l’encodage automatique s’est av\u00e9r\u00e9 plut\u00f4t lent pour MaxQDA, prenant plus de 28 minutes, tandis qu’Atlas.ti a plant\u00e9 apr\u00e8s plus de six heures de traitement. Les outils diff\u00e8rent \u00e9galement grandement dans la m\u00e9thode qu’ils utilisent pour extraire des sujets ou des th\u00e8mes et, bien que les r\u00e9sultats obtenus soient assez diff\u00e9rents, l’objectif demeure le m\u00eame : fournir une description rapide du contenu d’une grande quantit\u00e9 de texte non structur\u00e9. Lorsque l’on applique ces techniques sur un ensemble de donn\u00e9es de 243 discours, ce qui repr\u00e9sente approximativement 1 100 pages de texte, on constate que WordStat r\u00e9alise cette op\u00e9ration en seulement 3 secondes. Toutes les autres applications ont pris entre une minute et deux minutes et demie. \u00c0 notre avis, de telles performances restent tout \u00e0 fait raisonnables compte tenu de la grande quantit\u00e9 de texte analys\u00e9e. Pour cette raison, l’aspect le plus important \u00e0 prendre en compte est la qualit\u00e9 des r\u00e9sultats obtenus et leur utilit\u00e9 pour identifier le sujet de ces documents, un point que nous aborderons plus tard.<\/p>\n Documenter l’utilisation de la m\u00e9moire de ces outils CAQDAS durant l’exp\u00e9rience a fourni des informations pr\u00e9cieuses, expliquant potentiellement certains des probl\u00e8mes de stabilit\u00e9 (plantages) et des diff\u00e9rences de performance que nous avons rencontr\u00e9s. Les r\u00e9sultats pr\u00e9sent\u00e9s dans le tableau 3 nous ont surpris. La mesure initiale a port\u00e9 sur la quantit\u00e9 de m\u00e9moire utilis\u00e9e par chaque logiciel lors de son lancement, avant m\u00eame l’ouverture d’un fichier de donn\u00e9es. L’utilisation de la m\u00e9moire variait de 246 Mo pour Atlas.ti \u00e0 325 Mo pour MaxQDA, NVivo se situant au milieu avec 305 Mo. En comparaison, QDA Miner n’en utilisait qu’une infime fraction, soit seulement 8,5 Mo. Cet \u00e9cart s’est creus\u00e9 apr\u00e8s le chargement de l’ensemble de donn\u00e9es de test, l’utilisation de la m\u00e9moire passant de 594 Mo pour NVivo \u00e0 un montant consid\u00e9rable de 1,4 Go pour Atlas.ti. En revanche, l’utilisation de la m\u00e9moire de QDA Miner n’a augment\u00e9 qu’\u00e0 14 Mo. Fait notable, la taille du projet n’a pas affect\u00e9 de mani\u00e8re significative l’utilisation de la m\u00e9moire de QDA Miner. Nous avons charg\u00e9 une version beaucoup plus volumineuse de l’ensemble de donn\u00e9es sur les compagnies a\u00e9riennes, comprenant plus d’un million d’enregistrements, et l’utilisation de la m\u00e9moire est rest\u00e9e inchang\u00e9e \u00e0 14 Mo.<\/p>\n Nous ne pouvons que sp\u00e9culer sur les raisons de l’utilisation si \u00e9lev\u00e9e de la m\u00e9moire et de la lenteur des performances observ\u00e9es dans les autres outils CAQDAS. Les choix de langages de programmation et de plateformes (.NET et QT) pourraient \u00eatre un facteur. Cependant, nous ne pouvons \u00e9carter la possibilit\u00e9 d’algorithmes et de structures de donn\u00e9es inefficaces, ainsi qu’un manque d’efforts d’optimisation des performances ou de strat\u00e9gies de gestion de la m\u00e9moire. Puisque leur march\u00e9 principal a toujours \u00e9t\u00e9 constitu\u00e9 de chercheurs qualitatifs analysant des projets relativement modestes, ces optimisations ne r\u00e9pondaient peut-\u00eatre pas \u00e0 un besoin pressant. En revanche, QDA Miner a \u00e9t\u00e9 con\u00e7u \u00e0 l’origine comme un logiciel qualitatif pouvant \u00e9galement servir de module de base pour notre logiciel de fouille de textes WordStat ; ainsi, la gestion de grands ensembles de donn\u00e9es n’\u00e9tait pas un ajout tardif, mais une exigence initiale.<\/p>\n Ce dernier point souligne que la comparaison ci-dessus ne refl\u00e8te pas n\u00e9cessairement la pertinence de ces outils pour la recherche qualitative typique. Si les besoins impliquent l\u2019analyse de quelques dizaines de transcriptions d\u2019entretiens ou de quelques centaines de r\u00e9ponses \u00e0 une enqu\u00eate, n’importe lequel de ces outils g\u00e9rerait probablement ces projets sans effort. Cependant, si l’ensemble de donn\u00e9es se compose de milliers de pages, ou de dizaines de milliers, voire de centaines de milliers de r\u00e9ponses ouvertes ou de commentaires de clients, la comparaison sugg\u00e8re clairement que QDA Miner est le seul parmi ces quatre outils CAQDAS \u00e0 offrir la capacit\u00e9 de mise \u00e0 l\u2019\u00e9chelle et les performances n\u00e9cessaires pour traiter efficacement de tels grands ensembles de donn\u00e9es. La n\u00e9cessit\u00e9 de fournir une assistance \u00e0 l’encodage aux utilisateurs ayant de grands projets est \u00e9galement la raison pour laquelle QDA Miner propose plusieurs fonctionnalit\u00e9s d’assistance reposant sur l’apprentissage automatique supervis\u00e9 et non supervis\u00e9 (cf. requ\u00eate par l’exemple, recherche de similarit\u00e9 de codes, encodage par grappes).<\/p>\n Cet article de blogue s’est concentr\u00e9 sur la vitesse et les besoins en m\u00e9moire des diff\u00e9rents outils CAQDAS. La question de l’utilit\u00e9 et de la pr\u00e9cision des fonctionnalit\u00e9s d’analyse de texte disponibles dans ces outils reste enti\u00e8re. Ce sera le sujet du prochain article (voir L’analyse de sentiments dans les logiciels d’analyse de donn\u00e9es qualitatives est-elle pr\u00e9cise ?<\/a>).<\/p>\n
\nBien qu’il ait mentionn\u00e9 QDA Miner comme une exception, capable de passer \u00e0 l’\u00e9chelle et d’offrir des performances rapides pour de nombreuses t\u00e2ches, il a n\u00e9anmoins conclu que les logiciels de bureau (desktop), dans leur ensemble, ne seraient peut-\u00eatre pas capables de g\u00e9rer de grands volumes de donn\u00e9es textuelles, sugg\u00e9rant plut\u00f4t que des solutions bas\u00e9es sur le cloud ou sur serveur pourraient \u00eatre la r\u00e9ponse. Compte tenu de son observation concernant notre logiciel, une telle conclusion peut sembler h\u00e2tive et potentiellement trompeuse. Nous avons toujours consacr\u00e9 d’importants efforts de programmation pour garantir que QDA Miner puisse g\u00e9rer de tr\u00e8s grands ensembles de donn\u00e9es et s’ex\u00e9cuter rapidement. Pourtant, la question demeure : quelle est la v\u00e9ritable capacit\u00e9 de mise \u00e0 l’\u00e9chelle de QDA Miner et quelle est sa rapidit\u00e9 r\u00e9elle lors de l’analyse de grandes quantit\u00e9s de texte ? Comment se situe-t-il par rapport aux autres outils CAQDAS ?<\/p>\nComparaison des performances et de la capacit\u00e9 de mise \u00e0 l’\u00e9chelle \u00ab scalability \u00bb des t\u00e2ches de base en analyse qualitative<\/h4>\n
\n\u00c9tant donn\u00e9 que l\u2019analyse de sentiments et l\u2019extraction de th\u00e8mes ne sont pas disponibles dans QDA Miner mais sont normalement r\u00e9alis\u00e9es \u00e0 l\u2019aide du module compl\u00e9mentaire WordStat, nous avons indiqu\u00e9 la dur\u00e9e de ces op\u00e9rations dans WordStat. Tous les tests ont \u00e9t\u00e9 effectu\u00e9s sur un ordinateur Windows 11 \u00e9quip\u00e9 d\u2019un processeur Intel Core i9-10900, de 64 Go de RAM et de 4 To d\u2019espace disque (SSD M.2). Nous avons utilis\u00e9 les derni\u00e8res versions de chaque logiciel disponibles au 1er mai 2024.<\/p>\n![\"\"](\"https:\/\/provalisresearch.com\/wp-content\/uploads\/2024\/05\/Table1-1-1024x370.png\")
<\/a><\/p>\nComparaison des performances et de la capacit\u00e9 de mise \u00e0 l\u2019\u00e9chelle \u00ab scalability \u00bb des t\u00e2ches de fouille de textes<\/h4>\n
\nWordStat a \u00e9t\u00e9 le plus rapide pour appliquer l’analyse de sentiments, ne prenant que 11 secondes. Cependant, alors que tous les autres outils classent les r\u00e9ponses dans des cat\u00e9gories mutuellement exclusives, WordStat calcule deux scores ind\u00e9pendants pour la positivit\u00e9 et la n\u00e9gativit\u00e9. Trois op\u00e9rations suppl\u00e9mentaires ont donc \u00e9t\u00e9 n\u00e9cessaires pour obtenir une cat\u00e9gorisation : 1) enregistrer les deux scores de sentiment dans des variables num\u00e9riques, 2) calculer la diff\u00e9rence entre ces deux variables et 3) recoder les valeurs obtenues en trois classes (positive, n\u00e9gative et neutre). Cette manipulation a cependant pu \u00eatre r\u00e9alis\u00e9e en moins d’une minute avec un temps de traitement cumul\u00e9 de 22 secondes.<\/p>\n![\"\"](\"https:\/\/provalisresearch.com\/wp-content\/uploads\/2024\/05\/Table2-1024x183.png\")
<\/a><\/p>\nComparaison de l’utilisation de la m\u00e9moire<\/h4>\n
![\"\"](\"https:\/\/provalisresearch.com\/wp-content\/uploads\/2024\/05\/Table3.png\")
<\/a><\/p>\nDiscussion<\/h4>\n
R\u00e9f\u00e9rences :<\/h4>\n