{"id":41006,"date":"2024-05-21T09:53:21","date_gmt":"2024-05-21T13:53:21","guid":{"rendered":"https:\/\/provalisresearch.com\/?p=41006"},"modified":"2026-03-09T19:58:25","modified_gmt":"2026-03-09T23:58:25","slug":"lanalyse-de-sentiments-dans-les-logiciels-danalyse-de-donnees-qualitatives-est-elle-precise","status":"publish","type":"post","link":"https:\/\/provalisresearch.com\/fr\/blog-fr-2\/lanalyse-de-sentiments-dans-les-logiciels-danalyse-de-donnees-qualitatives-est-elle-precise\/","title":{"rendered":"L’analyse de sentiments dans les logiciels d’analyse de donn\u00e9es qualitatives est-elle pr\u00e9cise ?"},"content":{"rendered":"

Nous avons vu dans notre pr\u00e9c\u00e9dent article de blog<\/a> que QDA Miner<\/a> et WordStat<\/a> \u00e9taient beaucoup plus \u00e9volutifs et plus rapides que d’autres outils CAQDAS de bureau. Ces outils offrent n\u00e9anmoins des techniques d’analyse de texte con\u00e7ues pour traiter de grands ensembles de donn\u00e9es, telles que l’analyse automatique des sentiments et l’extraction automatique de th\u00e8mes. Ce deuxi\u00e8me article de blog vise \u00e0 \u00e9valuer la qualit\u00e9 des moteurs d’analyse des sentiments disponibles dans ces outils. Cependant, comparer les performances entre diff\u00e9rents outils CAQDAS peut s’av\u00e9rer tr\u00e8s d\u00e9licat. Atlas.ti calcule les sentiments en utilisant une cat\u00e9gorisation en trois points (N\u00e9gatif, Positif et Neutre), tandis que NVivo inclut \u00e9galement une cat\u00e9gorie \u00ab mixte \u00bb pour les contextes comportant \u00e0 la fois des \u00e9l\u00e9ments positifs et n\u00e9gatifs. MaxQDA utilise jusqu’\u00e0 six classes, incluant une \u00e9chelle en cinq points et un score \u00ab aucun sentiment \u00bb. WordStat ne cr\u00e9e pas une classification unique mais produit plut\u00f4t deux scores ind\u00e9pendants, l’un pour la positivit\u00e9 et l’autre pour la n\u00e9gativit\u00e9.
\nChoisir des r\u00e9f\u00e9rences qui s’alignent sur une telle vari\u00e9t\u00e9 de m\u00e9thodes de classification peut \u00eatre difficile. Nous avons cr\u00e9\u00e9 quatre r\u00e9f\u00e9rences en utilisant deux ensembles de donn\u00e9es d’avis en ligne accessibles au public (avis sur des produits de beaut\u00e9 et avis Coursera provenant de Kaggle), des avis sur des compagnies a\u00e9riennes extraits de TripAdvisor, et la r\u00e9f\u00e9rence Twitter de SemEval-2013 Task 2. Pour les trois ensembles de donn\u00e9es d’avis, nous avons cr\u00e9\u00e9 des r\u00e9f\u00e9rences compos\u00e9es de 20 000 commentaires r\u00e9partis \u00e9quitablement entre des avis tr\u00e8s n\u00e9gatifs (score de 1) et tr\u00e8s positifs (score de 5). Nous avons exclu les scores interm\u00e9diaires pour r\u00e9duire les d\u00e9cisions d’\u00e9valuation ambigu\u00ebs. Par exemple, un score de quatre devrait-il \u00eatre consid\u00e9r\u00e9 comme mixte ou positif ? En s\u00e9lectionnant des \u00e9l\u00e9ments clairement positifs et clairement n\u00e9gatifs, nous pouvions au moins \u00e9valuer les quatre moteurs sur leur capacit\u00e9 \u00e0 identifier ces opinions extr\u00eames.
\nPour WordStat, nous avons class\u00e9 les r\u00e9sultats en utilisant une m\u00e9thode rudimentaire en soustrayant le score de n\u00e9gativit\u00e9 du score de positivit\u00e9, en classant les r\u00e9sultats sup\u00e9rieurs \u00e0 z\u00e9ro comme positifs, inf\u00e9rieurs \u00e0 z\u00e9ro comme n\u00e9gatifs et \u00e9gaux \u00e0 z\u00e9ro comme neutres.
\nNous avons calcul\u00e9 un premier score de pr\u00e9cision en divisant les classifications correctes par le nombre total d’\u00e9l\u00e9ments class\u00e9s comme positifs ou n\u00e9gatifs, en ignorant les \u00e9l\u00e9ments class\u00e9s comme neutres ou mixtes. Ces r\u00e9sultats sont pr\u00e9sent\u00e9s dans le tableau 1 ci-dessous, avec les meilleurs scores affich\u00e9s en gras et les plus faibles en rouge.<\/p>\n

\"\"<\/a><\/p>\n

Cette m\u00e9trique de pr\u00e9cision sugg\u00e8re des performances comparables avec des scores de pr\u00e9cision globale entre 86,9 % et 89,9 %. Chaque outil atteint le score le plus \u00e9lev\u00e9 sur au moins une des quatre r\u00e9f\u00e9rences, ce qui sugg\u00e8re que chaque outil peut exceller sur certains types de donn\u00e9es mais \u00eatre moins performant sur d’autres. Pour cette raison, tout score de performance moyen semble trop d\u00e9pendant du choix des r\u00e9f\u00e9rences pour \u00eatre un indicateur fiable de la performance globale.<\/p>\n

Bien que les statistiques ci-dessus puissent sembler encourageantes, nous pensons qu’elles sont trompeuses. Puisque nos r\u00e9f\u00e9rences ne comprenaient que les commentaires avec les scores de satisfaction les plus bas et les plus \u00e9lev\u00e9s, les cat\u00e9goriser comme neutres ou mixtes produira probablement des erreurs de classification. Le tableau 2 \u00e9value la couverture de ces quatre moteurs en rapportant le pourcentage d’\u00e9l\u00e9ments class\u00e9s comme positifs ou n\u00e9gatifs.<\/p>\n

\"\"<\/a><\/p>\n

NVivo a la couverture la plus faible, cat\u00e9gorisant pr\u00e8s de la moiti\u00e9 des \u00e9l\u00e9ments comme neutres ou mixtes, ce qui se traduit par un score de couverture de seulement 51,4 %. MaxQDA a \u00e9galement une couverture globale faible \u00e0 67,7 %, tandis qu’Atlas.ti ne cat\u00e9gorise que 20 % des \u00e9l\u00e9ments comme neutres, atteignant une couverture de 80,0 %. WordStat affiche la couverture la plus \u00e9lev\u00e9e \u00e0 90,9 %, avec seulement 9,1 % des \u00e9l\u00e9ments marqu\u00e9s comme neutres.<\/p>\n

Si un moteur d’analyse des sentiments \u00e9carte facilement la moiti\u00e9 des \u00e9l\u00e9ments comme mixtes ou neutres et ne classe que les \u00e9l\u00e9ments les plus \u00e9videmment positifs et n\u00e9gatifs, on ne devrait pas \u00eatre surpris d’observer de tels scores de pr\u00e9cision \u00e9lev\u00e9s. La figure 1 ci-dessous illustre pourquoi les scores ci-dessus du tableau 1 peuvent \u00eatre trompeurs. Bien que l’archer du haut atteigne clairement une meilleure pr\u00e9cision, il serait difficile d’affirmer qu’il est le meilleur archer en raison de la disparit\u00e9 du niveau de difficult\u00e9 auquel ils font face tous les deux.<\/p>\n

Figure 1. Qui est l’archer le plus pr\u00e9cis ? Qui est le meilleur archer ?<\/strong>
\n\"\"<\/a><\/p>\n

 <\/p>\n

Puisque les r\u00e9f\u00e9rences ont \u00e9t\u00e9 choisies pour ne s\u00e9lectionner que les scores les plus extr\u00eames, nous pourrions consid\u00e9rer tout ce qui est class\u00e9 comme \u00ab neutre \u00bb ou \u00ab mixte \u00bb comme incorrect. Cela ne vise pas \u00e0 minimiser ou \u00e0 nier l’existence de commentaires contenant \u00e0 la fois des \u00e9l\u00e9ments positifs et n\u00e9gatifs. Ils existent certainement et peuvent m\u00eame \u00eatre la r\u00e8gle plut\u00f4t que l’exception. Cependant, les cat\u00e9goriser trop facilement comme mixtes peut probablement conduire \u00e0 ignorer le d\u00e9s\u00e9quilibre \u00e9vident entre les indicateurs positifs et n\u00e9gatifs et \u00e0 ne pas identifier le ton r\u00e9el du commentaire, une nuance qu’un humain reconna\u00eetrait facilement. Nous reconnaissons \u00e9galement la possibilit\u00e9 que certains \u00e9l\u00e9ments puissent effectivement \u00eatre mixtes ou neutres, mais ils sont moins susceptibles de se produire dans ces ensembles de donn\u00e9es extr\u00eames. Voici quelques exemples de commentaires cat\u00e9goris\u00e9s comme neutres par MaxQDA et Atlas.ti et comme mixtes par NVivo :<\/p>\n