Estimation de la qualité de la traduction automatique : Une analyse approfondie

La demande de services de traduction rapides, précis et fiables n’a jamais été aussi élevée. À mesure que les organisations se développent à l’échelle mondiale, le volume de contenu nécessitant une traduction a augmenté de manière exponentielle, rendant les processus de traduction exclusivement humains insoutenables. C’est dans ce contexte que l’estimation de la qualité de la traduction automatique (MTQE) s’impose comme une technologie essentielle dans les nouveaux flux de travail automatisés par l’intelligence artificielle. Elle aide les entreprises à optimiser leurs stratégies de diffusion de contenu à l’international et à mieux comprendre leurs clients, tout en garantissant des traductions de qualité à grande échelle. Après tout, déployer une solution de traduction automatique à l’échelle de toute une entreprise ne se résume pas simplement à se connecter à un LLM !

Pourquoi MTQE est essentielle aujourd’hui

Soyons honnêtes : nous sommes tous confrontés à une communication internationale plus intense que jamais. Que vous soyez une entreprise en pleine expansion mondiale, un chercheur collaborant avec des collègues étrangers ou simplement une personne cherchant à comprendre du contenu dans une autre langue, le besoin de traduction automatique fiable est omniprésent. Mais voici le défi : comment savoir si une traduction automatique est suffisamment bonne sans qu'un expert humain ne vérifie chaque phrase ? C’est là qu’intervient l’estimation de la qualité de la traduction automatique. Elle fonctionne comme un système intelligent de contrôle qualité, capable de prédire la fiabilité d’une traduction avant même qu’un humain ne l’examine. C’est comme avoir un assistant compétent qui vous indique rapidement quelles traductions nécessitent une révision et lesquelles sont prêtes à l’emploi. Chez Pangeanic, nous sommes fiers du cercle vertueux créé par notre technologie de traduction neuronale Deep Adaptive AI Translation, qui nous a valu deux mentions consécutives dans le Hype Cycle des technologies NLP de Gartner 2024 pour la traduction automatique neuronale en 2023.

L'évolution de l'estimation de la qualité de la traduction automatique

L’histoire de la MTQE est fascinante, car elle reflète notre propre relation évolutive avec la technologie. À ses débuts, la MTQE ressemblait à un simple correcteur orthographique, s’appuyant sur des règles et des schémas basiques pour estimer la qualité d’une traduction. Elle vérifiait si tous les mots étaient traduits et si la grammaire semblait à peu près correcte. Mais tout comme nos smartphones sont devenus plus intelligents, la MTQE a aussi évolué. Aujourd’hui, ces systèmes sont comparables à des experts linguistiques capables de comprendre le contexte, les nuances et même les références culturelles. Grâce à l’intelligence artificielle avancée, ils analysent les traductions d’une manière étonnamment proche de celle des humains. Les dernières avancées, basées sur la même technologie qui alimente de nombreux modèles d’IA, permettent même de détecter des différences subtiles de sens et d’identifier des expressions idiomatiques.

Un exemple marquant de la MTQE moderne est CometKiwi, lauréat du WMT22 Quality Estimation et actuel standard de référence en matière d’évaluation de la qualité des traductions. La plupart des systèmes d'entreprise de MTQE l’utilisent et l’adaptent à leurs besoins spécifiques. CometKiwi représente l’état de l’art en évaluation de la qualité des traductions grâce à des fonctionnalités avancées telles que :

• Architecture Prédicteur-Estimateur : évaluation de la qualité des traductions au niveau des phrases et des documents.

• Étiquetage séquentiel au niveau des mots : identification des zones problématiques dans les traductions.

• Apprentissage en contexte réduit (Few-Shot Learning) : adaptation rapide à de nouvelles langues et domaines textuels.

• Extraction d’explications : génération d’analyses détaillées sur la qualité des traductions.

Évaluation traditionnelle de la qualité de la traduction automatique basée sur des références

Avant l’avènement des systèmes modernes d’estimation de la qualité de la traduction automatique, l’évaluation de la qualité des traductions reposait principalement sur des métriques basées sur des références humaines. Ces approches traditionnelles mesuraient la qualité d’une traduction en la comparant à une ou plusieurs traductions humaines de référence. Parmi les métriques les plus couramment utilisées, on retrouve :

• BLEU (Bilingual Evaluation Understudy): Une métrique basée sur un algorithme qui mesure le chevauchement des mots, mais qui manque de prise en compte du contexte. Elle a été initialement développée pour la traduction automatique statistique. Elle évalue la qualité du texte traduit par machine en le comparant aux traductions humaines. Le principe fondamental est que plus une traduction automatique est proche d’une traduction humaine professionnelle, meilleure est sa qualité. BLEU fut l'une des premières métriques à corréler fortement avec les jugements humains et reste largement utilisée grâce à son automatisation et son rapport coût-efficacité. Elle évalue des segments individuels traduits (généralement des phrases) par rapport aux traductions de référence de haute qualité, en faisant la moyenne des scores sur l’ensemble du corpus pour estimer la qualité globale de la traduction. Cependant, BLEU ne prend pas en compte des facteurs comme l’intelligibilité ou la correction grammaticale. Il demeure toutefois un bon indicateur des performances d’un modèle au fil du temps.
  
  
• TER (Translation Edit Rate): Cette métrique, également connue sous le nom de Taux d’Erreur de Traduction, quantifie le nombre de modifications (par exemple, insertions, suppressions, substitutions et déplacements) nécessaires pour transformer un résultat de traduction automatique (hypothèse) en une traduction de référence. Elle est conçue pour être une mesure intuitive et efficace de la qualité de la traduction automatique, en évitant la complexité des approches basées sur le sens et la nature laborieuse des jugements humains. TER calcule la quantité d’éditions qu’un humain devrait faire pour que la sortie du système corresponde exactement à la référence.

  TER est implémenté dans des outils comme sacreBLEU, inspiré de TERCOM, et prend en charge des formats d’entrée tels que SGML (format NIST), XML ou Trans. Il a montré qu'il corrélait bien avec les jugements humains de la qualité de traduction, et souvent, il fonctionne aussi bien, voire mieux que BLEU, même avec moins de références. Une variante appelée Human-Targeted TER (HTER) améliore encore la corrélation avec les jugements humains, surpassant parfois des métriques comme BLEU et HMETEOR. TER et HTER sont des alternatives automatisées efficaces pour évaluer la qualité de la traduction automatique.

• METEOR (Metric for Evaluation of Translation with Explicit Ordering) est une métrique automatique pour évaluer la qualité de la traduction automatique en comparant une traduction générée par machine à des traductions humaines de référence. Elle utilise un concept généralisé de correspondance unigramme, prenant en compte les correspondances exactes des mots, les formes racinées, les synonymes et les variantes morphologiques. METEOR calcule un score basé sur une combinaison de la précision unigramme, du rappel unigramme et d’une mesure de fragmentation, qui évalue dans quelle mesure les mots correspondants sont ordonnés dans la traduction automatique par rapport à la référence. METEOR améliore les métriques simples de précision-rappel en intégrant ces stratégies de correspondance supplémentaires et des mesures de fragmentation. Elle a montré une corrélation plus élevée avec les jugements humains de la qualité de traduction par rapport aux métriques basées uniquement sur les unigrammes, atteignant souvent de meilleurs résultats.

Vue d'ensemble de la MTQE au fil des années

Bien que ces approches aient été valides et utiles à l’époque, elles présentaient plusieurs limitations :

• Dépendance vis-à-vis des traductions de référence humaines.
• Incapacité à tenir compte du contexte et des nuances sémantiques.
• Applicabilité limitée dans des scénarios réels.

Qu'est-ce qui rend la MTQE moderne si puissante ?

L'estimation de la qualité de la traduction automatique moderne repose sur une équipe d'experts qui examine une traduction sous différents angles. Cela commence par une analyse minutieuse des mots et des phrases individuelles, comme si quelqu'un parcourait un document pour marquer les choix de mots douteux. Ces systèmes utilisent des modèles linguistiques pour s'assurer que le vocabulaire, la grammaire et les potentielles erreurs de traduction sont conformes et fidèles au sens original. Ensuite, l'équipe élargit son analyse pour vérifier des phrases entières, en s'assurant qu'elles s'enchaînent bien et ont du sens dans leur contexte. Cela inclut l'examen de la structure des phrases, des expressions idiomatiques et de la cohérence globale afin de garantir que la traduction donne l'impression d'avoir été rédigée à l'origine dans la langue cible. Et ce n'est pas tout ! Les systèmes les plus sophistiqués peuvent même évaluer des documents entiers pour maintenir la cohérence du style et s'assurer que les termes spécialisés sont utilisés correctement.

La plupart des systèmes sont open-source, ce qui permet aux entreprises de les améliorer et de les affiner en utilisant des corpus bilingues certifiés ou des fichiers contenant des corrections humaines lors de la post-édition.

La précision de l'estimation de la qualité de la traduction automatique (MTQE) est d'une importance cruciale dans des domaines tels que le droit, la médecine et la technologie, où l'attention aux détails est primordiale. De plus, les systèmes contemporains de MTQE peuvent s'améliorer grâce aux retours d'expérience, améliorant ainsi leur précision au fil du temps. La MTQE fonctionne comme une équipe d'éditeurs, chacun se concentrant sur divers aspects du processus de traduction, y compris le choix des mots, la grammaire, le ton et le langage spécifique à chaque secteur. Cette approche collaborative garantit que les traductions sont précises, contextuellement appropriées et professionnellement rendues.

La MTQE améliore les flux de travail de traduction

Les systèmes de MTQE offrent plusieurs avantages qui rendent la traduction plus facile et plus efficace. Un des principaux bénéfices est la capacité de vérifier la qualité de la traduction pratiquement en temps réel (ce qui nécessite d’être hébergé sur un CPU ou GPU haut de gamme).

Cela signifie que les traducteurs reçoivent un retour immédiat sur la précision sans avoir besoin de traductions de référence. Ce retour rapide aide à décider si une révision humaine est nécessaire, ce qui accélère le processus de traduction. La MTQE réduit également les coûts en diminuant le besoin de réviseurs humains. Elle permet une meilleure utilisation des ressources et accélère la publication des contenus multilingues. En plus d'économiser de l'argent, la MTQE joue un rôle clé dans la garantie de la qualité. Elle aide à maintenir la cohérence des traductions, détecte les erreurs potentielles avant leur mise en ligne et améliore la satisfaction des clients en fournissant des traductions plus précises.

The Challenges We're Still Facing

Cependant, la MTQE n’est pas sans défauts. Le principal problème réside dans le fait qu’elle dépend fortement de bonnes données d’apprentissage, en particulier pour les langues moins courantes. C’est un peu comme apprendre une nouvelle langue : plus vous pratiquez, mieux vous devenez. Les systèmes de MTQE ont besoin de beaucoup d'exposition à divers exemples linguistiques pour perfectionner leur précision. S'ils ne disposent pas d'un ensemble de données robuste avec un mélange d'entrées linguistiques, ils peuvent avoir du mal à évaluer correctement les traductions, en particulier pour les langues à faibles ressources, qui possèdent moins de ressources numériques ou textuelles. Ce manque de données peut entraîner des vérifications de qualité moins efficaces pour les langues qui ne bénéficient pas de beaucoup de soutien, élargissant ainsi l'écart entre les langues bien soutenues et celles sous-représentées.

Un autre défi est que ces systèmes reconnaissent parfois qu’une traduction est erronée, mais ne peuvent pas facilement expliquer ce qui ne va pas. C’est comme entendre une phrase qui semble étrange ou décalée, mais sans pouvoir expliquer précisément pourquoi elle donne cette impression. Ce manque de clarté peut rendre difficile pour les traducteurs humains de faire confiance aux retours qu’ils reçoivent, puisqu'ils se retrouvent sans une compréhension claire des problèmes spécifiques à résoudre. La MTQE a souvent du mal à repérer les erreurs basées sur le contexte, comme les changements de ton subtils, les références culturelles ou les expressions idiomatiques qui nécessitent une compréhension plus profonde de la culture et du contexte dans lequel elles sont utilisées. Ces subtilités sont essentielles pour une traduction précise, car elles peuvent modifier de manière significative le sens voulu si elles ne sont pas correctement comprises et transmises. S'ajoute à cela le problème de la "boîte noire" de nombreux systèmes d'IA, où même les créateurs peuvent avoir du mal à comprendre comment les décisions sont prises. Cette opacité dans le processus décisionnel rend difficile l'amélioration de la précision du système au fil du temps, car les développeurs et les utilisateurs sont laissés à deviner les rouages internes et la logique de l'IA. Résoudre ces problèmes signifie pousser pour davantage de recherches sur des modèles d'IA plus clairs et explicables, qui puissent fournir des éclaircissements sur leurs processus décisionnels. De plus, il est essentiel de rassembler des données de haute qualité dans diverses langues et contextes pour former ces systèmes efficacement, en s’assurant qu'ils peuvent gérer les nuances linguistiques et culturelles qu'ils rencontrent. Cette approche globale aidera à construire des systèmes de MTQE plus fiables et transparents, qui pourront être confiés pour délivrer des traductions de haute qualité.

"La MTQE est devenue une étape essentielle dans la stratégie d'une organisation pour automatiser les processus de traduction. C'est la première étape pour comprendre si la qualité obtenue est suffisamment bonne pour la valider ou l'envoyer à un réviseur humain. Mais ce n'est que la première étape, et l'inclusion d'un LQA agentique viendra boucler la boucle pour de nombreuses équipes de localisation. Ce type de contrôle s'aligne très bien avec les principes de LangOps, où les professionnels sont responsables des nouveaux processus linguistiques fiables, plutôt que d'être considérés comme des équipes de localisation passives." – Maria Angeles García Escrivà, Responsable de la Traduction Automatique chez Pangeanic

 

Ce que cela signifie pour vous

Que vous soyez un propriétaire d'entreprise, un créateur de contenu ou quelqu'un qui travaille fréquemment avec des traductions, comprendre le rôle de l'Estimation de la Qualité de la Traduction Automatique (MTQE) est crucial. La MTQE est un outil essentiel pour améliorer l'accessibilité et la fiabilité des traductions de qualité, en franchissant efficacement les barrières linguistiques. En automatisant les premières étapes de l'évaluation de la qualité, la MTQE réduit considérablement le temps et les ressources nécessaires pour la révision manuelle, permettant ainsi aux entreprises d'étendre leurs opérations et de toucher un public mondial de manière plus efficace. Il est important de reconnaître que la MTQE n'a pas pour but de remplacer l'expertise humaine, mais vise à l'améliorer et à la focaliser. Les traducteurs et éditeurs humains peuvent alors concentrer leurs efforts sur les aspects plus complexes de la langue que les machines peuvent négliger, tels que le contexte culturel, le ton et l'expression créative. La MTQE fonctionne comme un assistant intelligent, vous aidant à allouer votre temps et votre énergie de manière efficace lors de la gestion des traductions en identifiant les domaines nécessitant une attention particulière et en instillant la confiance dans celles qui respectent des normes élevées. Cette synergie entre l'efficacité des machines et l'intuition humaine permet des délais de traitement plus courts, des économies de coûts et, en fin de compte, des traductions de meilleure qualité qui résonnent auprès de publics divers.

Comme le dit notre Responsable de la Traduction Automatique ci-dessus, la MTQE est devenue un "outil indispensable" pour toute organisation et département de localisation qui repose sur des processus automatisés tout en impliquant des humains. L'étape suivante consiste à inclure une Assurance Qualité Linguistique (LQA) personnalisée qui détecte les erreurs au-delà de la fluidité linguistique et du contexte propre à chaque scénario, comme la conformité à la terminologie.

Regardez vers l'avenir

Chez Pangeanic, nous sommes dédiés à briser les barrières linguistiques et à favoriser la communication mondiale grâce à des technologies de traduction innovantes. Dans le cadre de cette mission, nous annonçons avec fierté la prochaine sortie de notre technologie propriétaire fusionnant l'Estimation de la Qualité de la Traduction Automatique (MTQE) et l'Assurance Qualité Linguistique (LQA) dans un flux de travail sophistiqué et agentique avec la Traduction IA Adaptative Profonde v2.

Ce système révolutionnaire détectera et corrigera les erreurs de contexte et de fluidité dans les traductions automatiques, tout en identifiant et en abordant les erreurs spécifiques adaptées aux exigences uniques de chaque client. En intégrant ces technologies avancées dans un flux de travail autonome, nous visons à redéfinir le processus de traduction, en garantissant que chaque sortie préserve fidèlement le sens, le contexte et l'intention souhaités.

Nous croyons que l'avenir de la traduction va au-delà de la simple conversion des mots d'une langue à une autre — il s'agit de permettre une communication fluide, précise et significative entre les langues. À chaque itération, notre technologie MTQE en évolution est à l'avant-garde de cette révolution, devenant de plus en plus sophistiquée et facile à utiliser. Elle travaille sans relâche en coulisses pour s'assurer que les traductions automatiques ne sont pas seulement traduites, mais bien traduites.

Chez Pangeanic, nous nous engageons à permettre aux entreprises et aux individus de communiquer plus efficacement et avec plus de confiance à travers les barrières linguistiques. Notre flux de travail agentique détecte déjà les erreurs et les corrige pour les clients en prévisualisation, livrant des traductions de haute qualité qui répondent aux normes les plus strictes en matière de précision et de fiabilité.

Nous sommes fiers de mener cette évolution dans la technologie de traduction, en construisant des ponts entre les langues et les cultures dans notre monde de plus en plus interconnecté. Notre approche innovante façonne un avenir où la langue n'est plus une barrière, mais une passerelle vers la compréhension mondiale et la collaboration.

Ensemble, transformons la manière dont le monde communique.