El avance tecnológico en el campo de la traducción automática (TA) es indiscutible. Así, el procesamiento de grandes volúmenes de textos para trasladar el contenido en un idioma origen a un idioma de destino en solo unos instantes es un mecanismo que cada vez resulta más rápido y preciso.
La TA se encuentra actualmente en todas partes y cada día resulta más indispensable para que empresas, organizaciones, científicos, etc., puedan compartir información de manera global.
Pero a la par que se produce este avance, surgen otras cuestiones: ¿cómo saber si se mantiene la calidad en la traducción? ¿Qué técnicas existen para medir la calidad de la traducción automática?
Por un lado, la traducción automática está disponible en distintos canales públicos al alcance de todos. Y, por el otro, existen múltiples ofertas de proveedores de servicios lingüísticos para la traducción a gran escala y el abordaje de textos especializados.
En este contexto, se hace imprescindible para las empresas de alcance global conocer qué ofertas le brindan TA de gran calidad y qué sistema de TA se adapta mejor a la terminología y al lenguaje especializado que utilizan.
Además, están los propios desarrolladores de la traducción automática, que necesitan conocer el resultado tanto de las métricas de evaluación automáticas como de la evaluación humana para evaluar la salida de los sistemas de TA.
De esta forma, los desarrolladores evalúan la memoria, la fluidez, la adecuación y la precisión del sistema, con lo que obtienen una estimación de la calidad de la TA. Y, ¿qué hacen con esto? Utilizan los resultados de la evaluación para modificar y optimizar las respuestas de los algoritmos iniciales del sistema.
Lectura recomendada: Todo lo que debe saber sobre la traducción automática
La estimación de la calidad de la traducción automática es vital. Esta estimación se realiza mediante métodos automatizados o técnicas aplicadas por traductores humanos.
La selección de los métodos de evaluación de la calidad de la TA depende de lo que se desea conocer. En el caso de que sea necesario saber si el texto que se ha traducido de manera automática cumple con la calidad exigida, debe aplicarse una técnica humana.
Pero si lo que se necesita es conocer la calidad de la TA de un sistema, deben utilizarse métodos automatizados como el BLEU.
Entre las técnicas aplicadas por los traductores humanos (evaluadores) para realizar la evaluación de la calidad de la traducción automática están las siguientes:
En la estimación de la calidad de la traducción automática se utilizan sistemas de puntajes también automáticos. Son indispensables para la evaluación objetiva y rápida, a diferencia de las técnicas humanas. Por ejemplo:
Cabe mencionar que estas métricas se basan normalmente en la distancia de edición con respecto a una traducción de referencia realizada por un humano, por lo que solo son una estimación de cuán buena es la traducción.
En el ámbito de la calidad de la traducción automática existen muchos mitos y conceptos erróneos que se deben corregir o desmontar.
Uno de ellos es que “Google posee los mejores sistemas de TA”. Es verdad que Google cuenta con excelentes sistemas de traducción automática, pero son genéricos y no respetan la privacidad de los datos, así que para una traducción personalizada o especializada existen opciones mejores.
Otro concepto erróneo es el que afirma que los puntajes de calidad de los sistemas de TA son estáticos, algo que no es cierto. Los sistemas de TA, siempre que estén a cargo de empresas especializadas, se actualizan de forma frecuente. Por eso, las comparaciones instantáneas resultan verdaderas solo en un momento dado y para un exclusivo grupo de pruebas.
También debe desterrarse la idea de que solo mediante la calidad lingüística de la traducción de salida es posible determinar cuál es el mejor sistema de traducción automática. En realidad, la calidad lingüística solo es uno de los criterios necesarios en la evaluación de un sistema de TA.
Este sistema también debe evaluarse de acuerdo con los requisitos de las empresas que solicitan el servicio. Por ejemplo, debe tomarse en cuenta la seguridad y la privacidad de los datos que ofrece el sistema, así como la velocidad y la facilidad de personalización.
En Pangeanic garantizamos la calidad de nuestras traducciones automáticas mediante el empleo de modelos no estáticos, la posedición realizada por lingüísticos expertos —imprescindible para el aprendizaje continuo del sistema de TA— y la evaluación de calidad a través de las métricas BLEU, ChrF y TER, principalmente.
Para aplicar las técnicas de evaluación de la calidad de la traducción automática, se traduce automáticamente un corpus de prueba con el sistema de TA y luego se compara dicha traducción con una de referencia realizada por un lingüista nativo.
Este análisis nos permite obtener las métricas necesarias para detectar posibles fallos del modelo y modificar los algoritmos. Es un proceso iterativo para la mejora continua del sistema.
En Pangeanic conocemos la importancia de la calidad y la precisión en las traducciones. Nos especializamos en distintos tipos de servicios de traducción y podemos asesorarle sobre los servicios que su empresa necesita.