Garantizar una buena traducción automática mediante la puntuación BLEU

Con el paso del tiempo los sistemas de traducción automática (TA) se han vuelto imprescindibles. Han desarrollado tecnologías innovadoras con algoritmos sofisticados de inteligencia artificial que, además de ofrecer calidad en la traducción, permiten el procesamiento rápido de grandes volúmenes de textos.

Pero esa calidad en la traducción automática debe garantizarse. La manera de hacerlo es a través de un mecanismo que evalúe el rendimiento del sistema de TA. Entre los métodos más eficaces está la puntuación bleu.

¿Qué es una puntuación BLEU? 

BLEU, o sustituto de la evaluación bilingüe, es un método basado en puntuaciones que evalúan la calidad del trabajo realizado por el sistema de procesamiento natural de lenguaje (PNL) para la traducción.

Básicamente, BLEU compara el texto que ha generado la traducción automática con las traducciones de referencia que han sido efectuadas por humanos y que se estiman como correctas.

La puntuación BLEU PNL, en su proceso de ponderación, realiza comparaciones de frases de la TA con las frases correspondientes en la traducción de referencia. Según el número de coincidencias y grado de similitud, BLEU le calcula una determinada calificación.

Este sistema de puntuación tiene un rango entre 0 y 1. Si la coincidencia es total y perfecta, entonces BLEU arroja como resultado un valor igual a 1. Si existe una ausencia total de coincidencias, entonces BLEU asigna una puntuación igual a 0.

Obtener un resultado igual a 1 es casi imposible, pues significaría que la traducción automática sería exactamente igual que la realizada por un profesional.

¿Cómo se calcula la puntuación BLEU y cómo funciona? 

Cuando se habla a nivel de algoritmo, BLEU calcula su puntuación según los n-gramas coincidentes en los textos que desea comparar. Siendo un n-grama, dentro del lenguaje probabilístico y computacional, una secuencia de “n” cantidad de elementos, ya sea de una muestra de un texto o del habla. Estos elementos pueden ser palabras, sílabas, letras, etc.

BLEU compara el texto traducido (traducción candidata) con la traducción de referencia y cuenta los n-gramas que coinciden. Pero para garantizar la precisión, la puntuación BLEU PNL también modifica la cuenta calculada, proceso que se conoce como la precisión modificada de n-grama.

La precisión modificada de n-grama se basa en un cálculo sencillo:

• Cuenta el total de veces que aparece cada palabra (n-gramas) de la traducción candidata dentro de todas las traducciones de referencia. Pudiendo asignársele la variable m_máx.
• Recorta el número de veces que aparece la palabra (m_w) dentro de la traducción candidata y la iguala al m_máx.
• Suma todos los m_w recortados para cada una de las palabras (dentro la traducción candidata).
• La suma anterior se divide por la cantidad total de n-gramas del texto candidato que coinciden en los textos de referencia.
• El resultado es la precisión modificada.

Para el cálculo final, BLEU utiliza una fórmula estadística en la que se aplica un factor de penalización (BP) a la precisión modificada. Este factor se calcula de la forma siguiente:

• El factor de penalización es igual a 1, solo si el número de palabras en la traducción candidata es mayor al número de palabras en la de referencia.
• El factor de penalización es igual a: e^(1-r/c), si el número de palabras en el texto candidato es menor o igual que el número de palabras en el texto de referencia.

Finalmente, la puntuación de BLEU se obtiene por medio de la siguiente fórmula:

BLUE=BP ∙exp⁡n=1Nwnlog pn

Mediante esta expresión matemática se denota la importancia de la cantidad de n-gramas coincidentes. La sumatoria inicia cuando se detecta 1-grama coincidente, es decir, cuando n=1. Y dicha sumatoria continuará hasta la cantidad total de coincidencias (N).

P_n resulta el valor de precisión para cada n-grama coincidente, así para n=1, corresponde el valor de P₁.

Traducción automática y puntuación BLEU

La traducción automática es el proceso que realiza un programa informático para comprender un texto y expresarlo en otro idioma, de forma precisa y sin intervención de un ser humano.

En la actualidad, la traducción automática es efectuada por mecanismos con inteligencia artificial, capaces de procesar el lenguaje natural de forma exitosa, generando textos con una traducción de calidad.

A la par de la evolución de los sistemas de traducción automática, también se han desarrollado métodos, también automatizados, para garantizar la calidad y precisión del texto generado por máquinas. Como la puntuación BLEU.

Si bien en alguna circunstancia una traducción puede necesitar una revisión humana, también es verdad que las tecnologías sofisticadas actuales empleadas para la traducción, en conjunto con el método BLEU, como garantía de calidad, generan resultados óptimos y sin necesitar revisión.

Además, la traducción automática y la puntuación BLEU ofrecen ventajas. Así como una buena traducción automática representa un método más rápido y de menor coste, que una traducción hecha por traductores profesionales, también la puntuación BLEU constituye un mecanismo que puede procesar a gran velocidad una gran cantidad de textos para su evaluación.

Limitaciones en el uso de las puntuaciones BLEU 

A pesar de que la puntuación BLEU es un método rápido y fiable, también posee algunas limitaciones:

• No tiene en cuenta palabras sinónimas.
• Puntúa con mayor precisión en la evaluación de traducción con oraciones largas.
• No toma en consideración el buen uso de la gramática.

Para evitar calificar con un valor bajo a causa de la brevedad de las frases, BLEU inserta en su fórmula un factor de penalización (BP). Además, establece un límite para la contabilización de términos.

El sistema de cálculo y modo de corrección hacen de BLEU uno de los mecanismos más empleados para garantizar la calidad en una traducción. La puntuación BLEU para el PNL es un método automatizado fácil de aplicar y con un resultado en la evaluación muy similar a las revisiones efectuadas por profesionales de la traducción.

BLEU, el sustituto de la evaluación bilingüe, es muy utilizado para evaluar las traducciones exigentes, como en documentos jurídicos, financieros, de derecho internacional, médicos, etc.

Para saber qué traducción se ajusta a sus necesidades puede contactarnos. En Pangeanic somos proveedores de diversos servicios de procesamiento de lenguaje natural, como la traducción automática. Creemos en la democratización de la inteligencia artificial para que todo el mundo tenga acceso a la información.