¿Qué es el Valor-F? Asegurando la calidad de la TA y la anonimización

Gracias a los avances tecnológicos y al desarrollo de modelos basados en la inteligencia artificial y redes neuronales, la traducción automática TA ha trascendido fronteras, incursionando hasta en áreas especializadas como las finanzas y la ciencia. 

Sin embargo, una de las mayores preocupaciones en torno a la TA se refiere a la calidad del contenido que crea. ¿Cómo conocer y cuantificar dicha calidad? 

Entre las métricas que existen para determinar la calidad en el procesamiento del motor de la TA se encuentra en el Valor-F, un parámetro que puede cuantificar el rendimiento de su algoritmo y la capacidad que posee para traducir cierto contenido en un determinado idioma.

¿Qué es el Valor-F y cómo se calcula?

El Valor-F, también conocido como puntuación F, es una medida que proporciona la calidad de un algoritmo o modelo de datos. 

Más técnicamente, esta medida se puede definir como la media armónica entre la precisión y la exhaustividad (recall) que muestra un determinado modelo. Siempre asignándole igual importancia (ponderación) a estos dos parámetros: exhaustividad y precisión. Es decir, se habla de Valor-F en el caso de F₁.

La medida-F se calcula mediante la fórmula:

F1=2∙Precisión∙ExhaustividadPrecisión+Exhaustividad

En donde:

• La precisión es un parámetro que cuantifica la cantidad de predicciones correctas realizadas. 
• La exhaustividad, también llamada recall, cuantifica las predicciones positivas correctas que ha realizado un modelo, dentro del universo de las predicciones positivas posibles que pudieron realizarse.

De esta fórmula del Valor-F se obtiene un resultado entre 0,0 y 1,0. Siendo 1 el Valor-F perfecto.

Diferencias con el Valor Fbeta

El Valor Fbeta (F_β) se obtiene a través de la generalización de la fórmula del Valor-F. Diferenciándose ambos métodos de puntuación por la ponderación que le otorgan a la presión y recuperación. 

Mientras en el Valor-F tienen igual importancia la evaluación de la precisión y recuperación, el Valor Fbeta es utilizado en casos en los que es necesario otorgarles distinta atención a estos parámetros, mediante la inclusión del coeficiente β.

 Por lo tanto, el Valor Fbeta se calcula mediante la expresión:

F=1+2Precisión∙Exhaustividad2∙Precisión+Exhaustividad

En donde:

• Si β > 1, entonces se otorga mayor importancia a la exhaustividad.
• Si β < 1, entonces se da menor importancia a la precisión. 
• Si β = 1, se obtiene la medida-F.

Diferencias con el CHRF

Por otro lado, se encuentra el CHRF, que consiste en la puntuación F, pero en base a n-gramas. Es decir, que el CHRF evalúa a un nivel de morfemas. Es empleado en la evaluación de la calidad de la traducción automática.

La fórmula del Valor-F a nivel de n-gramas es: 

CHRF=1+2CHRP∙CHRR2∙CHRP+CHRR

Siendo CHRF y CHRR el porcentaje de la precisión y el recuerdo de n-gramas, respectivamente. Y β es el coeficiente que asigna la importancia de cada parámetro, al igual que en el Valor Fbeta.

Aplicaciones del Valor-F

El Valor-F en el aprendizaje automático y en el procesamiento del lenguaje natural es ampliamente utilizado en la evaluación de modelos o algoritmos asociados. También se emplea para cuantificar la calidad en los modelos de recuperación de información, por ejemplo, en los motores de búsqueda.

El Valor-F y el aprendizaje automático

Una de las aplicaciones del Valor-F, en su versión basada en n-gramas, es evaluar la calidad de la traducción automática basada en el aprendizaje automático. Es una forma de obtener una guía para conocer si el algoritmo de la traducción automática procesa la información con la precisión y el recuerdo necesario para producir un determinado texto. 

En este caso, la medida-F definiría qué tan preciso puede ser un algoritmo de traducción al recordar y organizar las palabras en el idioma a traducir (idioma destino).

El Valor-F y la anonimización

Cuando se aplican técnicas de anonimización se obtienen como resultados ciertos conjuntos de datos, de los que es necesario conocer el nivel de fiabilidad, en relación con los datos de origen. Y una de las métricas utilizadas para calcular la precisión y exhaustividad del resultado es el Valor-F. 

El Valor-F y el PLN 

Entre los modelos de aprendizaje automático, la medida-F se utiliza mayormente en el PNL. Este sistema de puntuación facilita el reconocimiento de entidades nombradas, es decir, el reconocimiento de ciertos conjuntos de elementos para analizar un fragmento u oración del texto.

Pangeanic: aplicando métricas para medir la calidad

En Pangeanic nos especializamos en el procesamiento natural del lenguaje, para ofrecer una traducción automática neuronal de alta calidad. Además, somos proveedores de soluciones informáticas especializadas en la gestión de traducción, la anonimización y la traducción en tiempo real de cualquier idioma.

Empleamos el método de puntuación CHRF, que realiza análisis a nivel de carácter, para cuantificar la calidad de nuestras traducciones. Además, garantizamos la calidad del procesamiento de nuestros motores de TA mediante la aplicación de los métodos de puntuación más acertados en el área del aprendizaje automático y el PNL, como el TER y el BLEU. 

En Pangeanic somos líderes en el procesamiento del lenguaje natural, combinando siempre el talento humano con la capacidad de la IA.