Actualización de febrero de 2025

Varios lectores han señalado la terminología confusa de "traducción por LLM" y "traducción NMT" en medios, charlas e informes. Analistas de la industria como Gartner, por ejemplo, solo hablan de "traducción automática neuronal", aunque las soluciones técnicas y los usuarios en general adoptan con comodidad los conceptos de "traducción por LLM" o "traducción por IA" tanto para TA bruta como adaptada. Pangeanic ha sido reconocida en el Hype Cycle for Language Technologies de Gartner durante dos años consecutivos (2023 y 2024), donde la tecnología se clasifica generalmente como "neuronal".

¿Por qué genera confusión?

Los términos "traducción por LLM" y "NMT" se basan en redes neuronales y, típicamente, en la tecnología Transformer. La distinción radica en la especialización y los datos de entrenamiento, no en la tecnología fundamental; de ahí que la terminología pueda resultar ambigua. De hecho, es una fuente común de malentendidos, incluso entre profesionales.

Toda la traducción automática moderna se basa en redes neuronales, pero la diferencia clave está en cómo se entrenan y despliegan estas redes. La Traducción Automática Neuronal (NMT) se refiere a modelos neuronales supervisados y especializados, entrenados exclusivamente para traducción utilizando datos paralelos que mapean directamente el idioma fuente al objetivo.

Por el contrario, la "traducción por LLM" la realizan modelos neuronales de propósito general entrenados en una amplia gama de tareas, como clasificación, autocompletado, reconocimiento de entidades nombradas (NER), traducción, resumen, preguntas y respuestas, entre otras. Aunque los LLM suelen beneficiarse de conjuntos de datos mucho más grandes, carecen del enfoque especializado de los sistemas NMT dedicados. Esta diferencia fundamental en el enfoque de entrenamiento y especialización genera confusión al discutir la traducción "neuronal", ya que ambos métodos utilizan redes neuronales pero con arquitecturas, metodologías de entrenamiento y características de rendimiento significativamente diferentes.

Los modelos NMT tradicionales (Seq2Seq) se entrenan desde pesos inicializados aleatoriamente utilizando corpus paralelos a gran escala, con el objetivo de optimizar la precisión de la traducción entre idiomas fuente y objetivo. Esto no ocurre con los LLM generales, que se entrenan para generar texto sin fin (y, por tanto, pueden "alucinar"). Sin embargo, en los últimos años, la comunidad de TA ha adoptado estrategias del Procesamiento del Lenguaje Natural (PLN), especialmente utilizando modelos lingüísticos preentrenados. Este enfoque es valioso para idiomas con pocos recursos, donde escasean los datos paralelos. Modelos como mBART ilustran esta metodología: primero se preentrenan multilingüemente para reconstruir tokens enmascarados y luego se ajustan para tareas de traducción, aprovechando el transfer learning.

Paralelamente, los LLM generativos han demostrado capacidad para traducir sin ajuste específico (zero-shot). Estudios sistemáticos desde 2023 (incluyendo GPT-3.5 y GPT-4) indican que producen traducciones fluidas en pares de idiomas con muchos recursos, especialmente hacia el inglés. Sin embargo, los resultados son menos consistentes en idiomas minoritarios, debido al predominio del inglés en sus datos de entrenamiento. En WMT23, GPT-4 igualó a sistemas NMT especializados en ciertas direcciones de traducción, aunque los escenarios de dominios específicos o idiomas con pocos recursos siguen siendo un desafío.

En resumen:

Toda la traducción automática moderna se basa en redes neuronales; la diferencia radica en cómo se entrena y se utiliza dicha red.

1. Traducción automática neuronal (NMT, por sus siglas en inglés): modelo neuronal supervisado y específico para una tarea concreta. Se entrena exclusivamente para traducir, utilizando datos paralelos (de origen a destino).

2. Traducción mediante modelos de lenguaje de gran tamaño (LLM): también se trata de una red neuronal, pero entrenada para múltiples tareas, como traducción, resumen, respuestas a preguntas, entre otras, generalmente con un volumen de datos mucho mayor, aunque con un enfoque menos especializado. En este caso, la traducción es realizada por un modelo neuronal de propósito general.

Puntos clave del artículo:

1. Entrenamiento y funcionalidad: los LLM se entrenan para predecir la siguiente palabra en una oración, lo que les permite generar texto coherente en una amplia variedad de contextos. Por el contrario, los sistemas NMT se entrenan específicamente con pares de textos bilingües para realizar traducciones directas entre idiomas.

2. Fortalezas y limitaciones: los LLM ofrecen gran versatilidad y fluidez en la generación de traducciones, lo que los hace adecuados para tareas que requieren generación de lenguaje natural. Sin embargo, pueden carecer de la precisión y el control que caracterizan a los sistemas NMT, los cuales están optimizados para lograr una mayor exactitud en traducciones directas.

 

 

 

Dato curioso: ¿Sabía usted que muchos científicos destacados en el desarrollo de modelos de lenguaje, como Ilya Sutskever (exdirector de tecnología de OpenAI) o Aidan Gomez (director ejecutivo de Cohere), comenzaron su trayectoria profesional en el ámbito de la traducción automática? Gómez formó parte del equipo de Google Translate. Por su parte, Sutskever escribió y coescribió varios artículos sobre traducción automática y tecnologías de codificadores-decodificadores antes de incorporarse a OpenAI. Esto refleja cuán estrechamente relacionadas están ambas tecnologías.

 

Estatua de Alan Turing en Sackville Park, Manchester

 

Lectura adicional: ¿Qué es la inteligencia artificial y qué es la inteligencia artificial general (AGI)?

Grandes Modelos de Lenguaje (LLM) 

Los grandes modelos de lenguaje (LLM por sus siglas en inglés), como ChatGPT, utilizan el potencial de los modelos de lenguaje entrenados con enormes cantidades de datos textuales. Estos son excelentes en la producción de traducciones gramaticalmente correctas y demuestran una sólida comprensión de la estructura lingüística. 

Ventajas de los Grandes Modelos de Lenguaje en la Traducción Automática 

1. Comprensibilidad:  Los LLM tienden a producir traducciones que son gramaticalmente correctas y fáciles de entender.

2. Adaptabilidad: Debido a su entrenamiento en corpus diversificada, los LLM están bien equipados para lidiar con una amplia gama de temas y estilos de lenguaje.

3. Mejoran con el tiempo: A medida que los LLM continúan aprendiendo de las interacciones de los usuarios y de un corpus de texto en expansión, su rendimiento puede mejorar con el tiempo.

Desventajas de la Traducción Automática mediante Grandes Modelos de Lenguaje  

Pese a su versatilidad generativa, los grandes modelos del lenguaje presentan ciertas desventajas frente a la traducción automática neuronal. 

Estas son algunas de las principales desventajas: 

1. Traducción específica de un dominio: Los grandes modelos lingüísticos como el GPT-3 están entrenados en un vasto corpus de texto general. Esto los hace bastante expertos en traducciones de propósito general. Sin embargo, cuando se trata de traducir textos de ámbitos específicos, (especialmente técnicos o científicos) los LLM pueden tener dificultades dada la falta de datos de formación especializada.

   Por otro lado, los modelos de traducción personalizados pueden ser entrenados en corpus específicos de dominio, lo que les permite producir traducciones más precisas en sus áreas de especialidad.

2. Limitaciones en pares de idiomas disponibles: Los LLM se forman a menudo en gran número de pares de idiomas, lo que puede diluir su dominio en algún par específico. Sin embargo, los modelos de traducción personalizados están diseñados para pares de idiomas específicos, lo que les permite lograr un mayor nivel de rendimiento en la traducción entre esos idiomas.

3. Comprensión contextual: Si bien los LLM aportan una comprensión decente del contexto inmediato, a menudo fallan a la hora de comprender un contexto más amplio o implícito dentro de un texto. Esto puede dar lugar a interpretaciones erróneas y traducciones inexactas.

   Los modelos de traducción personalizados pueden incorporar características más avanzadas, como mecanismos de atención, que mejoran su capacidad para mantener el contexto en tramos más largos de texto.

4. Manejo de expresiones idiomáticas:  Los LLM a menudo luchan con las expresiones idiomáticas y la jerga. Estas construcciones lingüísticas son muy específicas y pueden variar incluso dentro del mismo idioma.

   Los modelos de traducción personalizados, especialmente los entrenados en corpus que incluyen una gran cantidad de lenguaje coloquial, són más hábiles a la hora de traducir tales expresiones con alta precisión.

5. Control de calidad y coherencia: Dado que los LLM generan traducciones basadas en modelos probabilísticos, hay cierto grado de imprevisibilidad en sus resultados, lo que puede conducir a inconsistencias en la traducción.

   Los modelos de traducción personalizados tienen un comportamiento más predecible y producen traducciones más consistentes, ya que están diseñados específicamente para dicha tarea y pueden incorporar mecanismos que garanticen la consistencia en textos más largos. 
   

6. Falta de matices culturales: Los LLM pueden no capturar los matices culturales y las expresiones idiomáticas únicas de idiomas o regiones concretas.

    

lectura recomendada: 

 IA Generativa; privacidad, protección de datos y como puede afectar a su empresa. 

Traducción Automática Neuronal (NMT)

Los sistemas de traducción automática neuronal aprovechan las redes neuronales artificiales, Redes Neuronales Recurrentes (RNNs) y modelos basados en Transformer,  con la finalidad de traducir idiomas. 

Estos sistemas son conocidos por su capacidad para tratar con un contexto más amplio y manejar expresiones idiomáticas complejas.  

Ventajas de la Traducción Automática Neuronal (NMT) 

1. Comprensión contextual: Gracias a su capacidad de aprendizaje profundo, los sistemas NMT son hábiles entendiendo el contexto más amplio de las frases, lo que lleva a traducciones muy precisas.

2. Manejo de expresiones idiomáticas: Los sistemas NMT están mejor equipados para traducir expresiones idiomáticas y lenguaje coloquial, capturando los aspectos más sutiles del lenguaje.

3. Consistencia: Los sistemas NMT producen traducciones consistentes, especialmente en textos o documentos más largos.

Desventajas de la Traducción Automática Neuronal (NMT) 

1. Demanda de recursos computacionales: Los modelos NMT, particularmente aquellos que usan arquitecturas avanzadas, requieren recursos computacionales sustanciales, lo que puede limitar su accesibilidad y escalabilidad.

2. Dificultad a la hora de traducir lenguas de escasos recursos: Al igual que los LLMs, los sistemas NMT pueden tener dificultades para traducir con precisión idiomas de bajos recursos debido a la limitación de datos de entrenamiento.

3. Inflexibilidad: una vez se ha entrenado un sistema NMT, suele resultar difícil ajustar o adaptar su funcionamiento sin un reciclaje completo, lo que puede resultar costoso en tiempo y recursos. 

Principales conclusiones  

Es importante señalar que, aunque aquí hemos distinguido entre LLM y NMT, a efectos comparativos existe un solapamiento significativo. 

Muchos LLM modernos se construyen utilizando arquitecturas de redes neuronales similares a los NMT. La principal diferencia radica en su entrenamiento y uso: los LLM se entrenan para predecir la siguiente palabra de una frase y, además, son capaces de generar texto. Los sistemas NMT se entrenan específicamente en pares de textos bilingües para traducir entre idiomas.   

Tanto los LLM como los sistemas NMT tienen sus puntos fuertes y sus puntos débiles. Para sacar el máximo partido a estas tecnologías, es esencial conocer sus capacidades y elegir el enfoque adecuado en función del contexto y requisitos específicos.   

Los LLM ofrecen gran adaptabilidad y son capaces de generar textos gramaticalmente correctos, aunque pueden carecer de matices culturales y tener una comprensión contextual limitada. 

Los sistemas NMT, debido a su gran comprensión del contexto y su hábil gestión de los modismos, suelen requerir más recursos y ser menos flexibles. 

En conclusión, tanto los LLMs como los sistemas NMT han hecho contribuciones sustanciales al campo de la traducción automática, cada uno con sus puntos fuertes y débiles. A medida que el campo continúa avanzando, la combinación de estas dos técnicas puede abrir el camino hacia sistemas de traducción automática aún más precisos y con más matices, fomentando una mejor comunicación y comprensión en un mundo cada vez más interconectado.