Más allá de ChatGPT: El futuro de los modelos de grandes idiomas y la IA

El 22 de marzo de 2023, asistimos a SlatorCon Remote, un evento en línea donde expertos y líderes de la industria del lenguaje se reunieron para discutir esta fascinante industria que está en constante crecimiento. Entre los temas candentes se encontraban: los nuevos mercados emergentes y cómo se puede optimizar la productividad a través de tecnologías lingüísticas innovadoras, desde la traducción automática y la PNL hasta la automatización del flujo de trabajo.

Nuestro Responsable de del área de machine Learning, Konstantinos Chatzitheodorou, hizo una presentación en la que reflexionó sobre las herramientas que están dejando huella con la inteligencia artificial. Examinó el estado actual de los grandes modelos lingüísticos (LLM), como GPT-4, así como su potencial en el futuro de las tareas de procesamiento del lenguaje natural, como la traducción automática, el resumen y la anonimización, y cuál puede ser su impacto para la industria lingüística.

Noticia de interés: Nuestra plataforma ECO Integra ChatGPT con las características de privacidad de los datos personales

Siga leyendo para obtener más información sobre su presentación y las preguntas más relevantes:

¿Podría explicar qué significa el modelo de lenguaje grande (LLM)?

Estos modelos están formados en cantidades masivas de datos de texto, lo que les permite generar respuestas altamente sofisticadas y contextualmente relevantes para las indicaciones humanas. 

Pueden generar texto similar al humano prediciendo la siguiente palabra o frase basada en un contexto dado. Esta es una tecnología antigua que ya se ha utilizado en varias aplicaciones, como chatbots, servicio al cliente, creación de contenido e incluso traducción. La diferencia ahora es el contexto. Si bien los modelos estadísticos se centraron en 3, 5, 7 n-gramos y la traducción automática neuronal en una oración, GPT puede tomar hasta 1500 palabras (o tokens) de contexto, proporcionando así un texto que realmente fluye. Agregue autorregresión, muchos datos etiquetados y entrenamiento de refuerzo, y allí lo tiene. ¡Aunque OpenAI afirma haber utilizado solo 30,000 consultas humanas para su refuerzo!

Amplía información: ¿Cuáles son los mejores algoritmos de aprendizaje automático para PLN?

ChatGPT es un transformador de lenguaje generativo desarrollado por OpenAI, que teóricamente es capaz de responder a cualquier pregunta que se le plantee manteniendo un alto grado de precisión del lenguaje. 

He aquí un ejemplo de cómo funciona un LLM: Un usuario pregunta: “¿Cuál es la capital de Francia?” El LLM primero analiza las palabras individuales en la oración y determina su significado y relación. Entonces, reconoce que “capital” se refiere a una ciudad,“Francia” se refiere a un país, y “qué” es una solicitud de información. Basándose en su comprensión del lenguaje, sabe que la respuesta es ‘París’ y genera la respuesta.

Si pregunta sobre sus capacidades, le proporcionará la siguiente respuesta:

• Generación de texto: Genera texto coherente y gramaticalmente correcto.
  
  
• Finalización de texto: Predice la finalización de la oración o el párrafo.
  
  
• Respuesta a preguntas: Genera respuestas relevantes a la pregunta.
  
  
• Resumen de texto: Genera resúmenes de textos más largos.
  
  
• Análisis del sentimiento: Clasifica el sentimiento del texto (positivo, negativo o neutral).
  
  
• Traducción de idioma: Traduce texto entre idiomas.

ChatGPT ha ganado rápidamente popularidad, con más de 100 millones de usuarios que utilizan la plataforma en menos de dos meses, causando una interrupción generalizada en la industria de la tecnología. Incluso puede ser útil para el aprendizaje de idiomas, parafraseado, etc.

¿Pueden los LLM reemplazar a los humanos?

Los Grandes Modelos del Lenguaje generativos como GPT-3 y 4 pueden generar texto similar al humano. Sin embargo, es importante destacar que estos modelos no están diseñados para reemplazar a los humanos, sino para ayudarlos en varias tareas. 

Si bien los modelos GPT pueden realizar ciertas tareas relacionadas con el lenguaje con un alto nivel de precisión, carecen de razonamiento humano, empatía y habilidades de pensamiento crítico.

 Además, estos modelos se limitan a los datos en los que han sido entrenados, lo que puede resultar en sesgos, inexactitudes o inconsistencias.

En resumen, son herramientas realmente impresionantes y útiles, pero no están destinadas a reemplazar a los humanos. En cambio, pueden ayudar a los humanos a realizar tareas de manera rápida y más eficiente, lo que puede mejorar significativamente la productividad y la creatividad.

Amplía información: Cómo el nuevo ChatGPT provocará cambios radicales en el mundo que conocemos

¿Hay alguna restricción a ChatGPT/GML?

De hecho, hay algunas limitaciones para los GML. Una de las principales preocupaciones es dónde se almacenan nuestros datos y si se utilizarán para desarrollar nuevos modelos. En cuanto a la pregunta de dónde se guardan los datos, OpenAI no revela la ubicación específica de los servidores. Sin embargo, afirman que utilizan medidas de seguridad estándar de la industria para proteger los datos y cumplir con las leyes de privacidad pertinentes.

Puede ser un desafío para ellos comprender un lenguaje altamente técnico o especializado que requiere conocimientos específicos de dominio. Además, pueden no ser adecuados para información confidencial o confidencial, como documentos legales o médicos. El manejo de datos confidenciales es una preocupación crítica cuando se usa ChatGPT o cualquier otro Grande Modelo de Lenguaje. Para abordar estas preocupaciones, se pueden utilizar varias técnicas para garantizar que los datos confidenciales se manejen adecuadamente. Un enfoque es utilizar un servicio de anonimización de datos (se puede utilizar el servicio de anonimización de Pangeanic) para eliminar la información de identificación de los datos antes de que sea procesada por el modelo. Por ejemplo, los nombres, direcciones y otra información de identificación pueden sustituirse por marcadores de posición anónimos, como “Persona A” o “Ubicación B”.

Como mencioné anteriormente, en Pangeanic, hemos integrado ChatGPT en nuestro flujo de trabajo para permitir a nuestros clientes generar resúmenes de texto. El proceso es simple y sin fisuras: los clientes pueden cargar sus documentos a través de nuestra plataforma, ECO y recibir resúmenes. Sin embargo, antes de enviar la información a ChatGPT, los documentos son anónimos con fines de seguridad y privacidad.

Descubra ECO, la plataforma de Traducción Automática Adaptativa Profunda de Pangeanic

¿De qué manera los LLM pueden beneficiar a la industria del lenguaje?

Los proveedores de servicios de idiomas ya han comenzado a utilizar ChatGPT y otras LLM en sus flujos de trabajo. Desde el primer día de la versión API de OpenAI (tenga en cuenta que recientemente se lanzó una versión más barata de API), la han integrado para varios casos de uso, como la generación de descripciones de productos para el comercio electrónico a partir de plantillas y traducción. En el futuro, hay planes para ampliar el uso de grandes modelos del lenguaje (GML) para otras aplicaciones, como la estimación de la calidad de la traducción, la conversión del formato de archivo y la postedición automática.

Por otro lado, los profesionales reconocen y aprecian el potencial de los grandes modelos del lenguaje, pero generalmente son escépticos sobre su adopción total. Aunque desean ver más ejemplos, también quieren participar en la implementación y aplicación de GML dentro de sus organizaciones.

Amplía información: Qué es el modelado del lenguaje y su relación con la PLN

Las empresas proveedoras de servicios lingüísticos y los profesionales han sido durante mucho tiempo el recurso principal para las necesidades relacionadas con el lenguaje, pero con la aparición de GML como ChatGPT, ahora hay más opciones disponibles. Es probable que el uso de GML aumente en el futuro y desempeñará un papel importante en la industria del lenguaje. Además, la industria tiene el potencial de colaborar y apoyar a otros sectores mediante la utilización de grandes modelos del lenguaje. Esto crea nuevas oportunidades para todos los involucrados, incluidos profesionales del lenguaje, desarrolladores y líderes empresariales. El desarrollo y la integración de los GML proporcionan posibilidades interesantes para los servicios relacionados con el lenguaje y pueden ayudar a satisfacer la creciente demanda de comunicación multilingüe.

Desarrollar nuevos modelos, competencia y sesgo lingüístico 

La aparición de nuevos modelos en el campo de los GML es casi una ocurrencia diaria, causando constantes cambios significativos en el paisaje. En su opinión, ¿qué depara el futuro de los GML?

De hecho, las grandes organizaciones, los grupos de investigación, etc. anuncian diariamente modelos nuevos e innovadores, a medida que los desarrollos en el campo de los modelos lingüísticos continúan progresando a un ritmo acelerado. 

En los últimos días, los GML se integrarán con Google Workspace, y Microsoft lanzó un copiloto de IA para 365. Es muy probable que otras herramientas ampliamente utilizadas sigan su ejemplo en los próximos días.

Sin embargo, como se entiende fácilmente, los GML populares están predominantemente entrenados en contenido de inglés estadounidense, lo que resulta en un sesgo centrado en los Estados Unidos en el idioma y la cultura. Por lo tanto, Europa y otras naciones deberían optar por alternativas que sean competitivas, incorporarán la diversidad cultural y preservarán sus idiomas y conocimientos. 

Además, es crucial abstenerse de cargar datos esenciales a servicios con sede en los Estados Unidos. Esta estrategia permitiría a los desarrolladores crear modelos más conscientes de la cultura y menos sesgados hacia una región específica, promoviendo la diversidad y la inclusividad en la IA. 

¿Qué depara el futuro de los LLM? 

El futuro de los GML es prometedor y se espera que desempeñen un papel importante en varios campos, incluida la industria del lenguaje. 

Tenga en cuenta que casi todos los días se lanza un nuevo modelo/enfoque. Por ejemplo, la semana pasada:

• La Universidad de Stanford lanzó Alpaca 7B

• OpenAI lanzó GPT-4

• Antrópico liberado Claude

• Google anunció la API de PaLM y MakerSuite

• Google añadió IA generativa a los espacios de trabajo

• Midtrip lanzado V5

• Conjunto AI liberado conformer1 (aprovecha las capas Transformer y Convolutional para el reconocimiento de voz)

• Hay modelos anteriores como Bloom que son gratuitos incluso para uso comercial.

Por supuesto, deberíamos destacar el LLaMA de Meta, un GML fundamental de 65 mil millones de parámetros, así como el GML de Google que admite el reconocimiento automático de voz y más de 1,000 de los idiomas más hablados del mundo. 

Otro futuro potencial para las GML es el desarrollo de modelos más especializados para industrias o dominios específicos. Por ejemplo, un modelo diseñado específicamente para la industria legal podría ser entrenado en terminología legal y jerga, haciéndolo mejor equipado para manejar documentos legales. Esto ayudaría a abordar algunas de las limitaciones de los GML cuando se trata de un lenguaje específico de dominio. 

La multimodalidad es también un área de innovación que cada vez es más importante en el desarrollo de GML. Los modelos multimodales son capaces de comprender y procesar múltiples formas de entrada, como texto, imágenes, vídeo y audio, lo que puede ayudar a mejorar la precisión y el rendimiento de las tareas de procesamiento del lenguaje natural. 

Una de las ventajas clave de los GML multimodales es que pueden ayudar a cerrar la brecha entre los diferentes medios de comunicación, lo que nos permite generar respuestas más coherentes e integrales que incorporan múltiples formas de entrada. 

Esto podría tener una amplia gama de aplicaciones, desde mejorar la precisión de los sistemas de reconocimiento de imágenes y voz hasta mejorar las capacidades de chatbots y asistentes virtuales.

El precio es un factor importante. Los GML multimodales pueden ser caros, pero a menudo valen la pena la inversión. El desarrollo y la capacitación de estos modelos requieren recursos sustanciales, incluida la potencia informática, los conjuntos de datos y el personal capacitado. Sin embargo, los beneficios de usar GML, como su capacidad para procesar grandes cantidades de datos de forma rápida y precisa, pueden superar con creces los costos.

Estos modelos pueden proporcionar a las empresas información valiosa y permitirles tomar decisiones basadas en datos. Además, los Grandes Modelos del Lenguaje se pueden utilizar para automatizar muchas tareas, liberando recursos humanos para un trabajo más especializado y creativo. En general, aunque los GML pueden tener un alto precio, sus beneficios potenciales los convierten en una inversión que vale la pena para muchas organizaciones.

El futuro de los GML podría mejorarse mediante la integración con otras tecnologías. La realidad aumentada y la realidad virtual, por ejemplo, podrían usarse para crear experiencias inmersivas de aprendizaje de idiomas. Además, los dispositivos móviles son un ajuste natural para los GML y probablemente desempeñarán un papel importante en su integración. El multilingüismo y la integración con diferentes industrias más allá de la industria del lenguaje, como la salud, las finanzas y el derecho, también son áreas importantes en las que los investigadores deben centrarse. Al explorar estas vías, los GML pueden expandir sus aplicaciones y continuar proporcionando valor en una amplia gama de contextos.

Si bien ChatGPT es actualmente conocido por su uso principal en traducción, garantía de calidad o resumen, creo que sus capacidades tienen el potencial de extenderse más allá de esto. Entiendo que la tecnología de ChatGPT es versátil y se puede aplicar en varias áreas dentro de la industria del lenguaje. Como tal, tengo la firme creencia de que las aplicaciones potenciales de ChatGPT podrían abarcar tareas como pronósticos y precios, entre otras. 

Amplía información: Cómo sacar el máximo partido a la traducción basada en IA: ventajas e inconvenientes

Su capacidad para procesar grandes cantidades de datos e interpretar patrones complejos podría ser un cambio de juego para las empresas que buscan optimizar sus operaciones y obtener una ventaja competitiva. En mi opinión, el potencial de ChatGPT para revolucionar las prácticas de la industria es significativo y garantiza una mayor exploración.