A Aprendizagem por Reforço com Feedback Humano (RLHF em inglês ou ARFH em português) é um tópico em destaque para todos nós que atuamos na área de...
7 min read
31/08/2023
Em 22 de março de 2023, participamos do SlatorCon Remote, um evento on-line em que especialistas e líderes do setor de idiomas se reuniram para discutir esse setor fascinante que está em constante crescimento. Alguns dos principais tópicos são os novos mercados emergentes e como a produtividade pode ser otimizada por meio de tecnologias linguísticas inovadoras, desde a tradução automática e a PNL até a automação do fluxo de trabalho.
Nosso chefe de aprendizado de máquina, (agora CTO) Konstantinos Chatzitheodorou, fez uma apresentação na qual refletiu sobre as ferramentas que estão deixando sua marca na inteligência artificial. Ele examinou o status atual dos modelos de linguagem grandes (LLMs), como o GPT-4, bem como seu potencial no futuro das tarefas de processamento de linguagem natural, como tradução automática, resumo e anonimização, e qual pode ser seu impacto no setor de idiomas.
Notícias interessantes:
Nossa plataforma ECO integra o ChatGPT com recursos de privacidade de dados pessoais
A apresentação e as perguntas mais relevantes:
Você poderia explicar o que significa modelo de linguagem grande (LLM)?
Esses modelos são treinados em grandes quantidades de dados de texto, o que lhes permite gerar respostas altamente sofisticadas e contextualmente relevantes às solicitações humanas. Eles podem gerar textos semelhantes aos humanos, prevendo a próxima palavra ou frase com base em um determinado contexto. Essa é uma tecnologia antiga que já foi usada em vários aplicativos, como chatbots, atendimento ao cliente, criação de conteúdo e até mesmo tradução. A diferença agora é o contexto. Enquanto os modelos estatísticos se concentram em 3, 5 ou 7 n-gramas e a tradução automática neural em uma frase, o GPT-4 pode considerar até 1.500 palavras (ou tokens) de contexto, fornecendo assim um texto que realmente flui.
Mais informações:
Quais são os melhores algoritmos de aprendizado de máquina para PNL?
O ChatGPT é um transformador de linguagem generativo desenvolvido pela OpenAI, que teoricamente é capaz de responder a qualquer pergunta feita a ele, mantendo um alto grau de precisão de linguagem.
Aqui está um exemplo de como funciona um LLM:
Um usuário faz a pergunta "Qual é a capital da França?". O LLM analisa primeiro as palavras individuais da frase e determina seu significado e relação. Assim, ele reconhece que "capital" se refere a uma cidade, "França" se refere a um país e "o que" é uma solicitação de informações. Com base em sua compreensão da linguagem, ele sabe que a resposta é "Paris" e gera a resposta.
Se você perguntar sobre seus recursos, ele fornecerá a seguinte resposta:
- Geração de texto: Gera textos coerentes e gramaticalmente corretos
- Conclusão de texto: Prevê a conclusão de frases ou parágrafos
- Resposta a perguntas: Gera respostas relevantes para a pergunta.
- Sumarização de texto: Gera resumos de textos mais longos.
- Análise de sentimento: Classifica o sentimento do texto (positivo, negativo ou neutro).
- Tradução de idiomas: Traduz textos entre idiomas.
Saiba mais sobre: como a IA da Pangeanic aplicada ao PLN pode salvar sua empresa
O ChatGPT ganhou popularidade rapidamente, com mais de 100 milhões de usuários utilizando a plataforma em menos de dois meses, causando uma grande perturbação no setor de tecnologia. Ele pode ser útil até mesmo para o aprendizado de idiomas, parafraseamento etc.
Os LLMs podem substituir os humanos?
Embora os modelos de GPT possam executar determinadas tarefas relacionadas ao idioma com um alto nível de precisão, eles não possuem raciocínio humano, empatia e habilidades de pensamento crítico.
Além disso, esses modelos são limitados aos dados com os quais foram treinados, o que pode resultar em viés, imprecisões ou inconsistências.
Resumindo, elas são de fato ferramentas impressionantes e úteis, mas não se destinam a substituir os humanos. Em vez disso, elas podem ajudar os humanos a realizar tarefas de forma rápida e mais eficiente, o que pode aumentar significativamente a produtividade e a criatividade.
Mais informações:
Como o novo ChatGPT provocará mudanças no mundo como o conhecemos
Há alguma restrição ao ChatGPT/LLMs?
De fato, há algumas limitações nos LLMs. Uma das principais preocupações é onde nossos dados são armazenados e se eles serão utilizados para o desenvolvimento de novos modelos. Com relação à questão de onde os dados são salvos, a OpenAI não divulga o local específico dos servidores. No entanto, afirma que usa medidas de segurança padrão do setor para proteger os dados e cumprir as leis de privacidade relevantes.
Pode ser um desafio para eles compreender uma linguagem altamente técnica ou especializada que exija conhecimento de domínio específico. Além disso, eles podem não ser adequados para informações sensíveis ou confidenciais, como documentos jurídicos ou médicos. O manuseio de dados confidenciais é uma preocupação fundamental ao usar o ChatGPT ou qualquer outro LLM. Para lidar com essas preocupações, várias técnicas podem ser usadas para garantir que os dados confidenciais sejam tratados adequadamente. Uma abordagem é usar um serviço de anonimização de dados (o serviço de anonimização da Pangeanic pode ser usado) para remover informações de identificação dos dados antes que o modelo os processe. Por exemplo, nomes, endereços e outras informações de identificação podem ser substituídos por espaços reservados anônimos, como "Pessoa A" ou "Local B".
Como mencionei anteriormente, na Pangeanic, integramos o ChatGPT em nosso fluxo de trabalho para permitir que nossos clientes gerem resumos de texto. O processo é simples e contínuo: os clientes podem carregar seus documentos por meio de nossa plataforma ECO e receber resumos. No entanto, antes de enviar as informações ao ChatGPT, os documentos são anonimizados para fins de segurança e privacidade.
Descubra ECO, la plataforma de Traducción Automática Adaptativa Profunda de Pangeanic
De que forma os LLMs podem beneficiar o setor de idiomas?
Os provedores de serviços linguísticos já começaram a utilizar o ChatGPT e outros LLMs em seus fluxos de trabalho. Desde o primeiro dia do lançamento da API da OpenAI, eles a integraram em vários casos de uso, como a geração de descrições de produtos para comércio eletrônico a partir de modelos e tradução. No futuro, há planos de expandir o uso de LLMs para outros aplicativos, como estimativa de qualidade de tradução, conversão de formato de arquivo e pós-edição automática.
Os profissionais reconhecem e apreciam o potencial dos LLMs, mas, em geral, são céticos quanto à sua adoção total. Embora desejem ver mais exemplos, eles também querem participar da implementação e da aplicação dos LLMs em suas organizações.
Mais informações:
O que é modelagem de linguagem e como ela está relacionada à PNL?
Há muito tempo, os LSPs e os profissionais têm sido o principal recurso para as necessidades relacionadas a idiomas, mas com o surgimento de LLMs como o ChatGPT, agora há mais opções disponíveis. É provável que o uso de LLMs aumente no futuro e desempenhe um papel importante no setor de idiomas.
Além disso, o setor tem o potencial de colaborar e apoiar outros setores utilizando LLMs. Isso cria novas oportunidades para todos os envolvidos, incluindo profissionais de idiomas, desenvolvedores e líderes empresariais. O desenvolvimento e a integração dos LLMs oferecem possibilidades interessantes para serviços relacionados a idiomas e podem ajudar a atender à demanda cada vez maior por comunicação multilíngue.
Desenvolvimento de novos modelos, concorrência e preconceito linguístico
O surgimento de novos modelos no campo dos LLMs é quase uma ocorrência diária, causando constantes mudanças significativas no cenário. Em sua opinião, o que o futuro reserva para os LLMs?
De fato, modelos novos e inovadores são anunciados diariamente por grandes organizações, grupos de pesquisa e assim por diante, à medida que os desenvolvimentos no campo dos modelos de linguagem continuam a progredir em ritmo acelerado.
Nos últimos dias, os LLMs serão integrados ao Google Workspace, e a Microsoft lançou um copiloto de IA para o 365. É muito provável que outras ferramentas amplamente utilizadas façam o mesmo nos próximos dias.
No entanto, como é fácil perceber, os LLMs populares são predominantemente treinados com conteúdo em inglês americano, o que resulta em um viés centrado nos EUA em termos de idioma e cultura. Portanto, a Europa e outras nações devem buscar alternativas que sejam competitivas, incorporem a diversidade cultural e preservem seus idiomas e conhecimentos.
Além disso, é fundamental evitar o upload de dados essenciais para serviços sediados nos Estados Unidos. Essa estratégia permitiria que os desenvolvedores criassem modelos mais conscientes do ponto de vista cultural e menos tendenciosos em relação a uma região específica, promovendo a diversidade e a inclusão na IA.
O que o futuro reserva para os LLMs?
O futuro dos LLMs é promissor e espera-se que eles desempenhem um papel significativo em vários campos, inclusive no setor de idiomas.
Observe que quase todos os dias um novo modelo/abordagem é lançado. Por exemplo, na semana passada:
-
A Universidade de Stanford liberou a Alpaca 7B
-
A OpenAI lançou o GPT-4
-
Claude liberado antrópico
-
O Google anunciou a API PaLM e o MakerSuite
-
O Google adicionou a IA generativa aos espaços de trabalho
-
Midjourney lançou a V5
-
AssemblyAI lançou o conformer1 (utiliza camadas transformadoras e convolucionais para reconhecimento de fala)
-
Existem modelos anteriores, como o Bloom, que são gratuitos até mesmo para uso comercial.
É claro que devemos destacar o LLaMA do Meta, um LLM básico de 65 bilhões de parâmetros, bem como o LLM do Google, que oferece suporte ao reconhecimento automático de fala e a mais de 1.000 dos idiomas mais falados do mundo.
Outro possível futuro para os LLMs é o desenvolvimento de modelos mais especializados para setores ou domínios específicos. Por exemplo, um modelo projetado especificamente para o setor jurídico poderia ser treinado em terminologia e jargões jurídicos, tornando-o mais bem equipado para lidar com documentos jurídicos. Isso ajudaria a resolver algumas das limitações dos LLMs quando se trata de linguagem específica de um domínio.
A multimodalidade também é uma área de inovação que está se tornando cada vez mais importante no desenvolvimento de LLMs. Os modelos multimodais são capazes de entender e processar várias formas de entrada, como texto, imagens, vídeo e áudio, o que pode ajudar a melhorar a precisão e o desempenho das tarefas de processamento de linguagem natural.
Uma das principais vantagens dos LLMs multimodais é que eles podem ajudar a preencher a lacuna entre os diferentes meios de comunicação, o que nos permite gerar respostas mais coerentes e abrangentes que incorporam várias formas de entrada.
Isso pode ter uma ampla gama de aplicações, desde o aprimoramento da precisão dos sistemas de reconhecimento de imagem e fala até o aprimoramento dos recursos de chatbots e assistentes virtuais.
O preço é um fator importante. Os LLMs multimodais podem ser caros, mas geralmente valem o investimento. O desenvolvimento e o treinamento desses modelos exigem recursos substanciais, incluindo capacidade de computação, conjuntos de dados e pessoal qualificado. No entanto, os benefícios do uso de LLMs, como sua capacidade de processar grandes quantidades de dados com rapidez e precisão, podem superar em muito os custos. Esses modelos podem fornecer às empresas insights valiosos e permitir que elas tomem decisões orientadas por dados. Além disso, os LLMs podem ser usados para automatizar muitas tarefas, liberando recursos humanos para trabalhos mais especializados e criativos. Em geral, embora os LLMs possam ter um preço alto, seus benefícios potenciais fazem com que sejam um investimento que vale a pena para muitas organizações.
O futuro dos LLMs poderia ser aprimorado por meio da integração com outras tecnologias. A realidade aumentada e a realidade virtual, por exemplo, poderiam ser usadas para criar experiências imersivas de aprendizado de idiomas. Além disso, os dispositivos móveis são uma opção natural para os LLMs e provavelmente desempenharão um papel significativo em sua integração. O multilinguismo e a integração com diferentes setores além do setor de idiomas, como saúde, finanças e direito, também são áreas importantes para os pesquisadores se concentrarem.
Ao explorar esses caminhos, os LLMs podem expandir suas aplicações e continuar a agregar valor em uma ampla gama de contextos.
Embora o ChatGPT seja conhecido atualmente por seu uso principal em tradução, garantia de qualidade ou resumo, acredito que seus recursos têm potencial para ir além disso.
Entendo que a tecnologia do ChatGPT é versátil e pode ser aplicada em várias áreas do setor de idiomas. Dessa forma, acredito firmemente que as possíveis aplicações do ChatGPT podem abranger tarefas como previsão e determinação de preços, entre outras.
Mais informações:
Como aproveitar ao máximo a tradução baseada em IA: prós e contras
Sua capacidade de processar grandes quantidades de dados e interpretar padrões complexos pode ser um divisor de águas para as empresas que buscam otimizar suas operações e obter uma vantagem competitiva. Em minha opinião, o potencial do ChatGPT para revolucionar as práticas do setor é significativo e merece ser mais explorado.