O que é um LLM (Grande Modelo de Linguagem)?

Os LLMs ou Grandes Modelos de Linguagem (LLM) são algoritmos avançados de aprendizado profundo capazes de realizar uma ampla gama de tarefas relacionadas ao processamento de linguagem natural (NLP). Na Pangeanic, entendemos bem o assunto porque nos dedicamos a construir modelos de linguagem (mais modestos) para tradução automática, anonimização ou classificação de dados desde 2010. A diferença que todos notamos desde o final de 2022 ou início de 2023 reside no tamanho e na quantidade de dados de treinamento. Os novos modelos, baseados na arquitetura Transformers — atualmente a mais popular —, são treinados com vastos conjuntos de dados, o que lhes confere uma impressionante habilidade para reconhecer, resumir, traduzir, prever e gerar texto. Se adicionarmos uma funcionalidade de chatbot para interagir, como fez a OpenAI com o ChatGPT, a Meta com o Llama 2 ou o Google com o Bard, temos uma experiência nova: uma experiência cognitiva que os humanos nunca haviam tido com nenhuma máquina. Essa é a razão pela qual nos divertimos e nos "viciamos" tanto em modelos como o ChatGPT: para o nosso cérebro, estamos tendo uma experiência cognitiva, uma conversa, como a que poderíamos ter com um bibliotecário de vastos conhecimentos ou qualquer outra pessoa.

Isso provocou uma explosão viral no interesse sobre os grandes modelos de linguagem, e algumas pessoas não especialistas chegaram a afirmar que eles possuem capacidades de raciocínio, confundindo a capacidade de geração de linguagem e a tecnologia de um chatbot com inteligência real. Um grande modelo de linguagem não raciocina, não pensa. No entanto, ele pode extrair informações de forma admirável, já que foi treinado com o equivalente a 20.000 anos de leitura.

É essencial diferenciar os LLMs das redes neurais em geral. Embora os LLMs sejam um tipo específico de rede neural, existem muitas outras formas de redes neurais, como as redes neurais convolucionais e recorrentes, projetadas para diferentes tipos de tarefas e dados.

Os LLMs são seguros? O que são os guardrails?

Os guardrails nos LLMs são um conjunto de controles e barreiras de segurança que supervisionam a interação de um usuário com um grande modelo de linguagem (LLM), visando garantir que este não se desvie de seu propósito e assegurando sua qualidade e coerência.

Essencialmente, os guardrails estabelecem um conjunto de sistemas programáveis baseados em regras que se situam entre os usuários e os modelos fundacionais. Esses sistemas atuam como normas que garantem que o modelo de IA funcione seguindo os princípios definidos pela organização, estabelecendo limites claros para seu comportamento e evitando a geração de respostas inadequadas ou prejudiciais que poderiam advir dos dados de treinamento. Por exemplo, os primeiros modelos de GPT foram criticados pela quantidade de conteúdo tóxico que podiam produzir.

Os guardrails podem ser considerados uma forma de "corrigir" o modelo quando ele gera conteúdo que se desvia excessivamente das normas. As regras e restrições que o modelo deve cumprir são estabelecidas previamente, como evitar palavras obscenas, sexistas ou discriminatórias, ou garantir que as respostas do modelo sejam escritas em um tom adequado e respeitoso.

Imagem 1, cortesia do Bing Image Creator 

Quando o modelo gera uma resposta, ela é avaliada em relação aos guardrails estabelecidos. Se não os cumprir, solicita-se ao LLM que gere uma nova resposta que atenda aos requisitos.

A importância dos guardrails nos LLMs reside no fato de permitirem que desenvolvedores e usuários controlem e direcionem o comportamento do modelo, garantindo um uso responsável e ético. Além disso, ajudam a prevenir erros e problemas potenciais decorrentes da falta de controle, como a geração de conteúdo ofensivo.

Os guardrails podem ser usados para:

• Evitar que os LLMs gerem conteúdo prejudicial ou ofensivo;
• Garantir que os LLMs sejam utilizados de forma alinhada aos valores e à missão da organização;
• Proteger a privacidade e a segurança dos dados dos usuários;
• Melhorar a confiabilidade e a precisão dos LLMs.

Alguns exemplos de barreiras de segurança nos LLMs são:

• Listas negras e listas brancas: usados para criar listas de palavras e frases proibidas ou permitidas;
• Filtros de conteúdo: para filtrar resultados em busca de conteúdo nocivo;
• Detecção de vieses: para detectar e marcar preconceitos nos resultados para revisão humana;
• Verificação de fatos (fact-checking): para garantir a exatidão das informações fornecidas.

A Pangeanic colaborou na criação de guardrails para LLMs com o Barcelona SuperComputing Center. Veja o caso de estudo sobre LLMs.

Listas verdes, listas vermelhas

No contexto dos grandes modelos de linguagem (LLM), as "listas verdes" estão relacionadas a um método usado para inserir marcas d'água no texto gerado. A ideia é mitigar danos potenciais. As listas verdes referem-se a um conjunto de palavras ou frases consideradas aceitáveis ou desejáveis, geralmente criadas por humanos para guiar o modelo rumo a um texto coerente.

As listas verdes podem ser usadas de várias formas:

1. Semeadura (Seeding): O modelo começa com palavras predefinidas da lista verde para evitar resultados aleatórios.
2. Engenharia de prompts: Garantir que as instruções contenham a linguagem adequada.
3. Métricas de avaliação: Comparar o texto gerado com palavras-chave relevantes.
4. Direcionamento do modelo: Orientar o modelo para temas ou estilos específicos durante a geração.
5. Segurança e ética: Reduzir o risco de conteúdos ofensivos.

É importante notar que, embora úteis, as listas verdes não são infalíveis, e o monitoramento contínuo é essencial. O conceito envolve criar uma distribuição de probabilidades para a próxima palavra e ajustar o processo para incluir uma marca d'água, classificando o vocabulário em "lista verde" e "lista vermelha".

Arquitetura de Transformers e seu significado

O termo "grande" refere-se ao número de parâmetros que o modelo pode ajustar durante o aprendizado. Os modelos mais bem-sucedidos possuem centenas de bilhões de parâmetros.

Imagem 2, Os Transformers mudaram a forma de processar a linguagem. Cortesia do Bing Image Creator 

O coração de um LLM é a arquitetura Transformer, composta por codificadores e decodificadores. Eles são conhecidos pela capacidade de lidar com dependências de longa distância através de mecanismos de autoatenção (self-attention). A atenção multi-cabeça permite ao modelo considerar múltiplas partes do texto simultaneamente.

Componentes-chave dos LLMs

• Camada de incorporação (Embedding): Transforma texto em vetores, capturando significados semânticos.
• Camada Feedforward: Redes que processam as incorporações para entender a intenção.
• Camada recorrente: Tradicionalmente usada para interpretar palavras em sequência.
• Mecanismo de atenção: Foca em partes específicas do texto relevantes para a tarefa.

Tipos de LLMs

• Modelos genéricos: Preveem a próxima palavra com base no contexto.
• Modelos treinados por instruções: Focados em tarefas como análise de sentimento ou código.
• Modelos de diálogo: Projetados para simular conversas (chatbots).

Como se treina um LLM

Os LLMs são treinados com volumes massivos de dados. Por exemplo, o GPT-1 usou 40 GB de texto, enquanto o GPT-3 usou 570 GB. O Llama 2 foi treinado com 40% mais dados que seu predecessor.

Llama 2

O objetivo da Meta era criar um modelo sólido para tarefas de texto, explorando os limites da escalabilidade. Ele utiliza RLHF (Aprendizado por Reforço com Feedback Humano) para alinhar o modelo às preferências humanas.

Imagem 3, META lançou Llama 2 no verão de 2023. Cortesia do Bing Image Creator

ChatGPT

Lançado pela OpenAI, o ChatGPT é uma versão aprimorada do GPT-3 com capacidades de conversação. O processo envolveu pré-treinamento generativo, ajuste fino supervisionado e RLHF.

Imagem 6, Quantidade de dados utilizados pela OpenAI no treinamento do ChatGPT. 

O que se pode fazer com um LLM uma vez treinado?

• Criação de chatbots.
• Geração de textos para marketing e blogs.
• Respostas automáticas a FAQs.
• Análise de sentimentos em redes sociais.
• Tradução de conteúdos (embora mais lenta que redes neurais tradicionais).
• Classificação de grandes volumes de dados.

Chinchilla e o ponto ideal para o treinamento de LLMs

O estudo "Chinchilla" indica que existe um ponto ideal onde o aumento de parâmetros não garante mais desempenho se os dados de treinamento não forem aumentados proporcionalmente. Para cada duplicação do tamanho do modelo, o número de tokens também deve dobrar.

Clarifiquemos conceitos: os LLMs alucinam?

Sim, os LLMs "alucinam" porque são treinados com dados que podem conter erros. Eles não têm consciência; geram texto com base em probabilidades estatísticas. Isso pode levar à geração de informações falsas apresentadas de forma categórica.

Imagem 8, Os LLMs podem alucinar. Cortesia do Bing Image Creator 

A famosa janela de atenção

A janela de atenção define quantos tokens o modelo pode "enxergar" ao gerar o próximo. No passado, limitava-se a poucas palavras; hoje, modelos como o ChatGPT lidam com até 64.000 tokens, permitindo coerência em documentos inteiros.

Imagem 9, As janelas de atenção desde a tradução automática estatística até os LLMs. Apresentação da Pangeanic na Universidade de Surrey, outubro de 2023. 

Os LLMs e a IA generativa não são a mesma coisa

LLMs focam em texto. A IA generativa é um termo mais amplo que inclui imagens (Stable Diffusion, Midjourney), música e vídeos. Todo LLM é IA generativa, mas nem toda IA generativa é um LLM.

Exemplos de modelos de linguagem grandes populares

• ChatGPT: Desenvolvido pela OpenAI.
• PaLM: Do Google, capaz de raciocínio aritmético.
• BERT: Também do Google, focado em compreensão bidirecional.
• GPT-4: O modelo fundacional mais conhecido atualmente.

Uma visão integral do uso dos LLMs, benefícios e desafios

Os LLMs estão redefinindo setores como saúde (ajuda em diagnósticos), jurídico (análise de contratos) e tecnologia (assistência em código).

Vantagens

• Vasto espectro de aplicações.
• Aprendizado contínuo com novos dados.
• Adaptação rápida a novas tarefas (in-context learning).

Desafios

• Alucinações e vieses.
• Direitos autorais e privacidade de dados.
• Alto custo de infraestrutura e manutenção.

Casos de uso de Grandes Modelos de Linguagem (LLM) agora e no futuro

De acordo com a Gartner, as aplicações são vastas: desde chatbots e tradução até diagnósticos médicos e geração automática de código. No futuro, espera-se IA com reconhecimento de emoções e uma IA mais explicável (XAI).

Implicações sociais dos modelos de linguagem grandes

Embora tragam avanços na educação e ciência, os LLMs preocupam pelo potencial de criar desinformação e manipular opiniões. É crucial desenvolver essas tecnologias de forma ética.

Yann LeCun, cientista-chefe de IA da Meta, ressalta que os modelos atuais ainda carecem de raciocínio real e compreensão do mundo físico. O futuro exige arquiteturas orientadas a objetivos que sejam seguras e controláveis.

"Eles nos tornarão mais inteligentes... A ideia de que os sistemas de IA necessariamente dominarão os humanos é equivocada." - Yann LeCun, VP de IA da Meta

Fontes:

[1] Como o Llama 2 se compara ao GPT-4/3.5 https://www.promptengineering.org/how-does-llama-2-compare-to-gpt-and-other-ai-language-models/

[2] Llama 2 é quase tão preciso quanto o GPT-4 para resumos https://www.anyscale.com/blog/llama-2-is-about-as-factually-accurate-as-gpt-4-for-summaries-and-is-30x-cheaper

[3] A batalha pela brilhantismo da IA! Llama 2 vs. ChatGPT https://weber-stephen.medium.com/unleashing-the-ultimate-ai-battle-llama-2-vs-chatgpt-gpt-3-5-a-creative-showdown-9919608200d7