O que é o fine-tuning (ajuste fino) e como ele funciona nas redes neurais?

Desenvolver, validar e treinar uma rede do zero pode ser uma tarefa enorme, além de exigir grandes conjuntos de dados. É por isso que o ajuste fino é tão interessante.

O ajuste fino permite que você pegue um modelo treinado que executa bem uma determinada tarefa e aproveite todo o seu conhecimento para resolver uma nova tarefa específica; embora, é claro, seguindo determinadas regras.

O que é o fine-tuning (ajuste fino)? Por que usá-lo? E como ele funciona exatamente nas redes neurais?

Essas são algumas das perguntas que responderemos neste artigo.

O que é ajuste fino?

O ajuste fino (ou fine-tuning em inglés) é uma técnica de treinamento que consiste na reutilização de arquiteturas de CNN (rede neural convolucional) predefinidas e pré-treinadas.

Esse é um processo no qual o ajuste fino de algumas camadas da rede é realizado para obter os resultados desejados. Ou seja, certas representações do modelo pré-treinado são ligeiramente ajustadas para torná-lo mais relevante para o problema em questão. Isso evita a necessidade de definir a estrutura da rede neural e treiná-la do zero.

 

Você pode se interessar por:

Como os dados sintéticos e os dados livres de IP podem impulsionar os projetos de IA das startups

 

O ajuste fino ajuda no treinamento de modelos de previsão precisos usando conjuntos de dados limitados. Geralmente é usado quando é necessária uma solução baseada em aprendizagem profunda, mas os dados disponíveis não são suficientes para treinar uma CNN do zero.

Por que usar o ajuste fino?

Depois de descobrir o que é o ajuste fino, é importante determinar por que ele é usado. Graças ao ajuste fino, grande parte do treinamento é evitada, o que significa economia de tempo e de recursos computacionais.

• Se quiser resolver o problema A, você pode usar uma rede pré-treinada para um problema semelhante como ponto de partida. Dessa forma, a rede só precisa ser adaptada ao problema A e, depois, pode ser ajustada com os novos dados.

• Por exemplo, um modelo treinado para reconhecer carros pode servir como ponto de partida para um novo modelo de reconhecimento de veículos pesados.

Como pode ser visto, grande parte do trabalho já foi feito porque o modelo pré-treinado já aprendeu a extrair os parâmetros universais necessários para resolver o problema.

Veja serviços de dados de imagem e vídeo

Fine Tuning vs Aprendizaje por Transferencia 

É necessário diferenciar o ajuste fino e a aprendizagem por transferência: embora ambos sejam abordagens de treinamento de rede com alguns dados e ambos se baseiem no conhecimento existente, a realidade é que há algumas diferenças importantes entre os dois.

Na aprendizagem por transferência, um modelo treinado para uma tarefa é reutilizado para resolver outra tarefa, congelando os parâmetros do modelo existente. O processo é o seguinte:

• O modelo treinado é carregado, e as camadas pré-treinadas são congeladas para evitar a perda de informações.

• Novas camadas treináveis são adicionadas sobre as congeladas, que são treinadas com outro conjunto de dados.

No ajuste fino, os parâmetros de rede existentes são usados e treinados para executar a segunda tarefa. Basicamente, a estrutura do modelo é adaptada e treinada. Esse é o procedimento:

• As camadas são removidas e adicionadas ao modelo existente para adaptá-lo à nova tarefa.

• Na nova estrutura do modelo, apenas as camadas da rede original cujo conhecimento deve ser preservado para o novo treinamento são congeladas.

• O modelo é treinado com os novos dados para a nova tarefa. Somente os pesos das novas camadas são atualizados.

É prática comum combinar essas duas abordagens para facilitar a adaptação dos parâmetros pré-treinados ao novo conjunto de dados.

As técnicas de fine-tuning mais comuns

Para nos aprofundarmos no que é o ajuste fino, vamos dar uma olhada em algumas das técnicas mais usadas:

• Ajuste fino com muitos dados de treinamento. Isso se baseia em ter acesso a um modelo pré-treinado para uma tarefa semelhante e ter muitos conjuntos de dados disponíveis para treinamento. A técnica consiste em:

  • Usar a rede pré-treinada como base e continuar o treinamento com os novos dados. Esse é o caso ideal.

Persolanalyse seu mecanismo de tradução automática

• Ajuste fino com uma quantidade limitada de dados de treinamento. Se você tiver uma rede treinada para uma tarefa semelhante à que deseja resolver, mas os dados de treinamento forem escassos, será necessário evitar o ajuste excessivo. Portanto, o procedimento é o seguinte:

  • Treine somente as últimas camadas da estrutura da rede, o restante deve ser congelado. O modelo pré-treinado é usado para extração de recursos.

Caso a rede fornecida como ponto de partida não seja pré-treinada para um problema semelhante à tarefa em questão, há duas opções:

• Se houver muitos dados disponíveis para treinamento, a melhor opção é treinar o modelo do zero.

• Se apenas uma pequena quantidade de dados estiver disponível, a opção mais viável geralmente é congelar as primeiras camadas do modelo. Elas são camadas que foram treinadas para extrair recursos universais, portanto, podem ser aproveitadas.

Ajuste fino dos modelos de aprendizado de máquina

No aprendizado de máquina, há um subconjunto chamado aprendizado profundo, cujos algoritmos exigem grandes quantidades de dados para serem aprendidos. Por si só, esse é um processo que consome muitos recursos, mas pode ser simplificado com a ajuda do ajuste fino.

Como mencionado acima, o ajuste fino consiste em fazer pequenos ajustes. Isso, dentro da aprendizagem profunda, significa usar os pesos de um modelo de aprendizagem profunda existente para programar um processo de aprendizagem profunda novo e muito semelhante.

Em uma rede neural, esses pesos conectam cada um dos neurônios de uma camada a cada um dos neurônios da camada seguinte.

Todo esse processo reduz o tempo de programação e desenvolvimento de um novo modelo de aprendizagem profunda, uma vez que ele se baseia no conhecimento de uma rede de aprendizagem profunda pré-existente.

Um exemplo de ajuste fino de modelos de aprendizado de máquina

Um exemplo de ajuste fino no aprendizado de máquina é o GPT, um modelo generativo pré-treinado desenvolvido para geração de texto.

O pré-treinamento ou aprendizado do modelo GPT requer uma grande quantidade de texto (corpus), em que o próprio modelo organiza os textos automaticamente e faz ajustes sem intervenção humana. Como resultado, quando solicitado pelo usuário, ele será capaz de prever a próxima palavra por meio do contexto.

Esse modelo de GPT pode ser considerado um ponto de partida para a realização de ajustes finos e a criação de modelos mais específicos, como algoritmos para análise de sentimentos, classificação de documentos ou resumo de textos.

Dados para treinar sua IA com o Pangeanic

Os conjuntos de dados de treinamento para modelos baseados em IA são essenciais para que os sistemas de aprendizado de máquina aprendam, executem a função atribuída e nos forneçam resultados de qualidade.

Na Pangeanic, fornecemos a você os dados mais valiosos para dar início ao treinamento do seu sistema. Para garantir a qualidade dos nossos dados, empregamos sistemas humanos escalonáveis, mantemos processos de verificação e aplicamos controles de qualidade rigorosos.

Podemos fornecer dados paralelos para sistemas de tradução automática, dados rotulados para processos de reconhecimento de entidades nomeadas, dados que permitem conhecer a intenção em textos ou entradas de redes sociais e dados em formatos de imagem, áudio e vídeo.

A Pangeanic lhe fornecerá dados pré-preparados adequados ao seu processo de treinamento.

Entre em contato conosco e trabalharemos juntos para aumentar exponencialmente os recursos do seu algoritmo de inteligência artificial.