Você já percebeu que, por mais avançados que os modelos de inteligência artificial estejam, eles nem sempre conhecem as informações que precisamos? Isso acontece porque um modelo como o ChatGPT aprende a partir de grandes conjuntos de dados utilizados durante seu treinamento. Mas e quando precisamos que ele consulte documentos internos de uma empresa, informações de um sistema ou uma base de conhecimento própria?
Uma das soluções para esse problema é o RAG (Retrieval-Augmented Generation), uma técnica que permite conectar modelos de linguagem a fontes externas de informação.
Na prática, isso significa que podemos desenvolver aplicações capazes de consultar documentos, bancos de dados e outras fontes antes de gerar uma resposta. Assim, em vez de depender exclusivamente do conhecimento adquirido durante o treinamento, a inteligência artificial também pode utilizar informações específicas fornecidas pela aplicação.
O RAG tem sido bastante utilizado no desenvolvimento de assistentes inteligentes, sistemas de atendimento, ferramentas corporativas e aplicações que precisam trabalhar com grandes volumes de documentos.
Neste artigo, vamos entender o que é RAG, como funciona essa arquitetura, quais tecnologias estão envolvidas e como ela pode ser utilizada no desenvolvimento de software.
Entenda o que Harness, nesse outro artigo.
O que é RAG (Retrieval-Augmented Generation)?
RAG é a sigla para Retrieval-Augmented Generation, que pode ser traduzida como geração aumentada por recuperação.
O nome parece complicado, mas a ideia é relativamente simples: antes de responder a uma pergunta, a aplicação pesquisa informações em uma fonte externa e entrega os resultados relevantes ao modelo de inteligência artificial.
Dessa maneira, o modelo consegue elaborar uma resposta considerando informações que não estavam necessariamente presentes em seu treinamento.
Imagine uma empresa que possui centenas de documentos internos, como manuais, contratos, políticas, procedimentos e relatórios. Seria interessante ter um assistente virtual capaz de consultar esse material e responder às dúvidas dos funcionários, não é?
O problema é que simplesmente conectar o ChatGPT à aplicação não faz com que ele passe a conhecer automaticamente todos esses documentos.
Com RAG, podemos criar uma estrutura que pesquisa o conteúdo disponível, seleciona os trechos relacionados à pergunta e encaminha essas informações ao modelo para que ele produza uma resposta.
É importante entender que RAG não é um modelo de inteligência artificial específico. Estamos falando de uma arquitetura que combina mecanismos de recuperação de informações com modelos de linguagem.
O conceito foi apresentado em um trabalho acadêmico publicado em 2020, intitulado Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, desenvolvido por pesquisadores que posteriormente publicaram seus resultados nos anais do NeurIPS.
Como funciona o RAG?
Para entender como essa tecnologia funciona, precisamos conhecer duas etapas importantes: a preparação dos dados e a recuperação das informações durante uma consulta.
A primeira acontece antes mesmo de alguém fazer uma pergunta. É quando os documentos são processados e organizados para que possam ser pesquisados posteriormente.
A segunda acontece quando o usuário interage com a aplicação e o sistema precisa encontrar informações relevantes para construir a resposta.
Vamos entender cada uma delas.
1. Preparação e processamento dos documentos
Antes de utilizar RAG, precisamos disponibilizar as informações que serão consultadas pelo modelo.
Esses dados podem vir de diferentes lugares, como arquivos PDF, documentos Word, páginas de sites, bancos de dados, sistemas internos e até APIs.
Entretanto, não basta simplesmente armazenar todos os arquivos em uma pasta e esperar que a inteligência artificial consiga encontrar o que precisa.
Normalmente, o conteúdo passa por algumas etapas de processamento.
Divisão em partes (Chunking)
Documentos grandes são divididos em partes menores, conhecidas como chunks.
Imagine um manual com 200 páginas. Em vez de trabalhar com o documento inteiro durante cada consulta, podemos dividi-lo em pequenos trechos que representam partes específicas do conteúdo.
Essa divisão facilita a recuperação das informações e evita que a aplicação precise enviar documentos enormes ao modelo.
O tamanho desses trechos precisa ser planejado. Se forem pequenos demais, podem perder informações importantes. Se forem muito grandes, podem trazer conteúdo desnecessário e aumentar o consumo de tokens.
Geração de embeddings
Depois da divisão, os trechos podem ser transformados em embeddings.
Embeddings são representações numéricas de informações, geralmente armazenadas como vetores. Eles permitem representar o significado aproximado de um texto em um espaço matemático.
Isso é importante porque a pesquisa deixa de depender exclusivamente da correspondência entre palavras.
Por exemplo, imagine que um documento tenha a seguinte informação:
"O funcionário poderá solicitar férias após completar o período aquisitivo."
Um usuário pergunta:
"Depois de quanto tempo posso tirar férias?"
Mesmo sem utilizar exatamente as mesmas palavras do documento, um mecanismo de busca semântica pode identificar que os dois conteúdos estão relacionados.
É justamente esse tipo de capacidade que torna os embeddings tão importantes em aplicações RAG.
Armazenamento e indexação
Com os embeddings gerados, precisamos armazenar os vetores e os respectivos conteúdos em uma estrutura que permita realizar pesquisas.
É comum utilizar bancos de dados vetoriais ou mecanismos de busca que ofereçam suporte à pesquisa vetorial.
Algumas tecnologias utilizadas nesse cenário são:
- PostgreSQL com a extensão pgvector.
- Qdrant.
- Weaviate.
- Milvus.
- Chroma.
- Elasticsearch.
Não existe uma tecnologia obrigatória. A escolha depende do tamanho da base, da infraestrutura disponível e das características da aplicação.
Também é importante armazenar informações adicionais, como nome do documento, endereço de origem, identificação do registro e permissões de acesso. Esses metadados ajudam a organizar os resultados e identificar de onde veio cada informação.
2. Recuperação das informações e geração da resposta
Com os documentos processados e indexados, podemos finalmente utilizar o RAG.
Imagine que um funcionário pergunte ao assistente virtual:
"Quantos dias de férias tenho direito?"
A aplicação recebe a pergunta e inicia o processo de recuperação.
Pesquisa dos conteúdos relevantes
Primeiro, a pergunta é transformada em uma consulta que será utilizada para pesquisar a base de conhecimento.
Dependendo da arquitetura, essa pesquisa pode utilizar embeddings, busca por palavras-chave ou uma combinação das duas estratégias.
O objetivo é encontrar os trechos que possuem maior relação com o assunto solicitado.
Enriquecimento do contexto
Depois da pesquisa, a aplicação seleciona os resultados mais relevantes e organiza essas informações junto com a pergunta original.
Esse material é encaminhado ao modelo de linguagem como parte do contexto da solicitação.
É aqui que acontece a etapa de Augmented, ou seja, a geração aumentada.
Geração da resposta
Por último, o modelo recebe a pergunta acompanhada dos conteúdos recuperados e utiliza essas informações para construir uma resposta.
Em vez de depender apenas do conhecimento adquirido durante o treinamento, ele tem acesso a informações específicas da base consultada.
Dependendo da implementação, a resposta também pode apresentar referências aos documentos utilizados, permitindo que o usuário confira a origem das informações.
Qual é a diferença entre RAG e Fine-tuning?
Essa é uma dúvida bastante comum quando começamos a estudar aplicações com inteligência artificial.
Embora RAG e Fine-tuning possam ser utilizados para adaptar soluções de IA a necessidades específicas, eles resolvem problemas diferentes.
O RAG trabalha com a recuperação de informações externas. Ele permite que o modelo consulte conteúdos que não fazem parte do seu treinamento original.
Já o Fine-tuning consiste em realizar um ajuste adicional no modelo utilizando um conjunto específico de exemplos para modificar ou especializar seu comportamento.
Vamos utilizar um exemplo.
Imagine que você esteja desenvolvendo um assistente para uma empresa.
Se a necessidade é permitir que ele consulte os procedimentos internos, políticas e documentos atualizados, RAG provavelmente será uma alternativa interessante.
Agora, se o objetivo é adaptar o comportamento do modelo para seguir determinado padrão de classificação, formato de resposta ou estilo de execução de uma tarefa, o Fine-tuning pode fazer mais sentido.
Em alguns projetos, inclusive, as duas abordagens podem ser utilizadas em conjunto.
Uma não substitui necessariamente a outra.
Quais são as vantagens de utilizar RAG?
Uma das principais vantagens do RAG é permitir que aplicações trabalhem com informações específicas sem precisar realizar um novo treinamento do modelo sempre que os dados forem atualizados.
Mas existem outros benefícios importantes.
Acesso a informações próprias
Empresas podem disponibilizar documentos internos e bases de conhecimento para que seus assistentes respondam perguntas considerando informações que não estão disponíveis publicamente.
Atualização dos dados
Quando um documento é atualizado, podemos processar novamente seu conteúdo e atualizar o índice de pesquisa. Não é necessário treinar todo o modelo novamente para disponibilizar aquela informação.
Respostas fundamentadas em fontes
Como o modelo recebe trechos recuperados durante a consulta, a aplicação pode apresentar referências aos documentos utilizados na construção da resposta.
Isso facilita a conferência das informações e aumenta a transparência do sistema.
Redução de respostas inventadas
O acesso a informações relevantes ajuda a reduzir a necessidade de o modelo completar lacunas utilizando apenas aquilo que aprendeu durante o treinamento.
Isso não significa que as alucinações desaparecem, mas oferece uma maneira de fundamentar melhor as respostas.
Flexibilidade na escolha do modelo
Como o conhecimento fica armazenado em uma estrutura externa, é possível trocar o modelo de linguagem utilizado sem precisar reconstruir toda a base de conhecimento.
Naturalmente, será necessário verificar a compatibilidade das integrações e avaliar novamente a qualidade das respostas.
Quais são as limitações do RAG?
Apesar de ser uma abordagem bastante interessante, RAG não resolve todos os problemas relacionados à inteligência artificial.
Um dos erros mais comuns é acreditar que basta conectar um modelo a um banco de dados vetorial para obter respostas precisas.
Na prática, existe bastante trabalho envolvido na preparação dos documentos, configuração da pesquisa e avaliação dos resultados.
Qualidade dos documentos
Se os documentos utilizados estiverem desatualizados, incompletos ou mal organizados, a aplicação poderá recuperar informações incorretas.
O modelo não tem como corrigir automaticamente todos os problemas presentes na base de conhecimento.
Recuperação de informações inadequadas
Outro problema acontece quando a pesquisa retorna trechos que não respondem corretamente à pergunta.
Mesmo que o modelo seja excelente, ele pode produzir uma resposta ruim quando recebe informações irrelevantes ou incompletas.
Por isso, escolher uma boa estratégia de recuperação é tão importante quanto escolher o modelo de linguagem.
Custo e desempenho
RAG adiciona etapas ao processamento de uma solicitação.
Além da chamada ao modelo, precisamos realizar pesquisas, consultar índices e, dependendo da arquitetura, gerar embeddings e executar outras operações.
Tudo isso pode aumentar a latência e o custo de uma aplicação.
Segurança e controle de acesso
Esse ponto merece bastante atenção em aplicações corporativas.
Imagine que uma empresa tenha documentos com informações financeiras e dados restritos ao departamento de recursos humanos.
Não basta proteger o acesso aos arquivos originais. A aplicação também precisa garantir que a pesquisa não entregue informações a usuários que não possuem autorização para consultá-las.
Além disso, documentos recuperados devem ser tratados como conteúdo não confiável. Um arquivo pode conter instruções maliciosas destinadas a manipular o comportamento do modelo, situação conhecida como prompt injection.
Portanto, controle de permissões, isolamento dos dados e validação das informações precisam fazer parte do projeto desde o início.
RAG é utilizado em quais aplicações?
Uma das coisas interessantes dessa arquitetura é que ela pode ser utilizada em diferentes tipos de sistemas.
Não estamos falando de uma tecnologia restrita a chatbots ou assistentes virtuais.
Algumas possibilidades são:
- Atendimento ao cliente: assistentes que consultam manuais, políticas e informações sobre produtos para responder dúvidas.
- Sistemas corporativos: ferramentas que permitem pesquisar informações em documentos internos de uma organização.
- Análise de documentos: aplicações que recuperam informações específicas em contratos, relatórios e outros arquivos.
- Educação: assistentes que utilizam materiais didáticos para responder perguntas de estudantes.
- Desenvolvimento de software: ferramentas que consultam documentações técnicas, códigos e informações de projetos para auxiliar desenvolvedores.
Imagine, por exemplo, um sistema de gerenciamento de estudos que disponibiliza um assistente capaz de responder dúvidas utilizando exclusivamente os materiais cadastrados pelo estudante.
Em vez de simplesmente perguntar a um modelo genérico, o usuário poderia consultar suas próprias apostilas e materiais de estudo.
É um exemplo de como RAG pode agregar funcionalidades interessantes a aplicações que já utilizamos no dia a dia.
Conclusão
RAG é uma das abordagens mais interessantes para quem deseja desenvolver aplicações com inteligência artificial que precisam trabalhar com informações próprias.
A possibilidade de conectar modelos de linguagem a documentos, bancos de dados e outras fontes externas abre espaço para criar sistemas muito mais específicos e úteis para diferentes necessidades.
Mas vale lembrar que uma boa implementação depende de muito mais do que escolher um modelo de linguagem e um banco de dados vetorial. A preparação dos documentos, a estratégia de recuperação, o controle de acesso e a avaliação das respostas fazem toda a diferença no resultado final.
Para quem trabalha com desenvolvimento de software, entender RAG é um passo importante para começar a construir aplicações que vão além de simplesmente enviar perguntas para uma API de inteligência artificial.
Afinal, nem sempre precisamos de um modelo maior ou mais caro. Muitas vezes, precisamos apenas fornecer as informações certas para que ele consiga fazer um bom trabalho.
Referências técnicas
Estas são as fontes utilizadas para fundamentar o conteúdo:
- NeurIPS 2020 — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Trabalho acadêmico original sobre RAG, de Patrick Lewis e outros pesquisadores. Consultar publicação.
- Microsoft Learn — Retrieval augmented generation (RAG) and indexes. Explicação da arquitetura, embeddings, indexação, segurança e limitações. Consultar documentação.
- Microsoft Azure Architecture Center — Design and develop a RAG solution. Detalhamento técnico de processamento, chunking, embeddings e recuperação. Consultar arquitetura.
- Google Cloud — What is Retrieval-Augmented Generation (RAG)? Conceitos de pesquisa vetorial, recuperação e geração fundamentada. Consultar documentação.