IA · · 4 min de leitura
RAG that actually works: patterns from 12 production systems
Chunking, re-ranking, hybrid search and evaluation — the patterns that consistently ship reliable RAG in production.
O que é RAG e onde ele dá errado
A geração aumentada por recuperação (RAG) responde perguntas a partir dos seus próprios documentos. Em vez de depender do que um modelo de linguagem memorizou, o sistema pesquisa o seu conteúdo, coloca os trechos mais relevantes no prompt e pede ao modelo que responda com base neles — de preferência citando as fontes.
Quando um assistente RAG dá uma resposta errada ou vaga, o modelo raramente é a causa principal. Normalmente, o trecho certo nunca foi recuperado, foi cortado ao meio no chunking ou ficou soterrado sob textos menos relevantes. Por isso, o trabalho que torna o RAG confiável é, em grande parte, engenharia de busca.
O pipeline
- Ingestão: coletar documentos de fontes como um CMS, central de ajuda, PDFs ou chamados, junto com suas permissões.
- Chunking: dividi-los em trechos que façam sentido sozinhos.
- Embedding e indexação: armazenar vetores e palavras-chave, com metadados.
- Recuperação: pesquisar com a pergunta do usuário, filtrando pelo que esse usuário pode ver.
- Re-ranking: reordenar os primeiros resultados com um modelo mais preciso.
- Geração: responder apenas com base nos trechos recuperados e citá-los.
- Avaliação: medir continuamente a qualidade da recuperação e das respostas.
Chunking que preserva o sentido
Chunks de tamanho fixo que cortam tabelas e títulos são a causa mais comum de respostas ruins. Em vez disso, divida seguindo a estrutura do documento: seções, títulos, itens de lista e linhas de tabela. Algumas centenas de tokens por chunk, com uma pequena sobreposição, funcionam bem para a maioria dos textos corridos.
Armazene metadados com cada chunk: título do documento, título da seção, URL, data, produto ou versão, idioma e permissões de acesso. Colocar o título e o subtítulo antes do texto do chunk, antes de gerar o embedding, costuma melhorar bastante a recuperação, porque um parágrafo isolado raramente diz do que trata.
Busca híbrida e re-ranking
A busca vetorial é boa com significado, mas fraca com termos exatos: códigos de produto, mensagens de erro, nomes e números. A busca por palavras-chave (BM25) é o oposto. Rode as duas e combine os resultados, por exemplo com reciprocal rank fusion, e você terá os pontos fortes de cada uma.
Depois, faça o re-ranking. Recupere de 20 a 50 candidatos rapidamente e deixe um re-ranker cross-encoder pontuar cada um em relação à pergunta. Passar ao modelo apenas os cinco a oito melhores chunks reduz custo, latência e confusão.
Permissões e atualização
Aplique as permissões de acesso no momento da recuperação, com filtros de metadados, e nunca pedindo ao modelo que esconda coisas. Se um usuário não pode ver um documento, esse documento não pode chegar ao prompt.
Mantenha o índice atualizado com atualizações incrementais: reindexe um documento quando ele mudar e exclua seus chunks quando ele for removido. Chunks desatualizados produzem respostas confiantes e ultrapassadas — o tipo mais difícil de perceber.
Prompts para respostas fundamentadas
Diga ao modelo para responder apenas com base nos trechos fornecidos, citá-los pelo ID e deixar claro quando a resposta não está nas fontes. Trate o texto recuperado como dado, não como instrução: documentos podem conter textos que tentam direcionar o modelo, então o seu system prompt deve dizer que instruções dentro das fontes devem ser ignoradas.
A avaliação é o produto
Antes do lançamento, reúna de 50 a 200 perguntas reais, com os documentos que deveriam respondê-las. Meça a recuperação (o documento certo estava entre os primeiros resultados?) separadamente da qualidade da resposta (a resposta estava correta, completa e apoiada pelas fontes?). A avaliação automatizada com um modelo ajuda em escala, mas confira por amostragem manualmente.
Rode esse conjunto a cada mudança no chunking, nos embeddings, nos prompts ou nos modelos. Sem ele, toda melhoria é um palpite.
Um stack prático
Para a maioria das equipes, começamos simples: PostgreSQL com pgvector (ou OpenSearch quando é preciso uma busca por palavras-chave forte), um modelo de embedding e um re-ranker de um grande provedor, ingestão rodando em filas em segundo plano e uma pequena tela administrativa que mostra quais fontes cada resposta usou. Bancos vetoriais dedicados, como Qdrant ou Weaviate, fazem sentido em escala maior. A arquitetura importa menos do que o chunking, os filtros e a avaliação em torno dela.
Quer que a gente analise o seu site?
Use o verificador de sites gratuito para ter um relatório na hora ou abra um chamado e um engenheiro responderá em até um dia útil.