Rejoice Software logo

IA · · 4 min de leitura

RAG that actually works: patterns from 12 production systems

Chunking, re-ranking, hybrid search and evaluation — the patterns that consistently ship reliable RAG in production.

O que é RAG e onde ele dá errado

A geração aumentada por recuperação (RAG) responde perguntas a partir dos seus próprios documentos. Em vez de depender do que um modelo de linguagem memorizou, o sistema pesquisa o seu conteúdo, coloca os trechos mais relevantes no prompt e pede ao modelo que responda com base neles — de preferência citando as fontes.

Quando um assistente RAG dá uma resposta errada ou vaga, o modelo raramente é a causa principal. Normalmente, o trecho certo nunca foi recuperado, foi cortado ao meio no chunking ou ficou soterrado sob textos menos relevantes. Por isso, o trabalho que torna o RAG confiável é, em grande parte, engenharia de busca.

O pipeline

  • Ingestão: coletar documentos de fontes como um CMS, central de ajuda, PDFs ou chamados, junto com suas permissões.
  • Chunking: dividi-los em trechos que façam sentido sozinhos.
  • Embedding e indexação: armazenar vetores e palavras-chave, com metadados.
  • Recuperação: pesquisar com a pergunta do usuário, filtrando pelo que esse usuário pode ver.
  • Re-ranking: reordenar os primeiros resultados com um modelo mais preciso.
  • Geração: responder apenas com base nos trechos recuperados e citá-los.
  • Avaliação: medir continuamente a qualidade da recuperação e das respostas.

Chunking que preserva o sentido

Chunks de tamanho fixo que cortam tabelas e títulos são a causa mais comum de respostas ruins. Em vez disso, divida seguindo a estrutura do documento: seções, títulos, itens de lista e linhas de tabela. Algumas centenas de tokens por chunk, com uma pequena sobreposição, funcionam bem para a maioria dos textos corridos.

Armazene metadados com cada chunk: título do documento, título da seção, URL, data, produto ou versão, idioma e permissões de acesso. Colocar o título e o subtítulo antes do texto do chunk, antes de gerar o embedding, costuma melhorar bastante a recuperação, porque um parágrafo isolado raramente diz do que trata.

Busca híbrida e re-ranking

A busca vetorial é boa com significado, mas fraca com termos exatos: códigos de produto, mensagens de erro, nomes e números. A busca por palavras-chave (BM25) é o oposto. Rode as duas e combine os resultados, por exemplo com reciprocal rank fusion, e você terá os pontos fortes de cada uma.

Depois, faça o re-ranking. Recupere de 20 a 50 candidatos rapidamente e deixe um re-ranker cross-encoder pontuar cada um em relação à pergunta. Passar ao modelo apenas os cinco a oito melhores chunks reduz custo, latência e confusão.

Permissões e atualização

Aplique as permissões de acesso no momento da recuperação, com filtros de metadados, e nunca pedindo ao modelo que esconda coisas. Se um usuário não pode ver um documento, esse documento não pode chegar ao prompt.

Mantenha o índice atualizado com atualizações incrementais: reindexe um documento quando ele mudar e exclua seus chunks quando ele for removido. Chunks desatualizados produzem respostas confiantes e ultrapassadas — o tipo mais difícil de perceber.

Prompts para respostas fundamentadas

Diga ao modelo para responder apenas com base nos trechos fornecidos, citá-los pelo ID e deixar claro quando a resposta não está nas fontes. Trate o texto recuperado como dado, não como instrução: documentos podem conter textos que tentam direcionar o modelo, então o seu system prompt deve dizer que instruções dentro das fontes devem ser ignoradas.

A avaliação é o produto

Antes do lançamento, reúna de 50 a 200 perguntas reais, com os documentos que deveriam respondê-las. Meça a recuperação (o documento certo estava entre os primeiros resultados?) separadamente da qualidade da resposta (a resposta estava correta, completa e apoiada pelas fontes?). A avaliação automatizada com um modelo ajuda em escala, mas confira por amostragem manualmente.

Rode esse conjunto a cada mudança no chunking, nos embeddings, nos prompts ou nos modelos. Sem ele, toda melhoria é um palpite.

Um stack prático

Para a maioria das equipes, começamos simples: PostgreSQL com pgvector (ou OpenSearch quando é preciso uma busca por palavras-chave forte), um modelo de embedding e um re-ranker de um grande provedor, ingestão rodando em filas em segundo plano e uma pequena tela administrativa que mostra quais fontes cada resposta usou. Bancos vetoriais dedicados, como Qdrant ou Weaviate, fazem sentido em escala maior. A arquitetura importa menos do que o chunking, os filtros e a avaliação em torno dela.

Quer que a gente analise o seu site?

Use o verificador de sites gratuito para ter um relatório na hora ou abra um chamado e um engenheiro responderá em até um dia útil.

#RAG #LLM #OpenAI #Claude

Vamos conversar

Vamos construir algo que valha a pena.

Conversa estratégica gratuita de 30 minutos. Sem discurso de vendas, sem compromisso — só um plano.

Comece um projeto