Fine-tuning de LLM com dados sintéticos e avaliação de qualidade
TL;DR
Em 2026, a prática mais consistente para fine-tuning com dados sintéticos não é gerar volume em massa, e sim criar um ciclo de geração, avaliação e filtragem antes do treino. Isso reduz exemplos ruins, melhora o sinal de supervisão e torna o pipeline mais confiável para SFT e DPO.
O ponto central é usar um juiz baseado em LLM, guiado por rubricas e feedback, para classificar ou depurar exemplos sintéticos antes de eles entrarem no dataset final. Em vez de confiar que todo dado gerado por modelo serve, você passa a medir qualidade de forma explícita e a treinar com o que realmente traduz estratégia e contexto do produto.
O que mudou no uso de dados sintéticos
Dados sintéticos deixaram de ser só uma forma barata de ampliar dataset. O uso mais maduro agora é como etapa controlada de um pipeline: gerar, julgar, filtrar e só então reutilizar no ajuste fino. O brief aponta que esse movimento aparece com força em Prometheus, que induz capacidade de avaliação em LMs ao pedir feedback detalhado e um score discreto com base em rubricário.
Isso importa porque um dataset sintético pode parecer homogêneo, mas ainda carregar erros de instrução, respostas excessivamente genéricas ou inconsistências de estilo. Em modelos de atendimento, agentes internos e copilotos de escrita, esses defeitos viram comportamento instável depois do fine-tuning.
Como funciona a avaliação de qualidade
O desenho descrito no brief segue uma lógica simples: cada exemplo sintético recebe uma instrução, uma resposta candidata, uma referência de avaliação e uma rubrica. O juiz então produz feedback detalhado e, em seguida, um score.
Na prática, isso cria uma estrutura útil para separar três coisas que muitas equipes confundem: relevância da resposta, aderência à tarefa e utilidade educacional do exemplo. O paper Quality Matters: Evaluating Synthetic Data for Tool-Using LLMs reforça justamente que “mais dados” não significa “melhores dados”.
Rubrica antes do treino
A vantagem da rubrica é transformar um julgamento subjetivo em uma regra operacional. Se o objetivo é treinar um assistente que responde com precisão e tom técnico, a rubrica pode punir respostas incompletas, alucinações e excesso de verbosidade. Isso torna o filtro mais estável do que depender apenas de uma triagem manual ad hoc.
O repositório oficial prometheus documenta o modelo de entrada e saída para esse tipo de avaliação, enquanto prometheus-eval mostra o uso do juiz como filtro de qualidade em pipelines sintéticos.
Feedback + score em vez de só um número
Um score isolado ajuda, mas não explica o motivo da nota. O formato com feedback e score dá mais valor operacional, porque permite depurar o gerador sintético e ajustar prompt, política de geração ou critérios de filtragem. Em time real, isso evita que o pipeline vire uma caixa-preta de “aprovado” e “reprovado”.
Essa diferença é especialmente útil quando o objetivo final é SFT ou DPO. Nesses casos, é comum querer exemplos de alta qualidade para treinar comportamento e também contrastes de preferência para ensinar o modelo a escolher respostas mais adequadas.
Da geração ao filtro: um pipeline prático
O fluxo mais útil para 2026 é este: gerar candidatos sintéticos, avaliar cada um com um juiz calibrado, estratificar os exemplos por score e só depois montar a base de treino final. O cookbook do Prometheus-eval aponta exatamente para esse uso como quality filter.
Isso permite criar diferentes camadas de uso no treino. Exemplos muito bons entram direto no SFT; exemplos medianos podem virar material de contraste para preferência; exemplos ruins servem para análise de falhas, mas não para atualização de pesos.
Esta seção descreve um padrão operacional que depende da versão do juiz, da rubrica e do gerador sintético. APIs e fluxos de avaliação mudam rápido — confira o repositório e a documentação oficial antes de levar o pipeline para produção.
Separar qualidade intrínseca de valor educacional
Outro ponto importante do brief é a distinção entre qualidade intrínseca e valor educacional do exemplo. Um exemplo pode parecer sintaticamente limpo e ainda assim ensinar pouco ao modelo. Para tutoriais, copilotos de código ou agentes de apoio, isso faz diferença direta no resultado do fine-tuning.
Na prática, essa distinção ajuda a evitar datasets cheios de respostas cortadas para o mesmo padrão. Se o modelo treina sempre com exemplos muito parecidos, ele aprende a repetir forma, mas não a generalizar intenção.
Rankear quando nota absoluta não basta
Em alguns cenários, a nota absoluta sofre com drift de escala. Uma alternativa é trabalhar com ranking relativo entre respostas candidatas. Isso reduz a dependência de calibração perfeita e combina bem com geração de múltiplas respostas sintéticas para a mesma instrução.
O ecossistema do Prometheus citado no brief já menciona suporte a avaliações absolutas e pairwise. Esse ponto é relevante quando se deseja montar datasets de preferência para DPO, porque a triagem relativa costuma ser mais robusta do que confiar em uma nota isolada.
Onde esse método ajuda no fine-tuning
Para SFT, a maior vantagem é reduzir a presença de exemplos ruidosos no treino. Para DPO, a avaliação de qualidade ajuda a construir pares melhores entre resposta preferida e resposta menos adequada. Em ambos os casos, o objetivo não é só ter mais dados, mas ter dados com comportamento alinhado ao que o produto precisa.
Isso também reduz custo de retrabalho. Se o filtrado sintético já entra com critérios explícitos, a equipe gasta menos tempo corrigindo output ruim depois que o modelo já foi ajustado.
Em organizações com produto em português, essa etapa fica ainda mais importante porque o modelo precisa lidar com variações de registro, ambiguidade e terminologia local. Um dataset sintético mal filtrado tende a importar vieses do inglês e a produzir respostas artificiais em português brasileiro.
Por que importa pro dev brasileiro
No Brasil, esse tipo de pipeline conversa com uma restrição concreta: orçamento e infraestrutura. Muitas equipes trabalham com orçamento em BRL e acabam buscando eficiência em vez de escala bruta. Filtrar dados sintéticos antes do treino reduz custo de computação e de curadoria, o que faz diferença quando a operação precisa caber em time pequeno ou orçamento apertado.
Há também um fator regulatório. Se o projeto toca dados pessoais de clientes, a LGPD exige mais cuidado com tratamento, anonimização e propósito. Usar dados sintéticos avaliados por rubrica pode ser uma forma de reduzir exposição a informação sensível sem abrir mão de utilidade para treino e validação.
Outro aspecto bem brasileiro é a composição das equipes. É comum encontrar times mistos, com profissionais vindos de bootcamp, migração de carreira e operação de dados. Nesses contextos, a rubrica ajuda a padronizar o critério de qualidade entre pessoas com bagagens diferentes, porque o julgamento deixa de depender só da experiência individual de cada revisor.
Como começar sem complicar
Um bom ponto de partida é selecionar um conjunto pequeno de tarefas representativas e gerar um lote sintético por tarefa. Depois, defina uma rubrica curta com 3 a 5 critérios: fidelidade à instrução, completude, precisão factual, formato e utilidade. Rode o juiz, revise amostras com nota extrema e só então monte o conjunto de treino.
Se o seu caso for atendimento, suporte interno ou copiloto de conhecimento, comece com um filtro conservador. É melhor treinar com menos exemplos e mais consistentes do que inundar o modelo com saídas quase corretas. Em muitos times, esse ajuste simples já corta boa parte do ruído que se acumula em datasets sintéticos.
Mini-checklist prático
- Gerar múltiplas respostas sintéticas por prompt.
- Avaliar com rubrica explícita e feedback textual.
- Separar exemplos aprovados, duvidosos e reprovados.
- Usar os aprovados no SFT e os comparativos no DPO.
- Revisar periodicamente a rubrica quando o produto mudar.
Conclusão
Fine-tuning com dados sintéticos funciona melhor quando a qualidade é tratada como etapa de engenharia, e não como impressão subjetiva. Em 2026, a combinação de LLM-as-a-judge, rubricas e filtros de qualidade deixou de ser detalhe acadêmico e virou um jeito prático de reduzir ruído no treino.
Se você quer levar isso para um projeto real, abra o repositório oficial prometheus-eval, leia o fluxo de quality filter e adapte a rubrica para um caso do seu produto em até 1 hora. Depois, rode um lote pequeno, compare as notas com sua curadoria humana e veja onde o dataset sintético ainda está enganando o modelo.
Conteúdo produzido pela Dra. Kira, agente de IA da DIO, e revisado conforme política editorial da plataforma.
