Dados sintéticos no treino de LLMs: ganhos, riscos e prática

TL;DR

Dados sintéticos já deixaram de ser apenas um atalho para “aumentar dataset” e passaram a ser uma peça técnica em pre-training e post-training de LLMs. O tema importa porque, quando bem desenhado, esse tipo de dado pode expandir cobertura, reforçar raciocínio e reduzir gargalos de anotação; quando mal calibrado, pode induzir colapso, vieses e perda de diversidade.

Este artigo organiza o estado recente da área em quatro frentes: geração por regras, visão teórica de informação no pós-treino, efeitos em escala no pre-training e o papel de exemplos negativos em RL. A leitura é útil para quem trabalha com fine-tuning, avaliação ou engenharia de dados para IA e precisa decidir se vale apostar em dados sintéticos no pipeline.

O que significa “dados sintéticos” no treino de LLM

No contexto de LLMs, “dados sintéticos” é qualquer exemplo de treino gerado por um modelo, por regras ou por um procedimento automático, em vez de coletado diretamente de humanos ou de logs brutos. Isso pode incluir instruções, respostas, trajetórias de raciocínio, pares pergunta-resposta, negativos e variações para cobertura de casos raros.

A distinção importante é que o valor do sintético não vem só de volume. Ele vem do desenho do gerador, da qualidade do filtro e da compatibilidade entre o dado gerado e o objetivo do treino. Em outras palavras: a pergunta certa não é “dá para gerar dado?”, e sim “que informação esse dado carrega para o modelo?”.

Três usos práticos

• Pre-training: ampliar cobertura de padrões linguísticos e tarefas, com risco de misturar ruído do gerador ao corpus.
• SFT: criar instruções, respostas e reformulações em grande escala quando a curadoria humana é cara.
• RL / RLAIF: gerar trajetórias, preferências ou negativos para ajustar raciocínio e reduzir correlações espúrias.

Por que a literatura recente ficou tão interessada nisso

O interesse aumentou porque a fronteira de qualidade de dados humanos ficou cara e lenta. Ao mesmo tempo, os modelos atuais já conseguem produzir exemplos úteis para eles mesmos, desde que haja controle de verificação, diversidade e objetivo de treino. Isso é especialmente visível em tarefas de raciocínio, em que a geração de trajetórias sintéticas pode cobrir cenários difíceis de coletar manualmente.

O trabalho Learning from Synthetic Data Improves Multi-hop Reasoning mostra que RL fine-tuning com dados sintéticos gerados por regras pode melhorar raciocínio multi-hop mesmo quando o “mundo” usado para gerar exemplos é fictício. Já a perspectiva teórica de A Reverse-Bottleneck Perspective trata a geração como um problema de ganho de informação: o modelo aprende melhor quando o sintético carrega informação nova e relevante, não apenas reescrituras redundantes.

Na prática, isso muda a engenharia do pipeline. Em vez de “mais exemplos”, a discussão passa a ser “quais exemplos aumentam a informação útil por token treinado”.

Geração por regras: quando o sintético é verificável

Uma estratégia que ganhou espaço é gerar dados sintéticos com regras ou com um processo fechado de verificação. A vantagem é reduzir dependência de anotação humana e permitir controle mais fino sobre a distribuição dos exemplos. Em tarefas de raciocínio, isso é relevante porque respostas corretas e incorretas podem ser construídas de forma sistemática para treinar decisão, não só resposta final.

O estudo Learning from Synthetic Data Improves Multi-hop Reasoning descreve esse tipo de abordagem como rule-generated synthetic data, usando exemplos verificáveis para RL fine-tuning. O ponto central é que a utilidade não depende de o exemplo parecer “realista” para humanos, mas de ser útil para a política de aprendizado do modelo.

Esta seção descreve técnicas dependentes de configuração de treino e verificação. APIs e pipelines de IA mudam rápido — confira o changelog oficial antes de levar qualquer receita para produção.

Para quem monta pipelines internos, esse é o tipo de abordagem que conversa bem com ambientes com orçamento limitado ou com geração localizada. Em empresas brasileiras, isso pode ser decisivo quando se quer validar um protótipo sem ampliar o custo de rotulagem em larga escala.

O papel do “reverse-bottleneck” no pós-treino

A formulação teórica Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective coloca o foco no que o gerador realmente transmite ao modelo treinado. A ideia é simples de resumir: se o gerador produz exemplos com informação nova e bem alinhada ao alvo, o treino tende a generalizar melhor; se ele só replica padrões já dominados, o ganho diminui.

Isso ajuda a explicar por que duas pipelines com o mesmo número de tokens sintéticos podem ter resultados muito diferentes. Um gerador mais controlado pode produzir amostras menos “bonitas” mas mais informativas; outro, mais fluente, pode repetir vieses ou redundâncias. Em termos de engenharia, o reverse-bottleneck sugere que a seleção do dado é parte do modelo, não só um detalhe de preparação.

Implicação para SFT e RLAIF

Se a informação está concentrada em poucas amostras úteis, a política de filtragem vira uma etapa central. Isso vale tanto para instruções geradas quanto para pares de preferência e trajetórias de raciocínio. O custo de gerar mais exemplos sem controle pode ser só mais ruído computacional.

O problema do colapso em escala

Nem todo sintético melhora o treino. O estudo Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls discute ganhos e armadilhas da síntese em pre-training, incluindo regimes associados a model collapse. A mensagem técnica é que a mistura entre dados naturais e sintéticos, além do modo de gerar reescritas, altera diversidade, fidelidade e estabilidade do modelo.

Esse ponto é importante porque a tentação operacional é simples: se um pouco de sintético ajuda, mais sintético deve ajudar mais. A literatura recente mostra que essa extrapolação é arriscada. Em certas configurações, o modelo aprende a reproduzir a assinatura do gerador em vez de ampliar capacidade útil.

Para times que trabalham com orçamento restrito, isso também afeta o custo-benefício. Gerar dados é barato em CPU/GPU comparado com rotulagem humana, mas não é gratuito: há custo de amostragem, filtragem, avaliação e, se necessário, retrabalho quando a distribuição sintética começa a degradar.

Negativos e correlações espúrias: o que muda no RL

Outro eixo relevante é o uso de exemplos incorretos ou negativos durante treinamento por reforço. O poster da NeurIPS 2024 RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold descreve ganhos quando o treino incorpora negativos por passo, o que ajuda o modelo a desaprender atalhos e correlações espúrias.

Na prática, isso amplia a noção de dado sintético: não se trata apenas de respostas corretas geradas automaticamente, mas também de erros úteis, contrastes e trajetórias parcialmente erradas. Em matemática e raciocínio estruturado, isso pode refinar a política com mais eficiência do que usar apenas positivos.

O aprendizado aqui é bem pragmático: se você treina só com respostas “limpas”, o modelo pode memorizar padrões superficiais. Se inclui erros controlados, o ajuste fica mais sensível ao que de fato distingue uma solução válida de uma solução plausível.

Como pensar o pipeline na prática

Para quem constrói pipeline de dados, a sequência útil costuma ser: gerar, verificar, filtrar, medir diversidade, treinar, reavaliar. O erro comum é pular diretamente da geração para o treino. Em dados sintéticos, a qualidade do filtro costuma importar tanto quanto a qualidade do gerador.

Uma forma prática de organizar isso é pensar em três perguntas antes de treinar:

1. O dado sintético traz informação nova em relação ao corpus base?
2. Ele é verificável ou pelo menos auditável por regra, heurística ou avaliação humana?
3. Ele preserva diversidade suficiente para não estreitar a distribuição do modelo?

Se a resposta para a primeira pergunta for “não”, o ganho tende a ser pequeno. Se a resposta para a terceira for “não”, o risco de degeneração sobe.

Exemplo de checklist de engenharia

Esse tipo de checklist é especialmente útil em times brasileiros que operam com janelas curtas de experimentação e orçamento em real. Em vez de gastar dias anotando um conjunto grande, muitas equipes conseguem testar hipóteses com lotes sintéticos pequenos e medir rapidamente em tarefas internas, desde que a avaliação esteja bem definida e não dependa apenas de impressão subjetiva.

undefined

Por que importa pro dev brasileiro

No Brasil, synthetic data ganha peso por um motivo concreto: o custo de anotação e revisão em moeda local, somado ao preço de infraestrutura em dólar, pode travar experimentação cedo demais. Em muitas equipes, a decisão de usar dados sintéticos não é ideológica; é operacional. Quando o budget está apertado, gerar exemplos verificáveis pode ser a diferença entre testar uma hipótese em uma semana ou em um trimestre.

Há também o contexto regulatório e operacional. Se o pipeline toca dados pessoais, a LGPD exige cuidado em tratamento, finalidade e minimização. Dados sintéticos não dispensam governança, mas podem reduzir exposição quando comparados a usar dados sensíveis diretamente em ciclos amplos de treino e teste.

Outro ponto muito brasileiro é a diversidade de maturidade técnica das equipes. No ecossistema local, é comum que times cresçam com perfil híbrido, misturando devs generalistas, MLOps e pessoas vindas de bootcamps ou migração de backend. Nesse cenário, pipelines sintéticos bem documentados ajudam a padronizar experimentos e tornam o processo menos dependente de “segredo tribal”.

Limites e cuidados antes de adotar

Duas cautelas merecem destaque. Primeiro, sintético não é sinônimo de neutro: ele herda as crenças, erros e vieses do gerador. Segundo, métricas de curto prazo podem esconder degradação de longo prazo, especialmente quando a mistura de dados naturais e sintéticos não é bem planejada.

Por isso, a adoção responsável passa por avaliar não só o score final, mas também a estabilidade da distribuição de respostas, a sensibilidade a prompts fora do conjunto e a presença de padrões repetitivos. Se a experiência interna começar a parecer “muito boa para ser verdade”, vale suspeitar da cobertura e da diversidade do dado gerado.

Conclusão

Synthetic data virou uma ferramenta central para treinar e ajustar LLMs porque resolve um problema real: como ampliar cobertura e explorar raciocínio quando dado humano de qualidade é caro, lento ou difícil de verificar. A literatura recente mostra que a resposta depende menos do volume bruto e mais do desenho da geração, do papel dos negativos e da capacidade de preservar diversidade sem induzir colapso.

Se você quiser transformar isso em ação em menos de 1 hora, escolha um caso de uso pequeno, gere um lote sintético verificável, compare contra um lote com exemplos naturais e meça duas coisas: ganho de tarefa e repetição de padrões. Comece com um problema interno de FAQ, classificação ou raciocínio curto, e leia a seção 3 do paper Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training para alinhar sua hipótese com a visão de ganho de informação no pós-treino.

Conteúdo produzido pela Dra. Kira, agente de IA da DIO, e revisado conforme política editorial da plataforma.