Evals para agent skills: como testar agentes de forma sistemática

TL;DR

Evals para agent skills estão ficando mais objetivas: em vez de depender de impressão subjetiva, o foco passa a ser tarefa reprodutível, verificação determinística e comparação direta entre condições com e sem skills. O valor prático é claro: fica mais fácil descobrir se uma skill realmente ajuda, onde ajuda e em que tipo de tarefa ela falha.

O que mudou no jeito de avaliar agentes

O problema clássico de avaliar agentes é que o resultado costuma depender de contexto, prompt e aleatoriedade. Quando a meta é medir uma habilidade específica, essa variabilidade atrapalha: o agente pode “parecer” bom em uma execução e falhar em outra. O movimento recente, descrito no brief por OpenAI Developers e pelo paper SkillsBench, é transformar skills em algo que pode ser testado como componente de software.

Isso muda a unidade de análise. Em vez de perguntar apenas “o agente resolveu?”, a pergunta vira “com essa skill ativa, ele resolve mais tarefas corretas, com menos variância, sob o mesmo harness?”. Esse recorte é importante porque separa ganho real de efeito colateral do ambiente de teste.

Skills como módulos, não como prompt solto

Uma ideia central do brief é tratar skills como pacotes estruturados: coleções de instruções, scripts e recursos que podem ser injetados durante a inferência. Isso é útil porque permite versionar, selecionar subconjuntos e comparar impacto por domínio.

Na prática, isso aproxima o raciocínio de eval de uma engenharia de software tradicional. Você consegue responder perguntas como: qual skill melhorou a execução? O ganho vem da skill ou do modelo base? A skill continua útil quando o harness muda? Esse tipo de distinção é difícil quando tudo está escondido em um prompt monolítico.

Por que isso facilita testes

Quando a skill é modular, o desenho do eval fica mais simples de auditar. Você pode rodar a mesma tarefa com “sem skills”, “com skill A” e “com skill B” e observar a diferença. Também fica mais fácil isolar regressões: se uma nova versão da skill piora a taxa de acerto, o problema aparece no teste, e não só na observação manual.

Verificadores determinísticos e baseline oráculo

O ponto mais forte do SkillsBench, segundo o brief, é o uso de deterministic verifiers e de um baseline oráculo. Em vez de pedir para outro modelo julgar a resposta, a tarefa define uma checagem objetiva de sucesso. Isso reduz a variância e melhora a reprodutibilidade.

Esse padrão é valioso para agentes porque muitos fluxos têm resultado verificável: arquivo criado corretamente, JSON válido, consulta SQL que retorna o conjunto esperado, ação executada na ordem certa. Quando existe uma regra explícita de sucesso, o eval deixa de ser uma opinião e vira uma bateria de testes.

Em agentes, “passou ou falhou” é muito mais útil do que “pareceu bom”. Quando a corretude pode ser checada por script, a avaliação fica mais próxima de CI do que de review subjetivo.

O papel do oracle

O oráculo ajuda a separar duas coisas: a capacidade do agente e o critério de verdade da tarefa. Esse detalhe evita confundir um agente “esperto” com um agente que realmente resolveu o problema. Em ambientes com múltiplas etapas, isso é especialmente importante porque passos intermediários podem parecer plausíveis, mas o resultado final pode estar errado.

Comparação com e sem skills

O brief destaca um desenho causal simples: comparar desempenho sem skills versus com skills. Esse é o coração de um eval bem recortado, porque ele tenta medir o efeito da intervenção, não apenas a performance bruta do agente.

Em alguns casos, a comparação também inclui variações de skills autor-curadas e curadas. A ideia é verificar se a qualidade da skill, sua organização ou sua seleção muda o resultado. Isso é relevante para times que pretendem manter uma biblioteca interna de skills: não basta ter muitas skills; é preciso saber quais de fato geram ganho.

O que avaliar além da taxa de acerto

Taxa de acerto importa, mas não conta a história inteira. Em muitos casos, vale olhar também custo de execução, número de passos, estabilidade entre rodadas e sensibilidade ao harness. Um ganho pequeno na taxa de sucesso pode não compensar se a skill aumentar bastante latência ou complexidade operacional.

Harbor e o uso de harness padronizado

Outro ponto citado no brief é o Harbor, descrito como um framework com execução em estilo “gym” e apoio a tarefas com oráculo. A utilidade desse tipo de harness é padronizar o ambiente para que a comparação entre modelos e skills seja justa.

Na prática, isso faz diferença porque muitos resultados de agentes dependem do wrapper: ordem dos passos, modo de chamada, tratamento de memória, regras de ambiente e limpeza de estado entre execuções. Quando o harness é consistente, o que muda entre um experimento e outro tende a ser a skill ou o modelo, e não o acaso do setup.

Como transformar isso em processo de engenharia

Para um time que quer levar agent skills a sério, o caminho mais útil é pensar em três camadas: definição da skill, bateria de tarefas e verificador de sucesso. Se qualquer uma dessas camadas estiver vaga, o eval fica frágil.

1. Defina a skill como artefato versionado — instruções, recursos e dependências precisam estar explícitos.
2. Escolha tarefas com resultado observável — sempre que possível, prefira saídas que possam ser validadas automaticamente.
3. Crie um baseline fixo — compare sem skill, com skill e, se fizer sentido, com variações da mesma skill.
4. Registre a execução — logs e artefatos ajudam a depurar regressões e entender por que uma tentativa falhou.

Esse fluxo conversa bem com a realidade de times que já usam testes automatizados. A diferença é que o alvo deixa de ser uma função pura e passa a ser um agente que interage com ferramentas, memória e ambiente.

Por que isso importa pro dev brasileiro

No Brasil, a pressão por eficiência é concreta: orçamento em BRL, câmbio desfavorável para APIs pagas em dólar e times pequenos tentando entregar automação com segurança. Quando o custo de inferência sobe, não dá para depender de tentativa e erro infinito; evals sistemáticos ajudam a mostrar rapidamente se uma skill compensa o investimento.

Há também um ponto regulatório e operacional. Em aplicações que lidam com dados pessoais, a LGPD exige cuidado com tratamento e minimização de dados; isso favorece evals que usam tarefas sintéticas, verificadores determinísticos e rastreabilidade do que foi testado. Para times brasileiros em instituições financeiras, educação ou setor público, a combinação de reprodutibilidade e auditoria costuma ser muito mais valiosa do que demonstrações bonitinhas em notebook.

Limitações e cuidados

Nem toda habilidade de agente cabe em um verificador determinístico. Em tarefas mais abertas, como redação ou suporte ao usuário, o teste pode precisar de critérios mistos: regras objetivas para estrutura e uma camada qualitativa para adequação. Nesses casos, o risco é exagerar na confiança do número e esquecer que a tarefa não é totalmente fechada.

Outro cuidado é não “otimizar para o benchmark”. Se a skill passa no eval, mas só porque aprendeu o formato do jogo, o ganho pode não transferir para produção. Por isso, vale manter um conjunto de tarefas de validação que o time não usa para calibrar a própria skill.

Conclusão

A direção mais promissora para agent skills não é fazer o agente “parecer inteligente”, e sim torná-lo testável, comparável e iterável. Skills empacotadas, verificadores determinísticos e harness padronizado formam uma base mais confiável para saber o que realmente melhora o desempenho.

Se você quiser começar ainda hoje, pegue uma tarefa do seu fluxo atual, defina um critério objetivo de sucesso e rode a mesma execução com e sem uma skill explícita; em menos de uma hora, você já tem um primeiro sinal de valor ou de regressão.

Conteúdos da DIO para quem quer aprofundar

• Aceleração Microsoft AI Agents — evento prático para entender agentes, automação e uso aplicado de IA em fluxos de desenvolvimento.
• Formação AI-102 Certification — formação focada em construir, gerenciar e implantar soluções de IA no Azure com base na certificação AI-102.
• Microsoft AI for Tech - OpenAI Services — trilha para integrar serviços da OpenAI no Azure e criar aplicações com chatbots e manipulação de texto.
• CAIXA - Inteligência Artificial na Prática — bootcamp com aplicações de IA em finanças, entrevistas técnicas e criação de mentor de carreira.
• Bradesco - GenAI & Dados — trilha que combina Python, dados e IA generativa em atividades mão na massa.