Evals para agent skills: como testar agentes com método

TL;DR

Evals para agent skills estão deixando de ser uma checagem ad hoc e virando uma disciplina de teste: executar o agente, capturar traços e artefatos, aplicar verificações determinísticas ou semideterminísticas e comparar scores ao longo do tempo. Isso importa porque agentes introduzem não-determinismo, múltiplas etapas e efeitos colaterais, então medir só a resposta final costuma esconder regressões reais.

Na prática, a mudança mais útil é tratar cada skill como uma unidade testável, com baseline, cenário experimentado e critérios claros de sucesso. Para times brasileiros, isso encaixa bem em um contexto de orçamento em BRL, pressão por previsibilidade e uso frequente de recursos em cloud fora do país, onde latência e custo precisam entrar na régua.

O que mudou na forma de avaliar agentes

Durante muito tempo, avaliar LLMs significava comparar saídas de texto. Com agentes, isso ficou insuficiente. O sistema não responde apenas uma vez: ele decide, chama ferramentas, lê contexto, tenta de novo, grava estado intermediário e pode mudar o caminho com pequenas variações de prompt ou temperatura.

Por isso, o recorte mais útil hoje é o de eval como teste E2E leve. A lógica é simples: você roda o agente em um conjunto de tarefas, captura o traço da execução, coleta artefatos produzidos e aplica checks. A nota final surge da combinação desses sinais, não de uma impressão subjetiva.

Essa visão aparece com força em materiais recentes da OpenAI e da Anthropic, além de iniciativas como o framework openai/evals e o agentevals, que reforçam a ideia de que avaliação precisa acompanhar a trajetória do agente, não só o output final.

Por que “skills” pedem uma unidade de teste própria

Quando falamos em agent skills, estamos falando de capacidades específicas: consultar uma API, navegar por uma base de dados, formular um plano, usar uma ferramenta externa, seguir uma política de segurança, ou encadear passos até uma meta. Cada skill tem comportamento observável e, em muitos casos, um verificador objetivo.

Isso abre espaço para tratar skill como unidade testável. Em vez de avaliar “o agente” como uma caixa-preta única, você monta um conjunto de tarefas que provoca aquela habilidade de forma controlada. O resultado fica mais útil para regressão, porque você descobre qual skill quebrou e em qual condição.

O benchmark SkillsBench segue essa linha ao propor tarefas em múltiplos domínios e comparar desempenho com e sem skill. A leitura prática é: se a skill muda o comportamento do agente, o teste também precisa enxergar essa mudança em termos de sucesso, falha, trajetória e frequência de erro.

O que medir além da resposta final

Para agentes, a saída final pode parecer correta mesmo quando o caminho foi ruim. Então vale medir também:

• quantidade de chamadas de ferramenta;
• ordem dos passos executados;
• artefatos gerados no meio do processo;
• tempo até concluir a tarefa;
• taxa de abandono ou fallback;
• consistência entre execuções repetidas.

Esses sinais ajudam a distinguir uma melhora real de uma melhora aparente. Se o agente acertou a resposta mas passou a fazer o dobro de chamadas sem ganho de qualidade, isso pode ser regressão operacional.

Como estruturar um eval na prática

Um bom eval de agente costuma ter quatro partes: cenário, execução, verificações e comparação longitudinal. O cenário define a tarefa e os limites. A execução roda o agente e captura o traço. As verificações analisam se os requisitos foram atendidos. A comparação acompanha a evolução com o tempo.

O ponto importante é que os checks não precisam ser todos “inteligentes”. Pelo contrário: sempre que possível, prefira verificações determinísticas. Se o agente precisa gerar um JSON com campos específicos, valide schema. Se precisa citar a ferramenta correta, faça match exato. Se precisa concluir uma etapa, verifique artefato ou estado final.

Quando o critério é mais aberto, a avaliação semideterminística entra como apoio, mas não como única fonte de verdade. Isso reduz dependência de juízo subjetivo e facilita explicar um regressão para o time de produto, engenharia ou segurança.

Exemplo de fluxo de teste

Em um agente que automatiza atendimento interno, você pode separar os checks assim:

1. o agente identificou a intenção correta?
2. ele consultou a base certa?
3. qual foi a sequência de ferramentas?
4. o resultado respeita a política de dados?
5. o fluxo terminou sem travar em tentativa infinita?

Esse tipo de divisão deixa claro o que foi medido. Também facilita gerar regressão por domínio: suporte, finanças, onboarding, operações, e assim por diante.

Traços e artefatos: o que salvar para conseguir depurar

Agent eval sem logging suficiente vira um número solto. Se a nota caiu, você precisa saber por quê. Por isso, a captura de trace e artifacts é central. O trace mostra o caminho. Os artefatos mostram o que foi produzido: payloads, arquivos, respostas intermediárias, chamadas de ferramenta, saídas parciais.

Com isso, o eval ganha valor de engenharia. Em vez de discutir a sensação de que “o agente piorou”, o time consegue apontar onde a trajetória mudou. Isso é especialmente importante quando há várias camadas: prompt, skill, ferramenta remota, memória, policy engine e camada de orquestração.

Essa captura também ajuda a reproduzir bugs. Em muitos casos, o bug não está no modelo em si, mas em uma combinação específica de contexto, ferramenta e estado. Sem traço, essa combinação some depois da execução.

Como lidar com não-determinismo sem perder rigor

Agentes são naturalmente sujeitos a variações. Então a pergunta não é como eliminar o não-determinismo, e sim como torná-lo testável. Uma estratégia prática é rodar múltiplas execuções, comparar distribuição de resultados e olhar para taxa de sucesso, não para um único caso isolado.

Outra estratégia é controlar o máximo de variáveis possível: temperatura, seed quando disponível, versão da skill, versão da ferramenta, dados de entrada e estado inicial. Quando o ambiente é estável, a leitura do eval fica muito mais confiável.

Esta seção descreve uma linha de avaliação que depende de versões de SDKs, APIs e ferramentas que mudam com frequência. Antes de adotar em produção, confira o changelog oficial do fornecedor e valide o comportamento no seu stack.

Na prática, isso é ainda mais relevante em times que usam serviços em nuvem fora do país. No Brasil, latência pra regiões como us-east-1, custo em dólar e janelas de integração com sistemas legados influenciam o desenho do teste. Um eval que ignora custo por execução pode parecer ótimo no papel e inviável no orçamento do mês.

O lugar dos frameworks de avaliação

Ferramentas como openai/evals ajudam a criar, versionar e executar evals customizados. Já o agentevals aponta para um uso mais focado em trajetória e em passos intermediários. Na prática, esses frameworks servem como base para padronizar a forma de testar, especialmente quando a equipe precisa comparar versões de prompt, skill e orquestração.

O valor deles não está em esconder complexidade. Está em tornar explícito o contrato do agente. Se a skill promete consultar uma ferramenta, gerar um artefato e completar uma tarefa em menos de X passos, o eval precisa traduzir isso em regras verificáveis.

É aqui que a disciplina fica próxima do desenvolvimento de software tradicional: você não quer só “testar se funcionou”, quer testar contratos, regressões e propriedades críticas do sistema.

Por que importa pro dev brasileiro

No Brasil, o desenho de evals precisa considerar restrições que não são decorativas. Um ponto concreto é a LGPD: se o agente toca dados pessoais, o eval precisa evitar vazamento em logs, checar anonimização quando aplicável e validar se a ferramenta não expõe informações sensíveis em artefatos. Isso muda o limite do que pode ser salvo no traço e do que precisa ser mascarado.

Outro ponto é custo. Muitos times operam com orçamento em BRL e boa parte da infraestrutura fica em regiões internacionais, o que adiciona variação cambial e latência. Portanto, um eval útil no Brasil mede qualidade e também custo operacional por execução, porque a conta no fim do mês entra no critério de adoção.

Além disso, o mercado brasileiro ainda mistura times com maturidades muito diferentes: algumas squads já trabalham com observabilidade e CI/CD maduros, enquanto outras estão migrando direto de automação manual para agentes. Nesse cenário, transformar skill em teste ajuda a criar previsibilidade sem exigir uma reestruturação inteira do stack.

Um desenho mínimo que funciona

Se você quiser sair do conceito e ir para algo aplicável, comece pequeno:

• escolha uma skill crítica;
• crie 10 a 20 tarefas representativas;
• defina critérios objetivos de sucesso;
• registre trace e artefatos;
• rode baseline e experimento;
• acompanhe regressão por versão.

Com esse formato, você já consegue responder perguntas úteis: a habilidade melhorou? Em quais casos ela falha? O custo aumentou? O comportamento ficou mais instável? A skill reduz trabalho humano ou só desloca o problema?

Esse primeiro ciclo costuma ser suficiente para convencer time técnico e liderança de produto de que eval não é só métrica de laboratório. É infraestrutura de qualidade para sistemas que agem, chamam ferramentas e tomam decisões em vários passos.

Conclusão

Evals para agent skills são, na prática, uma forma de trazer disciplina de engenharia para um sistema que decide e executa em múltiplas etapas. A combinação de trace, artefatos, checks objetivos e comparação longitudinal evita que o time confunda boa aparência com robustez real.

Se você está começando, escolha uma skill crítica do seu agente e transforme essa habilidade em um pequeno suíte de testes com critérios verificáveis. Em até uma hora, você consegue montar a base: liste 10 casos reais, defina o resultado esperado e rode uma primeira comparação entre baseline e versão com skill.

Conteúdos da DIO para quem quer aprofundar

• Aceleração Microsoft AI Agents — eventos práticos sobre agentes, GitHub Copilot e Azure IA Foundry, com foco em construir e gerenciar fluxos de agentes.
• Bradesco - GenAI & Dados — trilha com Python, dados e GenAI, útil para quem quer conectar automação com aplicações reais e análise.
• CAIXA - Inteligência Artificial na Prática — bootcamp com aplicações de IA em finanças, entrevistador simulado e mentor de carreira com foco em projetos práticos.
• TQI - Modernização com GenAI — conteúdo sobre modernização de sistemas legados com arquitetura, microsserviços, cloud e uso de GenAI.
• Microsoft Certification Challenge #5 - AI 102 — trilha voltada à certificação e fundamentos de soluções de IA na plataforma Microsoft.