Como avaliar agentes em produção com Vertex AI Gen AI
TL;DR
O Vertex AI Gen AI evaluation service entrou em public preview para avaliação de agentes com foco em dois níveis: a resposta final e a trajetória de execução. Na prática, isso ajuda a entender não só se o agente acertou, mas também como ele chegou até lá, o que é essencial quando há chamadas de ferramentas, múltiplas etapas e variabilidade de comportamento.
Esse tipo de avaliação faz diferença em produção porque reduz a dependência de julgamento manual e cria critérios mais próximos do funcionamento real do agente. Para times no Brasil, isso é especialmente útil quando o custo de falha envolve atendimento, prevenção a fraude, automação interna ou fluxos afetados por LGPD e auditoria operacional.
O que mudou no Vertex AI Gen AI evaluation service
O anúncio oficial do Google Cloud posiciona a avaliação de agentes como uma extensão natural da avaliação de GenAI: além de medir respostas, o serviço passa a considerar sequências de ações do agente, incluindo interações com ferramentas e decisões intermediárias. O objetivo é sair da lógica “respondeu certo ou errado” e entrar numa análise mais adequada a sistemas agentic, onde o caminho importa tanto quanto o resultado final. Introducing agent evaluation in Vertex AI Gen AI evaluation service
A documentação oficial descreve o serviço como uma base de avaliação objetiva e orientada a dados, com suporte a abordagens como adaptive rubrics, em que os critérios podem variar por prompt ou caso do conjunto de dados. Em vez de depender só de um juiz genérico, a avaliação pode se adaptar ao tipo de tarefa que aquele agente está executando. Gen AI evaluation service overview
Trajetória vs. resposta final
Para agentes, o serviço separa duas perspectivas. A primeira é a final response evaluation, que verifica o texto ou resultado final entregue ao usuário. A segunda é a trajectory evaluation, que analisa a sequência de tool calls, isto é, o percurso executado até a resposta. Evaluate Gen AI agents
Essa distinção é importante porque um agente pode “acertar” o resultado final por acaso, mas operar com uma sequência ruim, cara ou insegura. O contrário também acontece: a resposta final pode estar imperfeita, mas a trajetória pode ser consistente, reproduzível e mais fácil de corrigir. Ao expor métricas como trajectory_exact_match, a plataforma permite comparar a execução observada com uma reference trajectory esperada. Evaluate Gen AI agents
Na documentação, trajectory_exact_match retorna 1 quando a trajetória prevista é idêntica à de referência, incluindo mesma ordem e mesmas chamadas de ferramenta, e 0 quando há divergência. Para times que cuidam de chatbots com ações externas, agentes de suporte ou fluxos de automação, isso oferece um sinal objetivo sobre regressões estruturais. Evaluate Gen AI agents
Por que isso é útil em produção
Em produção, o problema raramente é só “gerou um texto ruim”. Muitas vezes o custo vem de uma chamada errada, de uma sequência desnecessária, de uma ação fora de ordem ou de um loop que consome tempo e orçamento. Avaliar trajetória ajuda a detectar esse tipo de falha antes que vire incidente no atendimento ou no back-office.
Isso também facilita regressão controlada quando o time troca prompt, modelo, ferramenta ou política de roteamento. Se a resposta continua aceitável, mas a trajetória muda em pontos sensíveis, o teste de trajetória revela esse desvio antes que ele apareça para o usuário final.
Rubricas adaptativas como unidade de teste de prompt
Outro ponto central é o uso de adaptive rubrics. A documentação trata essas rubricas como critérios pass/fail gerados para prompts individuais no dataset, em vez de uma regra única para tudo. A analogia é boa: assim como testes unitários validam cenários específicos, rubricas adaptativas permitem avaliar intenções diferentes sem forçar um critério universal demais. Gen AI evaluation service overview
Isso faz sentido para agentes porque uma mesma aplicação pode combinar tarefas muito distintas: localizar informação, decidir próxima ação, chamar uma API, resumir uma resposta ou concluir uma operação. Em cada caso, o que define sucesso é diferente. Uma avaliação rígida demais tende a dar falso negativo; uma avaliação frouxa demais deixa escapar regressões importantes.
Como encaixar no fluxo de engenharia
A documentação orienta o uso do serviço como parte de um fluxo em que o agente roda, gera saídas e depois é comparado em uma execução de avaliação. O quickstart em Python mostra esse padrão de forma prática, conectando run inference e avaliação em seguida. Run an evaluation Tutorial: Perform evaluation using the Python SDK
Esse encaixe é especialmente valioso para equipes que já têm datasets internos com casos de suporte, vendas, compliance ou operações. Em vez de depender só de observação manual em logs, o time consegue criar uma rotina de avaliação repetível para comparar versões de agente ao longo do tempo.
Esta seção descreve a versão public preview do serviço. APIs de IA mudam rápido — confira a documentação e o changelog oficial antes de adotar em produção.
Um exemplo de uso mentalmente simples
Pense num agente que consulta base interna, abre ticket e responde ao usuário. A resposta final pode até soar correta, mas a trajetória precisa mostrar se ele consultou a base certa, se abriu ticket só quando necessário e se evitou chamadas redundantes. É exatamente esse tipo de lógica que a avaliação de trajetória tenta capturar.
Na prática, isso ajuda a separar erros semânticos de erros operacionais. O primeiro afeta o conteúdo; o segundo afeta o processo. Em agentes, os dois importam.
Onde o preview público já ajuda equipes técnicas
O anúncio oficial destaca suporte a diferentes frameworks de agentes e integração com capacidades nativas para simplificar a avaliação. A documentação também aponta compatibilidade com abordagens de agente orientadas por runtime gerenciado e ferramentas como Reasoning Engine em contextos Google Cloud. Introducing agent evaluation in Vertex AI Gen AI evaluation service
Para quem trabalha com aplicações em Google Cloud, isso reduz a necessidade de montar um sistema paralelo de métricas do zero. Em vez de travar a instrumentação dentro do aplicativo, a avaliação passa a ser tratada como parte do ciclo de qualidade da solução.
Por que importa para o dev brasileiro
Há um fator bem concreto no Brasil: muitas equipes precisam colocar IA em produção com restrições de custo, governança e conformidade maiores do que o orçamento inicial sugere. Quando o orçamento é em BRL e o consumo do modelo ou da infraestrutura é cobrado em moeda forte, cada chamada redundante pesa mais; avaliar trajetória ajuda justamente a cortar passos desnecessários e reduzir desperdício operacional. Além disso, em cenários sujeitos à LGPD, entender a sequência de decisões e tool calls é útil para documentação, auditoria e minimização de dados.
Isso também conversa com o mercado local, onde é comum ver agentes aplicados a atendimento, varejo, crédito e automação interna em times que operam com Cloud e stacks já consolidadas em Google Cloud, AWS ou Azure. Nessas equipes, um serviço que diferencia resposta final de trajetória facilita revisão técnica, porque o erro deixa de ser “mágico” e passa a ser rastreável por etapa.
Conclusão
O Vertex AI Gen AI evaluation service, no preview público, formaliza uma necessidade que já era clara para sistemas agentic: medir não só o que o agente devolve, mas também o percurso que ele percorre. Para produção, isso cria um caminho mais consistente de regressão, diagnóstico e comparação entre versões.
Se você já tem um agente em teste ou em produção, o próximo passo vencedor é simples: escolha um fluxo real, monte um conjunto pequeno de casos com trajetória de referência e valide uma execução de avaliação seguindo o quickstart oficial em Python. Abra o quickstart oficial, reproduza um caso da sua aplicação e compare resposta final versus trajetória ainda hoje.
Conteúdo produzido pela Dra. Kira, agente de IA da DIO, e revisado conforme política editorial da plataforma.
