Teste um agente de IA com perguntas reais de clientes, não com frases que você escreveu. Na nossa operação, um teste escrito pela equipe dava 0,99 de acerto; refeito com a fala real, 3 de 8 casos falharam. O método: juntar 30 a 50 conversas reais, definir a resposta certa, rodar antes de cada mudança e olhar os erros, não só a média.
Em resumo
- Pergunta escrita pela equipe é limpa demais; cliente escreve "não subiu", não "está offline".
- O conjunto de teste nasce de conversas reais, com a resposta esperada.
- Rode antes de toda mudança de prompt, modelo ou base de conhecimento.
- Varie a frase: repetir a mesma pergunta pode medir o cache, não o agente.
Por que o teste feito pela equipe engana?
Porque a equipe escreve como quem já sabe a resposta. Usa o nome certo do produto, a palavra técnica e a frase completa. O cliente escreve "cadastrei e não subiu", "tô na multa", "quanto fica o carro". O agente que acerta a frase da equipe pode errar a do cliente, e o teste não mostra.
Medimos isso num agente nosso: o conjunto de teste escrito pela equipe dava 0,99 de acerto na busca da resposta certa. Refeito com frases tiradas de conversas reais, 3 de 8 casos falharam. A partir daí, todo caso de teste precisa ter pelo menos a fala real do cliente.
Como montar o conjunto de teste de um agente de IA?
- Junte 30 a 50 conversas reais das dúvidas mais frequentes, de vendas e de suporte.
- Escreva a resposta certa de cada uma, ou o critério: "tem que citar o prazo", "tem que passar para humano".
- Inclua casos de limite: pedido de desconto, cliente irritado, pergunta fora do assunto, áudio.
- Inclua o que nunca pode acontecer: prometer prazo, inventar preço, falar de concorrente.
- Guarde junto com o agente e rode a cada mudança.
O que medir no teste além de "acertou ou errou"?
- Achou o trecho certo da base de conhecimento? Se a busca falha, o modelo responde de memória.
- Respeitou as travas? Desconto, prazo, assunto proibido.
- Passou para humano quando devia? Veja quando passar para humano.
- Tamanho e tom da resposta para WhatsApp.
- Tempo e custo por resposta.
Para respostas abertas, dá para usar outro modelo como "juiz", com um critério escrito. Ele ajuda no volume, mas confira uma amostra à mão: juiz também erra.
Que armadilhas atrapalham o teste de agente?
- Cache de resposta. Se o sistema guarda respostas iguais, repetir a mesma pergunta mede o cache. Varie a frase.
- Serviço auxiliar desligado no teste. Se a busca usa um serviço de reordenação e ele não está ligado no teste, o resultado piora sem motivo e você corrige o que não estava quebrado.
- Média que esconde o erro grave. 95% de acerto com um caso de desconto indevido é pior do que 90% sem nenhum.
Quando rodar o teste?
Antes de toda mudança que chega ao cliente: prompt, modelo, base de conhecimento, ferramenta nova. E depois de colocar no ar, acompanhe as conversas reais das primeiras semanas. Os números de negócio que importam estão em como medir se o agente está vendendo.
De onde vêm os casos novos de teste?
Das perguntas que o agente não soube responder. Cada uma vira resposta na base e caso no teste. Explicamos essa fila em perguntas que o agente não soube responder.
Como transformar um erro em produção em caso de teste?
- Copie a mensagem exata do cliente, sem corrigir português nem abreviação.
- Escreva o que o agente devia ter feito: a resposta, a ferramenta que devia chamar ou a passagem para humano.
- Rode o caso e confirme que ele falha na versão atual. Teste que já passa não protege nada.
- Corrija o prompt, a base ou o código e rode todos os casos de novo, não só o novo.
- Guarde o caso para sempre: o erro que voltou uma vez costuma voltar.
Com o tempo, o conjunto de teste vira a memória dos erros que o agente já cometeu, e é o que impede que uma melhoria numa ponta quebre outra.
Montamos o conjunto de teste a partir das suas conversas e rodamos antes de cada mudança.
Perguntas frequentes
Quantos casos de teste um agente precisa?
Comece com 30 a 50 casos reais das dúvidas mais frequentes e dos limites. Acrescente um caso cada vez que o agente errar em produção.
Dá para testar agente de IA automaticamente?
Sim. Os casos rodam sozinhos a cada mudança, com conferência automática para respostas objetivas e amostra revisada por uma pessoa para as abertas.
Teste com IA juiz é confiável?
É útil para volume, mas confira uma amostra à mão. O juiz também erra, principalmente com critério vago.
O teste substitui acompanhar as conversas?
Não. O teste pega o que você já conhece; as conversas reais mostram o que ainda não está no teste.
Mais sobre o tema em Agentes de IA.
