Às vezes o agente de IA manda ao cliente o rascunho do próprio raciocínio junto com a resposta: anotações, rótulos, texto entre crases. A trava comum, que procura texto em inglês, não pega quando o rascunho está em português. Na nossa operação, a trava que funcionou olha a forma do texto: pegou 6 de 6 casos e deu zero alarme falso em 500 mensagens reais.
Em resumo
- Modelos que raciocinam às vezes deixam o rascunho escapar na resposta.
- Rascunho em português passa pela trava de idioma.
- Rótulo solto na linha, bloco entre crases e recuo denunciam rascunho.
- A trava roda antes do envio e segura a mensagem, não depois.
Por que o agente de IA mostra o raciocínio ao cliente?
Alguns modelos pensam em voz alta antes de responder: fazem contas, testam versões da frase, anotam o que falta. Normalmente esse rascunho fica separado da resposta. Às vezes, por limite de tamanho, erro de formato ou instrução ambígua, ele vem junto. O cliente recebe algo como "Texto: (vamos contar os caracteres)" seguido da mensagem pela metade.
Por que a trava de idioma não pega esse erro?
Muitos rascunhos saem em inglês, então a primeira trava que se faz é: "se a resposta parece inglês, segura". Funciona até o modelo raciocinar em português. Um rascunho em português, com acentos e palavras comuns, é indistinguível de uma resposta boa para qualquer verificação de idioma.
Num caso real, o texto que vazou começava com um parêntese e tinha 6 palavras acentuadas. A trava de idioma deu o texto como português e deixou passar. Trocamos a pergunta: em vez de "em que língua está?", passamos a perguntar "isso tem cara de rascunho?". A trava pela forma pegou 6 de 6 casos de vazamento e deu 0 alarme falso em 500 mensagens reais enviadas a clientes.
Quais sinais denunciam que a resposta é rascunho?
- Rótulo sozinho na linha, como "Texto:", "Resposta:", "Rascunho:".
- Trecho entre crases ou bloco de código numa conversa de WhatsApp.
- Recuo no começo das linhas, que mensagem de atendimento não tem.
- Comentário sobre a própria resposta: contar caracteres, "vou ajustar", "versão 2".
- Mensagem cortada no meio da frase.
O que fazer quando a trava pega um rascunho?
- Segurar a mensagem antes do envio.
- Pedir ao modelo uma nova resposta, ou mandar uma resposta padrão segura.
- Registrar o caso para entrar no conjunto de teste.
- Se repetir, revisar o limite de tamanho e as instruções do agente.
Uma causa comum é limite curto de resposta em modelos que raciocinam: o modelo gasta o espaço pensando e corta a resposta. Explicamos em como reduzir o custo de tokens, na parte de onde não cortar.
Que outros erros de forma vale travar antes do envio?
- Resposta em outro idioma quando a conversa é em português.
- Mensagem que cita nome de ferramenta interna ou de fornecedor.
- Valor, prazo ou desconto que não estão na base de conhecimento.
- Duas mensagens com a mesma resposta em sequência.
Essas verificações custam milissegundos e evitam o tipo de erro que o cliente compartilha com print. Fazem parte das 5 travas para pôr um agente de IA em produção, e cada caso pego vira teste: veja como testar um agente de IA.
Como saber se o seu agente já vazou rascunho?
Procure no histórico de mensagens enviadas pelos sinais da lista acima: linhas que começam com rótulo, crases, recuo, mensagens que terminam no meio da frase. Uma busca simples no banco de mensagens costuma achar os casos antigos. Se achar, trate cada um como caso de teste e confira se a trava pega.
Revisamos as travas de envio do seu agente e montamos os testes dos casos que já aconteceram.
Perguntas frequentes
Por que o ChatGPT ou outro modelo mostra o raciocínio?
Modelos que raciocinam geram um rascunho antes da resposta. Normalmente ele fica separado; por erro de formato ou limite de tamanho, pode vir junto.
Dá para impedir 100%?
Não com instrução. Uma trava antes do envio, que olha a forma do texto, reduz muito e registra cada caso para correção.
A trava deixa a resposta mais lenta?
Não de forma perceptível. É uma verificação de texto que roda em milissegundos antes do envio.
O que o cliente recebe quando a trava segura a mensagem?
Uma nova resposta gerada de novo, ou uma mensagem padrão segura, conforme a configuração do agente.
Mais sobre o tema em Agentes de IA.
