Um gateway de LLM é uma porta única entre os seus sistemas e os modelos de IA. Ele faz 3 coisas que cada sistema faria sozinho e mal: troca de provedor quando um falha (failover), impõe teto de gasto por grupo de uso e registra cada chamada com custo. Vale a partir do segundo sistema que usa IA na empresa.
Em resumo
- Failover: se um provedor cai ou recusa, a chamada vai para o próximo da lista.
- Teto de gasto por grupo de uso impede que erro em loop vire fatura.
- Registro de cada chamada mostra quem gastou quanto e com qual modelo.
- Armadilha: sistema que chama o provedor direto pula o gateway e ninguém percebe.
Para que serve um gateway de LLM?
Sem gateway, cada sistema da empresa (o agente de vendas, o resumo de ligações, o classificador de e-mails) tem a sua chave de API, o seu modelo escrito no código e a sua forma de lidar com erro. Quando o provedor muda um modelo, você muda em cinco lugares. Quando a conta sobe, não sabe qual sistema foi.
Com gateway, os sistemas pedem um apelido de uso (por exemplo, "atendimento" ou "tarefa simples") e o gateway decide qual modelo e qual provedor atendem. Trocar o modelo vira mudança em um lugar só.
Como funciona o failover entre provedores?
- Para cada apelido, você define uma lista ordenada: primeiro o provedor preferido, depois as alternativas.
- Se a chamada falha (fora do ar, cota esgotada, modelo retirado), o gateway tenta o próximo da lista.
- O sistema que pediu recebe a resposta sem saber que houve troca.
Na nossa operação, o gateway de modelos faz exatamente isso para todos os agentes: quando um provedor falha, a conversa continua no seguinte. Sem ele, cada queda de provedor seria cliente sem resposta.
Qual o risco escondido do failover?
Que ele funcione bem demais. Se o provedor barato falha e o gateway passa para o caro, o atendimento continua normal e a única pista é a fatura do mês. O mesmo acontece quando um sistema é configurado para chamar o provedor direto, sem passar pelo gateway: responde igual, só que sem failover e sem teto.
Já vimos na nossa operação serviços rodarem no caminho pago porque apontavam direto para um provedor, fora do gateway. Respondiam certo, então ninguém olhou até a fatura chegar. Corrigimos e transformamos em regra. A defesa que adotamos: todo sistema novo usa o gateway, e quem chama provedor direto é tratado como dívida registrada, não como atalho.
Como configurar teto de gasto na IA?
- Por grupo de uso, não só total: o teto do resumo de ligações não pode ser consumido pelo agente de vendas.
- Com alerta antes do bloqueio: aviso em 70% ou 80% do teto, bloqueio em 100%.
- Com dono: quando o teto estoura, alguém decide se aumenta ou investiga.
É uma das 5 travas para pôr um agente de IA em produção.
O que o gateway registra de cada chamada?
Sistema de origem, modelo usado, provedor que respondeu, tokens de entrada e saída, custo, tempo de resposta e erro, se houve. Com isso dá para responder perguntas que, sem o registro, viram chute: qual agente custa mais, qual provedor falha mais, quanto custou cada conversa.
Preciso de gateway com um único sistema de IA?
Com um sistema e um provedor, dá para viver sem. A partir do segundo sistema, ou quando a IA atende cliente e não pode parar, o gateway passa a ser mais barato do que a falta dele. A conta de quanto cada modelo custa está em quanto custam os tokens de IA.
Como montar a lista de failover de cada uso?
- Defina os apelidos de uso pela tarefa, não pelo modelo: atendimento, tarefa simples, texto longo, juiz de teste.
- Para cada apelido, coloque pelo menos duas opções equivalentes antes de qualquer opção mais cara. Com uma só, a primeira falha já cai na mais cara.
- Deixe a opção mais cara por último e com aviso: se o tráfego chegou nela, alguém precisa saber.
- Ajuste o limite de saída de cada opção. Modelos que raciocinam precisam de mais folga, ou devolvem resposta vazia.
- Revise a lista quando um fornecedor retirar um modelo. Erro de "modelo inválido" costuma ser mudança de catálogo, não falta de crédito.
Com a lista montada, faça um teste de queda: desligue a primeira opção de propósito e confira se a conversa continua e se o aviso chegou.
Desenhamos o gateway com failover, teto por uso e registro de custo para os seus agentes.
Perguntas frequentes
Gateway de LLM deixa a resposta mais lenta?
A passagem pelo gateway acrescenta milissegundos. A demora de verdade vem do modelo, e o failover evita a pior demora: a de não responder.
Posso misturar modelos de empresas diferentes?
Sim. O gateway traduz as chamadas para cada provedor, e o sistema que pede não precisa mudar.
O gateway guarda o conteúdo das conversas?
Pode guardar só metadados (custo, tokens, tempo) ou o conteúdo também. Com dado pessoal, defina o que guarda e por quanto tempo.
O que acontece se todos os provedores falharem?
O sistema precisa de um plano: mensagem padrão, fila para responder depois ou passar para humano. Isso é desenhado na implantação.
Mais sobre o tema em Agentes de IA.
