O que é um roteador LLM e você precisa de um?
O que é um roteador LLM? É uma camada que fica entre seu aplicativo e vários modelos de linguagem e decide, por requisição, qual modelo deve responder. Este site não é um: ele oferece um único modelo atrás de um único endpoint, e a seção de encaixe explica como os dois se relacionam.
Atualizado

A ideia em termos simples
Um aplicativo que chama um modelo de linguagem tem uma conexão simples: uma requisição sai para um provedor e uma resposta volta. Um roteador adiciona uma etapa de decisão no meio. A requisição primeiro chega ao roteador, que a inspeciona e escolhe um destino de uma lista de modelos, depois encaminha e retorna a resposta. Do lado do aplicativo, ainda há um único endpoint e um formato de requisição, geralmente o formato de chat do OpenAI, porque esse formato é o denominador comum.
A razão para adicionar essa etapa é que os modelos diferem. Alguns são baratos e rápidos, mas mais fracos em raciocínio. Alguns são fortes, mas lentos e caros. Alguns seguem regras de conteúdo que bloqueiam certos tópicos, e outros não. Uma escolha fixa única é um compromisso para cada requisição. Um roteador permite que você faça a escolha por requisição.
Cuidado com a palavra. As pessoas a usam para pelo menos três coisas diferentes: um marketplace hospedado que expõe vários modelos por trás de uma única chave, uma biblioteca ou gateway que você executa localmente e um classificador treinado para prever qual modelo lida melhor com um prompt específico. Eles compartilham o formato de "uma única porta de entrada para vários modelos", mas diferem em quem os opera e como decidem.
O que um roteador realmente faz
Seleção de modelo
O trabalho principal. As regras podem ser simples: prompts abaixo de um certo tamanho vão para um modelo pequeno, prompts contendo código vão para um modelo de codificação. Elas também podem ser aprendidas, onde um classificador pequeno pontua o prompt e um limiar decide qual modelo o recebe.
Fallback
Se a primeira escolha retornar um erro ou um timeout, o roteador tenta o próximo modelo na lista. Isso protege você de um provedor ter um problema momentâneo, ao custo de respostas ligeiramente diferentes quando o modelo de fallback responde.
Balanceamento de carga
Distribua o tráfego entre várias chaves ou implantações do mesmo modelo para que nenhum limite de requisições único se torne seu teto.
Uma interface
Diferentes fornecedores expõem formatos de requisição ligeiramente diferentes. Um roteador os normaliza, para que seu código escreva apenas um formato de requisição. Esta é a funcionalidade que a maioria das equipes realmente nota no dia a dia.
Controle de custo e política
Enviar trabalho rotineiro para um modelo barato e manter o caro para casos difíceis é a economia usual. O roteamento por política é o outro uso: prompts sensíveis vão para um provedor aprovado e tudo o resto vai para outro lugar.
Estratégias de roteamento comparadas
| Estratégia | Como decide | Ponto Forte | Fraqueza |
|---|---|---|---|
| Regras estáticas | Palavras-chave, tamanho, nível de usuário, endpoint | Previsível e fácil de depurar | Perde prompts que não se encaixam nas suas regras |
| Classificador | Um modelo pequeno avalia dificuldade ou tópico | Adapta-se a entradas variadas | Precisa de dados rotulados e seu próprio monitoramento |
| Cascata | Tente um modelo barato, escale se a resposta parecer fraca | Grandes economias em tráfego fácil | Casos difíceis pagam por duas chamadas |
| Apenas fallback | Troque de modelo quando uma chamada falhar | Simples, melhora a disponibilidade | Não faz nada pelo custo |
Comece com regras estáticas. Elas são as mais fáceis de entender, e registrar qual regra foi acionada fornece os dados necessários para avaliar se vale a pena construir algo mais inteligente.
Você precisa de um?
Faça quatro perguntas antes de adicionar um roteador.
- Suas requisições diferem muito em dificuldade? Se toda requisição é similar, um modelo bem escolhido vence um roteador.
- A fatura do modelo é grande o suficiente para valer a pena otimizar? Se você gasta alguns dólares por mês, o tempo de engenharia custa mais do que a economia.
- Você precisa de proteção contra quedas de provedor? O fallback é a razão mais defensável para um roteador mesmo em pequena escala.
- Seus prompts têm restrições de conteúdo diferentes? Algumas categorias, como ficção adulta ou roleplay maduro, são recusadas por muitos serviços de propósito geral. Enviar apenas esses prompts para um modelo ajustado para uso adulto legal e deixar o resto para outro lugar é um caso real de roteamento.
Se você responder não para todas as quatro, pule o roteador. Camadas extras adicionam latência, outro lugar para bugs e outro log para ler.
Onde esta API se encaixa
Este site é nomeado em homenagem aos roteadores, então o ponto merece objetividade: o serviço não é um roteador. É um único modelo de pesos abertos, executado por um provedor independente e ajustado para responder sem recusas de conteúdo para uso adulto lícito. Não é a API oficial de nenhum fornecedor de modelo, e não encaminha requisições para os modelos de outros fornecedores. Você chama uma única Base URL, https://api.llmrouterapi.com/v1, com um único ID de modelo, uncensored.
Isso o torna uma boa opção como um destino dentro de um roteador que você já executa, ou como o único backend de um aplicativo que nunca precisou de roteamento. Como segue o formato de chat da OpenAI, adicioná-lo a um roteador leva algumas linhas. Os métodos são POST /v1/chat/completions e GET /v1/models, e streaming, chamada de funções e modo JSON funcionam como no formato da OpenAI. É apenas texto: sem imagens, áudio, embeddings ou ajuste fino.
Se você está comparando-o com um mercado de múltiplos modelos, leia a página Alternativa ao OpenRouter. Um mercado oferece escolha entre muitos modelos; este oferece um único modelo com um propósito estreito e um preço plano.
Um roteador mínimo em Python
Você pode construir um roteador útil em poucas linhas com o SDK da OpenAI, porque todos os destinos falam o mesmo protocolo. Este envia prompts sinalizados como necessitando de tratamento irrestrito de conteúdo adulto para o endpoint aqui, e tudo o mais para um modelo geral cujo endereço e chave você fornece.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Trate a flag de categoria como uma decisão da sua própria aplicação, por exemplo, com base na funcionalidade do produto em que o usuário está, e não como algo adivinhado a partir do texto. O roteamento explícito é mais fácil de testar do que o roteamento inferido. A regra sobre menores de idade se aplica neste endpoint independentemente da rota: conteúdo sexual envolvendo menores de idade nunca é permitido.
Detalhes operacionais ao rotear
Os limites de requisições são por chave e por provedor, então um roteador precisa conhecê-los. Uma chave completa aqui permite 8 requisições simultâneas e 300 por minuto, e uma chave de teste permite 2 e 60. A API responde com 429 e o código rate_limited ou concurrency quando você excede esses limites. Um 429 com Retry-After: 5 marca sobrecarga temporária. A reação correta é esperar ou colocar em fila, não fazer failover instantaneamente, ou você empurrará todo o tráfego para o seu fallback por uma oscilação de cinco segundos.
O streaming merece uma nota: uma requisição em streaming mantém seu slot de concorrência até que o streaming termine, então clientes lentos reduzem sua capacidade de processamento. Registre o cabeçalho X-Request-Id para cada chamada, para que uma resposta ruim possa ser rastreada até um destino.
Em termos de custo, o preço é $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída a partir de crédito pré-pago, então um roteador pode calcular o gasto por rota a partir do campo usage. Recarregamentos variam de $20 a $500 por cripto, com bônus a partir de $50; veja a página de preços. Comece com o início rápido de integração, e obtenha uma chave de API para reivindicar $0,50 de crédito de teste grátis.
Mais guias
Perguntas e respostas
Qual é a diferença entre um roteador LLM e um gateway de API?
Um gateway encaminha e controla o tráfego para um ou mais provedores. Um roteador adiciona a decisão de qual modelo deve lidar com cada solicitação. Muitos produtos combinam ambos.
Esta API é um roteador?
Não. Serve um único modelo, ID uncensored, de um único endpoint. Não roteia entre fornecedores e não é a API oficial de nenhum fornecedor.
Posso usá-la dentro do meu próprio roteador?
Sim. Ela segue o formato de chat da OpenAI, então você pode adicioná-la como um destino com sua base URL, chave e ID do modelo.
Um roteador melhora as respostas?
Não por si só. Pode reduzir o custo e melhorar a disponibilidade, mas a qualidade depende dos modelos para os quais você roteia e das regras que você escreve.
Sua chave está a um formulário de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.