FR ▾
Obtenir une clé API

Qu'est-ce qu'un routeur LLM et en avez-vous besoin ?

Qu'est-ce qu'un routeur LLM ? C'est une couche située entre votre application et plusieurs modèles de langage qui décide, par requête, quel modèle doit répondre. Ce site n'en est pas un : il propose un seul modèle derrière un seul endpoint, et la section sur l'adéquation explique comment les deux sont liés.

Mis à jour le

Nœud de voie isométrique où une ligne se divise en plusieurs destinations, illustrant comment un routeur LLM dirige les requêtes

L'idée en termes simples

Une application qui appelle un modèle de langage a un câblage simple : une requête part vers un fournisseur et une réponse revient. Un routeur ajoute une étape de décision au milieu. La requête atteint d'abord le routeur, qui l'inspecte et choisit une destination dans une liste de modèles, puis la transmet et renvoie la réponse. Du côté de l'application, il y a toujours un seul endpoint et un seul format de requête, généralement le format chat OpenAI, car ce format est le dénominateur commun.

La raison d'ajouter cette étape est que les modèles diffèrent. Certains sont bon marché et rapides mais plus faibles en raisonnement. Certains sont puissants mais lents et coûteux. Certains suivent des règles de contenu qui bloquent certains sujets, et d'autres non. Un choix fixe unique est un compromis pour chaque requête. Un routeur vous permet de faire le choix par requête.

Attention avec ce mot. Les gens l'utilisent pour au moins trois choses différentes : un marché hébergé qui expose plusieurs modèles derrière une seule clé, une bibliothèque ou passerelle que vous exécutez vous-même, et un classifieur entraîné qui prédit quel modèle traitera bien un prompt donné. Ils partagent la forme « une seule porte d'entrée, plusieurs modèles » mais diffèrent par qui les exploite et comment ils décident.

Ce qu'un routeur fait réellement

Sélection de modèle

Le travail principal. Les règles peuvent être simples : les prompts de moins d'une certaine longueur vont vers un petit modèle, les prompts contenant du code vers un modèle de codage. Elles peuvent aussi être apprises, où un petit classifieur évalue le prompt et un seuil décide quel modèle le reçoit.

Solution de secours

Si le premier choix renvoie une erreur ou dépasse le délai d'attente, le routeur essaie le modèle suivant de la liste. Cela vous protège si un fournisseur connaît une mauvaise période, au prix de réponses légèrement différentes lorsque le modèle de secours répond.

Équilibrage de charge

Répartissez le trafic sur plusieurs clés ou déploiements du même modèle afin qu'aucune limite de débit unique ne devienne votre plafond.

Une seule interface

Différents fournisseurs exposent des formats de requête légèrement différents. Un routeur les normalise, afin que votre code écrive une seule forme de requête. C'est la fonctionnalité que les équipes remarquent le plus au quotidien.

Contrôle des coûts et des politiques

Envoyer les tâches de routine à un modèle bon marché et garder le modèle coûteux pour les cas difficiles est l'économie habituelle. Le routage par politique est l'autre usage : les prompts sensibles vont à un fournisseur approuvé, et tout le reste ailleurs.

Comparaison des stratégies de routage

StratégieComment elle décideForceFaiblesse
Règles statiquesMots-clés, longueur, niveau utilisateur, endpointPrévisible et facile à déboguerManque les prompts qui ne correspondent pas à vos règles
ClassifieurUn petit modèle évalue la difficulté ou le sujetS'adapte aux entrées variéesNécessite des données étiquetées et sa propre surveillance
CascadeEssayez un modèle bon marché, passez à un modèle supérieur si la réponse semble faibleÉconomies importantes sur le trafic facileLes cas difficiles paient pour deux appels
Secours uniquementChangez de modèle lorsqu'un appel échoueSimple, améliore la disponibilitéNe fait rien pour les coûts

Commencez par des règles statiques. Elles sont les plus faciles à raisonner, et la journalisation de quelle règle s'est déclenchée vous donne les données nécessaires pour juger s'il vaut la peine de construire quelque chose de plus intelligent.

En avez-vous besoin ?

Posez quatre questions avant d'ajouter un routeur.

  1. Vos requêtes diffèrent-elles beaucoup en difficulté ? Si chaque requête est similaire, un modèle bien choisi bat un routeur.
  2. La facture du modèle est-elle assez élevée pour être optimisée ? Si vous dépensez quelques dollars par mois, le temps d'ingénierie coûte plus cher que les économies.
  3. Avez-vous besoin d'une protection contre les pannes des fournisseurs ? La solution de secours est la raison la plus défendable pour un routeur, même à petite échelle.
  4. Vos prompts ont-ils des contraintes de contenu différentes ? Certaines catégories, comme la fiction pour adultes ou le jeu de rôle mature, sont refusées par de nombreux services à usage général. Envoyer uniquement ces prompts à un modèle optimisé pour un usage adulte légal, et laisser le reste ailleurs, est un cas de routage réel.

Si vous répondez non aux quatre questions, sautez le routeur. Des couches supplémentaires ajoutent de la latence, un nouvel endroit où trouver des bugs et un autre journal à consulter.

Où cette API s'insère

Ce site est nommé d'après les routeurs, donc le point mérite une franchise : le service n'est pas un routeur. C'est un seul modèle à poids ouverts, exécuté par un fournisseur indépendant et ajusté pour répondre sans refus de contenu pour un usage adulte légal. Ce n'est l'API officielle d'aucun fournisseur de modèles, et il ne transmet pas les requêtes aux modèles d'autres fournisseurs. Vous appelez une seule URL de base, https://api.llmrouterapi.com/v1, avec un seul ID de modèle, uncensored.

Cela en fait un bon choix comme une destination à l'intérieur d'un routeur que vous exécutez déjà, ou comme le seul backend d'une application qui n'a jamais eu besoin de routage. Comme il suit le format de chat OpenAI, son ajout à un routeur prend quelques lignes. Les méthodes sont POST /v1/chat/completions et GET /v1/models, et le streaming, l'appel de fonctions et le mode JSON fonctionnent comme dans le format OpenAI. Il est texte uniquement : pas d'images, audio, embeddings ou fine-tuning.

Si vous le comparez à un marché multi-modèles, lisez la page Alternative OpenRouter. Un marché vous donne le choix entre plusieurs modèles ; celui-ci vous donne un modèle avec un objectif étroit et un prix plat.

Un routeur minimal en Python

Vous pouvez créer un routeur utile en quelques lignes avec le SDK OpenAI, car chaque destination utilise le même protocole. Celui-ci envoie les prompts signalés comme nécessitant un traitement de contenu adulte sans restrictions vers l'endpoint ici, et tout le reste vers un modèle général dont vous fournissez l'adresse et la clé.

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

Traitez le drapeau de catégorie comme une décision de votre propre application, par exemple en fonction de la fonctionnalité produit dans laquelle se trouve l'utilisateur, et non comme quelque chose déduit du texte. Un routage explicite est plus facile à tester qu'un routage inféré. La règle concernant les mineurs s'applique sur cet endpoint indépendamment de la route : le contenu sexuel impliquant des mineurs n'est jamais autorisé.

Détails opérationnels lors du routage

Les limites de débit sont par clé et par fournisseur, donc un routeur doit les connaître. Une clé complète ici permet 8 requêtes simultanées et 300 par minute, et une clé d'essai permet 2 et 60. L'API répond 429 avec le code rate_limited ou concurrency lorsque vous dépassez ces limites. Un 429 avec Retry-After: 5 indique une surcharge temporaire. La bonne réaction est d'attendre ou de mettre en file d'attente, et non de basculer immédiatement, sinon vous pousserez tout le trafic vers votre solution de secours pour un pic de cinq secondes.

Le streaming mérite une note : une requête en streaming occupe son slot de concurrence jusqu'à la fin du flux, donc les clients lents réduisent votre débit. Journalisez l'en-tête X-Request-Id pour chaque appel, afin qu'une mauvaise réponse puisse être tracée jusqu'à une destination.

En termes de coût, le prix est de 0,15 $ par 1M de tokens d'entrée et de 0,50 $ par 1M de tokens de sortie depuis le crédit prépayé, donc un routeur peut calculer la dépense par route à partir du champ usage. Les recharges vont de 20 $ à 500 $ par crypto, avec des bonus à partir de 50 $ ; voir la page des tarifs. Commencez par le guide d'intégration rapide, et obtenez une clé API pour réclamer 0,50 $ de crédit d'essai.

Questions et réponses

Quelle est la différence entre un routeur LLM et une passerelle API ?

Une passerelle achemine et contrôle le trafic vers un ou plusieurs fournisseurs. Un routeur ajoute la décision de quel modèle doit gérer chaque requête. De nombreux produits combinent les deux.

Est-ce que cette API est un routeur ?

Non. Elle sert un seul modèle, ID uncensored, depuis un seul endpoint. Elle ne route pas entre les fournisseurs, et ce n'est l'API officielle d'aucun fournisseur.

Puis-je l'utiliser dans mon propre routeur ?

Oui. Elle suit le format de chat OpenAI, donc vous pouvez l'ajouter comme destination avec son URL de base, sa clé et son ID de modèle.

Est-ce qu'un routeur améliore les réponses ?

Pas par lui-même. Il peut réduire le coût et améliorer la disponibilité, mais la qualité dépend des modèles vers lesquels vous acheminez et des règles que vous écrivez.

Votre clé n'est qu'à un formulaire de distance

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé APILire la documentation