Was ist ein LLM-Router und brauchst du einen?
Was ist ein LLM-Router? Er ist eine Schicht zwischen deiner Anwendung und mehreren Sprachmodellen, die pro Anfrage entscheidet, welches Modell antworten soll. Diese Seite ist kein Router: Sie bietet ein einzelnes Modell hinter einem einzigen Endpunkt, und der Abschnitt zur Eignung erklärt, wie die beiden zusammenhängen.
Aktualisiert

Die Idee in einfachen Worten
Eine Anwendung, die ein Sprachmodell aufruft, hat eine einfache Verkabelung: Eine Anfrage geht an einen Anbieter und eine Antwort kommt zurück. Ein Router fügt einen Entscheidungsschritt in die Mitte ein. Die Anfrage erreicht zuerst den Router, der sie prüft und ein Ziel aus einer Liste von Modellen auswählt, dann weiterleitet und die Antwort zurückgibt. Für die Anwendung gibt es weiterhin nur einen Endpunkt und ein Anfrageformat, meist das OpenAI-Chat-Format, da dies der gemeinsame Nenner ist.
Der Grund für diesen Schritt ist, dass Modelle unterschiedlich sind. Einige sind günstig und schnell, aber schwächer in der Logik. Andere sind stark, aber langsam und teuer. Einige folgen Inhaltsregeln, die bestimmte Themen blockieren, andere nicht. Eine feste Einzelwahl ist bei jeder Anfrage ein Kompromiss. Ein Router ermöglicht dir, die Wahl pro Anfrage zu treffen.
Sei vorsichtig mit dem Wort. Menschen verwenden es für mindestens drei verschiedene Dinge: einen gehosteten Marktplatz, der viele Modelle hinter einem Schlüssel bereitstellt, eine Bibliothek oder ein Gateway, das du selbst betreibst, und einen trainierten Klassifikator, der vorhersagt, welches Modell einen bestimmten Prompt gut bearbeiten wird. Sie teilen die Struktur „eine Eingangstür, viele Modelle“, unterscheiden sich aber darin, wer sie betreibt und wie sie entscheiden.
Was ein Router tatsächlich tut
Modellauswahl
Die Kernaufgabe. Regeln können einfach sein: Prompts unter einer bestimmten Länge gehen zu einem kleinen Modell, Prompts mit Code zu einem Coding-Modell. Sie können auch erlernt sein, wo ein kleiner Klassifikator den Prompt bewertet und eine Schwelle entscheidet, welches Modell ihn erhält.
Fallback
Wenn die erste Wahl einen Fehler zurückgibt oder die Zeit überschreitet, versucht der Router das nächste Modell in der Liste. Dies schützt dich vor einer schlechten Stunde eines Anbieters, kostet aber leicht abweichende Antworten, wenn das Fallback-Modell antwortet.
Lastverteilung
Verteile den Datenverkehr auf mehrere Schlüssel oder Bereitstellungen desselben Modells, damit kein einzelnes Ratenlimit zur Grenze wird.
Eine Schnittstelle
Verschiedene Anbieter bieten leicht unterschiedliche Anfrageformate. Ein Router normalisiert diese, sodass dein Code eine einzige Anfragestruktur schreibt. Dies ist die Funktion, die Teams im Alltag am meisten bemerken.
Kosten- und Richtlinienkontrolle
Routinearbeiten an ein günstiges Modell zu senden und das teure für komplexe Fälle zu behalten, ist die übliche Ersparnis. Richtlinien-Routing ist die andere Nutzung: Sensible Prompts gehen zu einem genehmigten Anbieter, der Rest woanders.
Routing-Strategien im Vergleich
| Strategie | Wie es entscheidet | Stärke | Schwäche |
|---|---|---|---|
| Statische Regeln | Schlüsselwörter, Länge, Benutzertier, Endpunkt | Vorhersehbar und einfach zu debuggen | Verpasst Prompts, die nicht zu deinen Regeln passen |
| Klassifikator | Ein kleines Modell bewertet Schwierigkeit oder Thema | Passt sich variierter Eingabe an | Benötigt beschriftete Daten und eigene Überwachung |
| Kaskade | Versuche ein günstiges Modell, eskaliere, wenn die Antwort schwach wirkt | Große Einsparungen bei einfachem Traffic | Komplexe Fälle zahlen für zwei Aufrufe |
| Nur Fallback | Modell wechseln, wenn ein Aufruf fehlschlägt | Einfach, verbessert Verfügbarkeit | Macht nichts für die Kosten |
Starte mit statischen Regeln. Sie sind am einfachsten zu durchdenken, und die Protokollierung, welche Regel ausgelöst wurde, liefert dir die Daten, um zu beurteilen, ob sich der Bau einer intelligenteren Lösung lohnt.
Brauchst du einen?
Stelle vier Fragen, bevor du einen Router hinzufügst.
- Unterscheiden sich deine Anfragen stark in der Schwierigkeit? Wenn jede Anfrage ähnlich ist, schlägt ein gut gewähltes Modell einen Router.
- Ist die Abrechnung des Modells groß genug, um zu optimieren? Wenn du ein paar Dollar im Monat ausgibst, kostet die Entwicklungszeit mehr als die Einsparungen.
- Brauchst du Schutz vor Ausfällen der Anbieter? Fallback ist der am besten verteidigbare Grund für einen Router, selbst in kleinem Maßstab.
- Haben deine Prompts unterschiedliche Inhaltsbeschränkungen? Einige Kategorien, wie erwachsene Fiktion oder reifes Rollenspiel, werden von vielen allgemeinen Diensten abgelehnt. Das Senden nur dieser Prompts an ein Modell, das für die rechtmäßige Nutzung durch Erwachsene optimiert ist, und den Rest woanders zu lassen, ist ein echter Routing-Fall.
Wenn du bei allen vier Fragen mit Nein antwortest, überspringe den Router. Zusätzliche Schichten fügen Latenz hinzu, eine weitere Fehlerquelle und ein weiteres Log zum Lesen.
Wo diese API passt
Diese Site ist nach Routern benannt, also verdient der Punkt Direktheit: der Dienst ist kein Router. Es ist ein Open-Weight-Modell, betrieben von einem unabhängigen Anbieter und optimiert, um ohne Inhaltsablehnungen für die rechtmäßige Nutzung durch Erwachsene zu antworten. Es ist nicht die offizielle API eines Modell-Anbieters und leitet Anfragen nicht an Modelle anderer Anbieter weiter. Du rufst eine Basis-URL auf, https://api.llmrouterapi.com/v1, mit einer Modell-ID, uncensored.
Das macht es zu einer guten Wahl als ein Ziel innerhalb eines Routers, den du bereits betreibst, oder als einzelnes Backend einer App, die nie geroutet werden musste. Da es dem OpenAI-Chat-Format folgt, dauert das Hinzufügen zu einem Router nur wenige Zeilen. Die Methoden sind POST /v1/chat/completions und GET /v1/models, und Streaming, Function Calling und JSON-Modus funktionieren wie im OpenAI-Format. Es ist nur Text: keine Bilder, Audio, Embeddings oder Fine-Tuning.
Wenn du es mit einem Multi-Modell-Marktplatz vergleichst, lies die Seite OpenRouter-Alternative. Ein Marktplatz bietet dir die Wahl zwischen vielen Modellen; dies gibt dir ein Modell mit einem engen Zweck und einem flachen Preis.
Ein minimaler Router in Python
Du kannst mit dem OpenAI SDK in wenigen Zeilen einen nützlichen Router bauen, weil jedes Ziel dasselbe Protokoll spricht. Dieser leitet Prompts, die als für die Verarbeitung uneingeschränkter Inhalte für Erwachsene markiert sind, an den Endpunkt hier weiter, und alles andere an ein allgemeines Modell, dessen Adresse und Schlüssel du angibst.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Behandle das Kategorie-Flag als Entscheidung deiner eigenen Anwendung, zum Beispiel basierend auf der Produktfunktion, in der sich der Benutzer befindet, und nicht als etwas, das aus dem Text abgeleitet wird. Explizites Routing ist einfacher zu testen als abgeleitetes Routing. Die Regel für Minderjährige gilt an diesem Endpunkt unabhängig vom Routing: Sexueller Inhalt, der Minderjährige betrifft, ist niemals erlaubt.
Betriebliche Details beim Routing
Ratenlimits sind pro Schlüssel und pro Anbieter, also muss ein Router sie kennen. Ein voller Schlüssel hier erlaubt 8 parallele Anfragen und 300 pro Minute, und ein Test-Schlüssel erlaubt 2 und 60. Die API antwortet mit 429 und dem Code rate_limited oder concurrency, wenn du diese überschreitest. Eine 429 mit Retry-After: 5 markiert temporäre Überlastung. Die richtige Reaktion ist zu warten oder in eine Warteschlange zu stellen, nicht sofort zu wechseln, oder du wirst den gesamten Traffic auf dein Fallback für einen fünfsekündigen Ausfall schieben.
Streaming verdient einen Hinweis: Eine gestreamte Anfrage belegt ihren Parallelitäts-Slot, bis der Stream endet, daher reduzieren langsame Clients deinen Durchsatz. Logge den X-Request-Id-Header für jeden Aufruf, damit eine schlechte Antwort einem Ziel zugeordnet werden kann.
Was die Kosten betrifft, beträgt der Preis $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token aus Prepaid-Guthaben, also kann ein Router die Ausgaben pro Route aus dem usage-Feld berechnen. Aufladungen laufen von $20 bis $500 mit Krypto, mit Boni ab $50; sieh dir die Preisseite an. Starte mit dem Integration Quickstart, und hol dir einen API-Schlüssel, um $0,50 an Testguthaben zu beanspruchen.
Weitere Anleitungen
Fragen und Antworten
Was ist der Unterschied zwischen einem LLM-Router und einem API-Gateway?
Ein Gateway leitet den Traffic zu einem oder mehreren Anbietern weiter und steuert ihn. Ein Router fügt die Entscheidung hinzu, welches Modell jede Anfrage bearbeiten soll. Viele Produkte kombinieren beides.
Ist diese API ein Router?
Nein. Es bedient ein Modell, ID uncensored, über einen Endpunkt. Es leitet nicht zwischen Anbietern weiter und ist keine offizielle API eines Anbieters.
Kann ich es in meinem eigenen Router verwenden?
Ja. Es folgt dem OpenAI-Chat-Format, sodass du es als Ziel mit seiner Basis-URL, seinem Schlüssel und seiner Modell-ID hinzufügen kannst.
Macht ein Router die Antworten besser?
Nicht von selbst. Es kann Kosten senken und Verfügbarkeit verbessern, aber die Qualität hängt von den Modellen ab, die du ansteuerst, und den Regeln, die du schreibst.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.