Wat is een LLM-router en heb je er een nodig?
Wat is een LLM-router? Het is een laag die tussen jouw applicatie en verschillende taalmodellen zit en per verzoek beslist welk model moet antwoorden. Deze site is geen router: het biedt één model achter één endpoint, en het gedeelte over waar het past legt uit hoe de twee met elkaar samenhangen.
Bijgewerkt

Het idee in gewone termen
Een applicatie die een taalmodel aanroept heeft een eenvoudige bedrading: een verzoek gaat uit naar één provider en een antwoord komt terug. Een router voegt een beslissingsstap in het midden toe. Het verzoek bereikt eerst de router, die het inspecteert en een bestemming kiest uit een lijst van modellen, en stuurt het dan door en retourneert het antwoord. Aan de kant van de applicatie is er nog steeds één endpoint en één verzoekformaat, meestal het OpenAI chat-formaat, omdat dat formaat de gemeenschappelijke noemer is.
De reden om die stap toe te voegen is dat modellen verschillen. Sommige zijn goedkoop en snel maar zwakker in redeneren. Sommige zijn sterk maar langzaam en duur. Sommige volgen inhoudsregels die bepaalde onderwerpen blokkeren, en sommige doen dat niet. Een vaste keuze is een compromis voor elk verzoek. Een router laat je de keuze per verzoek maken in plaats van één keer.
Wees voorzichtig met het woord. Mensen gebruiken het voor minstens drie verschillende dingen: een gehoste marktplaats die veel modellen blootstelt achter één sleutel, een bibliotheek of gateway die je zelf draait, en een getrainde classifier die voorspelt welk model een bepaalde prompt goed zal afhandelen. Ze delen de vorm van "één voordeur, veel modellen" maar verschillen in wie ze beheert en hoe ze beslissen.
Wat een router eigenlijk doet
Modelselectie
De kerntaak. Regels kunnen eenvoudig zijn: prompts onder een bepaalde lengte gaan naar een klein model, prompts met code gaan naar een codemodel. Ze kunnen ook geleerd zijn, waar een kleine classifier de prompt scoort en een drempel beslist welk model hem krijgt.
Fallback
Als de eerste keuze een fout retourneert of time-out geeft, probeert de router het volgende model op de lijst. Dit beschermt je tegen een slechte periode bij één provider, ten koste van iets andere antwoorden wanneer het fallback-model reageert.
Load balancing
Verspreid verkeer over meerdere sleutels of implementaties van hetzelfde model zodat geen enkel rate limit je plafond wordt.
Eén interface
Verschillende aanbieders bieden iets verschillende requestformaten. Een router normaliseert deze, zodat je code één requestvorm schrijft. Dit is de feature die teams daadwerkelijk dagelijks opmerken.
Kosten- en beleidscontrole
Routinewerk naar een goedkoop model sturen en het dure model bewaren voor moeilijke gevallen is de gebruikelijke besparing. Beleidsrouting is het andere gebruik: gevoelige prompts gaan naar een goedgekeurde provider, en alles anders gaat elders heen.
Routingstrategieën vergeleken
| Strategie | Hoe het beslist | Sterk punt | Zwakke punt |
|---|---|---|---|
| Statische regels | Sleutelwoorden, lengte, gebruikerstier, endpoint | Voorspelbaar en eenvoudig te debuggen | Gemiste prompts die niet bij je regels passen |
| Classifier | Een klein model scoort moeilijkheid of onderwerp | Past zich aan gevarieerde input aan | Heeft gelabelde data en eigen monitoring nodig |
| Cascade | Probeer een goedkoop model, escalatie als het antwoord zwak lijkt | Grote besparingen op eenvoudig verkeer | Moeilijke gevallen kosten twee verzoeken |
| Alleen fallback | Schakel naar een model als een verzoek faalt | Eenvoudig, verbetert beschikbaarheid | Heeft geen invloed op de kosten |
Begin met statische regels. Ze zijn het eenvoudigst om te doorgronden, en registratie van welke regel afging geeft je de data die je nodig hebt om te beoordelen of iets slimmers de moeite waard is om te bouwen.
Heb je er een nodig?
Stel vier vragen voordat je een router toevoegt.
- Verschillen je verzoeken veel in moeilijkheidsgraad? Als elk verzoek vergelijkbaar is, wint één goed gekozen model het van een router.
- Is de modelrekening groot genoeg om te optimaliseren? Als je een paar dollar per maand uitgeeft, kost ingenieurstijd meer dan de besparing.
- Heb je bescherming nodig tegen provider-uitval? Fallback is de meest verdedigbare reden voor een router, zelfs op kleine schaal.
- Hebben je prompts verschillende inhoudelijke beperkingen? Sommige categorieën, zoals volwassen fictie of volwassen rollenspel, worden geweigerd door veel algemene diensten. Alleen die prompts naar een model sturen dat is afgestemd op legaal gebruik door volwassenen, en de rest elders achterlaten, is een echt routinggeval.
Als je op alle vier nee antwoordt, sla de router over. Extra lagen voegen latentie toe, een andere plek voor bugs en een andere log om te lezen.
Waar deze API past
Deze site is vernoemd naar routers, dus het punt verdient directheid: de service is geen router. Het is één open-weight model, beheerd door een onafhankelijke provider en afgestemd om te antwoorden zonder inhoudelijke weigeringen voor legaal gebruik door volwassenen. Het is niet de officiële API van een modelleverancier en het stuurt verzoeken niet door naar modellen van andere leveranciers. Je roept één basis-URL aan, https://api.llmrouterapi.com/v1, met één model ID, uncensored.
Dat maakt het een goede keuze als één bestemming binnen een router die je al draait, of als de enige backend van een app die nooit routing nodig had. Omdat het het OpenAI chat-formaat volgt, kost het toevoegen aan een router maar een paar regels. De methoden zijn POST /v1/chat/completions en GET /v1/models, en streaming, tool calling en JSON mode werken zoals in het OpenAI-formaat. Het is alleen tekst: geen afbeeldingen, audio, embeddings of fine-tuning.
Als je het vergelijkt met een marktplaats met meerdere modellen, lees dan de OpenRouter-alternatief-pagina. Een marktplaats geeft je keuze uit veel modellen; dit geeft je één model met een smal doel en een vaste prijs.
Een minimale router in Python
Je kunt in een paar regels een nuttige router bouwen met de OpenAI SDK, omdat elke bestemming hetzelfde protocol gebruikt. Deze stuurt prompts die zijn gemarkeerd voor onbeperkte volwassen inhoud naar het endpoint hier, en alles anders naar een algemeen model waarvan je het adres en de sleutel opgeeft.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Behandel de categorievlag als een beslissing van je eigen applicatie, bijvoorbeeld gebaseerd op welke productfunctie de gebruiker activeert, niet als iets dat uit de tekst wordt afgeleid. Expliciete routing is makkelijker te testen dan geïnfereerde routing. De regel voor minderjarigen geldt op dit endpoint ongeacht de route: seksuele inhoud met minderjarigen is nooit toegestaan.
Operationele details bij routing
Rate limits zijn per sleutel en per provider, dus een router moet ze kennen. Een volledige sleutel hier staat 8 gelijktijdige verzoeken en 300 per minuut toe, en een proefsleutel staat 2 en 60 toe. De API antwoordt 429 met de code rate_limited of concurrency als je deze overschrijdt. Een 429 met Retry-After: 5 markeert tijdelijke overbelasting. De juiste reactie is wachten of in een wachtrij zetten, niet direct failover, anders duw je al het verkeer naar je fallback voor een piek van vijf seconden.
Streaming verdient een noot: een gestreamd verzoek houdt zijn concurrency-slot vast tot de stream eindigt, dus langzame clients verlagen je doorvoer. Log de X-Request-Id header voor elke call, zodat een slecht antwoord naar een bestemming kan worden getraceerd.
Wat kosten betreft is de prijs $0,15 per 1M input tokens en $0,50 per 1M output tokens van prepaid credit, dus een router kan besteding per route berekenen uit het usage veld. Opwaarderingen lopen van $20 tot $500 per crypto, met bonussen vanaf $50; zie de prijzenpagina. Begin met de integratie quickstart, en haal een API-sleutel op om $0,50 aan gratis proeftegoed te claimen.
Meer handleidingen
Vragen en antwoorden
Wat is het verschil tussen een LLM-router en een API-gateway?
Een gateway stuurt verkeer door en reguleert het naar één of meer providers. Een router voegt de beslissing toe welk model elk verzoek moet afhandelen. Veel producten combineren beide.
Is deze API een router?
Nee. Het bedient één model, ID uncensored, vanaf één endpoint. Het routeert niet tussen leveranciers, en het is geen officiële API van een leverancier.
Kan ik het gebruiken binnen mijn eigen router?
Ja. Het volgt het OpenAI chat-formaat, dus je kunt het toevoegen als bestemming met de base URL, sleutel en model ID.
Maakt een router antwoorden beter?
Niet op zichzelf. Het kan kosten verlagen en beschikbaarheid verbeteren, maar kwaliteit hangt af van de modellen waar je naartoe routeert en de regels die je schrijft.
Je sleutel is nog maar één formulier verwijderd
Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.