IT ▾
Ottieni la chiave API

Cos'è un router LLM e ne hai bisogno?

Cos'è un router LLM? È uno strato che si colloca tra la tua applicazione e diversi modelli linguistici e decide, per richiesta, quale modello dovrebbe rispondere. Questo sito non lo è: offre un singolo modello dietro un singolo endpoint, e la sezione su dove si inserisce questa API spiega come i due si relazionano.

Aggiornato

Incrocio di binari isometrico dove una linea si divide verso diverse destinazioni, illustrando come un router LLM dirige le richieste

L'idea in termini semplici

Un'applicazione che chiama un modello linguistico ha un cablaggio semplice: una richiesta viene inviata a un provider e una risposta torna indietro. Un router aggiunge un passaggio decisionale nel mezzo. La richiesta raggiunge prima il router, che la ispeziona e sceglie una destinazione da un elenco di modelli, poi la inoltra e restituisce la risposta. Dal lato dell'applicazione, c'è ancora un endpoint e un formato di richiesta, solitamente il formato chat OpenAI, perché quel formato è il denominatore comune.

Il motivo per aggiungere quel passaggio è che i modelli differiscono. Alcuni sono economici e veloci ma più deboli nel ragionamento. Alcuni sono forti ma lenti e costosi. Alcuni seguono regole sui contenuti che bloccano certi argomenti, altri no. Una scelta fissa unica è un compromesso per ogni richiesta. Un router ti permette di fare la scelta per richiesta invece.

Fai attenzione con la parola. Le persone la usano per almeno tre cose diverse: un marketplace ospitato che espone molti modelli dietro una chiave, una libreria o gateway che esegui tu stesso, e un classificatore addestrato che prevede quale modello gestirà bene un dato prompt. Condividono la forma di "una porta davanti, molti modelli" ma differiscono in chi li gestisce e come decidono.

Cosa fa realmente un router

Selezione del modello

Il lavoro principale. Le regole possono essere semplici: prompt sotto una certa lunghezza vanno a un modello piccolo, prompt contenenti codice vanno a un modello di coding. Possono anche essere appresi, dove un piccolo classificatore valuta il prompt e una soglia decide quale modello lo riceve.

Fallback

Se la prima scelta restituisce un errore o va in timeout, il router prova il modello successivo nell'elenco. Questo ti protegge dal fatto che un provider abbia un'ora brutta, al costo di risposte leggermente diverse quando il modello di fallback risponde.

Bilanciamento del carico

Distribuisci il traffico tra diverse chiavi o deployment dello stesso modello in modo che nessun singolo rate limit diventi il tuo limite.

Un'interfaccia

Diversi vendor espongono formati di richiesta leggermente diversi. Un router li normalizza, così il tuo codice scrive una sola forma di richiesta. Questa è la funzione che i team notano davvero giorno per giorno.

Controllo costi e policy

Inviare lavoro di routine a un modello economico e tenere quello costoso per i casi difficili è il risparmio abituale. Il routing basato su policy è l'altro uso: prompt sensibili vanno a un provider approvato, e tutto il resto va altrove.

Confronto delle strategie di routing

StrategiaCome decidePunto di forzaPunto debole
Regole staticheParole chiave, lunghezza, tier utente, endpointPrevedibile e facile da debuggareManca i prompt che non rientrano nelle tue regole
ClassificatoreUn modello piccolo valuta la difficoltà o l'argomentoSi adatta a input variRichiede dati etichettati e la sua stessa monitoraggio
CascataProva un modello economico, scala se la risposta sembra deboleRisparmi grandi sul traffico facileI casi difficili pagano per due chiamate
Solo fallbackPassa al modello quando una chiamata fallisceSemplice, migliora la disponibilitàNon fa nulla per i costi

Inizia con regole statiche. Sono le più facili da ragionare, e il logging di quale regola è scattata ti dà i dati di cui hai bisogno per giudicare se vale la pena costruire qualcosa di più intelligente.

Ne hai bisogno?

Fatti quattro domande prima di aggiungere un router.

  1. Le tue richieste differiscono molto in difficoltà? Se ogni richiesta è simile, un modello ben scelto batte un router.
  2. Il costo del modello è abbastanza alto da valere la pena ottimizzarlo? Se spendi pochi dollari al mese, il tempo di ingegneria costa più dei risparmi.
  3. Hai bisogno di protezione dalle interruzioni del provider? Il fallback è la ragione più solida per un router anche su piccola scala.
  4. I tuoi prompt hanno vincoli di contenuto diversi? Alcune categorie, come la narrativa per adulti o il roleplay maturo, vengono rifiutate da molti servizi generalisti. Inviare solo questi prompt a un modello ottimizzato per l'uso adulto legale e lasciare gli altri altrove è un caso d'uso reale.

Se rispondi no a tutte e quattro, salta il router. Strati extra aggiungono latenza, un altro punto per i bug e un altro log da leggere.

Dove si inserisce questa API

Questo sito prende il nome dai router, quindi il punto merita chiarezza: il servizio non è un router. È un unico modello a pesi aperti, gestito da un provider indipendente e ottimizzato per rispondere senza blocchi sui contenuti per uso adulto legale. Non è l'API ufficiale di alcun fornitore di modelli e non inoltra le richieste ai modelli di altri fornitori. Chiami un unico base URL, https://api.llmrouterapi.com/v1, con un unico model ID, uncensored.

Questo lo rende un'ottima scelta come destinazione all'interno di un router che già gestisci, o come unico backend per un'app che non ha mai avuto bisogno di routing. Seguendo il formato chat di OpenAI, aggiungerlo a un router richiede poche righe. I metodi sono POST /v1/chat/completions e GET /v1/models, e streaming, function calling e JSON mode funzionano come nel formato OpenAI. È solo testo: nessuna immagine, audio, embedding o fine-tuning.

Se lo stai confrontando con un marketplace multi-modello, leggi la pagina alternativa OpenRouter. Un marketplace ti dà scelta tra molti modelli; questo ti dà un modello con uno scopo ristretto e un prezzo piatto.

Un router minimo in Python

Puoi realizzare un router utile in poche righe con l'SDK OpenAI, perché ogni destinazione utilizza lo stesso protocollo. Questo invia i prompt contrassegnati come necessari per la gestione di contenuti adulti non filtrati all'endpoint qui, e tutto il resto a un modello generico per il quale fornisci l'indirizzo e la chiave.

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

Tratta il flag di categoria come una decisione della tua applicazione, ad esempio in base alla funzionalità del prodotto in cui si trova l'utente, non come qualcosa di dedotto dal testo. Il routing esplicito è più facile da testare rispetto al routing inferito. La regola sui minorenni si applica a questo endpoint indipendentemente dal percorso: i contenuti sessuali che coinvolgono minorenni non sono mai consentiti.

Dettagli operativi durante il routing

I limiti di richieste sono per chiave e per provider, quindi un router deve conoscerli. Una chiave completa qui permette 8 richieste parallele e 300 al minuto, e una chiave di prova ne permette 2 e 60. L'API risponde con 429 e il codice rate_limited o concurrency quando li superi. Un 429 con Retry-After: 5 indica un sovraccarico temporaneo. La reazione giusta è aspettare o accodare, non passare subito al fallback, altrimenti sposterai tutto il traffico sul tuo fallback per un picco di cinque secondi.

Lo streaming merita una nota: una richiesta in streaming occupa il suo slot di concorrenza fino alla fine dello stream, quindi i client lenti riducono il tuo flusso. Registra l'intestazione X-Request-Id per ogni chiamata, così una risposta errata può essere tracciata fino a una destinazione.

Per i costi, il prezzo è $0,15 per 1M di input token e $0,50 per 1M di output token dal credito prepagato, quindi un router può calcolare la spesa per rotta dal campo usage. Le ricariche vanno da $20 a $500 con cripto, con bonus da $50; vedi la pagina dei prezzi. Inizia con la guida rapida all'integrazione, e ottieni una chiave API per richiedere $0,50 di credito di prova gratuito.

Domande e risposte

Qual è la differenza tra un router LLM e un gateway API?

Un gateway instrada e controlla il traffico verso uno o più provider. Un router aggiunge la decisione su quale modello dovrebbe gestire ogni richiesta. Molti prodotti combinano entrambe le funzionalità.

Questa API è un router?

No. Offre un singolo modello, ID uncensored, da un singolo endpoint. Non effettua routing tra fornitori e non è l'API ufficiale di alcun fornitore.

Posso usarlo all'interno del mio router?

Sì. Segue il formato chat OpenAI, quindi puoi aggiungerlo come destinazione con il suo URL di base, chiave e ID modello.

Un router migliora le risposte?

Non di per sé. Può ridurre i costi e migliorare la disponibilità, ma la qualità dipende dai modelli a cui effettui il routing e dalle regole che scrivi.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni chiave APILeggi i documenti