什麼是 LLM 路由器?你需要嗎?
什麼是 LLM 路由器?它是位於應用程式與多個語言模型之間的層級,並針對每個請求決定由哪個模型回答。本站並非路由器:它在單一端點後提供單一模型,關於兩者關係的說明見「適用情境」章節。
更新於

用白話解釋概念
呼叫語言模型的應用程式接線很簡單:請求發送到單一供應商,然後收到回答。路由器在中間加入決策步驟。請求先到達路由器,由它檢查請求並從模型列表中選擇目的地,然後轉送請求並返回回答。從應用程式的角度來看,仍然只有一個端點和一種請求格式,通常是 OpenAI 聊天格式,因為該格式是共通標準。
加入此步驟的原因是模型各有不同。有些便宜快速但推理能力較弱。有些強大但緩慢且昂貴。有些遵循內容規則會封鎖特定主題,有些則不會。單一固定選擇對每個請求都是妥協。路由器讓你針對每個請求做出選擇。
注意這個詞的用法。人們至少用它來指三種不同的東西:在單一金鑰後暴露多個模型的託管市場、你自己運行的程式庫或閘道器,以及預測哪個模型能良好處理特定提示詞的訓練分類器。它們都具有「一個前門,多個模型」的形狀,但營運者和決策方式不同。
路由器實際上的功能
模型選擇
核心工作。規則可以很簡單:特定長度以下的提示詞發送到小模型,包含程式碼的提示詞發送到程式碼模型。也可以是學習型的,由小型分類器對提示詞評分,並由閾值決定哪個模型獲得請求。
備援
如果第一個選擇返回錯誤或超時,路由器會嘗試列表中的下一個模型。這能保護你免受單一供應商短暫故障的影響,代價是備援模型回覆時答案會略有不同。
負載平衡
將流量分散到多個金鑰或同一模型的部署中,以免單一速率限制成為你的上限。
單一介面
不同供應商提供的請求格式略有不同。路由器會將它們標準化,因此你的程式碼只需撰寫一種請求格式。這是團隊在日常開發中最常察覺到的功能。
成本與政策控制
將常規工作轉發給便宜模型,並將昂貴模型保留給困難案例,是常見的節省方式。政策路由是另一個用途:敏感提示詞傳送至經批准的供應商,其餘則傳送至其他供應商。
路由策略比較
| 策略 | 決策方式 | 優勢 | 弱點 |
|---|---|---|---|
| 靜態規則 | 關鍵字、長度、使用者層級、端點 | 可預測且易於除錯 | 會錯過不符合規則的提示詞 |
| 分類器 | 小型模型評估難度或主題 | 適應多樣輸入 | 需要標註資料和自身的監控 |
| 串聯 | 先使用便宜模型,若答案看起來不佳則升級處理 | 對簡單流量產生大幅節省 | 困難案例需支付兩次呼叫費用 |
| 僅備援 | 當呼叫失敗時切換模型 | 簡單,提高可用性 | 對成本無助益 |
從靜態規則開始。它們最容易理解,且記錄觸發的規則可讓你取得所需資料,以判斷是否值得建構更聰明的方案。
你需要路由器嗎?
在加入路由器之前,問四個問題。
- 你的請求在難度上差異很大嗎? 如果每個請求都相似,一個精心選擇的模型勝過路由器。
- 模型帳單是否大到足以優化? 如果你每月只花幾美元,工程時間的成本會高於節省的金額。
- 你需要防止供應商中斷服務的保護嗎? 備援是即使在小規模下使用路由器的最合理理由。
- 你的提示詞有不同的內容限制嗎? 某些類別,如成人小說或成熟角色扮演,會被許多通用服務拒絕。僅將這些提示詞發送到針對合法成人用途調整的模型,其餘發送到別處,是真實的路由案例。
如果你對所有四個問題都回答否,請跳過路由器。額外的層級會增加延遲、另一個錯誤發生點和另一個需要閱讀的日誌。
此 API 的適用場景
本站以路由器命名,因此這點值得直接說明:該服務不是路由器。它是單一開放權重模型,由獨立供應商運行,並調整以在合法成人用途下無審查地回答。它不是任何模型供應商的官方 API,也不會將請求轉送到其他供應商的模型。你呼叫單一 Base URL,https://api.llmrouterapi.com/v1,使用單一模型 ID,uncensored。
這使其非常適合用作你已運行路由器中的一個目的地,或作為從不需要路由的應用程式的單一後端。由於它遵循 OpenAI 聊天格式,將其加入路由器只需幾行程式碼。這些方法為 POST /v1/chat/completions 和 GET /v1/models,且串流輸出、函式呼叫和 JSON 模式的作用方式與 OpenAI 格式相同。它僅支援文字:無圖片、音訊、嵌入或微調。
如果你正在將其與多模型市場進行比較,請閱讀 OpenRouter 替代方案 頁面。市場提供許多模型之間的選擇;這裡則提供具有特定用途且價格固定的單一模型。
Python 中的最小路由器
你可以使用 OpenAI SDK 在短短幾行程式碼中建立一個實用的路由器,因為每個目的地都使用相同的協定。此路由器會將標記為需要無審查成人內容處理的提示詞導向此端點,而其餘請求則導向一般模型,你需要提供該模型的 Base URL 與金鑰。
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
將類別標記視為你自己應用程式的決策,例如根據使用者目前所在的功能模組來決定,而不是從文字中推斷。明確的路由比推斷式路由更容易測試。未成年人規則在此端點上始終適用:涉及未成年人的性內容絕對不被允許。
路由時的運作細節
速率限制針對每支金鑰和每個供應商,因此路由器必須知道這些限制。此處的全功能金鑰允許 8 個並行請求和每分鐘 300 個請求,試用金鑰則允許 2 個和 60 個。當超過這些限制時,API 會以程式碼 rate_limited 或 concurrency 回應 429。帶有 Retry-After: 5 的 429 表示暫時過載。正確的反應是等待或排隊,而不是立即故障轉移,否則你會將所有流量推送到備援系統,只因為一次五秒鐘的短暫波動。
串流輸出值得注意:串流請求會佔用其並行槽位直到串流結束,因此慢速客戶端會降低你的吞吐量。為每次呼叫記錄 X-Request-Id 標頭,以便在出現問題時將不良答案追溯至特定目的地。
在成本方面,價格為預付額度每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50,因此路由器可以從 usage 欄位計算每條路由的支出。儲值金額從 $20 到 $500 不等,可透過加密貨幣進行,並有來自 $50 起的獎金;請參閱 定價頁面。從 整合快速入門 開始,並 取得 API 金鑰 以領取 $0.50 的免費試用額度。
更多指南
問答
LLM 路由器與 API 閘道器有何不同?
閘道器負責轉發並控制對一個或多個提供者的流量。路由器則增加了決定哪個模型應處理每個請求的邏輯。許多產品將兩者結合使用。
此 API 是一個路由器嗎?
不是。它僅提供單一模型(ID 為 uncensored),透過單一端點服務。它不會在不同供應商之間進行路由,也不是任何供應商的官方 API。
我可以在自己的路由器中使用它嗎?
可以。它遵循 OpenAI 的聊天格式,因此你可以將其作為目的地加入,並提供其 Base URL、金鑰與模型 ID。
路由器能讓回答品質更好嗎?
並非如此。它可以降低成本並提高可用性,但品質取決於你路由到的模型以及你設定的規則。