繁中 ▾
取得 API 金鑰

什麼是 LLM 路由器?你需要嗎?

什麼是 LLM 路由器?它是位於應用程式與多個語言模型之間的層級,並針對每個請求決定由哪個模型回答。本站並非路由器:它在單一端點後提供單一模型,關於兩者關係的說明見「適用情境」章節。

更新於

等距軌道交匯處,一條線路分為多個目的地,說明 LLM 路由器如何導向請求

用白話解釋概念

呼叫語言模型的應用程式接線很簡單:請求發送到單一供應商,然後收到回答。路由器在中間加入決策步驟。請求先到達路由器,由它檢查請求並從模型列表中選擇目的地,然後轉送請求並返回回答。從應用程式的角度來看,仍然只有一個端點和一種請求格式,通常是 OpenAI 聊天格式,因為該格式是共通標準。

加入此步驟的原因是模型各有不同。有些便宜快速但推理能力較弱。有些強大但緩慢且昂貴。有些遵循內容規則會封鎖特定主題,有些則不會。單一固定選擇對每個請求都是妥協。路由器讓你針對每個請求做出選擇。

注意這個詞的用法。人們至少用它來指三種不同的東西:在單一金鑰後暴露多個模型的託管市場、你自己運行的程式庫或閘道器,以及預測哪個模型能良好處理特定提示詞的訓練分類器。它們都具有「一個前門,多個模型」的形狀,但營運者和決策方式不同。

路由器實際上的功能

模型選擇

核心工作。規則可以很簡單:特定長度以下的提示詞發送到小模型,包含程式碼的提示詞發送到程式碼模型。也可以是學習型的,由小型分類器對提示詞評分,並由閾值決定哪個模型獲得請求。

備援

如果第一個選擇返回錯誤或超時,路由器會嘗試列表中的下一個模型。這能保護你免受單一供應商短暫故障的影響,代價是備援模型回覆時答案會略有不同。

負載平衡

將流量分散到多個金鑰或同一模型的部署中,以免單一速率限制成為你的上限。

單一介面

不同供應商提供的請求格式略有不同。路由器會將它們標準化,因此你的程式碼只需撰寫一種請求格式。這是團隊在日常開發中最常察覺到的功能。

成本與政策控制

將常規工作轉發給便宜模型,並將昂貴模型保留給困難案例,是常見的節省方式。政策路由是另一個用途:敏感提示詞傳送至經批准的供應商,其餘則傳送至其他供應商。

路由策略比較

策略決策方式優勢弱點
靜態規則關鍵字、長度、使用者層級、端點可預測且易於除錯會錯過不符合規則的提示詞
分類器小型模型評估難度或主題適應多樣輸入需要標註資料和自身的監控
串聯先使用便宜模型,若答案看起來不佳則升級處理對簡單流量產生大幅節省困難案例需支付兩次呼叫費用
僅備援當呼叫失敗時切換模型簡單,提高可用性對成本無助益

從靜態規則開始。它們最容易理解,且記錄觸發的規則可讓你取得所需資料,以判斷是否值得建構更聰明的方案。

你需要路由器嗎?

在加入路由器之前,問四個問題。

  1. 你的請求在難度上差異很大嗎? 如果每個請求都相似,一個精心選擇的模型勝過路由器。
  2. 模型帳單是否大到足以優化? 如果你每月只花幾美元,工程時間的成本會高於節省的金額。
  3. 你需要防止供應商中斷服務的保護嗎? 備援是即使在小規模下使用路由器的最合理理由。
  4. 你的提示詞有不同的內容限制嗎? 某些類別,如成人小說或成熟角色扮演,會被許多通用服務拒絕。僅將這些提示詞發送到針對合法成人用途調整的模型,其餘發送到別處,是真實的路由案例。

如果你對所有四個問題都回答否,請跳過路由器。額外的層級會增加延遲、另一個錯誤發生點和另一個需要閱讀的日誌。

此 API 的適用場景

本站以路由器命名,因此這點值得直接說明:該服務不是路由器。它是單一開放權重模型,由獨立供應商運行,並調整以在合法成人用途下無審查地回答。它不是任何模型供應商的官方 API,也不會將請求轉送到其他供應商的模型。你呼叫單一 Base URL,https://api.llmrouterapi.com/v1,使用單一模型 ID,uncensored。

這使其非常適合用作你已運行路由器中的一個目的地,或作為從不需要路由的應用程式的單一後端。由於它遵循 OpenAI 聊天格式,將其加入路由器只需幾行程式碼。這些方法為 POST /v1/chat/completions 和 GET /v1/models,且串流輸出、函式呼叫和 JSON 模式的作用方式與 OpenAI 格式相同。它僅支援文字:無圖片、音訊、嵌入或微調。

如果你正在將其與多模型市場進行比較,請閱讀 OpenRouter 替代方案 頁面。市場提供許多模型之間的選擇;這裡則提供具有特定用途且價格固定的單一模型。

Python 中的最小路由器

你可以使用 OpenAI SDK 在短短幾行程式碼中建立一個實用的路由器,因為每個目的地都使用相同的協定。此路由器會將標記為需要無審查成人內容處理的提示詞導向此端點,而其餘請求則導向一般模型,你需要提供該模型的 Base URL 與金鑰。

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

將類別標記視為你自己應用程式的決策,例如根據使用者目前所在的功能模組來決定,而不是從文字中推斷。明確的路由比推斷式路由更容易測試。未成年人規則在此端點上始終適用:涉及未成年人的性內容絕對不被允許。

路由時的運作細節

速率限制針對每支金鑰和每個供應商,因此路由器必須知道這些限制。此處的全功能金鑰允許 8 個並行請求和每分鐘 300 個請求,試用金鑰則允許 2 個和 60 個。當超過這些限制時,API 會以程式碼 rate_limited 或 concurrency 回應 429。帶有 Retry-After: 5 的 429 表示暫時過載。正確的反應是等待或排隊,而不是立即故障轉移,否則你會將所有流量推送到備援系統,只因為一次五秒鐘的短暫波動。

串流輸出值得注意:串流請求會佔用其並行槽位直到串流結束,因此慢速客戶端會降低你的吞吐量。為每次呼叫記錄 X-Request-Id 標頭,以便在出現問題時將不良答案追溯至特定目的地。

在成本方面,價格為預付額度每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50,因此路由器可以從 usage 欄位計算每條路由的支出。儲值金額從 $20 到 $500 不等,可透過加密貨幣進行,並有來自 $50 起的獎金;請參閱 定價頁面。從 整合快速入門 開始,並 取得 API 金鑰 以領取 $0.50 的免費試用額度。

問答

LLM 路由器與 API 閘道器有何不同?

閘道器負責轉發並控制對一個或多個提供者的流量。路由器則增加了決定哪個模型應處理每個請求的邏輯。許多產品將兩者結合使用。

此 API 是一個路由器嗎?

不是。它僅提供單一模型(ID 為 uncensored),透過單一端點服務。它不會在不同供應商之間進行路由,也不是任何供應商的官方 API。

我可以在自己的路由器中使用它嗎?

可以。它遵循 OpenAI 的聊天格式,因此你可以將其作為目的地加入,並提供其 Base URL、金鑰與模型 ID。

路由器能讓回答品質更好嗎?

並非如此。它可以降低成本並提高可用性,但品質取決於你路由到的模型以及你設定的規則。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰閱讀文件