中文 ▾
获取 API 密钥

什么是 LLM 路由?你需要它吗?

什么是 LLM 路由?它是位于你的应用和多个语言模型之间的一层,针对每个请求决定由哪个模型回答。本网站并非路由:它通过单一接口提供单一模型,关于适用性的章节解释了二者的关系。

更新于

等距轨道分叉,一条线分裂到多个目的地,说明 LLM 路由如何分发请求

通俗理解

调用语言模型的应用程序连接很简单:请求发往一个提供商,答案返回。路由在中间增加了一个决策步骤。请求首先到达路由,路由检查请求并从模型列表中选择一个目的地,然后转发请求并返回答案。从应用程序的角度看,仍然只有一个接口和一个请求格式,通常是 OpenAI 聊天格式,因为该格式是通用标准。

添加该步骤的原因是模型存在差异。有些模型便宜且快,但推理能力较弱。有些模型能力强但速度慢且昂贵。有些模型遵循内容规则,会屏蔽某些主题,而有些则不会。单一固定的选择是对每个请求的妥协。路由让你能够针对每个请求做出选择。

注意这个词的歧义。人们至少用三个不同的含义来指代它:一个在单一密钥后暴露多个模型的托管市场、你自行运行的库或网关,以及一个预测哪个模型能很好地处理给定提示词的经过训练的分类器。它们都具备"一个入口,多个模型"的形态,但运营者和决策方式不同。

路由实际做什么

模型选择

核心功能。规则可以很简单:长度低于一定阈值的提示词发送给小模型,包含代码的提示词发送给代码模型。也可以是学习型的,即一个小分类器对提示词进行评分,通过阈值决定将请求分配给哪个模型。

回退

如果首选模型返回错误或超时,路由会尝试列表中的下一个模型。这可以防止因某个提供商出现短暂故障而影响你,代价是当回退模型回复时,答案可能略有不同。

负载均衡

将流量分散到同一模型的多个密钥或部署中,以免单个速率限制成为瓶颈。

单一接口

不同供应商提供的请求格式略有不同。路由会对其进行标准化,使你的代码只需编写一种请求格式。这是团队在日常工作中最注意到的功能。

成本和策略控制

将常规工作发送给便宜模型,将复杂任务留给昂贵模型,这是常见的节省方式。策略路由是另一种用法:敏感提示词发送给经过批准的提供商,其余请求发送给其他提供商。

路由策略对比

策略决策方式优势弱点
静态规则关键词、长度、用户层级、接口可预测且易于调试无法处理不符合规则的提示词
分类器小模型对难度或主题进行打分适应多样化输入需要标注数据和自身的监控
级联先尝试便宜模型,如果回答看起来较弱则升级简单流量可大幅节省成本复杂任务需支付两次调用费用
仅回退调用失败时切换模型简单,提高可用性对成本没有影响

从静态规则开始。它们最容易理解,记录触发的规则可让你获得所需数据,以判断是否值得构建更智能的方案。

你需要路由吗?

在添加路由之前问四个问题。

  1. 你的请求在难度上差异很大吗? 如果每个请求都相似,选择一个合适的模型优于使用路由。
  2. 模型账单大到值得优化吗? 如果你每月只花费几美元,工程时间成本将高于节省的费用。
  3. 你需要防止供应商宕机吗? 故障转移是路由在较小规模下最合理的理由。
  4. 你的提示词有不同的内容限制吗? 某些类别(如成人小说或成熟角色扮演)会被许多通用服务拒绝。仅将这些提示词发送给针对合法成人用途优化的模型,其余请求发往其他地方,是一个真实的路由场景。

如果四个问题的答案都是"否",请跳过路由。额外的层会增加延迟、另一个出错点以及另一份需要阅读的日志。

此 API 的适用场景

本网站以路由命名,因此值得直截了当地说明:该服务不是路由。它是一个开放权重模型,由独立提供商运行,针对合法成人用途优化以无内容拒绝地回答。它不是任何模型供应商的官方 API,也不将请求转发到其他供应商的模型。你调用一个基础 URL https://api.llmrouterapi.com/v1,使用一个模型 ID uncensored。

这使其非常适合作为你已运行的路由中的一个目的地,或作为无需路由的应用的单一后端。因为它遵循 OpenAI 聊天格式,将其添加到路由只需几行代码。方法是 POST /v1/chat/completions 和 GET /v1/models,流式输出、函数调用和 JSON 模式均与 OpenAI 格式一致。它仅支持文本:无图像、音频、嵌入或微调。

如果你将其与多模型市场进行比较,请阅读 OpenRouter 替代方案 页面。市场提供多个模型的选择;这里提供一个具有特定用途和固定价格的模型。

Python 中的最小路由

使用 OpenAI SDK,只需几行代码即可构建实用的路由,因为所有目标接口均遵循相同协议。此配置将标记为需要无审查成人内容处理的提示词发送至此处接口,其余请求则发送至你提供地址和密钥的通用模型。

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

将类别标记视为你自己应用程序的决策,例如基于用户当前所在的产品功能,而不是从文本中猜测。显式路由比推断路由更容易测试。未成年人规则在此接口上始终适用:涉及未成年人的性内容始终不允许。

路由时的运营细节

速率限制按密钥和提供商分别计算,因此路由器必须了解这些限制。完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 个并发请求和每分钟 60 个请求。超出限制时,API 会返回带有代码 rate_limited 或 concurrency 的 429 错误。带有 Retry-After: 5 的 429 错误表示临时过载。正确的应对方式是等待或排队,而不是立即故障转移,否则你会将流量全部推送到备用接口,导致五秒钟的短暂拥堵。

流式输出值得注意:流式请求会占用其并发槽位直到流结束,因此慢速客户端会降低你的吞吐量。为每次调用记录 X-Request-Id 头,以便将糟糕的回答追溯到目标接口。

成本方面,预付额度下输入 token 的价格为每 100 万 token $0.15,输出 token 为每 100 万 token $0.50,因此路由器可以根据 usage 字段计算每条路由的消耗。充值金额范围为 $20 至 $500,支持加密货币支付,充值 $50 及以上可获得奖励;详见 定价页面。请先阅读 集成快速入门,并 获取 API 密钥 以领取 $0.50 的免费试用额度。

问答

LLM 路由器与 API 网关有什么区别?

网关转发并控制到一个或多个提供商的流量。路由器增加了决定哪个模型处理每个请求的决策。许多产品将两者结合使用。

此 API 是路由器吗?

不是。它从一个接口提供服务,模型 ID 为 uncensored。它不在供应商之间进行路由,也不是任何供应商的官方 API。

我可以在自己的路由器中使用它吗?

可以。它遵循 OpenAI 聊天格式,因此你可以将其作为目标添加,并提供其 Base URL、密钥和模型 ID。

路由能让回答更好吗?

单独使用并不能。它可以降低成本并提高可用性,但质量取决于你路由到的模型和你编写的规则。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥阅读文档