Что такое LLM-маршрутизатор и нужен ли он вам?
Что такое LLM-маршрутизатор? Это слой, который находится между вашим приложением и несколькими языковыми моделями и принимает решение для каждого запроса о том, какая модель должна ответить. Этот сайт не является маршрутизатором: он предлагает одну модель за одним эндпоинтом, а раздел о применении объясняет, как эти два подхода соотносятся.
Обновлено

Идея простыми словами
Приложение, вызывающее языковую модель, имеет простую схему: запрос отправляется одному провайдеру, и ответ возвращается. Маршрутизатор добавляет шаг принятия решения в середину. Запрос сначала поступает в маршрутизатор, который анализирует его и выбирает пункт назначения из списка моделей, затем перенаправляет его и возвращает ответ. Со стороны приложения всё ещё остаётся один эндпоинт и один формат запроса, обычно формат чата OpenAI, поскольку этот формат является общим знаменателем.
Причина добавить этот шаг в том, что модели различаются. Некоторые дешевы и быстры, но слабее в рассуждениях. Некоторые сильны, но медленны и дороги. Некоторые следуют правилам контента, которые блокируют определённые темы, а некоторые — нет. Единый фиксированный выбор — это компромисс для каждого запроса. Маршрутизатор позволяет принимать это решение для каждого запроса.
Будьте осторожны с термином. Люди используют его как минимум для трёх разных вещей: хостинговой площадки, которая предоставляет доступ ко многим моделям через один ключ, библиотеки или шлюза, которые вы запускаете самостоятельно, и обученного классификатора, который предсказывает, какая модель лучше справится с данным промптом. Они имеют общую структуру «один вход, много моделей», но различаются по операторам и способу принятия решений.
Что на самом деле делает маршрутизатор
Выбор модели
Основная задача. Правила могут быть простыми: промпты короче определённой длины отправляются в маленькую модель, промпты с кодом — в модель для кодинга. Они также могут быть обучаемыми, где маленькая модель оценивает промпт, а порог решает, какая модель его получит.
Резервный вариант
Если первый вариант возвращает ошибку или истекает время ожидания, маршрутизатор обращается к следующей модели в списке. Это защищает вас от проблем одного провайдера, хотя при ответе резервной модели ответы могут немного отличаться.
Балансировка нагрузки
Распределение трафика между несколькими ключами или развертываниями одной модели, чтобы ни один лимит запросов не стал вашим пределом.
Единый интерфейс
Разные вендоры предлагают немного разные форматы запросов. Маршрутизатор нормализует их, так что ваш код пишет запрос одной формы. Это функция, которую команды замечают чаще всего в повседневной работе.
Контроль стоимости и политики
Отправка рутинных задач к дешёвой модели и сохранение дорогой для сложных случаев — это обычная экономия. Маршрутизация по политике — другое применение: чувствительные промпты отправляются к одобренному провайдеру, а всё остальное — в другое место.
Сравнение стратегий маршрутизации
| Стратегия | Как принимается решение | Сильная сторона | Слабость |
|---|---|---|---|
| Статические правила | Ключевые слова, длина, уровень пользователя, эндпоинт | Предсказуемо и легко отлаживается | Пропускает промпты, не подходящие под ваши правила |
| Классификатор | Маленькая модель оценивает сложность или тему | Адаптируется к разнообразным входным данным | Требует размеченных данных и собственного мониторинга |
| Каскад | Попробуйте дешёвую модель, переключитесь на более мощную, если ответ кажется слабым | Значительная экономия на простом трафике | Сложные случаи оплачивают два вызова |
| Только резервирование | Переключить модель при сбое вызова | Просто, повышает доступность | Ничего не делает для снижения стоимости |
Начните со статических правил. Их легче всего логически обосновать, а логирование сработавшего правила даёт данные, необходимые для оценки, стоит ли строить что-то более сложное.
Нужен ли он вам?
Задайте четыре вопроса перед добавлением маршрутизатора.
- Значительно ли различается сложность ваших запросов? Если каждый запрос похож, одна хорошо выбранная модель лучше маршрутизатора.
- Достаточно ли велик счёт за модель для оптимизации? Если вы тратите несколько долларов в месяц, время на разработку обойдётся дороже, чем экономия.
- Нужна ли вам защита от сбоев провайдеров? Резервирование — самая обоснованная причина для маршрутизатора даже в малых масштабах.
- Имеют ли ваши промпты разные ограничения по контенту? Некоторые категории, такие как взрослая художественная литература или зрелый ролевой отыгрыш, отклоняются многими универсальными сервисами. Отправка только таких промптов в модель, настроенную на законное взрослое использование, а остальных — в другое место, — это реальный сценарий маршрутизации.
Если вы ответили «нет» на все четыре вопроса, пропустите маршрутизатор. Дополнительные слои добавляют задержку, ещё одно место для багов и ещё один журнал для чтения.
Где подходит этот API
Этот сайт назван в честь маршрутизаторов, поэтому этот момент заслуживает прямоты: сервис не является маршрутизатором. Это одна модель с открытыми весами, запущенная независимым провайдером и настроенная на ответы без отказов по контенту для законного использования взрослыми. Это не официальный API какого-либо вендора моделей, и он не перенаправляет запросы в модели других вендоров. Вы вызываете один базовый URL, https://api.llmrouterapi.com/v1, с одним ID модели, uncensored.
Это делает его хорошим пунктом назначения внутри маршрутизатора, который вы уже запускаете, или единственным бэкендом приложения, которому никогда не требовалась маршрутизация. Поскольку он следует формату чата OpenAI, добавление его в маршрутизатор занимает несколько строк. Методы — POST /v1/chat/completions и GET /v1/models, потоковая передача, вызов функций и JSON-режим работают так же, как в формате OpenAI. Только текст: без изображений, аудио, эмбеддингов или дообучения.
Если вы сравниваете его с мультимодельным маркетплейсом, прочтите страницу альтернатива OpenRouter. Маркетплейс даёт вам выбор между множеством моделей; это даёт вам одну модель с узкой специализацией и фиксированной ценой.
Минимальный маршрутизатор на Python
Вы можете создать полезный маршрутизатор за несколько строк с помощью OpenAI SDK, потому что все конечные точки используют один и тот же протокол. Этот маршрутизатор отправляет промпты, помеченные как требующие обработки неограниченного контента для взрослых, на указанный эндпоинт, а всё остальное — на общую модель, адрес и ключ которой вы указываете.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Рассматривайте флаг категории как решение вашего приложения, например, на основе того, какой функцией продукта пользуется пользователь, а не как результат, угаданный по тексту. Явную маршрутизацию проще тестировать, чем маршрутизацию на основе вывода. Правило для несовершеннолетних применяется на этом эндпоинте независимо от маршрута: контент сексуального характера с участием несовершеннолетних никогда не допускается.
Операционные детали при маршрутизации
Лимиты запросов действуют для каждого ключа и каждого провайдера, поэтому маршрутизатор должен их знать. Полный ключ позволяет выполнять 8 параллельных запросов и 300 запросов в минуту, а пробный ключ — 2 и 60 соответственно. API возвращает ошибку 429 с кодом rate_limited или concurrency, если вы превысите эти лимиты. 429 с заголовком Retry-After: 5 означает временную перегрузку. Правильная реакция — подождать или поставить запрос в очередь, а не сразу переключаться на резервный вариант, иначе вы направите весь трафик на резервную систему из-за кратковременной нагрузки в пять секунд.
Потоковая передача заслуживает отдельного внимания: потоковый запрос удерживает слот параллельных запросов до завершения потока, поэтому медленные клиенты снижают вашу пропускную способность. Логируйте заголовок X-Request-Id для каждого вызова, чтобы плохой ответ можно было отследить до конечной точки.
По стоимости цена составляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов из предоплаченного баланса, поэтому маршрутизатор может вычислить расходы на маршрут по полю usage. Пополнение от $20 до $500 криптовалютой, бонусы от $50; см. страницу тарифов. Начните с быстрого старта интеграции и получите API-ключ, чтобы получить $0,50 пробного кредита.
Дополнительные руководства
Вопросы и ответы
В чём разница между маршрутизатором LLM и API-шлюзом?
Шлюз перенаправляет и контролирует трафик к одному или нескольким провайдерам. Маршрутизатор добавляет решение о том, какая модель должна обрабатывать каждый запрос. Многие продукты объединяют оба подхода.
Является ли этот API маршрутизатором?
Нет. Он обслуживает одну модель с идентификатором uncensored через один эндпоинт. Он не маршрутизирует запросы между поставщиками и не является официальным API какого-либо вендора.
Могу ли я использовать его внутри собственного маршрутизатора?
Да. Он следует формату чата OpenAI, поэтому вы можете добавить его как конечную точку, указав базовый URL, ключ и идентификатор модели.
Делает ли маршрутизатор ответы лучше?
Не само по себе. Он может снизить стоимость и повысить доступность, но качество зависит от моделей, к которым вы направляете запросы, и правил, которые вы пишете.
Ваш ключ — всего в одной форме от вас
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.