RU ▾
Получить API-ключ

Что такое LLM-маршрутизатор и нужен ли он вам?

Что такое LLM-маршрутизатор? Это слой, который находится между вашим приложением и несколькими языковыми моделями и принимает решение для каждого запроса о том, какая модель должна ответить. Этот сайт не является маршрутизатором: он предлагает одну модель за одним эндпоинтом, а раздел о применении объясняет, как эти два подхода соотносятся.

Обновлено

Изометрическая железнодорожная развязка, где одна линия разветвляется на несколько направлений, иллюстрирующая, как LLM-маршрутизатор направляет запросы

Идея простыми словами

Приложение, вызывающее языковую модель, имеет простую схему: запрос отправляется одному провайдеру, и ответ возвращается. Маршрутизатор добавляет шаг принятия решения в середину. Запрос сначала поступает в маршрутизатор, который анализирует его и выбирает пункт назначения из списка моделей, затем перенаправляет его и возвращает ответ. Со стороны приложения всё ещё остаётся один эндпоинт и один формат запроса, обычно формат чата OpenAI, поскольку этот формат является общим знаменателем.

Причина добавить этот шаг в том, что модели различаются. Некоторые дешевы и быстры, но слабее в рассуждениях. Некоторые сильны, но медленны и дороги. Некоторые следуют правилам контента, которые блокируют определённые темы, а некоторые — нет. Единый фиксированный выбор — это компромисс для каждого запроса. Маршрутизатор позволяет принимать это решение для каждого запроса.

Будьте осторожны с термином. Люди используют его как минимум для трёх разных вещей: хостинговой площадки, которая предоставляет доступ ко многим моделям через один ключ, библиотеки или шлюза, которые вы запускаете самостоятельно, и обученного классификатора, который предсказывает, какая модель лучше справится с данным промптом. Они имеют общую структуру «один вход, много моделей», но различаются по операторам и способу принятия решений.

Что на самом деле делает маршрутизатор

Выбор модели

Основная задача. Правила могут быть простыми: промпты короче определённой длины отправляются в маленькую модель, промпты с кодом — в модель для кодинга. Они также могут быть обучаемыми, где маленькая модель оценивает промпт, а порог решает, какая модель его получит.

Резервный вариант

Если первый вариант возвращает ошибку или истекает время ожидания, маршрутизатор обращается к следующей модели в списке. Это защищает вас от проблем одного провайдера, хотя при ответе резервной модели ответы могут немного отличаться.

Балансировка нагрузки

Распределение трафика между несколькими ключами или развертываниями одной модели, чтобы ни один лимит запросов не стал вашим пределом.

Единый интерфейс

Разные вендоры предлагают немного разные форматы запросов. Маршрутизатор нормализует их, так что ваш код пишет запрос одной формы. Это функция, которую команды замечают чаще всего в повседневной работе.

Контроль стоимости и политики

Отправка рутинных задач к дешёвой модели и сохранение дорогой для сложных случаев — это обычная экономия. Маршрутизация по политике — другое применение: чувствительные промпты отправляются к одобренному провайдеру, а всё остальное — в другое место.

Сравнение стратегий маршрутизации

СтратегияКак принимается решениеСильная сторонаСлабость
Статические правилаКлючевые слова, длина, уровень пользователя, эндпоинтПредсказуемо и легко отлаживаетсяПропускает промпты, не подходящие под ваши правила
КлассификаторМаленькая модель оценивает сложность или темуАдаптируется к разнообразным входным даннымТребует размеченных данных и собственного мониторинга
КаскадПопробуйте дешёвую модель, переключитесь на более мощную, если ответ кажется слабымЗначительная экономия на простом трафикеСложные случаи оплачивают два вызова
Только резервированиеПереключить модель при сбое вызоваПросто, повышает доступностьНичего не делает для снижения стоимости

Начните со статических правил. Их легче всего логически обосновать, а логирование сработавшего правила даёт данные, необходимые для оценки, стоит ли строить что-то более сложное.

Нужен ли он вам?

Задайте четыре вопроса перед добавлением маршрутизатора.

  1. Значительно ли различается сложность ваших запросов? Если каждый запрос похож, одна хорошо выбранная модель лучше маршрутизатора.
  2. Достаточно ли велик счёт за модель для оптимизации? Если вы тратите несколько долларов в месяц, время на разработку обойдётся дороже, чем экономия.
  3. Нужна ли вам защита от сбоев провайдеров? Резервирование — самая обоснованная причина для маршрутизатора даже в малых масштабах.
  4. Имеют ли ваши промпты разные ограничения по контенту? Некоторые категории, такие как взрослая художественная литература или зрелый ролевой отыгрыш, отклоняются многими универсальными сервисами. Отправка только таких промптов в модель, настроенную на законное взрослое использование, а остальных — в другое место, — это реальный сценарий маршрутизации.

Если вы ответили «нет» на все четыре вопроса, пропустите маршрутизатор. Дополнительные слои добавляют задержку, ещё одно место для багов и ещё один журнал для чтения.

Где подходит этот API

Этот сайт назван в честь маршрутизаторов, поэтому этот момент заслуживает прямоты: сервис не является маршрутизатором. Это одна модель с открытыми весами, запущенная независимым провайдером и настроенная на ответы без отказов по контенту для законного использования взрослыми. Это не официальный API какого-либо вендора моделей, и он не перенаправляет запросы в модели других вендоров. Вы вызываете один базовый URL, https://api.llmrouterapi.com/v1, с одним ID модели, uncensored.

Это делает его хорошим пунктом назначения внутри маршрутизатора, который вы уже запускаете, или единственным бэкендом приложения, которому никогда не требовалась маршрутизация. Поскольку он следует формату чата OpenAI, добавление его в маршрутизатор занимает несколько строк. Методы — POST /v1/chat/completions и GET /v1/models, потоковая передача, вызов функций и JSON-режим работают так же, как в формате OpenAI. Только текст: без изображений, аудио, эмбеддингов или дообучения.

Если вы сравниваете его с мультимодельным маркетплейсом, прочтите страницу альтернатива OpenRouter. Маркетплейс даёт вам выбор между множеством моделей; это даёт вам одну модель с узкой специализацией и фиксированной ценой.

Минимальный маршрутизатор на Python

Вы можете создать полезный маршрутизатор за несколько строк с помощью OpenAI SDK, потому что все конечные точки используют один и тот же протокол. Этот маршрутизатор отправляет промпты, помеченные как требующие обработки неограниченного контента для взрослых, на указанный эндпоинт, а всё остальное — на общую модель, адрес и ключ которой вы указываете.

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

Рассматривайте флаг категории как решение вашего приложения, например, на основе того, какой функцией продукта пользуется пользователь, а не как результат, угаданный по тексту. Явную маршрутизацию проще тестировать, чем маршрутизацию на основе вывода. Правило для несовершеннолетних применяется на этом эндпоинте независимо от маршрута: контент сексуального характера с участием несовершеннолетних никогда не допускается.

Операционные детали при маршрутизации

Лимиты запросов действуют для каждого ключа и каждого провайдера, поэтому маршрутизатор должен их знать. Полный ключ позволяет выполнять 8 параллельных запросов и 300 запросов в минуту, а пробный ключ — 2 и 60 соответственно. API возвращает ошибку 429 с кодом rate_limited или concurrency, если вы превысите эти лимиты. 429 с заголовком Retry-After: 5 означает временную перегрузку. Правильная реакция — подождать или поставить запрос в очередь, а не сразу переключаться на резервный вариант, иначе вы направите весь трафик на резервную систему из-за кратковременной нагрузки в пять секунд.

Потоковая передача заслуживает отдельного внимания: потоковый запрос удерживает слот параллельных запросов до завершения потока, поэтому медленные клиенты снижают вашу пропускную способность. Логируйте заголовок X-Request-Id для каждого вызова, чтобы плохой ответ можно было отследить до конечной точки.

По стоимости цена составляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов из предоплаченного баланса, поэтому маршрутизатор может вычислить расходы на маршрут по полю usage. Пополнение от $20 до $500 криптовалютой, бонусы от $50; см. страницу тарифов. Начните с быстрого старта интеграции и получите API-ключ, чтобы получить $0,50 пробного кредита.

Вопросы и ответы

В чём разница между маршрутизатором LLM и API-шлюзом?

Шлюз перенаправляет и контролирует трафик к одному или нескольким провайдерам. Маршрутизатор добавляет решение о том, какая модель должна обрабатывать каждый запрос. Многие продукты объединяют оба подхода.

Является ли этот API маршрутизатором?

Нет. Он обслуживает одну модель с идентификатором uncensored через один эндпоинт. Он не маршрутизирует запросы между поставщиками и не является официальным API какого-либо вендора.

Могу ли я использовать его внутри собственного маршрутизатора?

Да. Он следует формату чата OpenAI, поэтому вы можете добавить его как конечную точку, указав базовый URL, ключ и идентификатор модели.

Делает ли маршрутизатор ответы лучше?

Не само по себе. Он может снизить стоимость и повысить доступность, но качество зависит от моделей, к которым вы направляете запросы, и правил, которые вы пишете.

Ваш ключ — всего в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключЧитать документацию