PL ▾
Pobierz klucz API

Czym jest router LLM i czy jest Ci potrzebny?

Czym jest router LLM? To warstwa stojąca między Twoją aplikacją a wieloma modelami językowymi, która podejmuje decyzję, który model powinien odpowiedzieć na każde zapytanie. Ta strona nie jest routerem: oferuje jeden model za jednym endpointem, a sekcja dotycząca dopasowania wyjaśnia, jak te dwa rozwiązania się mają.

Zaktualizowano

Izometryczne rozgałęzienie toru, gdzie jedna linia dzieli się na kilka kierunków, ilustrujące, jak router LLM kieruje zapytaniami

Pomysł w prostych słowach

Aplikacja wywołująca model językowy ma prostą konfigurację: zapytanie idzie do jednego dostawcy, a odpowiedź wraca. Router dodaje krok podejmowania decyzji w środku. Zapytanie najpierw dociera do routera, który je analizuje i wybiera punkt docelowy z listy modeli, a następnie je przekazuje i zwraca odpowiedź. Ze strony aplikacji nadal istnieje jeden endpoint i jeden format zapytania, zwykle format czatu OpenAI, ponieważ jest to wspólny mianownik.

Powodem do dodania tego kroku jest to, że modele się różnią. Niektóre są tanie i szybkie, ale słabsze w rozumowaniu. Niektóre są mocne, ale wolne i kosztowne. Niektóre przestrzegają reguł dotyczących treści, które blokują pewne tematy, a inne nie. Jedna stała opcja to kompromis dla każdego zapytania. Router pozwala podejmować tę decyzję dla każdego zapytania osobno.

Bądź ostrożny z tym słowem. Ludzie używają go na co najmniej trzy różne rzeczy: hostowanego marketplace'u udostępniającego wiele modeli za jednym kluczem, biblioteki lub bramy uruchamianej samodzielnie oraz wytrenowanego klasyfikatora, który przewiduje, który model dobrze obsłuży dane prompt. Łączy je wspólny kształt "jedno wejście, wiele modeli", ale różnią się tym, kto nimi zarządza i jak podejmują decyzje.

Co router naprawdę robi

Wybór modelu

Główne zadanie. Reguły mogą być proste: prompty poniżej określonej długości idą do małego modelu, prompty zawierające kod idą do modelu kodującego. Mogą też być uczone, gdzie mały klasyfikator ocenia prompt, a próg decyduje, który model go otrzyma.

Fallback

Jeśli pierwszy wybór zwróci błąd lub przekroczy limit czasu, router spróbuje następnego modelu na liście. Chroni to przed godziną awarii u jednego dostawcy kosztem nieco innych odpowiedzi, gdy odpowiada model zapasowy.

Równoważenie obciążenia

Rozłóż ruch na wiele kluczy lub wdrożeń tego samego modelu, aby żaden pojedynczy limit zapytań nie stał się Twoim limitem.

Jedny interfejs

Różni dostawcy udostępniają nieco różne formaty zapytań. Router je normalizuje, więc Twój kod pisze jeden kształt zapytania. To funkcja, którą zespoły zauważają na co dzień.

Kontrola kosztów i polityki

Wysyłanie rutynowych zadań do taniego modelu i trzymanie drogiego dla trudnych przypadków to typowa oszczędność. Routing oparty na politykach to inne zastosowanie: wrażliwe prompty idą do zatwierdzonego dostawcy, a wszystko inne idzie gdzie indziej.

Porównanie strategii routingu

StrategiaJak podejmuje decyzjęMocna stronaSłabość
Reguły statyczneSłowa kluczowe, długość, poziom użytkownika, endpointPrzewidywalne i łatwe do debugowaniaPomija prompty, które nie pasują do Twoich reguł
KlasyfikatorMały model ocenia trudność lub tematDostosowuje się do zróżnicowanych danych wejściowychWymaga oznaczonych danych i własnego monitorowania
KaskadaWypróbuj tani model, eskaluj, jeśli odpowiedź wydaje się słabaDuże oszczędności przy łatwym ruchuTrudne przypadki płacą za dwa wywołania
Tylko fallbackPrzełącz model, gdy wywołanie się nie powiedzieProste, poprawia dostępnośćNic nie robi dla kosztów

Zacznij od reguł statycznych. Są najłatwiejsze do analizy, a logowanie tego, która reguła zadziałała, daje Ci dane potrzebne do oceny, czy warto zbudować coś mądrzejszego.

Czy potrzebujesz routera?

Zadaj cztery pytania przed dodaniem routera.

  1. Czy Twoje zapytania znacznie różnią się trudnością? Jeśli każde zapytanie jest podobne, jeden dobrze dobrany model wygrywa z routerem.
  2. Czy rachunek za model jest wystarczająco duży, aby go optymalizować? Jeśli wydajesz kilka dolarów miesięcznie, czas inżynieryjny kosztuje więcej niż oszczędności.
  3. Potrzebujesz ochrony przed awariami dostawcy? Fallback to najbardziej uzasadniony powód, dla którego warto wdrożyć router nawet w małej skali.
  4. Czy twoje prompty mają różne ograniczenia treści? Niektóre kategorie, takie jak literatura dla dorosłych lub dojrzała gra fabularna, są odrzucane przez wiele ogólnych usług. Wysyłanie tylko tych promptów do modelu dostrojonego do legalnego użytku przez dorosłych, a reszty w innym miejscu, to prawdziwy przypadek routingu.

Jeśli odpowiesz nie na wszystkie cztery, pomiń router. Dodatkowe warstwy dodają opóźnienie, kolejne miejsce na błędy i kolejny dziennik do czytania.

Gdzie pasuje to API

Ta strona została nazwana od routerów, więc punkt zasługuje na bezpośredniość: usługa nie jest routerem. To jeden model o otwartych wagach, uruchomiony przez niezależnego dostawcę i dostrojony do odpowiadania bez odrzucania treści dla legalnego użytku przez dorosłych. Nie jest to oficjalne API żadnego dostawcy modeli i nie przekierowuje zapytań do modeli innych dostawców. Wywołujesz jeden Base URL, https://api.llmrouterapi.com/v1, z jednym ID modelu, uncensored.

Dzięki temu idealnie wpisuje się jako jeden z kierunków w routerze, który już uruchomiłeś, albo jako jedyny backend aplikacji, która nie potrzebowała routingu. Ponieważ obsługuje format czatu OpenAI, dodanie go do routera wymaga kilku linijek. Dostępne są metody POST /v1/chat/completions i GET /v1/models, a strumieniowanie, wywoływanie funkcji i tryb JSON działają zgodnie z formatem OpenAI. Obsługuje tylko tekst: bez obrazów, audio, embeddingów ani dostrajania.

Jeśli porównujesz go z wielomodelowym marketplace'em, przeczytaj stronę Alternatywa dla OpenRouter. Marketplace daje Ci wybór między wieloma modelami; to daje Ci jeden model o wąskim przeznaczeniu i płaską cenę.

Minimalny router w Pythonie

Możesz zbudować przydatny router w kilku linijkach przy użyciu SDK OpenAI, ponieważ każdy kierunek obsługuje ten sam protokół. Ten router przesyła prompty oznaczone jako wymagające obsługi treści dla dorosłych bez ograniczeń do endpointu tutaj, a wszystko inne do ogólnego modelu, którego adres i klucz podajesz.

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

Traktuj flagę kategorii jako decyzję własnej aplikacji, na przykład na podstawie funkcji produktu, z której korzysta użytkownik, a nie jako coś wywnioskowanego z tekstu. Jawne kierowanie jest łatwiejsze do przetestowania niż kierowanie wnioskowane. Zasada dotycząca nieletnich obowiązuje na tym endpointzie niezależnie od trasy: treści seksualne z udziałem nieletnich są zawsze zabronione.

Szczegóły operacyjne przy kierowaniu

Limity zapytań są przypisane do klucza i dostawcy, więc router musi je znać. Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę, a klucz próbny na 2 i 60. API zwraca błąd 429 z kodem rate_limited lub concurrency, gdy przekroczysz te limity. Błąd 429 z nagłówkiem Retry-After: 5 oznacza tymczasowe przeciążenie. Odpowiednią reakcją jest odczekanie lub zakolejkowanie, a nie natychmiastowe przełączenie na zapasowy model, bo inaczej przeniesiesz cały ruch na swój fallback z powodu pięciosekundowego skoku.

Strumieniowanie wymaga uwagi: zapytanie strumieniowe zajmuje slot równoległości do końca strumienia, więc wolni klienci zmniejszają przepustowość. Loguj nagłówek X-Request-Id przy każdym wywołaniu, aby można było prześledzić błędną odpowiedź do źródła.

Jeśli chodzi o koszty, cena to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych z przedpłaconego kredytu, więc router może obliczyć wydatki na trasę z pola usage. Doładowania wynoszą od $20 do $500 kryptowalutami, z bonusami od $50; zobacz stronę z cenami. Zacznij od szybkiego startu integracji i uzyskaj klucz API, aby odebrać $0,50 kredytu próbnego.

Pytania i odpowiedzi

Jaka jest różnica między routerem LLM a bramą API?

Brama przesyła i kontroluje ruch do jednego lub więcej dostawców. Router dodaje decyzję, który model powinien obsłużyć każde zapytanie. Wiele produktów łączy oba rozwiązania.

Czy to API jest routerem?

Nie. Obsługuje jeden model, ID uncensored, z jednego endpointu. Nie kieruje między dostawcami i nie jest oficjalnym API żadnego dostawcy.

Czy mogę go użyć wewnątrz własnego routera?

Tak. Obsługuje format czatu OpenAI, więc możesz dodać go jako źródło z jego bazowym URL, kluczem i ID modelu.

Czy router poprawia jakość odpowiedzi?

Nie sam w sobie. Może obniżyć koszty i poprawić dostępność, ale jakość zależy od modeli, do których kierujesz, oraz reguł, które piszesz.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz APIPrzeczytaj dokumentację