LLM Yönlendiricisi Nedir ve Birine İhtiyacınız Var mı?
Bir LLM yönlendiricisi nedir? Uygulamanız ile birden fazla dil modeli arasında yer alan ve her istek için hangi modelin yanıt vermesi gerektiğine karar veren bir katmandır. Bu site bir yönlendirici değildir: tek bir uç noktanın arkasında tek bir model sunar ve uyum bölümü, ikisinin nasıl ilişkili olduğunu açıklar.
güncellendi

Fikir basit terimlerle
Bir dil modelini çağıran bir uygulamanın basit bir bağlantısı vardır: bir istek tek bir sağlayıcıya gider ve bir cevap geri döner. Bir yönlendirici, ortada bir karar adımı ekler. İstek önce yönlendiriciye ulaşır; yönlendirici onu inceler ve bir model listesinden bir varış noktası seçer, ardından iletir ve cevabı döndürür. Uygulama açısından bakıldığında, hala tek bir uç nokta ve tek bir istek formatı vardır; genellikle OpenAI sohbet formatı, çünkü bu format ortak paydadır.
Bu adımı ekleme nedeni, modellerin farklı olmasıdır. Bazıları ucuz ve hızlıdır ancak muhakeme konusunda zayıftır. Bazıları güçlüdür ancak yavaş ve pahalıdır. Bazıları belirli konuları engelleyen içerik kurallarını takip eder, bazıları takip etmez. Tek bir sabit seçim, her istek için bir uzlaşmadır. Bir yönlendirici, bu seçimi istek başına yapmanızı sağlar.
Kelimeye dikkat edin. İnsanlar en az üç farklı şey için kullanır: tek bir anahtarın arkasında birçok modeli ortaya çıkaran barındırılmış bir pazar yeri, kendi kendinize çalıştırabileceğiniz bir kütüphane veya ağ geçidi ve belirli bir isteği hangi modelin iyi işleyeceğini tahmin eden eğitilmiş bir sınıflandırıcı. "Tek bir ön kapı, birçok model" şeklini paylaşırlar ancak kimin işlettiği ve nasıl karar verdikleri farklıdır.
Bir yönlendiricinin aslında ne yaptığı
Model seçimi
Temel iş. Kurallar basit olabilir: belirli bir uzunluğun altındaki istemler küçük bir modele gider, kod içeren istemler bir kodlama modeline gider. Öğrenilebilir de olabilirler; burada küçük bir sınıflandırıcı isteği puanlar ve bir eşik değeri hangi modele gideceğine karar verir.
Yedek model
İlk seçim bir hata döndürür veya zaman aşımına uğrarsa, yönlendirici listedeki bir sonraki modeli dener. Bu, sizi bir sağlayıcının kötü bir saatinden korur, ancak yedek model yanıt verdiğinde cevapların biraz farklı olma maliyeti vardır.
Yük dengeleme
Trafiği aynı modelin birden fazla anahtarı veya dağıtımı arasında dağıtın, böylece tek bir hız limiti tavanınız olmasın.
Tek arayüz
Farklı tedarikçiler biraz farklı istek formatları ortaya koyar. Bir yönlendirici bunları normalize eder, böylece kodunuz tek bir istek şekli yazar. Bu, çoğu ekibin aslında günlük hayatta fark ettiği özelliktir.
Maliyet ve politika kontrolü
Rutin işleri ucuz bir modele göndermek ve pahalı modeli zor durumlar için saklamak yaygın bir tasarruftur. Politika yönlendirmesi diğer bir kullanımdır: hassas istemler onaylanmış bir sağlayıcıya gider, geri kalanı başka yere gider.
Yönlendirme stratejileri karşılaştırması
| Strateji | Nasıl karar verir | Güçlü Yön | Zayıflık |
|---|---|---|---|
| Statik kurallar | Anahtar kelimeler, uzunluk, kullanıcı katmanı, uç nokta | Tahmin edilebilir ve hata ayıklaması kolay | Kurallarınıza uymayan istemleri kaçırır |
| Sınıflandırıcı | Küçük bir model zorluk veya konu puanlaması yapar | Çeşitli girdilere adapte olur | Etiketli veri ve kendi izleme sistemini gerektirir |
| Şelale | Ucuz bir model deneyin, yanıt zayıf görünürse yükseltin | Kolay trafik üzerinde büyük tasarruf | Zor durumlar iki çağrı için öder |
| Sadece yedek | Bir çağrı başarısız olduğunda modeli değiştir | Basit, kullanılabilirliği artırır | Maliyet için hiçbir şey yapmaz |
Statik kurallarla başlayın. Anlaşılması en kolay olanlardır ve hangi kuralın tetiklendiğini günlüğe kaydetmek, daha akıllı bir şeyin geliştirilip geliştirilmeyeceğini yargılamak için ihtiyacınız olan veriyi sağlar.
Birine ihtiyacınız var mı?
Bir yönlendirici eklemeden önce dört soru sorun.
- İstekleriniz zorluk açısından çok mu farklı? Her istek benzerse, iyi seçilmiş bir model bir yönlendiriciden daha iyidir.
- Model faturası optimize etmek için yeterince büyük mü? Ayda birkaç dolar harcıyorsanız, mühendislik süresi tasarruftan daha pahalıya mal olur.
- Sağlayıcı kesintilerinden korunma ihtiyacınız var mı? Yedekleme (fallback), küçük ölçeklerde bile bir yönlendirici kullanmak için en savunulabilir nedendir.
- İstemlerinizin farklı içerik kısıtlamaları var mı? Yetişkin kurgusu veya olgun rol yapma gibi bazı kategoriler, birçok genel amaçlı hizmet tarafından reddedilir. Sadece bu istemleri yasal yetişkin kullanımı için ayarlanmış bir modele göndermek ve geri kalanını başka yere bırakmak gerçek bir yönlendirme durumudur.
Dört sorunun hepsine hayır derseniz, yönlendiriciyi atlayın. Ek katmanlar gecikme ekler, hata oluşması için başka bir yer ve okunması için başka bir günlük ekler.
Bu API nereye uyar
Bu site yönlendiricilerden adını almıştır, bu nedenle bu konuda açık olmakta fayda var: hizmet bir yönlendirici değildir. Bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeldir. Herhangi bir model tedarikçisinin resmi API'si değildir ve istekleri diğer tedarikçilerin modellerine iletmez. Tek bir temel URL https://api.llmrouterapi.com/v1 ile, tek bir model kimliği uncensored ile çağrı yaparsınız.
Bu, zaten çalıştırdığınız bir yönlendirici içindeki bir hedef veya yönlendirmeye hiç ihtiyaç duymayan bir uygulamanın tek arka ucu olarak iyi bir uyum sağlar. OpenAI sohbet formatını takip ettiği için, bir yönlendiriciye eklemek birkaç satır sürer. Yöntemler POST /v1/chat/completions ve GET /v1/models şeklindedir; akış, fonksiyon çağırma ve JSON modu OpenAI formatında olduğu gibi çalışır. Sadece metindir: resim, ses, gömme veya ince ayar yoktur.
Bunu çok modelli bir pazar yeri ile karşılaştırıyorsanız, OpenRouter alternatifi sayfasını okuyun. Bir pazar yeri size birçok model arasında seçim imkanı sunar; bu size dar bir amaç ve düz fiyat ile tek bir model sunar.
Python ile minimal bir yönlendirici
Her hedef aynı protokolü kullandığı için, OpenAI SDK'sıyla birkaç satırda kullanışlı bir yönlendirici oluşturabilirsiniz. Bu yönlendirici, kısıtlamasız yetişkin içerik işlemesi gerektiren olarak işaretlenmiş istemleri buradaki uç noktaya gönderir ve diğer tüm istekleri adresini ve anahtarını sağladığınız genel modele gönderir.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Kategori işaretini, metinden tahmin edilen bir şey olarak değil, uygulamanızın kendi kararı olarak ele alın; örneğin kullanıcının hangi ürün özelliğinde olduğu temelinde. Açık yönlendirme, tahmin edilen yönlendirmeden daha kolay test edilir. Reşit olmayanlar kuralı, rotadan bağımsız olarak bu uç nokta için geçerlidir: reşit olmayanlarla ilgili cinsel içeriğe asla izin verilmez.
Yönlendirme yaparken operasyonel detaylar
Hız limitleri anahtar başına ve sağlayıcı başına belirlenir, bu nedenle bir yönlendirici bunları bilmelidir. Burada tam bir anahtar dakikada 300 istek ve eşzamanlı 8 istek yapmanıza olanak tanır; deneme anahtarı ise eşzamanlı 2 ve dakikada 60 istek izni verir. Bu limitleri aştığınızda API, rate_limited veya concurrency koduyla 429 yanıtı döndürür. Retry-After: 5 içeren 429 yanıtı geçici aşırı yüklenmeyi işaret eder. Doğru tepki, hemen failover yapmak değil, beklemek veya kuyruğa almaktır; aksi takdirde tüm trafiği beş saniyelik bir dalgalanma için yedek sisteme yönlendirmiş olursunuz.
Akış (streaming) konusunda bir not: akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar; bu nedenle yavaş istemciler verimliliğinizi düşürür. Her çağrı için X-Request-Id başlığını günlüğe kaydedin, böylece hatalı bir yanıt bir hedefe kadar izlenebilir.
Maliyet konusunda, fiyat ön ödemeli kredi ile 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir; bu nedenle bir yönlendirici, usage alanından her yönlendirme için harcamayı hesaplayabilir. Kripto ile $20 ile $500 arasında bakiye yüklemesi yapılır; $50 ve üzeri yüklemelerde bonuslar sağlanır. fiyatlandırma sayfasını inceleyin. entegrasyon hızlı başlangıcıyla başlayın ve deneme kredisi olarak $0,50 kazanmak için bir API anahtarı alın.
Daha fazla kılavuz
Sorular ve cevaplar
Bir LLM yönlendiricisi ile API ağ geçidi arasındaki fark nedir?
Bir ağ geçidi, bir veya birden fazla sağlayıcıya olan trafiği iletir ve kontrol eder. Bir yönlendirici ise her istek için hangi modelin sorumlu olacağına dair kararı ekler. Ürünlerin çoğu her ikisini de birleştirir.
Bu API bir yönlendirici mi?
Hayır. Tek bir uç noktadan, ID'si uncensored olan tek bir modeli sunar. Tedarikçiler arasında yönlendirme yapmaz ve herhangi bir tedarikçinin resmi API'si değildir.
Bunu kendi yönlendiricimin içinde kullanabilir miyim?
Evet. OpenAI sohbet formatını takip eder, bu nedenle temel URL, anahtar ve model kimliği ile onu bir hedef olarak ekleyebilirsiniz.
Bir yönlendirici yanıtları daha iyi hale getirir mi?
Yalnız başına değil. Maliyeti düşürmeye ve erişilebilirliği artırmaya yardımcı olabilir, ancak kalite, yönlendirdiğiniz modellere ve yazdığınız kurallara bağlıdır.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum bu kadar basit.