Apa itu LLM Router dan Apakah Anda Butuh Satu?
Apa itu LLM router? Ini adalah lapisan yang berada di antara aplikasi Anda dan beberapa model bahasa serta memutuskan, per permintaan, model mana yang harus menjawab. Situs ini bukan salah satunya: ini menawarkan satu model di balik satu endpoint, dan bagian tentang kesesuaian menjelaskan bagaimana keduanya berkaitan.
Diperbarui

Ide dalam istilah sederhana
Aplikasi yang memanggil model bahasa memiliki alur kerja yang sederhana: permintaan dikirim ke satu penyedia dan jawaban kembali. Router menambahkan langkah keputusan di tengah. Permintaan pertama kali mencapai router, yang memeriksanya dan memilih tujuan dari daftar model, lalu meneruskannya dan mengembalikan jawaban. Dari sisi aplikasi, masih ada satu endpoint dan satu format permintaan, biasanya format chat OpenAI, karena format itu adalah penyebut bersama.
Alasan untuk menambahkan langkah itu adalah karena model berbeda. Beberapa murah dan cepat tetapi lemah dalam penalaran. Beberapa kuat tetapi lambat dan mahal. Beberapa mengikuti aturan konten yang memblokir topik tertentu, dan beberapa tidak. Pilihan tetap tunggal adalah kompromi untuk setiap permintaan. Router memungkinkan Anda membuat pilihan per permintaan.
Hati-hati dengan kata itu. Orang menggunakannya untuk setidaknya tiga hal berbeda: pasar yang dihosting yang mengekspos banyak model di balik satu kunci, library atau gateway yang Anda jalankan sendiri, dan pengklasifikasi terlatih yang memprediksi model mana yang akan menangani prompt tertentu dengan baik. Mereka berbagi bentuk "satu pintu depan, banyak model" tetapi berbeda dalam siapa yang mengoperasikannya dan bagaimana mereka memutuskan.
Apa yang sebenarnya dilakukan router
Pemilihan model
Tugas inti. Aturan bisa sederhana: prompt di bawah panjang tertentu dikirim ke model kecil, prompt yang berisi kode dikirim ke model coding. Mereka juga bisa dipelajari, di mana pengklasifikasi kecil menilai prompt dan ambang batas memutuskan model mana yang mendapatkannya.
Fallback
Jika pilihan pertama mengembalikan kesalahan atau waktu habis, router mencoba model berikutnya di daftar. Ini melindungi Anda dari satu penyedia yang mengalami masalah, dengan biaya jawaban yang sedikit berbeda saat model fallback membalas.
Penyeimbangan beban
Sebar lalu lintas di beberapa kunci atau deployment model yang sama sehingga tidak ada batas laju tunggal yang menjadi batas atas Anda.
Satu antarmuka
Vendor yang berbeda mengekspos format permintaan yang sedikit berbeda. Router menormalisasikannya, sehingga kode Anda menulis satu bentuk permintaan. Ini adalah fitur yang paling diperhatikan tim sehari-hari.
Kontrol biaya dan kebijakan
Mengirim pekerjaan rutin ke model murah dan menyimpan yang mahal untuk kasus sulit adalah penghematan biasa. Pengalihan kebijakan adalah penggunaan lainnya: prompt sensitif dikirim ke penyedia yang disetujui, dan yang lain dikirim ke tempat lain.
Perbandingan strategi pengalihan
| Strategi | Bagaimana cara memutuskan | Kekuatan | Kelemahan |
|---|---|---|---|
| Aturan statis | Kata kunci, panjang, tingkat pengguna, endpoint | Dapat diprediksi dan mudah didebug | Melewatkan prompt yang tidak sesuai dengan aturan Anda |
| Pengklasifikasi | Model kecil menilai kesulitan atau topik | Beradaptasi dengan input yang bervariasi | Memerlukan data berlabel dan pemantauan sendiri |
| Kaskade | Coba model murah, tingkatkan jika jawabannya tampak lemah | Penghematan besar pada lalu lintas mudah | Kasus sulit membayar dua panggilan |
| Fallback saja | Ganti model saat panggilan gagal | Sederhana, meningkatkan ketersediaan | Tidak melakukan apa pun untuk biaya |
Mulailah dengan aturan statis. Mereka paling mudah untuk dipikirkan, dan log aturan yang memicu memberi Anda data yang Anda butuhkan untuk menilai apakah sesuatu yang lebih cerdas layak dibangun.
Apakah Anda membutuhkannya?
Ajukan empat pertanyaan sebelum menambahkan router.
- Apakah permintaan Anda sangat berbeda dalam kesulitan? Jika setiap permintaan serupa, satu model yang dipilih dengan baik mengalahkan router.
- Apakah tagihan model cukup besar untuk dioptimalkan? Jika Anda menghabiskan beberapa dolar sebulan, waktu teknik lebih mahal daripada penghematannya.
- Apakah Anda membutuhkan perlindungan dari gangguan penyedia? Fallback adalah alasan yang paling dapat dipertahankan untuk router bahkan dalam skala kecil.
- Apakah prompt Anda memiliki batasan konten yang berbeda? Beberapa kategori, seperti fiksi untuk dewasa atau roleplay dewasa, ditolak oleh banyak layanan umum. Mengirimkan hanya prompt tersebut ke model yang disesuaikan untuk penggunaan dewasa yang sah, dan membiarkan sisanya di tempat lain, adalah kasus routing yang nyata.
Jika Anda menjawab tidak untuk keempatnya, lewati router. Lapisan tambahan menambah latensi, tempat lain untuk bug, dan log lain untuk dibaca.
Di mana API ini cocok
Situs ini dinamai dari router, sehingga hal ini perlu dijelaskan terus terang: layanan ini bukan router. Ini adalah satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun, dan ini tidak meneruskan permintaan ke model vendor lain. Anda memanggil satu base URL, https://api.llmrouterapi.com/v1, dengan satu model ID, uncensored.
Hal ini menjadikannya pilihan yang tepat sebagai salah satu tujuan di dalam router yang sudah Anda jalankan, atau sebagai satu-satunya backend untuk aplikasi yang tidak memerlukan routing. Karena mengikuti format chat OpenAI, menambahkannya ke router membutuhkan beberapa baris kode. Metode yang digunakan adalah POST /v1/chat/completions dan GET /v1/models, serta streaming, pemanggilan fungsi, dan mode JSON bekerja sesuai format OpenAI. Hanya teks: tanpa gambar, audio, embedding, atau fine-tuning.
Jika Anda membandingkannya dengan pasar multi-model, baca halaman Alternatif OpenRouter. Pasar memberi Anda pilihan antara banyak model; ini memberi Anda satu model dengan tujuan sempit dan harga datar.
Router minimal dalam Python
Anda dapat membuat router yang berguna dalam beberapa baris kode dengan SDK OpenAI, karena setiap tujuan menggunakan protokol yang sama. Router ini mengirimkan prompt yang ditandai memerlukan penanganan konten dewasa tanpa sensor ke endpoint di sini, dan sisanya ke model umum yang alamat dan kuncinya Anda berikan.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Perlakukan flag kategori sebagai keputusan aplikasi Anda sendiri, misalnya berdasarkan fitur produk yang sedang digunakan pengguna, bukan sebagai sesuatu yang ditebak dari teks. Rute eksplisit lebih mudah diuji daripada rute yang disimpulkan. Aturan tentang anak di bawah umur berlaku di endpoint ini terlepas dari rutenya: konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.
Detail operasional saat Anda melakukan routing
Batas laju bersifat per kunci dan per penyedia, sehingga router harus mengetahuinya. Kunci penuh di sini mengizinkan 8 permintaan paralel dan 300 per menit, sedangkan kunci uji coba mengizinkan 2 dan 60. API mengembalikan 429 dengan kode rate_limited atau concurrency ketika Anda melebihi batas ini. 429 dengan Retry-After: 5 menandakan kelebihan beban sementara. Respons yang tepat adalah menunggu atau mengantri, bukan langsung beralih, atau Anda akan mendorong semua lalu lintas ke fallback Anda hanya karena lonjakan singkat selama lima detik.
Streaming memerlukan catatan: permintaan streaming memegang slot konkurensinya hingga stream berakhir, sehingga klien lambat mengurangi throughput Anda. Log header X-Request-Id untuk setiap panggilan, sehingga jawaban buruk dapat dilacak ke tujuan.
Dari segi biaya, harganya adalah $0.15 per 1M token input dan $0.50 per 1M token output dari saldo prabayar, sehingga router dapat menghitung pengeluaran per rute dari bidang usage. Top-up dimulai dari $20 hingga $500 dengan kripto, dengan bonus mulai dari $50; lihat halaman harga. Mulai dengan quickstart integrasi, dan dapatkan kunci API untuk mengklaim $0.50 kredit uji coba.
Panduan lainnya
Tanya jawab
Apa perbedaan antara router LLM dan gateway API?
Gateway meneruskan dan mengontrol lalu lintas ke satu atau lebih penyedia. Router menambahkan keputusan tentang model mana yang harus menangani setiap permintaan. Banyak produk menggabungkan keduanya.
Apakah API ini adalah router?
Tidak. Ini melayani satu model, ID uncensored, dari satu endpoint. Ini tidak melakukan routing antar vendor, dan ini bukan API resmi vendor mana pun.
Bisakah saya menggunakannya di dalam router saya sendiri?
Ya. Ini mengikuti format chat OpenAI, sehingga Anda dapat menambahkannya sebagai tujuan dengan base URL, kunci, dan ID modelnya.
Apakah router membuat jawaban lebih baik?
Tidak secara mandiri. Router dapat menurunkan biaya dan meningkatkan ketersediaan, tetapi kualitas bergantung pada model yang Anda arahkan ke sana dan aturan yang Anda tulis.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.