LLM Router คืออะไร และคุณต้องการมันไหม
LLM router คืออะไร? คือชั้นที่วางอยู่ระหว่างแอปพลิเคชันของคุณและโมเดลภาษาหลายตัว และตัดสินใจต่อคำขอว่าโมเดลใดควรตอบ เว็บไซต์นี้ไม่ใช่แบบนั้น: เว็บไซต์นี้เสนอโมเดลเดียวที่อยู่หลังเอนด์พอยต์เดียว และส่วนเกี่ยวกับความเหมาะสมอธิบายความสัมพันธ์ระหว่างทั้งสอง
อัปเดต

แนวคิดในรูปแบบที่เรียบง่าย
แอปพลิเคชันที่เรียกใช้โมเดลภาษามีการเชื่อมต่อที่เรียบง่าย: คำขอถูกส่งไปยังผู้ให้บริการหนึ่งรายและคำตอบกลับมา Router เพิ่มขั้นตอนการตัดสินใจตรงกลาง คำขอจะไปถึง Router ก่อน ซึ่งจะตรวจสอบและเลือกปลายทางจากรายการโมเดล จากนั้นจึงส่งต่อและส่งกลับคำตอบ จากมุมมองของแอปพลิเคชัน ยังคงมี endpoint เดียวและรูปแบบคำขอเดียว โดยปกติคือรูปแบบการสนทนาของ OpenAI เพราะรูปแบบนี้เป็นตัวหารร่วมทั่วไป
เหตุผลที่ต้องเพิ่มขั้นตอนนี้คือโมเดลมีความแตกต่างกัน บางตัวราคาถูกและเร็วแต่มีความสามารถในการให้เหตุผลน้อยกว่า บางตัวมีความสามารถสูงแต่ช้าและมีค่าใช้จ่ายสูง บางตัวปฏิบัติตามกฎเนื้อหาที่บล็อกหัวข้อเฉพาะ และบางตัวก็ไม่มีข้อจำกัด การเลือกแบบตายตัวเพียงตัวเลือกเดียวคือการประนีประนอมสำหรับทุกคำขอ ตัวช่วยจัดเส้นทางช่วยให้คุณสามารถเลือกโมเดลได้สำหรับแต่ละคำขอ
ระวังคำนี้ คนใช้คำนี้สำหรับอย่างน้อยสามสิ่งที่แตกต่างกัน: ตลาดแบบโฮสต์ที่เปิดเผยโมเดลหลายตัวผ่านคีย์เดียว, ไลบรารีหรือเกตเวย์ที่คุณรันด้วยตนเอง และตัวจำแนกประเภทที่ฝึกแล้วซึ่งทำนายว่าโมเดลใดจะจัดการพรอมต์ที่กำหนดได้ดี พวกเขาแบ่งปันรูปแบบ "ประตูหน้าเดียว โมเดลหลายตัว" แต่แตกต่างกันในผู้ดำเนินการและวิธีการตัดสินใจ
สิ่งที่ตัวช่วยจัดเส้นทางทำจริงๆ
การเลือกโมเดล
งานหลัก กฎอาจเรียบง่าย: พรอมต์ที่มีความยาวต่ำกว่าเกณฑ์ส่งไปยังโมเดลขนาดเล็ก, พรอมต์ที่มีโค้ดส่งไปยังโมเดลเขียนโค้ด กฎเหล่านี้อาจเรียนรู้ได้ โดยตัวจำแนกประเภทขนาดเล็กจะประเมินค่าพรอมต์และเกณฑ์ตัดสินใจว่าจะส่งไปยังโมเดลใด
การสำรอง
หากตัวเลือกแรกส่งข้อผิดพลาดหรือหมดเวลา ตัวช่วยจัดเส้นทางจะลองโมเดลถัดไปในรายการ สิ่งนี้ปกป้องคุณจากปัญหาชั่วคราวของผู้ให้บริการรายใดรายหนึ่ง โดยแลกกับคำตอบที่อาจแตกต่างกันเล็กน้อยเมื่อโมเดลสำรองตอบกลับ
การปรับสมดุลภาระงาน
กระจายการรับส่งข้อมูลไปยังคีย์หรือการปรับใช้โมเดลเดียวกันหลายชุด เพื่อให้ไม่มีขีดจำกัดอัตราใดกลายเป็นข้อจำกัดของคุณ
อินเทอร์เฟซเดียว
ผู้ให้บริการรายต่างๆ แสดงรูปแบบคำขอที่แตกต่างกันเล็กน้อย ตัวช่วยจัดเส้นทางจะปรับรูปแบบเหล่านี้ให้เป็นมาตรฐานเดียวกัน ทำให้โค้ดของคุณเขียนคำขอในรูปแบบเดียว นี่คือฟีเจอร์ที่ทีมส่วนใหญ่สังเกตเห็นได้ชัดเจนที่สุดในชีวิตประจำวัน
การควบคุมต้นทุนและนโยบาย
การส่งงานทั่วไปไปยังโมเดลราคาถูกและการใช้โมเดลราคาแพงสำหรับกรณีที่ยากเป็นวิธีการประหยัดทั่วไป การกำหนดเส้นทางตามนโยบายเป็นอีกการใช้งานหนึ่ง: พรอมต์ที่ละเอียดอ่อนส่งไปยังผู้ให้บริการที่ผ่านการอนุมัติ และอื่นๆ ส่งไปยังที่อื่น
เปรียบเทียบกลยุทธ์การกำหนดเส้นทาง
| กลยุทธ์ | วิธีการตัดสินใจ | ความแข็งแกร่ง | จุดอ่อน |
|---|---|---|---|
| กฎคงที่ | คำสำคัญ, ความยาว, ระดับผู้ใช้, เอนด์พอยต์ | คาดการณ์ได้และแก้ไขข้อบกพร่องง่าย | พลาดพรอมต์ที่ไม่ตรงกับกฎของคุณ |
| ตัวจำแนกประเภท | โมเดลขนาดเล็กประเมินความยากหรือหัวข้อ | ปรับตัวเข้ากับข้อมูลนำเข้าที่หลากหลาย | ต้องการข้อมูลที่มีป้ายกำกับและการตรวจสอบของตนเอง |
| Cascade | ลองใช้โมเดลราคาต่ำก่อน แล้วเปลี่ยนโมเดลหากคำตอบดูอ่อนแอ | ประหยัดต้นทุนได้มากสำหรับงานง่าย | กรณีที่ยากจ่ายค่าการเรียกใช้สองครั้ง |
| เฉพาะ Fallback | เปลี่ยนโมเดลเมื่อคำขอล้มเหลว | เรียบง่าย ช่วยเพิ่มความพร้อมใช้งาน | ไม่ช่วยลดต้นทุน |
เริ่มด้วยกฎแบบคงที่ กฎเหล่านี้เข้าใจง่ายที่สุด และการบันทึกว่ากฎใดถูกเรียกใช้ จะให้ข้อมูลที่คุณต้องการเพื่อประเมินว่าควรสร้างระบบที่ซับซ้อนกว่านี้หรือไม่
คุณจำเป็นต้องใช้หรือไม่
ถามสี่คำถามก่อนเพิ่ม Router
- คำขอของคุณมีความยากง่ายแตกต่างกันมากหรือไม่? หากคำขอทุกคำคล้ายคลึงกัน การใช้โมเดลที่เหมาะสมเพียงตัวเดียวดีกว่าการใช้ Router
- บิลค่าโมเดลมีมูลค่ามากพอที่จะทำการปรับแต่งหรือไม่? หากคุณใช้จ่ายเพียงไม่กี่ดอลลาร์ต่อเดือน เวลาวิศวกรรมที่ใช้มีมูลค่ามากกว่าเงินที่ประหยัดได้
- คุณต้องการการป้องกันจากเหตุการณ์ที่ผู้ให้บริการหยุดทำงานหรือไม่? Fallback เป็นเหตุผลที่สมเหตุสมผลที่สุดสำหรับการใช้ Router แม้ในระดับเล็ก
- พรอมต์ของคุณมีข้อจำกัดเนื้อหาที่แตกต่างกันหรือไม่? หมวดหมู่บางประเภท เช่น นิยายสำหรับผู้ใหญ่หรือบทบาทสมมติสำหรับผู้ใหญ่ มักถูกปฏิเสธโดยบริการทั่วไปหลายแห่ง การส่งเฉพาะพรอมต์เหล่านั้นไปยังโมเดลที่ปรับแต่งสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และปล่อยส่วนที่เหลือไว้ที่อื่น เป็นกรณีการใช้งาน Router จริง
หากคุณตอบว่า "ไม่" ทั้งสี่ข้อ ให้ข้าม Router ไปเลย ชั้นเพิ่มเติมจะเพิ่มเวลาแฝง เพิ่มจุดที่มีโอกาสเกิดข้อผิดพลาด และเพิ่มบันทึกที่ต้องอ่าน
API นี้เหมาะกับงานประเภทใด
เว็บไซต์นี้ตั้งชื่อตามตัวจัดเส้นทาง ดังนั้นจุดนี้จึงสมควรพูดตรงๆ: บริการนี้ไม่ใช่ตัวจัดเส้นทาง เป็นโมเดลแบบเปิดน้ำหนักหนึ่งตัว ซึ่งดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของผู้จำหน่ายโมเดลรายใด และไม่ได้ส่งต่อคำขอไปยังโมเดลของผู้จำหน่ายรายอื่น คุณเรียกใช้ URL ฐานหนึ่ง URL https://api.llmrouterapi.com/v1 ด้วย ID โมเดลหนึ่ง ID uncensored
สิ่งนี้ทำให้มันเข้ากันได้ดีเป็นจุดหมายปลายทางหนึ่งภายในตัวจัดเส้นทางที่คุณรันอยู่แล้ว หรือเป็นแบ็กเอนด์เดียวของแอปที่ไม่เคยต้องการการปรับเส้นทาง เนื่องจากปฏิบัติตามรูปแบบแชทของ OpenAI การเพิ่มลงในตัวจัดเส้นทางจึงใช้เวลาเพียงไม่กี่บรรทัด วิธีการคือ POST /v1/chat/completions และ GET /v1/models และสตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON ทำงานเหมือนกับรูปแบบของ OpenAI เป็นข้อความเท่านั้น: ไม่มีภาพ เสียง embedding หรือ fine-tuning
หากคุณกำลังเปรียบเทียบกับตลาดหลายโมเดล อ่านหน้า ทางเลือกแทน OpenRouter ตลาดให้คุณเลือกหลายโมเดล ส่วนนี้ให้คุณใช้โมเดลเดียวที่มีวัตถุประสงค์เฉพาะและราคาคงที่
Router ขั้นพื้นฐานใน Python
สร้าง router ที่ใช้งานได้จริงในไม่กี่บรรทัดด้วย OpenAI SDK เพราะทุกปลายทางใช้โปรโตคอลเดียวกัน router นี้ส่งพรอมต์ที่ถูกระบุว่าต้องการการจัดการเนื้อหาผู้ใหญ่แบบไม่จำกัดไปยัง endpoint ที่นี่ และส่งที่เหลือทั้งหมดไปยังโมเดลทั่วไปที่คุณระบุที่อยู่และคีย์เอง
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
พิจารณา flag หมวดหมู่เป็นการตัดสินใจของแอปพลิเคชันของคุณเอง เช่น ขึ้นอยู่กับฟีเจอร์ที่ผู้ใช้กำลังใช้งาน ไม่ใช่การคาดเดาจากข้อความ การกำหนดเส้นทางแบบชัดเจน (Explicit routing) ทดสอบได้ง่ายกว่าการกำหนดเส้นทางที่อนุมานจากข้อความ กฎเกี่ยวกับผู้เยาว์ใช้กับ endpoint นี้โดยไม่คำนึงถึงเส้นทาง: เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่ได้รับอนุญาตโดยเด็ดขาด
รายละเอียดการดำเนินงานเมื่อคุณทำ Routing
rate limit เป็นต่อคีย์และต่อผู้ให้บริการ ดังนั้น Router ต้องรู้ค่าเหล่านี้ คีย์เต็มรูปแบบอนุญาตให้ทำคำขอพร้อมกัน (concurrent requests) ได้ 8 คำขอ และ 300 คำขอต่อนาที ส่วนคีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอ และ 60 คำขอต่อนาที API จะตอบกลับด้วยสถานะ 429 พร้อม code rate_limited หรือ concurrency เมื่อคุณเกินขีดจำกัดเหล่านี้ การตอบกลับ 429 พร้อม Retry-After: 5 บ่งชี้ว่ามีการ overload ชั่วคราว การตอบสนองที่เหมาะสมคือรอหรือ queue ไม่ใช่เปลี่ยนเส้นทางทันที มิฉะนั้นคุณอาจผลักการจราจรทั้งหมดไปยัง fallback ของคุณเพียงเพราะเหตุการณ์ชั่วคราวระยะเวลาห้าวินาที
สตรีมมิงสมควรได้รับหมายเหตุ: คำขอแบบสตรีมจะครอบครองสล็อตการทำงานพร้อมกันจนกว่าสตรีมจะสิ้นสุด ดังนั้นไคลเอนต์ที่ช้าจึงลดปริมาณงานของคุณ บันทึกส่วนหัว X-Request-Id สำหรับการเรียกใช้ทุกครั้ง เพื่อให้สามารถติดตามคำตอบที่ไม่ดีไปยังจุดหมายปลายทางได้
ในแง่ของต้นทุน ราคาคือ $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุตจากเครดิตแบบเติมเงินล่วงหน้า ดังนั้นตัวจัดเส้นทางจึงสามารถคำนวณการใช้จ่ายต่อเส้นทางได้จากฟิลด์ usage การเติมเงินมีตั้งแต่ $20 ถึง $500 ด้วยคริปโต พร้อมโบนัสตั้งแต่ $50; ดู หน้าราคา เริ่มต้นด้วย คู่มือการผสานรวมอย่างรวดเร็ว และ รับคีย์ API เพื่อรับเครดิตทดลองใช้ $0.50
คู่มือเพิ่มเติม
ถาม-ตอบ
ความแตกต่างระหว่าง LLM router และ API แบบโมเดลเดียวที่เข้ากันได้กับ OpenAI เหมาะกับ router อย่างไร gateway คืออะไร?
Gateway ทำหน้าที่ส่งต่อและควบคุม traffic ไปยังผู้ให้บริการหนึ่งรายหรือมากกว่า ในขณะที่ router เพิ่มการตัดสินใจว่าโมเดลใดควรจัดการกับแต่ละ request หลายผลิตภัณฑ์รวมทั้งสองอย่างนี้ไว้ด้วยกัน
API นี้เป็น router หรือไม่?
ไม่ใช่ API นี้ให้บริการโมเดลเดียว ID uncensored จาก endpoint เดียว ไม่มีการ routing ระหว่างผู้ขาย และไม่ใช่ API ทางการของผู้ขายรายใด
ฉันสามารถใช้มันภายใน router ของฉันเองได้หรือไม่?
ได้ API นี้รองรับรูปแบบ chat ของ OpenAI ดังนั้นคุณสามารถเพิ่มเป็นปลายทางได้โดยระบุ base URL, key และ model ID
router ทำให้คำตอบดีขึ้นหรือไม่?
ไม่ใช่ด้วยตัวเอง มันสามารถลดต้นทุนและปรับปรุงความพร้อมใช้งานได้ แต่คุณภาพขึ้นอยู่กับโมเดลที่คุณเลือกส่งคำขอไปและกฎที่คุณเขียน
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด