LLM Router là gì và bạn có cần nó không?
LLM router là gì? Đó là một lớp nằm giữa ứng dụng của bạn và nhiều mô hình ngôn ngữ, quyết định theo từng yêu cầu mô hình nào sẽ trả lời. Trang web này không phải là một: nó cung cấp một mô hình duy nhất phía sau một endpoint duy nhất, và phần về sự phù hợp giải thích cách hai thứ này liên quan.
Cập nhật

Ý tưởng theo cách đơn giản
Một ứng dụng gọi mô hình ngôn ngữ có cách kết nối đơn giản: một yêu cầu được gửi đến một nhà cung cấp và một câu trả lời được trả về. Router thêm một bước quyết định ở giữa. Yêu cầu trước tiên đến router, nó kiểm tra và chọn một điểm đến từ danh sách các mô hình, sau đó chuyển tiếp nó và trả về câu trả lời. Từ phía ứng dụng, vẫn chỉ có một endpoint và một định dạng yêu cầu, thường là định dạng chat của OpenAI, vì đó là điểm chung.
Lý do để thêm bước đó là các mô hình khác nhau. Một số rẻ và nhanh nhưng yếu hơn về suy luận. Một số mạnh nhưng chậm và đắt. Một số tuân theo các quy tắc nội dung chặn một số chủ đề nhất định, và một số thì không. Một lựa chọn cố định duy nhất là sự thỏa hiệp cho mọi yêu cầu. Router cho phép bạn đưa ra lựa chọn theo từng yêu cầu thay vì chỉ một lựa chọn chung.
Hãy cẩn thận với từ này. Mọi người sử dụng nó cho ít nhất ba thứ khác nhau: một thị trường được lưu trữ hiển thị nhiều mô hình phía sau một khóa, một thư viện hoặc gateway bạn tự chạy, và một bộ phân loại đã được huấn luyện dự đoán mô hình nào sẽ xử lý tốt một prompt nhất định. Chúng chia sẻ hình dạng "một cửa trước, nhiều mô hình" nhưng khác nhau về ai vận hành chúng và cách chúng quyết định.
Router thực sự làm gì
Chọn mô hình
Nhiệm vụ cốt lõi. Các quy tắc có thể đơn giản: prompt dưới một độ dài nhất định đi đến một mô hình nhỏ, prompt chứa mã đi đến một mô hình mã hóa. Chúng cũng có thể được học, nơi một bộ phân loại nhỏ chấm điểm prompt và một ngưỡng quyết định mô hình nào nhận được nó.
Dự phòng
Nếu lựa chọn đầu tiên trả về lỗi hoặc hết thời gian chờ, router sẽ thử mô hình tiếp theo trong danh sách. Điều này bảo vệ bạn khỏi một nhà cung cấp có giờ xấu, với cái giá là các câu trả lời hơi khác nhau khi mô hình dự phòng trả lời.
Cân bằng tải
Phân phối lưu lượng trên nhiều khóa hoặc triển khai của cùng một mô hình để không có giới hạn tốc độ đơn nào trở thành giới hạn của bạn.
Một giao diện
Các nhà cung cấp khác nhau hiển thị các định dạng yêu cầu hơi khác nhau. Router chuẩn hóa chúng, vì vậy mã của bạn viết một hình dạng yêu cầu duy nhất. Đây là tính năng mà hầu hết các nhóm thực sự nhận thấy hàng ngày.
Kiểm soát chi phí và chính sách
Gửi công việc thường xuyên đến một mô hình rẻ và giữ mô hình đắt tiền cho các trường hợp khó là cách tiết kiệm thông thường. Định tuyến chính sách là cách sử dụng khác: các prompt nhạy cảm đi đến một nhà cung cấp được phê duyệt, và mọi thứ khác đi nơi khác.
So sánh các chiến lược định tuyến
| Chiến lược | Cách nó quyết định | Điểm mạnh | Điểm yếu |
|---|---|---|---|
| Quy tắc tĩnh | Từ khóa, độ dài, cấp người dùng, endpoint | Có thể dự đoán và dễ gỡ lỗi | Bỏ lỡ các prompt không phù hợp với quy tắc của bạn |
| Bộ phân loại | Một mô hình nhỏ chấm điểm độ khó hoặc chủ đề | Thích ứng với đầu vào đa dạng | Cần dữ liệu được gắn nhãn và giám sát riêng |
| Thác nước | Thử một mô hình rẻ, nâng cấp nếu câu trả lời có vẻ yếu | Tiết kiệm lớn cho lưu lượng đơn giản | Các trường hợp khó phải trả tiền cho hai cuộc gọi |
| Chỉ dự phòng | Chuyển mô hình khi một cuộc gọi thất bại | Đơn giản, cải thiện khả năng sẵn có | Không làm gì cho chi phí |
Bắt đầu với các quy tắc tĩnh. Chúng dễ suy luận nhất và ghi lại quy tắc nào kích hoạt cho bạn dữ liệu bạn cần để đánh giá xem thứ thông minh hơn có đáng xây dựng không.
Bạn có cần một cái không?
Hỏi bốn câu hỏi trước khi thêm router.
- Yêu cầu của bạn có khác biệt nhiều về độ khó không? Nếu mọi yêu cầu đều tương tự, một mô hình được chọn tốt sẽ đánh bại router.
- Hóa đơn mô hình có đủ lớn để tối ưu hóa không? Nếu bạn chi vài đô la một tháng, thời gian kỹ thuật tốn nhiều hơn số tiền tiết kiệm được.
- Bạn có cần bảo vệ khỏi sự cố của nhà cung cấp không? Dự phòng là lý do hợp lý nhất cho một router ngay cả ở quy mô nhỏ.
- Prompt của bạn có các ràng buộc nội dung khác nhau không? Một số danh mục, chẳng hạn như tiểu thuyết người lớn hoặc nhập vai trưởng thành, bị từ chối bởi nhiều dịch vụ mục đích chung. Chỉ gửi các prompt đó đến một mô hình được điều chỉnh cho việc sử dụng người lớn hợp pháp và để phần còn lại ở nơi khác là một trường hợp định tuyến thực sự.
Nếu bạn trả lời không cho cả bốn câu hỏi, hãy bỏ qua router. Các lớp bổ sung thêm độ trễ, một nơi khác cho lỗi và một nhật ký khác để đọc.
API này phù hợp với trường hợp nào
Trang web này được đặt tên theo router, vì điểm đó xứng đáng với sự thẳng thắn: dịch vụ không phải là router. Đó là một mô hình trọng số mở, do một nhà cung cấp độc lập chạy và được điều chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng người lớn hợp pháp. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và nó không chuyển tiếp yêu cầu đến các mô hình của nhà cung cấp khác. Bạn gọi một base URL, https://api.llmrouterapi.com/v1, với một model ID, uncensored.
Điều này khiến nó phù hợp làm một điểm đến trong bộ định tuyến bạn đang chạy, hoặc làm backend duy nhất cho ứng dụng không cần định tuyến. Vì nó tuân theo định dạng chat của OpenAI, việc thêm nó vào bộ định tuyến chỉ cần vài dòng mã. Các phương thức là POST /v1/chat/completions và GET /v1/models, và truyền phát, gọi hàm cùng chế độ JSON hoạt động như trong định dạng của OpenAI. Nó chỉ xử lý văn bản: không có hình ảnh, âm thanh, embedding hay fine-tuning.
Nếu bạn đang so sánh nó với một sàn giao dịch đa mô hình, hãy đọc trang giải pháp thay thế OpenRouter. Một sàn giao dịch cung cấp cho bạn sự lựa chọn giữa nhiều mô hình; điều này cung cấp cho bạn một mô hình với mục đích hẹp và giá cố định.
Một router tối thiểu trong Python
Bạn có thể xây dựng một bộ định tuyến hữu ích chỉ với vài dòng mã bằng OpenAI SDK, vì mọi điểm đến đều sử dụng cùng một giao thức. Bộ này chuyển các prompt được đánh dấu cần xử lý nội dung người trưởng thành không kiểm duyệt đến endpoint tại đây, và mọi thứ khác sang một mô hình chung mà bạn cung cấp địa chỉ và khóa.
import os
from openai import OpenAI, APIError
adult = OpenAI(
base_url="https://api.llmrouterapi.com/v1",
api_key=os.environ["LLMROUTER_API_KEY"],
max_retries=3,
)
general = OpenAI(
base_url=os.environ["GENERAL_BASE_URL"],
api_key=os.environ["GENERAL_API_KEY"],
)
def route(messages, category):
if category == "fiction_adult":
return adult, "uncensored"
return general, os.environ["GENERAL_MODEL"]
def ask(messages, category):
client, model = route(messages, category)
try:
r = client.chat.completions.create(model=model, messages=messages)
except APIError:
# fallback: try the other destination once
client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
Hãy xem cờ phân loại là quyết định của ứng dụng của bạn, ví dụ dựa trên tính năng sản phẩm mà người dùng đang sử dụng, thay vì dựa vào việc suy luận từ văn bản. Việc định tuyến rõ ràng dễ kiểm tra hơn so với định tuyến suy luận. Quy tắc về người chưa thành niên áp dụng trên endpoint này bất kể tuyến đường: nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép.
Chi tiết vận hành khi bạn định tuyến
Giới hạn tốc độ được tính theo khóa và theo nhà cung cấp, vì vậy một bộ định tuyến phải biết các giới hạn này. Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, trong khi khóa dùng thử cho phép 2 và 60. API trả về 429 với mã rate_limited hoặc concurrency khi bạn vượt quá các giới hạn này. Mã 429 kèm Retry-After: 5 đánh dấu tình trạng quá tải tạm thời. Phản ứng đúng là chờ đợi hoặc xếp hàng, không phải chuyển đổi ngay lập tức, nếu không bạn sẽ đẩy toàn bộ lưu lượng sang điểm dự phòng chỉ vì một sự cố ngắn hạn năm giây.
Truyền phát (streaming) cần được lưu ý: một yêu cầu truyền phát chiếm khe đồng thời cho đến khi luồng kết thúc, vì vậy các khách hàng chậm làm giảm thông lượng của bạn. Hãy ghi lại tiêu đề X-Request-Id cho mọi lệnh gọi, để một câu trả lời kém chất lượng có thể được truy vết đến điểm đến.
Về chi phí, giá là $0.15 cho mỗi 1 triệu token đầu vào và $0.50 cho mỗi 1 triệu token đầu ra từ tín dụng trả trước, vì vậy một bộ định tuyến có thể tính toán chi tiêu trên mỗi tuyến từ trường usage. Nạp tiền chạy từ $20 đến $500 bằng tiền mã hóa, với tiền thưởng từ $50; xem trang trang giá. Bắt đầu với hướng dẫn tích hợp nhanh, và lấy khóa API để nhận $0.50 tín dụng dùng thử.
Hướng dẫn khác
Hỏi đáp
Sự khác biệt giữa bộ định tuyến LLM và API gateway là gì?
Một gateway chuyển tiếp và kiểm soát lưu lượng đến một hoặc nhiều nhà cung cấp. Một bộ định tuyến thêm quyết định về mô hình nào sẽ xử lý mỗi yêu cầu. Nhiều sản phẩm kết hợp cả hai.
API này có phải là một bộ định tuyến không?
Không. Nó phục vụ một mô hình, ID là uncensored, từ một endpoint duy nhất. Nó không định tuyến giữa các nhà cung cấp, và nó không phải là API chính thức của bất kỳ nhà cung cấp nào.
Tôi có thể sử dụng nó bên trong bộ định tuyến của riêng mình không?
Có. Nó tuân theo định dạng chat của OpenAI, vì vậy bạn có thể thêm nó làm điểm đến với base URL, khóa và model ID của nó.
Một bộ định tuyến có làm câu trả lời tốt hơn không?
Không phải tự bản thân nó. Nó có thể giảm chi phí và cải thiện khả năng sẵn sàng, nhưng chất lượng phụ thuộc vào các mô hình bạn định tuyến đến và các quy tắc bạn viết.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.