HI ▾
API कुंजी पाएँ

LLM रूटर क्या है और क्या आपको एक की आवश्यकता है?

LLM रूटर क्या है? यह एक परत है जो आपके एप्लिकेशन और कई भाषा मॉडल्स के बीच बैठती है और हर अनुरोध के लिए तय करती है कि किस मॉडल को उत्तर देना चाहिए। यह साइट एक नहीं है: यह एक ही एंडपॉइंट के पीछे एक ही मॉडल प्रदान करती है, और फिट पर अनुभाग बताता है कि ये दोनों कैसे संबंधित हैं।

अपडेट किया गया

आइसोमेट्रिक ट्रैक जंक्शन जहाँ एक लाइन कई गंतव्यों में विभाजित होती है, यह दर्शाते हुए कि एक LLM रूटर अनुरोधों को कैसे निर्देशित करता है

सरल शब्दों में विचार

एक ऐप्लिकेशन जो लैंग्वेज मॉडल को कॉल करता है, उसकी वायरिंग सरल होती है: एक अनुरोध एक प्रोवाइडर को जाता है और एक जवाब वापस आता है। एक रूटर बीच में एक निर्णय चरण जोड़ता है। अनुरोध पहले रूटर तक पहुँचता है, जो उसका निरीक्षण करता है और मॉडल की सूची से एक गंतव्य चुनता है, फिर उसे आगे बढ़ाता है और जवाब लौटाता है। ऐप्लिकेशन की ओर से, अभी भी एक एंडपॉइंट और एक अनुरोध फॉर्मेट होता है, आमतौर पर OpenAI चैट फॉर्मेट, क्योंकि वह फॉर्मेट सामान्य आधार है।

उस चरण को जोड़ने का कारण यह है कि मॉडल अलग-अलग होते हैं। कुछ सस्ते और तेज़ होते हैं लेकिन तर्क में कमजोर होते हैं। कुछ मजबूत होते हैं लेकिन धीमे और महंगे। कुछ कंटेंट नियमों का पालन करते हैं जो कुछ विषयों को ब्लॉक करते हैं, और कुछ नहीं करते। एक निश्चित एकल चयन हर अनुरोध के लिए एक समझौता है। एक रूटर आपको हर अनुरोध के लिए चयन करने की अनुमति देता है।

शब्द के साथ सावधान रहें। लोग इसका उपयोग कम से कम तीन अलग-अलग चीज़ों के लिए करते हैं: एक होस्टेड मार्केटप्लेस जो एक कुंजी के पीछे कई मॉडल प्रकट करता है, एक लाइब्रेरी या गेटवे जिसे आप स्वयं चलाते हैं, और एक प्रशिक्षित क्लासिफ़ायर जो यह भविष्यवाणी करता है कि दिया गया प्रॉम्प्ट किस मॉडल के लिए अच्छा होगा। इनका आकार "एक सामने का दरवाज़ा, कई मॉडल" जैसा साझा है, लेकिन इनके संचालक और निर्णय लेने के तरीके अलग हैं।

एक रूटर वास्तव में क्या करता है

मॉडल चयन

मुख्य कार्य। नियम सरल हो सकते हैं: एक निश्चित लंबाई से कम प्रॉम्प्ट छोटे मॉडल पर जाएं, कोड वाले प्रॉम्प्ट कोडिंग मॉडल पर जाएं। ये सीखे भी जा सकते हैं, जहां एक छोटा क्लासिफ़ायर प्रॉम्प्ट को स्कोर करता है और एक थ्रेशोल्ड तय करता है कि कौन सा मॉडल उसे प्राप्त करेगा।

फॉलबैक

यदि पहला चयन त्रुटि लौटाता है या टाइमआउट हो जाता है, तो रूटर सूची में अगले मॉडल का प्रयास करता है। यह आपको किसी एक प्रदाता के खराब समय से बचाता है, इस लागत पर कि जब फॉलबैक मॉडल जवाब देता है तो उत्तर थोड़े अलग आ सकते हैं।

लोड बैलेंसिंग

एक ही मॉडल की कई कुंजियों या डिप्लॉयमेंट्स के बीच ट्राफ़िक फैलाएं ताकि कोई भी एक रेट लिमिट आपकी छत न बन जाए।

एक इंटरफ़ेस

विभिन्न वेंडर्स थोड़े अलग अनुरोध फॉर्मेट्स प्रदर्शित करते हैं। एक रूटर उन्हें सामान्य बनाता है, इसलिए आपका कोड एक अनुरोध आकार लिखता है। यह वह फीचर है जिसका नोटिस आपकी टीम वास्तव में दिन-प्रतिदिन करती है।

लागत और नीति नियंत्रण

सामान्य कार्य को एक सस्ते मॉडल पर भेजना और महंगे मॉडल को कठिन मामलों के लिए रखना आम बचत है। नीति रूटिंग दूसरा उपयोग है: संवेदनशील प्रॉम्प्ट एक अनुमोदित प्रदाता पर जाएं, और बाकी सब कहीं और जाएं।

रूटिंग रणनीतियों की तुलना

रणनीतिनिर्णय कैसे लेता हैशक्तिकमजोरी
स्थिर नियमकीवर्ड, लंबाई, उपयोगकर्ता टियर, एंडपॉइंटपहचरने योग्य और डिबग करने में आसानउन प्रॉम्प्ट्स को चूक जाता है जो आपके नियमों पर फिट नहीं बैठते
क्लासिफ़ायरएक छोटा मॉडल कठिनाई या विषय को स्कोर करता हैविविध इनपुट के लिए अनुकूलितलेबल वाले डेटा और अपने मॉनिटरिंग की आवश्यकता होती है
कैस्केडएक सस्ता मॉडल आज़माएं, यदि उत्तर कमजोर लगता है तो एस्केलेट करेंआसान ट्रैफ़िक पर बड़ी बचतकठिन मामलों का खर्च दो कॉल का आता है
केवल फ़ॉलबैकजब एक कॉल विफल हो जाए तो मॉडल बदलेंसरल, उपलब्धता में सुधार करता हैलागत पर कोई प्रभाव नहीं

स्थिर नियमों से शुरुआत करें। वे तर्क करने में सबसे आसान होते हैं, और कौन सा नियम लागू हुआ, इसका लॉगिंग आपको यह डेटा देता है कि क्या कुछ अधिक बुद्धिमान बनाना मूल्यवान है।

क्या आपको एक की आवश्यकता है?

रूटर जोड़ने से पहले चार प्रश्न पूछें।

  1. क्या आपके अनुरोधों में कठिनाई के स्तर में बहुत अंतर है? यदि हर अनुरोध समान है, तो एक अच्छी तरह चुना गया मॉडल एक रूटर से बेहतर है।
  2. क्या मॉडल का बिल पर्याप्त बड़ा है उसे अनुकूलित करने के लिए? यदि आप महीने में कुछ डॉलर खर्च करते हैं, तो इंजीनियरिंग समय की लागत बचत से अधिक होती है।
  3. क्या आपको प्रदाता की विफलताओं से सुरक्षा की आवश्यकता है? फ़ॉलबैक एक रूटर के लिए सबसे उचित कारण है, यहाँ तक कि छोटे पैमाने पर भी।
  4. क्या आपके प्रॉम्प्ट में अलग-अलग सामग्री बाधाएं हैं? कुछ श्रेणियाँ, जैसे कि वयस्क कथा या परिपक्व रोलप्ले, कई सामान्य-उद्देश्य सेवाओं द्वारा अस्वीकृत की जाती हैं। केवल उन प्रॉम्प्ट को एक ऐसे मॉडल पर भेजना जो कानूनी वयस्क उपयोग के लिए ट्यून्ड है, और बाकी को कहीं और छोड़ देना, एक वास्तविक रूटिंग मामला है।

यदि आप चारों प्रश्नों का उत्तर 'नहीं' देते हैं, तो रूटर छोड़ दें। अतिरिक्त परतें लेटेंसी बढ़ाती हैं, बग के लिए एक और स्थान और पढ़ने के लिए एक और लॉग जोड़ती हैं।

यह API कहाँ फिट बैठता है

इस साइट का नाम रूटर्स पर रखा गया है, इसलिए बिंदु सीधा होना चाहिए: यह सेवा एक रूटर नहीं है। यह एक ओपन-वेट मॉडल है, एक स्वतंत्र प्रोवाइडर द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सेंसर जवाब देने के लिए ट्यून्ड है। यह किसी भी मॉडल वेंडर का आधिकारिक API नहीं है, और यह अनुरोधों को अन्य वेंडर्स के मॉडल्स पर आगे नहीं बढ़ाता है। आप एक Base URL को कॉल करते हैं, https://api.llmrouterapi.com/v1, एक मॉडल ID के साथ, uncensored।

यह इसे एक रूटर के अंदर एक गंतव्य के रूप में, या एक ऐप के एकमात्र बैकएंड के रूप में अच्छा बनाता है जिसमें कभी रूटिंग की आवश्यकता नहीं थी। क्योंकि यह OpenAI चैट फॉर्मेट का पालन करता है, इसे एक रूटर में जोड़ने में कुछ पंक्तियाँ लगती हैं। विधियाँ POST /v1/chat/completions और GET /v1/models हैं, और स्ट्रीमिंग, फ़ंक्शन कॉलिंग और JSON मोड OpenAI फॉर्मेट की तरह काम करते हैं। यह केवल टेक्स्ट है: कोई इमेज, ऑडियो, एम्बेडिंग्स या फाइन-ट्यूनिंग नहीं।

यदि आप इसे एक बहु-मॉडल मार्केटप्लेस के साथ तुलना कर रहे हैं, तो OpenRouter विकल्प पेज पढ़ें। एक मार्केटप्लेस आपको कई मॉडल्स के बीच विकल्प देता है; यह आपको एक संकीर्ण उद्देश्य वाले एक मॉडल और एक निश्चित कीमत देता है।

पायथन में एक न्यूनतम रूटर

आप OpenAI SDK के साथ कुछ पंक्तियों में एक उपयोगी रूटर बना सकते हैं, क्योंकि हर गंतव्य एक ही प्रोटोकॉल बोलता है। यह रूटर उन प्रॉम्प्ट्स को, जिन्हें अप्रतिबंधित वयस्क सामग्री हैंडलिंग की आवश्यकता वाला चिह्नित किया गया है, यहाँ के एंडपॉइंट पर भेजता है, और बाकी सब कुछ एक सामान्य मॉडल को भेजता है जिसका पता और कुंजी आप प्रदान करते हैं।

import os
from openai import OpenAI, APIError

adult = OpenAI(
    base_url="https://api.llmrouterapi.com/v1",
    api_key=os.environ["LLMROUTER_API_KEY"],
    max_retries=3,
)
general = OpenAI(
    base_url=os.environ["GENERAL_BASE_URL"],
    api_key=os.environ["GENERAL_API_KEY"],
)

def route(messages, category):
    if category == "fiction_adult":
        return adult, "uncensored"
    return general, os.environ["GENERAL_MODEL"]

def ask(messages, category):
    client, model = route(messages, category)
    try:
        r = client.chat.completions.create(model=model, messages=messages)
    except APIError:
        # fallback: try the other destination once
        client, model = (general, os.environ["GENERAL_MODEL"]) if client is adult else (adult, "uncensored")
        r = client.chat.completions.create(model=model, messages=messages)
    return r.choices[0].message.content

श्रेणी फ्लैग को अपने ऐप्लिकेशन के निर्णय के रूप में मानें, उदाहरण के लिए इस बात के आधार पर कि उपयोगकर्ता किस प्रोडक्ट फीचर में है, न कि टेक्स्ट से अनुमानित कुछ। स्पष्ट रूटिंग, अनुमानित रूटिंग की तुलना में परीक्षण में आसान है। नाबालिगों से जुड़ा नियम इस एंडपॉइंट पर रूट की परवाह किए बिना लागू होता है: नाबालिगों से जुड़ी यौन सामग्री कभी अनुमत नहीं है।

रूटिंग करते समय संचालनात्मक विवरण

रेट लिमिट प्रति कुंजी और प्रति प्रदाता होते हैं, इसलिए एक रूटर को उन्हें जानना चाहिए। एक पूर्ण कुंजी यहाँ 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है, और एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। जब आप इन सीमाओं को पार कर जाते हैं, तो API 429 को rate_limited या concurrency कोड के साथ उत्तर देता है। Retry-After: 5 के साथ 429 अस्थायी ओवरलोड को चिह्नित करता है। सही प्रतिक्रिया प्रतीक्षा करना या क्यू में डालना है, तुरंत फ़ेलओवर नहीं, वरना आप पाँच सेकंड के क्षणिक उछाल के लिए सभी ट्रैफ़िक अपने फ़ॉलबैक पर धकेल देंगे।

स्ट्रीमिंग के लिए एक नोट की आवश्यकता है: एक स्ट्रीम किया गया अनुरोध स्ट्रीम समाप्त होने तक अपना कॉन्करेंसी स्लॉट रोके रखता है, इसलिए धीमे क्लाइंट आपके थ्रूपुट को कम करते हैं। हर कॉल के लिए X-Request-Id हेडर को लॉग करें, ताकि एक खराब उत्तर को एक गंतव्य तक ट्रैक किया जा सके।

लागत के मामले में, मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन के लिए प्रीपेड क्रेडिट से है, इसलिए एक रूटर usage फ़ील्ड से प्रत्येक मार्ग के लिए खर्च की गणना कर सकता है। क्रिप्टो से $20 से $500 तक टॉप-अप चलते हैं, $50 से बोनस मिलते हैं; मूल्य निर्धारण पृष्ठ देखें। इंटीग्रेशन क्विकस्टार्ट से शुरू करें, और $0.50 के ट्रायल क्रेडिट का दावा करने के लिए API कुंजी प्राप्त करें।

प्रश्न और उत्तर

LLM रूटर और API गेटवे के बीच क्या अंतर है?

एक गेटवे एक या अधिक प्रदाताओं को ट्राफ़िक को आगे बढ़ाता और नियंत्रित करता है। एक रूटर हर अनुरोध को संभालने के लिए किस मॉडल का उपयोग करना है, इसका निर्णय जोड़ता है। कई उत्पाद दोनों को मिलाते हैं।

क्या यह API एक रूटर है?

नहीं। यह एक मॉडल, ID uncensored, को एक एंडपॉइंट से प्रदान करता है। यह विक्रेताओं के बीच राउट नहीं करता है, और यह किसी भी विक्रेता की आधिकारिक API नहीं है।

क्या मैं इसे अपने रूटर के अंदर उपयोग कर सकता हूँ?

हाँ। यह OpenAI चैट फॉर्मेट का पालन करता है, इसलिए आप इसे अपनी बेस URL, कुंजी और मॉडल ID के साथ एक गंतव्य के रूप में जोड़ सकते हैं।

क्या एक रूटर उत्तरों को बेहतर बनाता है?

अकेले नहीं। यह लागत कम कर सकता है और उपलब्धता में सुधार कर सकता है, लेकिन गुणवत्ता उन मॉडलों पर निर्भर करती है जिनके लिए आप राउट करते हैं और उन नियमों पर जो आप लिखते हैं।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी प्राप्त करेंदस्तावेज़ पढ़ें