OpenAI-कम्पैटिबल API दस्तावेज़ीकरण
बेस यूआरएल और API की स्वैप करके हमारा अनसेंसर्ड मॉडल अपने मौजूदा स्टैक में डालें। आपको एक सीधा OpenAI-कम्पैटिबल एंडपॉइंट मिलता है जो कंटेंट फिल्टर्स के बिना टेक्स्ट प्रोसेस करता है।
क्विकस्टार्ट: OpenAI SDK के साथ कनेक्ट करें
अपने key के साथ authenticate करें और client को हमारे base URL की ओर point करें। यह सेटअप Python और Node.js के लिए official OpenAI SDKs के साथ काम करता है, यह सुनिश्चित करता है कि आप हमारी service के खिलाफ same client code चला सकते हैं। आपको dashboard से एक valid API key और सही endpoint configuration की आवश्यकता है।
curl https://api.openaiapicompatible.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Return the current UTC timestamp in ISO 8601 format"}]
}'from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapicompatible.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openaiapicompatible.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);चैट कंप्लीशंस एंडपॉइंट
प्रत्यक्ष पाठ आउटपुट के लिए हमारे सिंगल चैट एंडपॉइंट में पाठ भेजें। हम अपने प्रॉम्प्ट्स को प्रोसेस करने और जनरेटेड टेक्स्ट लौटाने के लिए POST /v1/chat/completions का उपयोग करते हैं। यह अधिकांश LLM एप्लिकेशन के लिए कोर इंटरैक्शन है, जिसमें किसी जटिल रूटिंग या अतिरिक्त सेवा कॉल की आवश्यकता नहीं होती है।
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)SSE के साथ स्ट्रीमिंग
कम विलंबता के लिए सर्वर-सेंट इवेंट्स का उपयोग करके वास्तविक-समय में टोकन प्राप्त करें। अपने अनुरोध में स्ट्रीम पैरामीटर को true सेट करके स्ट्रीमिंग सक्षम करें। अंतिम चंक में टोकन उपयोग डेटा शामिल होता है, जिससे मॉडल पाठ उत्पन्न करते समय लागत की सटीक ट्रैकिंग संभव होती है। यह दृष्टिकोण लंबे आउटपुट के लिए भी आपके UI को प्रतिक्रियाशील रखता है।
फंक्शन कॉलिंग & JSON मोड
टूल्स को इंटीग्रेट करें और रिलिएबल प्रोग्रामेटिक इंटरैक्शन के लिए स्ट्रक्चर्ड आउटपुट लागू करें। फंक्शन स्कीमा परिभाषित करने के लिए टूल्स पैरामीटर का उपयोग करें और स्ट्रिक्ट JSON कंप्लायंस के लिए रिस्पॉन्स_फॉर्मेट को json_object पर सेट करें। हमारा अनसेंसर्ड मॉडल कॉम्प्लेक्स इंस्ट्रक्शन्स और एज केसेस को बिना वैध फंक्शनल रिक्वेस्ट्स को रिफ्यूज किए हैंडल करता है।
रेट लिमिट और पैरामीटर
सेवा में रुकावट से बचने के लिए कठोर प्रति-कुंजी सीमाओं के सापेक्ष अपने उपयोग की निगरानी करें। आपको प्रति मिनट 300 अनुरोध और प्रति कुंजी आठ समवर्ती अनुरोध की अनुमति है, जिसमें 8 MB की बॉडी सीमा है। 401 (अमान्य कुंजी), 402 (कोई क्रेडिट नहीं), और 429 (रेट लिमिट) जैसी त्रुटियां विशिष्ट खाता स्थितियों को दर्शाती हैं।
संदर्भ विंडो & बाधाएँ
इनपुट और आउटपुट के संयोजन के लिए 100,000-टोकन विंडो के साथ कॉन्टेक्स्ट हैंडलिंग को अधिकतम करें। जनरेशन लंबाई को नियंत्रित करने के लिए max_tokens सेट करें, यदि निर्दिष्ट नहीं है तो यह 2,048 पर डिफ़ॉल्ट होता है। हमारा मॉडल प्रोप्राइटरी सर्वर पर चलता है, अन्य विक्रेताओं के लिए प्रॉक्सी के रूप में नहीं, जिससे आपके विशिष्ट उपयोग मामले के लिए स्थिर प्रदर्शन सुनिश्चित होता है।
सामान्य प्रश्न
क्या यह API OpenAI SDKs के साथ संगत है?
हाँ, यह मानक OpenAI क्लाइंट लाइब्रेरी के साथ पूरी तरह से संगत है। आपको केवल अपने कॉन्फ़िगरेशन में बेस यूआरएल और एपीआई कुंजी अपडेट करने की आवश्यकता है। इससे आपको बिना बड़े रीफैक्टoring के मौजूदा कोड का उपयोग करने की अनुमति मिलती है।
यदि रेट लिमिट पर पहुँच जाता हूँ तो क्या होता है?
API 300 अनुरोध प्रति मिनट या आठ समवर्ती कनेक्शन से अधिक भेजने पर 429 स्टेटस कोड लौटाता है। यदि उपलब्ध हो, तो अनुरोध आवृत्ति कम करें या लोड को कई कुंजियों में वितरित करें।
क्या आप मेरे प्रॉम्प्ट स्टोर करते हैं?
नहीं, आपके प्रॉम्प्ट्स मॉडल्स की ट्रेनिंग के लिए उपयोग नहीं किए जाते हैं। गोपनीयता को प्राथमिकता दी जाती है, खाता डेटा न्यूनतम रखा जाता है और मॉडल इम्प्रूवमेंट के उद्देश्य से आपके इनपुट डेटा को रेटेन नहीं किया जाता है।
अपना API key प्राप्त करें
रजिस्टर करें, कुंजी प्राप्त करें, बेस URL बदलें। हो गया।
