Dokumentasi API Kompatibel OpenAI

Memulai: Hubungkan dengan SDK OpenAI

Mulai dengan mengautentikasi menggunakan kunci Anda dan mengarahkan klien ke URL dasar kami. Pengaturan ini bekerja dengan SDK OpenAI resmi untuk Python dan Node.js, memastikan Anda dapat menjalankan kode klien yang sama terhadap layanan kami. Anda memerlukan kunci API yang valid dari dasbor dan konfigurasi endpoint yang benar.

Copycurl https://api.openaiapicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current UTC timestamp in ISO 8601 format"}]
  }'

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Endpoint Chat Completions

Kirim teks ke endpoint chat tunggal kami untuk output teks langsung. Kami menggunakan POST /v1/chat/completions untuk memproses prompt Anda dan mengembalikan teks yang dihasilkan. Ini adalah interaksi inti untuk sebagian besar aplikasi LLM, tidak memerlukan routing kompleks atau panggilan layanan tambahan.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming dengan SSE

Terima token secara real-time menggunakan Server-Sent Events untuk latensi yang lebih rendah. Aktifkan streaming dengan mengatur parameter stream menjadi true dalam permintaan Anda. Potongan terakhir mencakup data penggunaan token, memungkinkan Anda melacak biaya secara akurat saat model menghasilkan teks. Pendekatan ini menjaga UI tetap responsif bahkan untuk output panjang.

Pemanggilan Fungsi & Mode JSON

Integrasikan alat dan paksa output terstruktur untuk interaksi pemrograman yang andal. Gunakan parameter tools untuk menentukan skema fungsi dan atur response_format menjadi json_object untuk kepatuhan JSON ketat. Model tanpa sensor kami menangani instruksi kompleks dan kasus tepi tanpa menolak permintaan fungsional yang valid.

Batas Laju & Parameter

Pantau penggunaan Anda terhadap batas per kunci yang ketat untuk menghindari gangguan layanan. Anda diizinkan 300 permintaan per menit dan delapan permintaan bersamaan per kunci, dengan batas tubuh 8 MB. Error seperti 401 (kunci tidak valid), 402 (tidak ada kredit), dan 429 (batas laju) menunjukkan status akun tertentu.

Jendela Konteks & Kendala

Maksimalkan penanganan konteks dengan jendela 100,000 token untuk input dan output gabungan. Atur max_tokens untuk mengontrol panjang generasi, dengan default 2,048 jika tidak ditentukan. Model kami berjalan di server milik sendiri, bukan sebagai proxy untuk vendor lain, menjamin kinerja yang konsisten untuk kasus penggunaan spesifik Anda.