Tài liệu API Tương thích OpenAI

Bắt đầu nhanh: Kết nối với SDK OpenAI

Bắt đầu bằng cách xác thực với khóa của bạn và trỏ client đến URL cơ sở của chúng tôi. Cấu hình này hoạt động với các SDK chính thức của OpenAI cho Python và Node.js, đảm bảo bạn có thể chạy cùng mã client chống lại dịch vụ của chúng tôi. Bạn cần một khóa API hợp lệ từ bảng điều khiển và cấu hình điểm cuối chính xác.

Copycurl https://api.openaiapicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current UTC timestamp in ISO 8601 format"}]
  }'

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Endpoint Hoàn thành Trò chuyện

Gửi văn bản đến điểm cuối hội thoại đơn lẻ của chúng tôi để nhận đầu ra văn bản trực tiếp. Chúng tôi sử dụng POST /v1/chat/completions để xử lý các gợi ý của bạn và trả về văn bản được tạo. Đây là tương tác cốt lõi cho hầu hết các ứng dụng LLM, không yêu cầu định tuyến phức tạp hoặc các cuộc gọi dịch vụ bổ sung.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming với SSE

Nhận token theo thời gian thực bằng cách sử dụng Server-Sent Events để giảm độ trễ. Bật streaming bằng cách đặt tham số stream thành true trong yêu cầu của bạn. Chunk cuối cùng bao gồm dữ liệu sử dụng token, cho phép bạn theo dõi chi phí chính xác khi mô hình tạo văn bản. Cách tiếp cận này giữ cho giao diện người dùng của bạn phản hồi ngay cả khi đầu ra dài.

Gọi hàm & Chế độ JSON

Tích hợp công cụ và buộc đầu ra có cấu trúc để tương tác lập trình đáng tin cậy. Sử dụng tham số công cụ để xác định lược đồ hàm và đặt response_format thành json_object để tuân thủ JSON nghiêm ngặt. Mô hình không kiểm duyệt của chúng tôi xử lý các hướng dẫn phức tạp và các trường hợp biên mà không từ chối các yêu cầu chức năng hợp lệ.

Giới hạn tốc độ & Tham số

Theo dõi mức sử dụng dựa trên các giới hạn nghiêm ngặt trên mỗi khóa để tránh gián đoạn dịch vụ. Bạn được phép 300 yêu cầu mỗi phút và tám yêu cầu đồng thời mỗi khóa, với giới hạn thân yêu cầu là 8 MB. Các lỗi như 401 (khóa không hợp lệ), 402 (không có tín dụng) và 429 (giới hạn tốc độ) cho biết các trạng thái tài khoản cụ thể.

Cửa sổ ngữ cảnh & Ràng buộc

Tối ưu hóa xử lý ngữ cảnh với cửa sổ 100.000 token cho đầu vào và đầu ra kết hợp. Đặt max_tokens để kiểm soát độ dài tạo, mặc định là 2.048 nếu không chỉ định. Mô hình của chúng tôi chạy trên máy chủ độc quyền, không phải là proxy cho các nhà cung cấp khác, đảm bảo hiệu suất nhất quán cho trường hợp sử dụng cụ thể của bạn.