Documentazione API compatibile con OpenAI

Avvio rapido: Connetti con SDK OpenAI

Inizia autenticando con la tua chiave e puntando il client al nostro URL di base. Questa configurazione funziona con gli SDK ufficiali OpenAI per Python e Node.js, garantendo che tu possa eseguire lo stesso codice client contro il nostro servizio. Hai bisogno di una chiave API valida dalla dashboard e della corretta configurazione dell'endpoint.

Copycurl https://api.openaiapicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current UTC timestamp in ISO 8601 format"}]
  }'

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Endpoint Chat Completions

Invia testo al nostro singolo endpoint di chat per un output di testo diretto. Utilizziamo POST /v1/chat/completions per elaborare i tuoi prompt e restituire il testo generato. Questa è l'interazione principale per la maggior parte delle applicazioni LLM, senza necessità di routing complesso o chiamate a servizi aggiuntivi.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming con SSE

Ricevi i token in tempo reale utilizzando Server-Sent Events per una latenza inferiore. Abilita lo streaming impostando il parametro stream su true nella tua richiesta. L'ultimo chunk include i dati sull'utilizzo dei token, consentendoti di tracciare i costi in modo accurato mentre il modello genera testo. Questo approccio mantiene l'interfaccia utente reattiva anche per output lunghi.

Function Calling & JSON Mode

Integra gli strumenti e imponi output strutturati per interazioni programmatiche affidabili. Usa il parametro tools per definire gli schemi delle funzioni e imposta response_format su json_object per una conformità JSON rigorosa. Il nostro modello senza filtri gestisce istruzioni complesse e casi limite senza rifiutare richieste funzionali valide.

Limiti di frequenza e parametri

Monitora il tuo utilizzo rispetto a limiti rigorosi per chiave per evitare interruzioni del servizio. Hai diritto a 300 richieste al minuto e otto richieste concorrenti per chiave, con un limite del corpo di 8 MB. Errori come 401 (chiave non valida), 402 (nessun credito) e 429 (limite di velocità) indicano stati specifici dell'account.

Finestra di contesto & Vincoli

Ottimizza la gestione del contesto con una finestra da 100.000 token per input e output combinati. Imposta max_tokens per controllare la lunghezza della generazione, con un valore predefinito di 2.048 se non specificato. Il nostro modello gira su server proprietari, non come proxy per altri fornitori, garantendo prestazioni coerenti per il tuo caso d'uso specifico.