OpenAI-uyumlu API Dokümantasyonu

Pika-aloitus: Yhdistä OpenAI SDKlla

Aloita todentaminen avaimellasi ja osoita asiakasohjelma perus-URL:iimme. Tämä asennus toimii virallisilla OpenAI SDK:illa Pythonille ja Node.js:lle, varmistaen, että voit ajaa saman asiakasohjelmakoodin palvelumme kanssa. Tarvitset kelvollisen API-avaimen hallintapaneelista ja oikean päätepisteiden konfiguraation.

Copycurl https://api.openaiapicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current UTC timestamp in ISO 8601 format"}]
  }'

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Chat Completions Endpoint

Lähetä teksti yhteen chat-päätepisteeseemme suoraa tekstilähtöä varten. Käytämme POST /v1/chat/completions -kutsua ohjeidesi käsittelyyn ja tuotetun tekstin palauttamiseen. Tämä on useimpien LLM-sovellusten ydinkäyttötapaus, joka ei vaadi monimutkaista reititystä tai lisäpalvelukutsuja.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming with SSE

Vastaanota tokeneja reaaliajassa käyttämällä Server-Sent Eventsia pienemmän viiveen saavuttamiseksi. Ota streamaus käyttöön asettamalla stream-parametri arvoksi true pyynnössäsi. Viimeinen lohko sisältää token-käyttötiedot, jolloin voit seurata kustannuksia tarkasti mallin tuottaessa tekstiä. Tämä lähestymistapa pitää käyttöliittymän reagoivana myös pitkissä tulosteissa.

Funktio Calling & JSON Mode

Integroi työkalut ja pakota rakenteelliset tulokset luotettaviin ohjelmoituihin vuorovaikutuksiin. Käytä tool-parametria funktioskeemien määrittämiseen ja aseta response_format arvoon json_object tiukan JSON-yhteensopivuuden varmistamiseksi. Epäsuodatettu mallimme käsittelee monimutkaisia ohjeita ja reuna-arvoja kieltämättä kelvollisia toiminnallisia pyyntöjä.

Nopeusrajoitukset & parametrit

Seuraa käyttöäsi tiukkojen avainta kohtaa asetettujen rajojen suhteen välttääksesi palvelukatkoksia. Sinulla on 300 pyyntöä minuutissa ja kahdeksan samanaikaista pyyntöä avainta kohden, 8 Mt:n rungon rajoituksella. Virheet kuten 401 (virheellinen avain), 402 (ei kredittiä) ja 429 (nopeusrajoitus) ilmoittavat tietystä tilasta.

Kontekstiluukku & rajoitukset

Maksimoi kontekstin käsittely 100 000 tokenin ikkunalla yhdistetylle syötteelle ja tulosteelle. Aseta max_tokens hallitsemaan tuotannon pituutta, oletusarvo on 2 048, jos sitä ei määritetä. Mallimme toimii omilla palvelimilla, ei välityspalvelimena muille toimittajille, mikä varmistaa johdonmukaisen suorituskyvyn käyttötapaustasi varten.