Ringkasan
- Biaya token bervariasi secara signifikan antara input dan output, dengan token output sering kali berharga lebih dari dua kali lipat tingkat input.
- Responsi streaming tidak mengurangi penggunaan token; Anda membayar untuk setiap token yang dihasilkan, terlepas dari bagaimana token tersebut dikirimkan.
- Pemanggilan fungsi memerlukan definisi alat eksplisit dalam konteks, yang meningkatkan jumlah token input sebelum generasi dimulai.
- Kredit uji coba gratis memungkinkan Anda menguji biaya integrasi tanpa segera mempertaruhkan saldo pra-dibayar Anda.
Mengabaikan biaya jendela konteks
Batas jendela konteks secara langsung memengaruhi token input yang dapat ditagih. Saat Anda mengirimkan prompt, seluruh riwayat percakapan terakumulasi dalam batas 100.000 token tersebut. Jika Anda tidak mengelola riwayat secara efisien, Anda dengan cepat menghabiskan alokasi input Anda. Setiap pesan baru menambah konteks total, meningkatkan biaya dasar untuk setiap permintaan berikutnya. Ini sangat penting untuk sesi berdurasi panjang di mana riwayat tumbuh secara linear. Simpan hanya pesan yang paling relevan di jendela konteks. Potong pertukaran lama ketika mereka tidak lagi memengaruhi tugas saat ini. Ini menjaga token input Anda tetap rendah dan biaya dapat diprediksi. API kami membebankan $0.15 per 1M token input, sehingga setiap token yang terbuang bertambah. Gunakan strategi jendela geser untuk mempertahankan koherensi percakapan tanpa membengkakkan konteks. Pendekatan ini memastikan Anda tetap dalam kredit prabayar Anda lebih lama. Ini juga mengurangi latensi karena payload yang lebih kecil diproses lebih cepat. Selalu pantau hitungan token dalam kode klien Anda sebelum mengirimkan setiap permintaan. Kebiasaan sederhana ini mencegah kejutan tagihan di akhir bulan.
Mengasumsikan semua token dihitung sama
Token input dan output memiliki harga berbeda di API kami. Token input berharga $0,15 per 1M, sedangkan token output berharga $0,50 per 1M. Artinya, token output lebih dari tiga kali lebih mahal daripada token input. Pengembang sering mengasumsikan tarif rata per token, yang menyebabkan estimasi biaya yang terlalu rendah. Jika model Anda menghasilkan respons panjang, tagihan Anda akan meningkat lebih cepat dari yang diharapkan. Pantau rasio token input terhadap token output di log Anda. Usahakan prompt yang ringkas untuk memicu jawaban yang lebih pendek dan langsung. Hal ini mengurangi jumlah token output mahal yang dihasilkan. Anda juga dapat mengatur batas max_tokens yang lebih rendah untuk membatasi biaya per permintaan. Perhatikan bahwa jika model mencapai batas output maksimum, Anda tetap membayar semua token yang dihasilkan hingga titik tersebut. Strategi ini sangat efektif untuk penyelesaian percakapan yang mengutamakan kepraktisan. Strategi ini kurang efektif jika Anda memerlukan penjelasan mendetail. Sesuaikan logika aplikasi Anda untuk menyeimbangkan detail terhadap biaya. Tinjau secara berkala dasbor penggunaan Anda untuk mengidentifikasi tren konsumsi token. Data ini membantu Anda mengoptimalkan prompt Anda agar lebih efisien.
Melupakan overhead streaming
Mengirimkan token saat dihasilkan, tetapi tidak mengurangi jumlah token total. Anda membayar setiap token yang dikirim, apakah tiba secara instan atau setelah penundaan. Beberapa pengembang mengasumsikan streaming menghemat uang karena terasa lebih efisien. Jumlah token tetap identik apakah Anda menggunakan mode streaming atau non-streaming. Streaming menambah overhead jaringan karena beberapa chunk HTTP, tetapi ini tidak mempengaruhi harga. Satu-satunya perbedaan adalah cara Anda menangani respons dalam kode klien Anda. Gunakan streaming untuk pengalaman pengguna yang lebih baik, tetapi anggarkan jumlah token penuh. API kami menyertakan penggunaan token di chunk terakhir stream, sehingga Anda dapat melacak biaya secara akurat. Pastikan kode klien Anda menguraikan chunk terakhir untuk mendapatkan total penggunaan token. Ini mencegah ketidaksesuaian antara log internal Anda dan penagihan kami. Streaming sangat ideal untuk antarmuka chat di mana pengguna ingin melihat teks muncul secara real-time. Ini tidak menawarkan diskon pada tagihan API. Selalu hitung volume token penuh saat menghitung pengeluaran bulanan Anda. Ini menghindari kehabisan kredit pra-dibayar secara tak terduga.
Menyalahvaluasi biaya pemanggilan fungsi
Pemanggilan fungsi memerlukan Anda mengirim definisi alat dalam konteks. Definisi ini dihitung sebagai token input. Jika skema alat Anda besar, ini secara signifikan meningkatkan biaya input. Setiap panggilan ke fungsi juga menghasilkan pesan baru dalam riwayat, menambah konteks. Ini dapat dengan cepat membengkakkan penggunaan token Anda untuk satu kueri pengguna. Tentukan hanya parameter yang diperlukan dalam skema alat Anda untuk menjaga token tetap rendah. Hindari mengirim deskripsi yang berlebihan atau terlalu rinci dalam definisi alat. Ketika model memanggil fungsi, responsnya juga ditokenisasi, menambah biaya output. Interaksi multi-gilir ini dapat melipatgandakan jumlah token untuk permintaan sederhana. Lacak jumlah panggilan fungsi per sesi pengguna. Jika Anda melihat panggilan berlebihan, perbaiki prompt atau definisi alat Anda untuk memandu model dengan lebih baik. Ini mengurangi giliran yang tidak perlu dan menjaga biaya tetap rendah. API kami mendukung pemanggilan fungsi melalui parameter tools, sehingga Anda dapat mengintegrasikannya secara efisien. Ingatlah bahwa setiap giliran menambah total token Anda. Rencanakan alur aplikasi Anda untuk meminimalkan panggilan fungsi yang redundan. Ini memastikan Anda mendapatkan nilai terbaik dari kredit pra-dibayar Anda.
Mengabaikan dampak batas kecepatan
Batas laju dapat menyebabkan aplikasi Anda mencoba ulang permintaan, yang menggandakan penggunaan token Anda. API kami mengizinkan 300 permintaan per menit per kunci. Jika Anda mencapai batas ini, kode klien Anda harus menunggu dan mencoba ulang. Setiap percobaan ulang mengirimkan token input yang sama lagi, meningkatkan tagihan Anda. Ini sangat bermasalah untuk aplikasi ber-traffic tinggi. Terapkan backoff eksponensial dalam logika coba ulang Anda untuk menghindari membanjiri API. Ini mengurangi jumlah permintaan redundan dan menghemat token. Pantau laju permintaan Anda dengan cermat, terutama selama waktu penggunaan puncak. Jika Anda secara konsisten mencapai batas, pertimbangkan untuk membagi lalu lintas Anda di seluruh kunci yang berbeda. Setiap kunci memiliki batas laju sendiri, sehingga menyebarkan beban membantu. Namun, setiap kunci terkait dengan satu akun, jadi kelola kunci Anda dengan hati-hati. API kami membebankan biaya untuk kesalahan dan penolakan, jadi percobaan ulang yang gagal masih memakan token. Pastikan aplikasi Anda menangani kesalahan dengan baik tanpa percobaan ulang yang tidak perlu. Ini menjaga konsumsi token Anda selaras dengan pekerjaan berguna aktual. Tinjau header batas laju Anda secara teratur untuk tetap dalam batas yang diizinkan. Ini mencegah lonjakan tak terduga dalam penggunaan token Anda.
Tidak melacak penggunaan kunci API
Setiap akun hanya dapat memiliki satu kunci API aktif. Jika Anda membuat kunci baru, kunci lama menjadi tidak aktif. Ini berarti Anda tidak dapat membagi penggunaan di beberapa kunci untuk akun yang sama. Lacak penggunaan kunci Anda dengan hati-hati untuk menghindari kehilangan akses ke kredit Anda. Jika Anda kehilangan kunci Anda, Anda tidak dapat mengambilnya dari dasbor. Buat kunci baru, tetapi perhatikan bahwa kunci lama akan segera berhenti bekerja. Ini dapat mengganggu aplikasi Anda jika tidak dikelola dengan benar. Gunakan satu kunci untuk semua integrasi Anda untuk menyederhanakan pelacakan. Pantau saldo kredit Anda secara teratur untuk memastikan Anda memiliki cukup untuk permintaan yang akan datang. API kami menyediakan dasbor tempat Anda dapat melihat riwayat penggunaan Anda. Gunakan data ini untuk memprediksi kebutuhan token Anda untuk bulan berikutnya. Jika Anda melihat peningkatan mendadak dalam penggunaan, selidiki penyebabnya. Itu bisa menjadi bug dalam kode Anda yang menyebabkan percobaan ulang berlebihan. Atau itu bisa menjadi perubahan perilaku pengguna yang meningkatkan konsumsi token. Pemantauan rutin membantu Anda menangkap masalah lebih awal dan menyesuaikan anggaran Anda sesuai. Ini memastikan Anda tidak pernah kehabisan kredit secara tidak terduga.
Meremehkan biaya retry
Retri adalah hal umum saat jaringan gagal atau API mengembalikan error. Setiap retrikirimkan token input yang sama lagi, sehingga meningkatkan tagihan Anda. Jika aplikasi Anda melakukan lima kali retrikarena satu kegagalan, Anda membayar lima kali untuk token input. Hal ini dapat secara signifikan membengkakkan biaya Anda, terutama untuk aplikasi dengan volume tinggi. Terapkan mekanisme retrik yang kuat yang membatasi jumlah retrik. Tetapkan jumlah maksimum retrik untuk mencegah loop tak hingga. Selain itu, bedakan antara error sementara dan error permanen. Error permanen, seperti parameter tidak valid, tidak boleh diulang. Error sementara, seperti timeout server, dapat diulang dengan jeda. Gunakan backoff eksponensial untuk mengurangi beban pada API. Ini juga mengurangi jumlah retrik dan menghemat token. Pantau tingkat error Anda untuk mengidentifikasi pola. Jika Anda melihat tingkat retrik yang tinggi, selidiki akar masalahnya. Itu bisa berupa masalah jaringan atau bug dalam kode klien Anda. Memperbaiki akar masalah mengurangi retrik yang tidak perlu dan menurunkan tagihan Anda. Ini memastikan Anda hanya membayar untuk permintaan yang berhasil dan bermanfaat. Tinjau log retrik Anda secara teratur untuk mengoptimalkan strategi penanganan error Anda.
Kehilangan manfaat uji coba gratis
Setiap akun baru menerima kredit percobaan senilai $0.50 yang berlaku selama 7 hari. Ini memungkinkan Anda menguji API tanpa risiko terhadap saldo prabayar Anda. Gunakan kredit ini untuk memverifikasi bahwa integrasi Anda berfungsi dengan benar. Uji parameter berbeda seperti temperature, top_p, dan max_tokens. Ukur penggunaan token untuk berbagai jenis prompt. Hal ini membantu Anda memperkirakan biaya sebelum melakukan pengisian ulang yang lebih besar. Kredit percobaan dibebankan berdasarkan penggunaan token nyata, jadi Anda membayar sesuai penggunaan. Kesalahan dan penolakan gratis, bahkan selama masa percobaan. Ini berarti Anda dapat menguji penanganan kesalahan tanpa khawatir tentang biaya. Setelah masa percobaan berakhir, Anda harus mengisi ulang dengan kripto untuk terus menggunakan API. Pengisian ulang dimulai dari $20 dan disertai kredit bonus. Pengisian $50 memberikan bonus 5%, sedangkan pengisian $200 memberikan bonus 15%. Gunakan kredit percobaan untuk menentukan jumlah pengisian yang tepat sesuai kebutuhan Anda. Ini memastikan Anda memulai dengan saldo yang benar dan menghindari kehabisan kredit. Ini juga membantu Anda memahami perilaku API sebelum membuat komitmen keuangan. Jangan biarkan kredit percobaan terbuang; uji secara menyeluruh untuk memaksimalkan nilainya.
