สรุป
- ต้นทุนโทเค็นแตกต่างกันอย่างมากระหว่างอินพุตและเอาต์พุต โดยโทเค็นเอาต์พุตมักมีราคาสูงกว่าอัตราอินพุตสองเท่า
- การส่งแบบสตรีมมิ่งไม่ลดการใช้โทเค็น; คุณจ่ายสำหรับทุกโทเค็นที่สร้างขึ้น ไม่ว่าวิธีการส่งจะเป็นอย่างไร
- Function Calling ต้องการคำจำกัดความเครื่องมืออย่างชัดเจนในบริบท ซึ่งเพิ่มจำนวนโทเค็นข้อมูลนำเข้าก่อนเริ่มการสร้าง
- เครดิตทดลองใช้ฟรีช่วยให้คุณทดสอบต้นทุนการผสานรวมโดยไม่เสี่ยงเงินฝากล่วงหน้าของคุณทันที
การละเลยต้นทุนของ context window
ขีดจำกัดหน้าต่างบริบทส่งผลโดยตรงต่อ input tokens ที่เรียกเก็บเงิน เมื่อคุณส่ง prompt ประวัติการสนทนาทั้งหมดจะสะสมภายในขีดจำกัด 100,000 tokens นี้ หากไม่จัดการประวัติอย่างมีประสิทธิภาพ คุณจะบริโภคการจัดสรร input ของคุณอย่างรวดเร็ว ข้อความใหม่แต่ละข้อจะเพิ่มบริบททั้งหมด ทำให้ต้นทุนพื้นฐานสำหรับการ request ถัดไปสูงขึ้น สิ่งนี้สำคัญเป็นพิเศษสำหรับเซสชันที่ยาวนานซึ่งประวัติเติบโตแบบเส้นตรง เก็บเฉพาะข้อความที่เกี่ยวข้องที่สุดในหน้าต่างบริบท ตัดการแลกเปลี่ยนเก่าออกเมื่อไม่ส่งผลต่องานปัจจุบันอีกต่อไป สิ่งนี้ทำให้ input tokens ของคุณต่ำและต้นทุนคาดเดาได้ API ของเราคิด $0.15 ต่อ 1M input tokens ดังนั้นทุก token ที่เสียไปจะสะสม ใช้กลยุทธ์ sliding window เพื่อรักษาความสอดคล้องของการสนทนาโดยไม่ทำให้บริบทใหญ่ขึ้น วิธีนี้ช่วยให้คุณอยู่ภายในเครดิตพรีเพดได้นานขึ้น และลด latency เนื่องจาก payload ขนาดเล็กประมวลผลเร็วกว่า ตรวจสอบจำนวน tokens ในโค้ดไคลเอนต์ของคุณเสมอก่อนส่งแต่ละ request นิสัยง่ายๆ นี้ป้องกันบิลที่ตกใจสิ้นเดือน
สมมติว่าโทเค็นทั้งหมดมีค่าเท่ากัน
โทเค็นอินพุตและเอาต์พุตมีราคาแตกต่างกันใน API ของเรา โดยโทเค็นอินพุตมีราคา $0.15 ต่อ 1M ส่วนโทเค็นเอาต์พุตมีราคา $0.50 ต่อ 1M นั่นหมายความว่าโทเค็นเอาต์พุตมีราคาสูงกว่าโทเค็นอินพุตถึงสามเท่า นักพัฒนามักเข้าใจผิดว่าอัตราค่าโทเค็นเป็นแบบคงที่ ซึ่งนำไปสู่การประเมินต้นทุนที่ต่ำกว่าความเป็นจริง หากโมเดลของคุณสร้างคำตอบที่ยาวนาน บิลของคุณจะเพิ่มขึ้นเร็วกว่าที่คาดไว้ ควรตรวจสอบอัตราส่วนระหว่างโทเค็นอินพุตและเอาต์พุตในบันทึกการใช้งานของคุณ พยายามใช้คำสั่งที่กระชับเพื่อให้ได้คำตอบที่สั้นและตรงประเด็นมากขึ้น ซึ่งจะช่วยลดจำนวนโทเค็นเอาต์พุตที่มีราคาแพงลง นอกจากนี้คุณยังสามารถตั้งค่า max_tokens ที่ต่ำกว่าเพื่อจำกัดต้นทุนต่อคำขอได้ แต่โปรดทราบว่าหากโมเดลถึงขีดจำกัดเอาต์พุตสูงสุด คุณยังคงต้องจ่ายสำหรับโทเค็นทั้งหมดที่สร้างจนถึงจุดนั้น กลยุทธ์นี้ใช้ได้ผลดีกับการสนทนาแบบครบจบ (chat completions) ที่ต้องการความกระชับ แต่อาจไม่เหมาะหากคุณต้องการคำอธิบายโดยละเอียด ปรับตรรกะของแอปพลิเคชันของคุณเพื่อสมดุลระหว่างรายละเอียดและต้นทุน ตรวจสอบแดชบอร์ดการใช้งานของคุณเป็นระยะเพื่อระบุแนวโน้มการบริโภคโทเค็น ข้อมูลนี้ช่วยให้คุณปรับแต่งคำสั่งให้มีประสิทธิภาพมากขึ้น
การลืมส่วนเกินของการสตรีม
การสตรีมส่งโทเค็นเมื่อสร้างเสร็จ แต่ไม่ได้ลดจำนวนโทเค็นทั้งหมด คุณจ่ายสำหรับทุกโทเค็นที่ส่ง ไม่ว่ามันจะมาถึงทันทีหรือหลังจากความล่าช้า ผู้พัฒนาบางคนคิดว่าการสตรีมช่วยประหยัดเงินเพราะดูเหมือนมีประสิทธิภาพมากกว่า จำนวนโทเค็นจะเหมือนกันไม่ว่าคุณจะใช้โหมดสตรีมหรือไม่ก็ตาม การสตรีมเพิ่มโอเวอร์เฮดของเครือข่ายเนื่องจากชิ้นส่วน HTTP หลายชิ้น แต่สิ่งนี้ไม่ส่งผลต่อราคา ความแตกต่างเพียงอย่างเดียวคือวิธีการจัดการการตอบกลับในโค้ดไคลเอนต์ของคุณ ใช้การสตรีมเพื่อประสบการณ์ผู้ใช้ที่ดีขึ้น แต่คำนวณงบประมาณสำหรับจำนวนโทเค็นเต็มรูปแบบ API ของเรารวมการใช้งานโทเค็นในชิ้นสุดท้ายของสตรีม ดังนั้นคุณจึงสามารถติดตามต้นทุนได้อย่างแม่นยำ ตรวจสอบให้แน่ใจว่าโค้ดไคลเอนต์ของคุณแยกวิเคราะห์ชิ้นสุดท้ายเพื่อรับจำนวนโทเค็นทั้งหมด สิ่งนี้ป้องกันความคลาดเคลื่อนระหว่างบันทึกภายในของคุณและการเรียกเก็บเงินของเรา การสตรีมเหมาะสำหรับอินเทอร์เฟซแชทที่ผู้ใช้ต้องการเห็นข้อความปรากฏแบบเรียลไทม์ มันไม่เสนอส่วนลดสำหรับบิล API เสมอคำนวณปริมาณโทเค็นเต็มรูปแบบเมื่อคำนวณค่าใช้จ่ายรายเดือนของคุณ เพื่อหลีกเลี่ยงการหมดเงินที่เติมไว้ล่วงหน้าโดยไม่คาดคิด
การประเมินต้นทุนการเรียกใช้ฟังก์ชันผิดพลาด
Function Calling ต้องการให้คุณส่งคำจำกัดความเครื่องมือในบริบท คำจำกัดความเหล่านี้นับเป็นโทเค็นข้อมูลนำเข้า หากสคีมาเครื่องมือของคุณใหญ่ มันจะเพิ่มต้นทุนข้อมูลนำเข้าอย่างมีนัยสำคัญ การเรียกใช้ฟังก์ชันแต่ละครั้งยังสร้างข้อความใหม่ในประวัติ ซึ่งเพิ่มในบริบท ซึ่งสามารถทำให้การใช้โทเค็นของคุณพองตัวได้อย่างรวดเร็วสำหรับการสอบถามผู้ใช้เพียงรายการเดียว กำหนดเฉพาะพารามิเตอร์ที่จำเป็นในสคีมาเครื่องมือของคุณเพื่อรักษาโทเค็นให้ต่ำ หลีกเลี่ยงการส่งคำอธิบายที่ซ้ำซ้อนหรือละเอียดเกินไปในคำจำกัดความเครื่องมือ เมื่อโมเดลเรียกใช้ฟังก์ชัน คำตอบยังถูกโทเคไนซ์ ซึ่งเพิ่มต้นทุนเอาท์พุต การโต้ตอบหลายรอบนี้สามารถคูณจำนวนโทเค็นสำหรับการร้องขอที่เรียบง่ายได้ ติดตามจำนวนการเรียกใช้ฟังก์ชันต่อเซสชันผู้ใช้ หากคุณเห็นการเรียกใช้มากเกินไป ให้ปรับปรุงคำขอหรือคำจำกัดความเครื่องมือเพื่อแนะนำโมเดลให้ดีขึ้น ซึ่งลดรอบที่ไม่จำเป็นและรักษาต้นทุนให้ต่ำ API ของเรารองรับ Function Calling ผ่านพารามิเตอร์ tools ดังนั้นคุณสามารถผสานรวมได้อย่างมีประสิทธิภาพ เพียงจำไว้ว่าการเรียกใช้แต่ละครั้งเพิ่มจำนวนโทเค็นรวมของคุณ วางแผนโฟลว์แอปพลิเคชันของคุณเพื่อลดการเรียกใช้ฟังก์ชันที่ซ้ำซ้อน ซึ่งรับประกันว่าคุณจะได้รับคุณค่าที่ดีที่สุดจากเครดิตที่เติมเงินล่วงหน้า
การละเลยผลกระทบของอัตราจำกัด
อัตราจำกัดการใช้งานอาจทำให้แอปพลิเคชันของคุณลองส่งคำขอซ้ำ ซึ่งทำให้การใช้โทเค็นเพิ่มขึ้นเป็นสองเท่า API ของเราอนุญาตให้ส่ง 300 คำขอต่อนาทีต่อคีย์ หากคุณถึงขีดจำกัดนี้ โค้ดไคลเอนต์ของคุณจะต้องรอและลองใหม่ การลองใหม่แต่ละครั้งจะส่งโทเค็นอินพุตเดิมอีกครั้ง ซึ่งเพิ่มบิลของคุณ ซึ่งปัญหาเหล่านี้รุนแรงเป็นพิเศษสำหรับแอปพลิเคชันที่มีปริมาณการเข้าชมสูง ให้ใช้การหน่วงเวลาแบบทวีคูณในลอจิกการลองใหม่เพื่อหลีกเลี่ยงการส่งคำขอซ้ำๆ บ่อยเกินไป ซึ่งจะช่วยลดจำนวนคำขอที่ซ้ำซ้อนและประหยัดโทเค็น ตรวจสอบอัตราการส่งคำขอของคุณอย่างใกล้ชิด โดยเฉพาะในช่วงเวลาที่มีผู้ใช้หนาแน่น หากคุณถึงขีดจำกัดอย่างต่อเนื่อง ให้พิจารณาแบ่งการจราจรของคุณผ่านคีย์หลายรายการ แต่ละคีย์มีอัตราจำกัดของตัวเอง ดังนั้นการกระจายภาระงานจึงช่วยได้ อย่างไรก็ตาม แต่ละคีย์จะผูกกับบัญชีหนึ่งบัญชี ดังนั้นจึงควรจัดการคีย์ของคุณอย่างระมัดระวัง API ของเราคิดค่าบริการสำหรับข้อผิดพลาดและการปฏิเสธ ดังนั้นการลองใหม่ที่ล้มเหลวจึงยังใช้โทเค็นอยู่ ตรวจสอบให้แน่ใจว่าแอปพลิเคชันของคุณจัดการข้อผิดพลาดได้อย่างเหมาะสมโดยไม่มีการลองใหม่ที่ไม่จำเป็น ซึ่งจะทำให้การใช้โทเค็นของคุณสอดคล้องกับงานที่มีประโยชน์จริง ตรวจสอบส่วนหัวอัตราจำกัดของคุณอย่างสม่ำเสมอเพื่อให้อยู่ในขีดจำกัดที่อนุญาต เพื่อป้องกันยอดการใช้โทเค็นที่เพิ่มขึ้นโดยไม่คาดคิด
ไม่ติดตามการใช้งานคีย์ API
แต่ละบัญชีสามารถมีคีย์ API ที่ใช้งานอยู่ได้เพียงคีย์เดียว หากคุณสร้างคีย์ใหม่ คีย์เก่าจะกลายเป็นสถานะไม่ใช้งาน นั่นหมายความว่าคุณไม่สามารถแบ่งการใช้งานข้ามคีย์หลายคีย์สำหรับบัญชีเดียวกันได้ ติดตามการใช้งานคีย์ของคุณอย่างระมัดระวังเพื่อหลีกเลี่ยงการสูญเสียการเข้าถึงเครดิต หากคุณทำคีย์หาย คุณจะไม่สามารถดึงคืนจากแดชบอร์ดได้ ให้สร้างคีย์ใหม่ แต่โปรดทราบว่าคีย์เก่าจะหยุดทำงานทันที ซึ่งอาจรบกวนแอปพลิเคชันของคุณหากไม่ได้จัดการอย่างเหมาะสม ใช้คีย์เดียวสำหรับการผสานรวมทั้งหมดของคุณเพื่อให้ง่ายต่อการติดตาม ตรวจสอบยอดเงินเครดิตของคุณเป็นระยะเพื่อให้แน่ใจว่าคุณมีเพียงพอสำหรับการร้องขอในอนาคต API ของเราให้แดชบอร์ดที่คุณสามารถดูประวัติการใช้งานได้ ใช้ข้อมูลนี้เพื่อคาดการณ์ความต้องการ token ของคุณสำหรับเดือนถัดไป หากคุณเห็นการเพิ่มขึ้นอย่างกะทันหันในการใช้งาน ให้ตรวจสอบสาเหตุ อาจเป็นข้อบกพร่องในโค้ดของคุณที่ทำให้มีการเรียกซ้ำมากเกินไป หรืออาจเป็นการเปลี่ยนแปลงพฤติกรรมของผู้ใช้ที่ทำให้การใช้ token เพิ่มขึ้น การตรวจสอบเป็นประจำช่วยให้คุณจับปัญหาได้เร็วและปรับงบประมาณของคุณได้เหมาะสม ซึ่งช่วยให้คุณไม่มีวันหมดเครดิตโดยไม่คาดคิด
การประเมินต้นทุนการเรียกซ้ำต่ำเกินไป
การเรียกซ้ำ (Retries) เป็นเรื่องปกติเมื่อเครือข่ายล้มเหลวหรือ API คืนค่าข้อผิดพลาด การเรียกซ้ำแต่ละครั้งจะส่งโทเค็นอินพุตเดิมอีกครั้ง ทำให้ค่าใช้จ่ายของคุณเพิ่มขึ้น หากแอปพลิเคชันของคุณเรียกซ้ำห้าครั้งสำหรับข้อผิดพลาดหนึ่งครั้ง คุณจะต้องจ่ายค่าโทเค็นอินพุตห้าครั้ง สิ่งนี้อาจทำให้ต้นทุนของคุณพุ่งสูงขึ้นอย่างมาก โดยเฉพาะในแอปพลิเคชันที่มีปริมาณการใช้งานสูง ให้ใช้กลไกการเรียกซ้ำที่แข็งแกร่งซึ่งจำกัดจำนวนการเรียกซ้ำ กำหนดจำนวนการเรียกซ้ำสูงสุดเพื่อป้องกันลูปไม่สิ้นสุด นอกจากนี้ ให้แยกแยะระหว่างข้อผิดพลาดชั่วคราวและข้อผิดพลาดถาวร ข้อผิดพลาดถาวร เช่น พารามิเตอร์ไม่ถูกต้อง ไม่ควรเรียกซ้ำใหม่ ข้อผิดพลาดชั่วคราว เช่น การหมดเวลาของเซิร์ฟเวอร์ สามารถเรียกซ้ำใหม่ได้โดยมีการหน่วงเวลา ใช้การหน่วงเวลาแบบทวีคูณ (exponential backoff) เพื่อลดภาระบน API วิธีนี้ยังช่วยลดจำนวนการเรียกซ้ำและประหยัดโทเค็นอีกด้วย ติดตามอัตราข้อผิดพลาดของคุณเพื่อระบุรูปแบบ หากพบอัตราการเรียกซ้ำสูง ให้ตรวจสอบสาเหตุรากฐาน อาจเป็นปัญหาเครือข่ายหรือบั๊กในโค้ดไคลเอนต์ของคุณ การแก้ไขสาเหตุรากฐานจะลดการเรียกซ้ำที่ไม่จำเป็นและลดค่าใช้จ่ายของคุณ สิ่งนี้ทำให้คุณจ่ายเฉพาะสำหรับคำขอที่สำเร็จและมีประโยชน์ ทบทวนบันทึกการเรียกซ้ำของคุณเป็นระยะเพื่อปรับแต่งกลยุทธ์การจัดการข้อผิดพลาดของคุณ
ขาดสิทธิประโยชน์ทดลองใช้ฟรี
บัญชีใหม่ทุกบัญชีจะได้รับเครดิตทดลอง $0.50 ใช้ได้ภายใน 7 วัน ซึ่งช่วยให้คุณทดสอบ API โดยไม่ต้องเสี่ยงกับยอดเงินที่เติมไว้ คุณสามารถใช้เครดิตนี้เพื่อตรวจสอบว่าการเชื่อมต่อของคุณทำงานถูกต้องหรือไม่ โดยทดสอบพารามิเตอร์ต่างๆ เช่น temperature, top_p และ max_tokens รวมถึงวัดปริมาณ token ที่ใช้กับ prompt ประเภทต่างๆ เพื่อช่วยประมาณการค่าใช้จ่ายก่อนตัดสินใจเติมเงินจำนวนมากขึ้น เครดิตทดลองนี้จะถูกหักตามจำนวน token ที่ใช้จริง ดังนั้นคุณจึงจ่ายเฉพาะสิ่งที่ใช้เท่านั้น ส่วนข้อผิดพลาดและการปฏิเสธจะฟรี แม้ในช่วงทดลองใช้ คุณจึงสามารถทดสอบการจัดการข้อผิดพลาดได้โดยไม่กังวลเรื่องค่าใช้จ่าย เมื่อเครดิตทดลองหมดอายุ คุณต้องเติมเงินด้วยคริปโตเพื่อใช้งาน API ต่อไป โดยเติมขั้นต่ำ $20 พร้อมรับเครดิตโบนัส การเติม $50 รับโบนัส 5% และการเติม $200 รับโบนัส 15% ใช้เครดิตทดลองนี้เพื่อหาจำนวนการเติมที่เหมาะสมกับความต้องการของคุณ เพื่อให้แน่ใจว่าคุณเริ่มต้นด้วยยอดเงินที่ถูกต้องและหลีกเลี่ยงการหมดเครดิต นอกจากนี้ยังช่วยให้คุณเข้าใจการทำงานของ API ก่อนตัดสินใจทางการเงิน อย่าปล่อยให้เครดิตทดลองสูญเปล่า; ทดสอบให้ละเอียดเพื่อรับประโยชน์สูงสุด
