خلاصه
- هزینه توکن‌ها بین ورودی و خروجی به طور قابل توجهی متفاوت است، با توکن‌های خروجی که اغلب بیش از دو برابر نرخ ورودی هزینه دارند.
- پاسخ‌های استریم‌شده مصرف توکن را کاهش نمی‌دهند؛ شما برای هر توکن تولید شده، صرف‌نظر از نحوه تحویل، پرداخت می‌کنید.
- فراخوانی تابع نیاز به تعریف صریح ابزار در زمینه دارد که باعث افزایش تعداد توکن‌های ورودی قبل از شروع تولید می‌شود.
- اعتبار آزمایش رایگان به شما اجازه می‌دهد هزینه‌های یکپارچه‌سازی را آزمایش کنید بدون اینکه بلافاصله موجودی پیش‌پرداخت خود را به خطر بیندازید.
نادیده گرفتن هزینه پنجره زمینه
محدودیت‌های پنجره زمینه مستقیماً بر توکن‌های ورودی قابل صورتحساب شما تأثیر می‌گذارند. وقتی یک پرامپت ارسال می‌کنید، کل تاریخچه مکالمه در آن محدودیت ۱۰۰,۰۰۰ توکنی انباشته می‌شود. اگر تاریخچه را به طور کارآمد مدیریت نکنید، به سرعت تخصیص ورودی خود را مصرف می‌کنید. هر پیام جدید به زمینه کلی اضافه می‌شود و هزینه پایه را برای هر درخواست بعدی افزایش می‌دهد. این به ویژه برای جلسات طولانی‌مدت که تاریخچه به صورت خطی رشد می‌کند، مهم است. فقط پیام‌های مرتبط‌تر را در پنجره زمینه نگه دارید. تبادل‌های قدیمی‌تر را زمانی که دیگر بر وظیفه فعلی تأثیر نمی‌گذارند، حذف کنید. این توکن‌های ورودی شما را پایین و هزینه‌ها را قابل پیش‌بینی نگه می‌دارد. API ما ۰.۱۵ دلار برای هر ۱M توکن ورودی دریافت می‌کند، بنابراین هر توکن هدر رفته اضافه می‌شود. از یک استراتژی پنجره لغزان برای حفظ انسجام مکالمه بدون بزرگ شدن زمینه استفاده کنید. این رویکرد تضمین می‌کند که برای دوره‌های طولانی‌تری در اعتبار پیش‌پرداخت خود باقی بمانید. همچنین تأخیر را کاهش می‌دهد زیرا پیکسل‌های کوچک‌تر سریع‌تر پردازش می‌شوند. همیشه تعداد توکن‌ها را در کد کلاینت خود قبل از ارسال هر درخواست نظارت کنید. این عادت ساده از شوک‌های صورتحساب غیرمنتظره در پایان ماه جلوگیری می‌کند.
فرض بر اینکه همه توکن‌ها یکسان ارزش دارند
توکن‌های ورودی و خروجی در API ما قیمت‌گذاری متفاوتی دارند. توکن‌های ورودی ۰.۱۵ دلار به ازای هر ۱M و توکن‌های خروجی ۰.۵۰ دلار به ازای هر ۱M هزینه دارند. این یعنی توکن‌های خروجی بیش از سه برابر گران‌تر از توکن‌های ورودی هستند. توسعه‌دهندگان اغلب فرض می‌کنند نرخ ثابتی برای هر توکن وجود دارد که منجر به برآورد کمتر هزینه‌ها می‌شود. اگر مدل پاسخ‌های طولانی تولید کند، صورتحساب شما سریع‌تر از انتظار افزایش می‌یابد. نسبت توکن‌های ورودی به خروجی را در لاگ‌های خود بررسی کنید. سعی کنید پرامپت‌های مختصری بنویسید که پاسخ‌های کوتاه‌تر و مستقیم‌تری دریافت کنند. این کار تعداد توکن‌های گران‌تر خروجی را کاهش می‌دهد. همچنین می‌توانید limit max_tokens را پایین‌تر تنظیم کنید تا هزینه‌ها در هر درخواست محدود شود. توجه داشته باشید که اگر مدل به حد حداکثر خروجی برسد، همچنان برای تمام توکن‌های تولیدشده تا آن نقطه هزینه پرداخت می‌کنید. این استراتژی برای تکمیل‌های چت که اختصار در آن‌ها ترجیح داده می‌شود خوب عمل می‌کند. اگر به توضیحات دقیق نیاز دارید، چندان مناسب نیست. منطق برنامه خود را برای تعادل بین جزئیات و هزینه تنظیم کنید. به‌طور منظم داشبورد مصرف خود را بررسی کنید تا روندهای مصرف توکن را شناسایی کنید. این داده‌ها به شما کمک می‌کند پرامپت‌های خود را برای کارایی بهینه کنید.
فراموش کردن سربار استریم
استریم‌دهی توکن‌ها را همان‌طور که تولید می‌شوند ارسال می‌کند، اما تعداد کل توکن‌ها را کاهش نمی‌دهد. شما بابت هر توکن ارسالی پرداخت می‌کنید، چه بلافاصله و چه با تأخیر دریافت شود. برخی از توسعه‌دهندگان فرض می‌کنند که استریم‌دهی صرفه‌جویی در هزینه دارد زیرا کارآمدتر به نظر می‌رسد. تعداد توکن‌ها یکسان باقی می‌ماند، چه از حالت استریم و چه غیراستریم استفاده کنید. استریم‌دهی به دلیل قطعات HTTP متعدد، اضافه‌بار شبکه ایجاد می‌کند، اما این بر قیمت‌گذاری تأثیر نمی‌گذارد. تفاوت تنها در نحوه مدیریت پاسخ در کد کلاینت شماست. از استریم برای تجربه کاربری بهتر استفاده کنید، اما بودجه‌ای برای تعداد کامل توکن‌ها در نظر بگیرید. API ما استفاده از توکن را در آخرین قطعه جریان شامل می‌شود، بنابراین می‌توانید هزینه‌ها را به دقت ردیابی کنید. مطمئن شوید که کد کلاینت شما قطعه نهایی را تجزیه می‌کند تا کل مصرف توکن را دریافت نمایید. این از ناهماهنگی بین لاگ‌های داخلی و صورتحساب ما جلوگیری می‌کند. استریم‌دهی برای رابط‌های چت ایده‌آل است جایی که کاربران می‌خواهند متن را به صورت بلادرنگ ببینند. این تخفیفی در صورتحساب API ارائه نمی‌دهد. همیشه حجم کامل توکن را هنگام محاسبه هزینه ماهانه خود در نظر بگیرید. این از تمام شدن موجودی پیش‌پرداخت به صورت غیرمنتظره جلوگیری می‌کند.
محاسبه نادرست هزینه‌های function calling
فراخوانی تابع نیاز دارد که تعاریف ابزار را در زمینه ارسال کنید. این تعاریف به عنوان توکن‌های ورودی محاسبه می‌شوند. اگر طرح‌واره ابزار شما بزرگ باشد، هزینه ورودی را به طور قابل توجهی افزایش می‌دهد. هر فراخوانی به یک تابع همچنین یک پیام جدید در تاریخچه ایجاد می‌کند که به زمینه اضافه می‌شود. این می‌تواند به سرعت استفاده از توکن شما را برای یک پرسش کاربر متورم کند. فقط پارامترهای ضروری را در طرح‌واره ابزار خود تعریف کنید تا توکن‌ها کم بمانند. از ارسال توصیف‌های اضافی یا بیش از حد دقیق در تعریف ابزار خودداری کنید. وقتی مدل تابعی را فراخوانی می‌کند، پاسخ نیز توکن‌بندی می‌شود که به هزینه خروجی اضافه می‌کند. این تعامل چند مرحله‌ای می‌تواند تعداد توکن‌ها را برای یک درخواست ساده ضرب کند. تعداد فراخوانی‌های تابع را در هر جلسه کاربر ردیابی کنید. اگر فراخوانی‌های مفرط می‌بینید، پرامپت یا تعاریف ابزار خود را برای هدایت بهتر مدل اصلاح کنید. این از چرخه‌های اضافی غیرضروری جلوگیری کرده و هزینه‌ها را پایین نگه می‌دارد. API ما از فراخوانی تابع از طریق پارامتر tools پشتیبانی می‌کند، بنابراین می‌توانید این قابلیت را به طور کارآمد یکپارچه کنید. فقط به یاد داشته باشید که هر نوبت به تعداد کل توکن‌های شما اضافه می‌شود. جریان برنامه خود را برنامه‌ریزی کنید تا فراخوانی‌های تابع اضافی به حداقل برسد. این تضمین می‌کند که بهترین ارزش را از اعتبار پیش‌پرداخت خود دریافت کنید.
نادیده گرفتن تأثیرات محدودیت نرخ
حد نرخ‌ها می‌تواند باعث شود برنامه شما درخواست‌ها را مجدداً تلاش کند که مصرف توکن شما را دو برابر می‌کند. API ما اجازه ۳۰۰ درخواست در دقیقه به ازای هر کلید را می‌دهد. اگر به این حد برسید، کد کلاینت شما باید منتظر بماند و تلاش مجدد کند. هر تلاش مجدد، همان ورودی‌های توکنی را دوباره ارسال می‌کند که صورتحساب شما را افزایش می‌دهد. این موضوع به ویژه برای برنامه‌های با ترافیک بالا مشکل‌ساز است. بازگشت نمایی را در منطق تلاش مجدد خود پیاده‌سازی کنید تا از بمباران API جلوگیری کنید. این کار تعداد درخواست‌های اضافی را کاهش داده و توکن‌ها را صرفه‌جویی می‌کند. نرخ درخواست خود را به دقت پایش کنید، به ویژه در زمان‌های اوج مصرف. اگر به طور مداوم به حد می‌رسید، در نظر بگیرید که ترافیک خود را بین کلیدهای متعدد تقسیم کنید. هر کلید حد نرخ مستقل خود را دارد، بنابراین توزیع بار کمک می‌کند. با این حال، هر کلید به یک حساب کاربری متصل است، بنابراین کلیدها را به دقت مدیریت کنید. API ما برای خطاها و رد شدن‌ها هزینه دریافت می‌کند، بنابراین تلاش‌های مجدد ناموفق همچنان توکن مصرف می‌کنند. اطمینان حاصل کنید که برنامه شما خطاها را بدون تلاش‌های مجدد غیرضروری مدیریت می‌کند. این کار مصرف توکن شما را با کار مفید واقعی هم‌راستا نگه می‌دارد. به طور منظم هدرهای حد نرخ خود را مرور کنید تا در حدود مجاز باقی بمانید. این کار از افزایش‌های غیرمنتظره در مصرف توکن شما جلوگیری می‌کند.
ردیابی نکردن استفاده از کلید API
هر حساب‌کاربری فقط می‌تواند یک کلید API فعال داشته باشد. اگر کلید جدیدی تولید کنید، کلید قدیمی غیرفعال می‌شود. این بدان معناست که نمی‌توانید استفاده را بین چند کلید برای یک حساب‌کاربری تقسیم کنید. مصرف کلید خود را به دقت ردیابی کنید تا از دست دادن دسترسی به اعتبار خود جلوگیری کنید. اگر کلید خود را گم کنید، نمی‌توانید آن را از داشبورد بازیابی کنید. کلید جدیدی تولید کنید، اما توجه داشته باشید که کلید قدیمی بلافاصله از کار می‌افتد. این می‌تواند برنامه‌های شما را مختل کند اگر به درستی مدیریت نشود. از یک کلید واحد برای تمام یکپارچه‌سازی‌های خود استفاده کنید تا ردیابی را ساده‌تر کنید. موجودی اعتبار خود را به طور منظم پایش کنید تا مطمئن شوید برای درخواست‌های آینده اعتبار کافی دارید. API ما داشبوردی ارائه می‌دهد که می‌توانید تاریخچه مصرف خود را در آن مشاهده کنید. از این داده‌ها برای پیش‌بینی نیازهای توکنی خود برای ماه آینده استفاده کنید. اگر افزایش ناگهانی در مصرف مشاهده کردید، علت را بررسی کنید. ممکن است یک باگ در کد شما باعث تلاش‌های مکرر بیش از حد شود. یا ممکن است تغییر در رفتار کاربران باعث افزایش مصرف توکن شود. پایش منظم به شما کمک می‌کند مشکلات را زودتر تشخیص دهید و بودجه خود را متناسب با آن تنظیم کنید. این تضمین می‌کند که به طور غیرمنتظره اعتبار شما تمام نشود.
برآورد نادرست هزینه‌های تلاش مجدد
تلاش مجدد (Retry) زمانی که شبکه‌ها دچار اختلال می‌شوند یا API خطا برمی‌گرداند، رایج است. هر تلاش مجدد، همان توکن‌های ورودی را دوباره ارسال می‌کند و صورتحساب شما را افزایش می‌دهد. اگر برنامه شما برای یک خطای واحد پنج بار تلاش مجدد انجام دهد، بابت توکن‌های ورودی پنج بار پرداخت می‌کنید. این موضوع می‌تواند هزینه‌های شما را به‌ویژه برای برنامه‌های با حجم بالا به شدت افزایش دهد. یک مکانیزم تلاش مجدد مقاوم پیاده‌سازی کنید که تعداد تلاش‌ها را محدود کند. حداکثر تعداد تلاش مجدد را تعیین کنید تا از ایجاد حلقه‌های بی‌نهایت جلوگیری شود. همچنین، بین خطاهای موقتی و خطاهای دائمی تمایز قائل شوید. خطاهای دائمی، مانند پارامترهای نامعتبر، نباید مجدداً تلاش شوند. خطاهای موقتی، مانند زمان‌بر شدن سرور، می‌توانند با تأخیر مجدداً تلاش شوند. از بازگشت نمایی (Exponential Backoff) برای کاهش بار روی API استفاده کنید. این کار همچنین تعداد تلاش‌های مجدد را کاهش داده و توکن‌ها را صرفه‌جویی می‌کند. نرخ خطای خود را پایش کنید تا الگوها را شناسایی کنید. اگر نرخ بالای تلاش مجدد مشاهده می‌کنید، علت ریشه‌ای را بررسی کنید. ممکن است مشکل شبکه یا باگ در کد کلاینت شما باشد. رفع علت ریشه‌ای، تلاش‌های اضافی را کاهش داده و صورتحساب شما را کاهش می‌دهد. این تضمین می‌کند که فقط برای درخواست‌های موفق و مفید پرداخت می‌کنید. به‌طور منظم لاگ‌های تلاش مجدد خود را بررسی کنید تا استراتژی مدیریت خطای خود را بهینه‌سازی کنید.
مزیت آزمایش رایگان گمشده
هر حساب جدید شامل ۰.۵۰ دلار اعتبار آزمایشی است که به مدت ۷ روز معتبر است. این به شما امکان می‌دهد API را بدون ریسک برای موجودی پیش‌پرداخت خود تست کنید. از این اعتبار آزمایشی برای اطمینان از عملکرد صحیح یکپارچه‌سازی خود استفاده کنید. پارامترهای مختلفی مانند temperature، top_p و max_tokens را تست کنید. مصرف توکن را برای انواع مختلف پرامپت‌ها اندازه‌گیری کنید. این به شما کمک می‌کند هزینه‌های خود را قبل از شارژ بیشتر تخمین بزنید. اعتبار آزمایشی بر اساس مصرف واقعی توکن محاسبه می‌شود، بنابراین بابت آنچه استفاده می‌کنید پرداخت می‌کنید. خطاها و رد شدن درخواست‌ها رایگان هستند، حتی در طول دوره آزمایشی. این یعنی می‌توانید مدیریت خطاها را بدون نگرانی از هزینه‌ها تست کنید. پس از اتمام دوره آزمایشی، باید با ارز دیجیتال حساب خود را شارژ کنید تا به استفاده از API ادامه دهید. شارژ‌ها از ۲۰ دلار شروع می‌شوند و همراه با اعتبار اضافی هستند. شارژ ۵۰ دلاری ۵٪ اعتبار اضافی و شارژ ۲۰۰ دلاری ۱۵٪ اعتبار اضافی به شما می‌دهد. از دوره آزمایشی برای تعیین مبلغ شارژ مناسب نیازهای خود استفاده کنید. این تضمین می‌کند که با موجودی صحیح شروع می‌کنید و از تمام شدن اعتبار جلوگیری می‌کنید. همچنین به شما کمک می‌کند تا رفتار API را قبل از تعهد مالی درک کنید. اجازه ندهید اعتبار آزمایشی بیهوده بگذرد؛ به طور کامل تست کنید تا بیشترین ارزش را از آن ببرید.
