Inti dari ZDNET
Biaya API OpenAI bisa naik dengan cepat jika agen AI berjalan di luar kendali.
Batas penggunaan yang ketat dapat membantu mencegah tagihan API yang tidak terduga.
Peringatan dan batas kecepatan adalah lapisan perlindungan tambahan.
—
Suatu malam, saya terbangun dengan keringat dingin karena mimpi buruk yang aneh. Ini bukan mimpi buruk biasa saya, seperti dikejar warga desa dengan garpu rumput dan obor atau tengkorak yang terbakar.
Bukan, mimpi ini tentang aplikasi AI saya yang tiba-tiba memunculkan ratusan agen, dan semua agen itu melakukan panggilan API. Tagihan API pun terus naik. Agen AI yang nakal dan memboroskan uang kartu kredit saya memang lebih baik daripada dimakan tengkorak api, tapi tetap saja tidak menyenangkan.
OpenAI memang tidak bisa membantu untuk masalah tengkorak api, tapi mereka bisa membantu mengurangi risiko mimpi buruk tagihan API yang membengkak. Yang perlu Anda lakukan adalah mengatur batas pemakaian di akun Anda. Di artikel ini, saya akan menunjukkan caranya.
Memulai
Masuk ke akun OpenAI Anda dan buka halaman batas pengeluaran. Ada banyak hal di sini. Kita akan membahas batas pengeluaran, peringatan pengeluaran, batas kecepatan, dan tingkatan pemakaian. Semua ini berpengaruh pada besarnya tagihan kartu kredit Anda.
Memahami Tingkatan Pemakaian
Saya akan mulai dengan tingkatan pemakaian, karena ini adalah mekanisme pencegahan terhadap pemborosan di awal perjalanan API Anda.
Misalnya, sebelum total pengeluaran API Anda mencapai $50, Anda terkunci di Tingkat 1. Ini berarti, meskipun Anda tidak memasang batas pemakaian apapun, OpenAI tidak akan membiarkan Anda menghabiskan lebih dari $100 per bulan. Saya sendiri ada di Tingkat 1, karena meskipun API saya terhubung dengan server Docker untuk analisis kata kunci, saya belum pernah melebihi $50 dalam pemakaian selama setahun lebih.
Setelah Anda membelanjakan $50, Anda naik ke Tingkat 2, yang batas pemakaiannya $500 per bulan. Total pengeluaran $100 membuat Anda naik ke Tingkat 3, di mana Anda bisa membelanjakan hingga $1.000 per bulan. Total pengeluaran $250 untuk pemakaian API membuat Anda melompat ke Tingkat 4, di mana Anda bisa membelanjakan hingga $5.000 per bulan.
Ini adalah batas atas yang cukup besar, tetapi begitu Anda mencapai total $1.000 yang dibayarkan ke OpenAI, batasannya menjadi sangat longgar. OpenAI akan mengizinkan Anda membelanjakan hingga $200.000 per bulan.
Bayangkan skenario ini. Anda menghubungkan perangkat lunak ke akun API OpenAI, dan dalam beberapa bulan, Anda sudah membelanjakan $1.000 untuk panggilan API. Suatu hari, perangkat lunak itu memutuskan untuk meluncurkan pasukan agen untuk melakukan suatu tugas, dan tibalah bencana. Makhluk nakal itu bisa menguras akun Anda hingga ratusan ribu dolar sebelum Anda sempat mematikannya.
Dan itulah mengapa Anda juga perlu memasang batas pengeluaran yang spesifik.
Memahami Batas Pengeluaran
Mari kembali ke halaman batas pengeluaran. Seperti yang Anda lihat, saya ada di Tingkat 1.
Ada beberapa hal di sini. Perhatikan tulisan: "Biaya aktual Anda mungkin melebihi batas ini tergantung pemakaian." Catatan ini ada karena, kecuali Anda memerintahkannya, OpenAI tidak memberikan batas keras pada pemakaian Anda. Idenya adalah tanpa batas keras, infrastruktur Anda tidak akan rusak. Tapi tentu saja, Anda bisa membelanjakan lebih banyak. Saya akan tunjukkan cara mengatasi masalah ini sebentar lagi.
Anda bisa mematikan fitur Isi Ulang Otomatis dengan menekan tombolnya. Jika Anda melakukannya, halaman batas akan diperbarui dan Anda tidak akan bisa mengaktifkan Isi Ulang Otomatis dari halaman ini lagi. Sebagai gantinya, klik Penagihan dari menu di sisi kiri.
Terakhir, di layar Batas, Anda bisa mengatur Peringatan Pengeluaran dan menerima surel setelah Anda mencapai persentase tertentu dari anggaran Anda.
Memasang Batas Keras
Jika Anda tidak suka gagasan biaya aktual Anda bisa melampaui batas pengeluaran yang Anda tetapkan, Anda bisa memasang batas keras. Di layar Batas, klik tombol Edit Batas Pengeluaran.
Perhatikan tombol untuk batas keras (Enforce Hard Limit). Saya sarankan untuk menyalakan ini, terutama jika Anda ada di tingkatan pemakaian yang lebih tinggi. Langkah ini akan menyebabkan panggilan API Anda ditolak dengan kode error 429, tapi Anda tidak akan membelanjakan lebih dari yang seharusnya.
Pastikan kode Anda memeriksa kondisi error saat melakukan panggilan AI.
Memahami Batas Kecepatan
OpenAI juga punya batas kecepatan, yang membatasi berapa banyak permintaan per menit, per hari, token per menit, per hari, dan gambar per menit yang bisa Anda gunakan, berdasarkan model yang Anda pakai.
OpenAI mengatakan batas ini untuk membantu melindungi dari penyalahgunaan API, memastikan akses API yang adil bagi semua orang, dan membantu mengelola beban pada infrastruktur. OpenAI punya panduan untuk coding agar sesuai dengan batas kecepatan. Salah satu rekomendasi mereka adalah menggunakan teknik percobaan ulang dengan jeda yang makin panjang (exponential backoff), di mana Anda otomatis mencoba ulang permintaan setelah waktu tidur singkat, dan melakukannya beberapa kali sampai permintaan berhasil atau melampaui batas coba ulang yang Anda tentukan.
Intinya
Intinya sederhana: pasang batas pengeluaran agar agen AI yang nakal tidak melebihi anggaran Anda. Batas kecepatan sangat mudah diatur, jadi wajib digunakan untuk melindungi akun Anda.
Itu tidak akan mengusir warga desa yang marah, tapi itu akan membantu Anda mengelola biaya API AI. Dan setidaknya itu sesuatu.