Analisis ZDNET: Uji Coba Codex OpenAI dengan Budget Terbatas
Yosi Azwan/iStock / Getty Images Plus
Poin Penting dari ZDNET:
- Saya menghabiskan $20 untuk Codex dan mengalami peningkatan produktivitas 16 kali lipat.
- Batas penggunaan ketat memutus sesi coding di tengah proyek secara tiba-tiba.
- Alat premium bisa berbiaya $800 per bulan namun memberikan hasil yang lebih konsisten.
Kita pernah membahas sebelumnya tentang Codex milik OpenAI, model AI yang dirancang khusus untuk pekerjaan pemrograman. Meski saya menemukan kemampuannya cukup menjanjikan, kewajiban untuk menggunakannya hanya di GitHub atau melalui antarmuka terminal command-line terasa sangat membatasi.
Namun, semua itu berubah pada akhir Agustus lalu. Kini Codex tersedia sebagai ekstensi untuk VS Code, Cursor, dan Windsurf (IDE coding AI lainnya). Ia juga tersedia sebagai bagian dari ChatGPT Plus, paket AI OpenAI seharga $20 per bulan.
Integrasi Codex dengan VS Code benar-benar mengubah permainan dalam hal produktivitas, terutama mengingat opsi harga $20/bulan tersebut. Saya telah menjelajahi opsi AI coding lainnya, namun yang tidak diungkapkan oleh mesin promosi adalah bahwa harganya bisa menjadi sangat mahal, sangat cepat—hingga mencapai kisaran $400-800 per bulan.
Meski demikian, Codex dalam paket $20/bulan tidak tanpa keterbatasan. Setelah sehari penuh penggunaan, saya tiba-tiba terkena hold penggunaan selama 33 menit. Keesokan harinya, setelah sekitar empat jam pemakaian, saya kembali terkena hold 90 menit. Lalu, setelah empat jam kerja tambahan, Codex menonaktifkan akses saya selama seminggu penuh.
Rasanya sedikit seperti obat. Anda mencicipi pertama kalinya. Anda menyelesaikan 192 jam kerja hanya dalam 12 jam. Tapi jika Anda ingin lebih banyak produktivitas super yang manis itu, Anda perlu membayar $200 per bulan. Masih belum jelas berapa banyak coding yang Anda dapat dengan paket yang lebih besar, tapi jujur saja saya pertimbangkan untuk membelinya hanya untuk melanjutkan tren produktivitas saya.
Intinya, saya menyelesaikan empat proyek dan memulai yang kelima dalam waktu yang biasanya hanya cukup untuk—mungkin—menyelesaikan satu proyek saja.
Sekarang setelah Anda mengetahui inti pengalaman saya, izinkan saya memandu Anda melalui detailnya.
Alat coding AI tidaklah murah
Dalam sebuah diskusi YouTube baru-baru ini, dua programmer Ray Fernando dan Robin Ebers berbagi pengalaman tentang bagaimana mereka masing-masing menghabiskan setidaknya $800/bulan untuk alat coding.
Fernando menyebut dia membayar $200 per bulan untuk paket Claude Code Max 20x. Claude Code adalah asisten pemrograman berpasangan yang dirancang khusus oleh Anthropic untuk para koder, dan sering lebih disukai karena kemampuan perencanaan dan penalarannya.
Fernando juga membayar $400 per bulan untuk Cursor Ultra. Cursor adalah fork dari integrated development environment (IDE) VS Code dengan kecerdasan AI yang lebih native. Lingkungan pengembangan ini mengintegrasikan kemampuan AI di seluruh antarmuka, memungkinkan asistensi coding berbasis AI yang kuat.
Selain itu, Fernando membayar $200/bulan untuk ChatGPT Pro, versi high-end ChatGPT dengan penalaran mendalam yang lebih canggih dan batasan yang lebih sedikit.
Bagi Fernando dan Ebers, pengeluaran semacam itu sepadan dengan produktivitas tambahan yang mereka peroleh dari alat-alat tersebut. Sebagai perbandingan, mempekerjakan programmer tingkat entry-level paling dasar pun akan lebih mahal daripada yang mereka habiskan masing-masing.
Untuk sementara, kita tidak akan membahas apakah AI mematikan peluang programmer pemula untuk mendapatkan pekerjaan. Mari fokus pada apa yang AI dapat lakukan untuk programmer profesional yang menginginkan produktivitas lebih (atau lebih banyak waktu untuk tidur).
Pengalaman Penggunaan Codex Saya
Secara keseluruhan, pengalaman penggunaan saya (ketika saya bisa menggunakannya) dengan Codex di VS Code cukup menyenangkan. Saya bekerja hampir seluruhnya dengan antarmuka chatbot di dalam IDE.
Uji besar pertama saya adalah meminta Codex menulis ulang layar sambutan untuk kode saya. Layar sambutan tersebut berbasis HTML dan CSS, yang sebenarnya tidak terlalu sulit untuk dikodekan secara manual. Tapi saya akan membagikan rahasia kecil tentang saya: saya sangat, sangat tidak menyukai coding dalam CSS.
CSS adalah "bahasa" pemformatan yang digunakan untuk menyesuaikan tampilan halaman web. Ia dikembangkan oleh komite, lalu dikustomisasi dan disempurnakan hingga titik yang tidak bisa ditolerir oleh programmer rasional mana pun. Ya, ada master CSS. Tapi saya bukan salah satunya.
Jadi, kemampuan untuk mendelegasikan pekerjaan itu kepada AI adalah sesuatu yang sangat menarik bagi saya. Pertama, CSS sangat terkenal dan terdokumentasi dengan baik, sehingga AI memiliki pengetahuan mendalam tentang cara kerjanya.
Kedua, tidak ada dalam kode itu yang bersifat mission-critical. Ia bisa mengacaukan tampilan sesukanya dan satu-satunya kerugian adalah pada selera estetika saya.
Ketiga, semua kode untuk layar itu ada dalam dua file: file HTML dan CSS. Jadi, seandainya AI membuatnya sama sekali tidak bisa digunakan, saya cukup memulihkan file-file itu dari cabang utama atau cadangan terbaru.
Memang butuh banyak percobaan. Ketika saya pertama kali memberi tahu AI bahwa saya ingin layarnya terlihat lebih modern dan menarik, ia tidak tahu apa yang harus dilakukan dengan instruksi itu.
Tapi ketika saya menginstruksikannya bagian demi bagian (misalnya, buat tiga kotak putih), ia melakukan pekerjaan dengan hebat. Jadi saya bekerja dengannya, memberinya satu perubahan pada satu waktu, menunggu 5-10 menit untuknya memikirkan perubahan, lalu melanjutkan.
Versi yang dihasilkan lebih bersih, lebih mudah dibaca dan dipahami, serta lebih menarik.
Saya juga menggunakan Codex untuk menguji dan men-debug formulir pendaftaran milis, yang sebelumnya cukup bermasalah. Di sini, Codex masuk ke dalam JavaScript. Sekali lagi, kami melakukan iterasi berkali-kali hingga akhirnya menghasilkan sesuatu yang berfungsi.
Penting untuk diingat bahwa saya harus sangat hati-hati mengarahkan AI tentang apa yang harus diubah. Saya harus bisa menjelaskan dengan jelas apa yang bekerja dan apa yang tidak. Dan saya harus bisa masuk ke kode saya dan konsol browser untuk melakukan beberapa pengujian.
Jadi, Codex bukanlah alat untuk non-programmer. Manusia yang memiliki pengetahuan coding dan proyek yang memadai harus berada di kemudi untuk membuat sebuah proyek berhasil.
Batas Keras dan Pilihan Sulit
Namun, ada beberapa kejutan besar dalam paket ChatGPT Plus $20/bulan dengan Codex tersebut. Sebagian besar AI coding dikenakan meteran berdasarkan penggunaan. Setiap kali Anda memberikan perintah (prompt) kepada AI, sejumlah token (seringkali jumlahnya cukup besar) dikonsumsi. Paket berharga lebih tinggi memberi Anda lebih banyak token sebelum Anda diputus.
Sebagian besar alat coding menunjukkan token yang tersedia dalam paket Anda, dan berapa banyak yang tersisa sebelum Anda perlu istirahat. Setidaknya untuk saat ini, Codex di VS Code tidak.
Saya telah menggunakan Codex di VS Code sepanjang hari (benar-benar sepanjang hari). Saya mencapai pukul 8:45 malam dan tiba-tiba, di tengah proses debugging yang cukup kompleks dan komprehensif, saya diberi tahu, "Anda telah mencapai batas penggunaan Anda. Tingkatkan ke Pro atau coba lagi dalam 33 menit."
Uh oh.
Tidak ada peringatan. Itu terjadi tepat di tengah proses coding. Jadi saya tidak tahu apakah ia membuat perubahan sebagian ketika berhenti dan menunjukkan kegagalan, atau tidak. Saya tidak memiliki akses ke antarmuka "apa yang diubah" yang biasanya tersedia setelah proses Codex. Kode saya berada dalam keadaan yang sangat tidak pasti.
Ini mengganggu, dan semakin parah. Tidak ada pemberitahuan ketika Codex memutus Anda. Seperti yang saya sebutkan di atas, ia memutus saya dua kali lagi, juga tanpa peringatan.
Ya, saya bisa mengembalikan branch ke kondisi sebelum saya mengerjakan fitur khusus ini dengan Codex, tetapi itu berarti menyia-nyiakan semua penggunaan itu.
Berbicara tentang pemborosan penggunaan, ingatlah bahwa sementara programmer membayar untuk token atau penggunaan, AI sering membuat kesalahan bodoh. Jadi Anda juga membayar untuk hasil yang tidak bisa digunakan. Jika penggunaan saya bisa dijadikan indikator, setidaknya setengah dari permintaan yang Anda buat kepada AI pasangan coding akan sia-sia.
Pertama kali larangan itu terjadi, saya tidak tahu berapa banyak penggunaan yang akan saya dapatkan kembali setelah 33 menit itu berlalu. Ternyata larangannya semakin lama, selalu tanpa peringatan apa pun, dan seringkali tepat di tengah proses coding AI.
Setelah menunggu 33 menit, saya menjalankan delapan perintah coding penuh lagi, tanpa gangguan, yang mengakhiri hari pertama saya menggunakan Codex dengan cara ini.
Keesokan paginya, setelah sekitar empat jam, saya mencapai batas keras lainnya. Kali ini, Codex meminta saya menunggu 90 menit. Ia kembali mencapai batas keras di tengah salah satu proses coding-nya, sekali lagi meninggalkan kode saya dalam keadaan yang tampaknya tidak diketahui.
Penghentian kerja 90 menit itu terasa berat karena saya sedang berada dalam kondisi alur kerja (flow state) yang cukup kuat.
Saya beralih ke proyek non-coding untuk sementara, sampai 90 menit berlalu.
Saya kemudian mengalami proses yang sangat produktif lagi dengan Codex. Saya kira saya bekerja sekitar lima jam lagi. Tapi kemudian saya menghadapi tembok bata pembunuh kesepakatan yang paling utama.
Saya telah diputus. Codex tidak akan berbicara dengan saya selama 5 hari dan 16 jam, kecuali saya meningkatkan ke paket $200/bulan.
Jadi itulah pilihan sulitnya. Apakah Anda membatasi diri pada apa pun yang bisa Anda dapatkan dari Codex pada paket Plus $20/bulan? Dalam praktiknya, itu terasa seperti dua hari kerja—tetapi apakah itu dua hari per bulan, atau dua hari per minggu?
Karena saya tidak memiliki banyak waktu luang untuk memprogram, itu mungkin bisa dilakukan untuk saya. Meski begitu, sangat menyebalkan untuk dinonaktifkan ketika saya masih punya waktu untuk coding. Tapi untuk seorang koder profesional, hal dua hari aktif, lima hari nonaktif itu tidak akan bekerja.
Saya telah menghubungi OpenAI untuk beberapa detail tentang batas penggunaan Plus, dan bagaimana cara mengetahui kapan batas itu habis. Nantikan. Saya akan memperbarui ini ketika saya mengetahui lebih lanjut.
Dan lagi, yang berhasil saya selesaikan…
Meskipun saya dikunci dari bantuan coding AI dari Codex, saya masih bisa coding sendiri. Kecuali, sekarang setelah saya merasakan bagaimana rasanya ini, saya tidak tahu apakah saya masih mau.
Izinkan saya menjabarkan apa yang saya selesaikan dalam kurang dari dua hari coding yang terputus-putus, di sela-sela aktivitas lain saya, termasuk menulis artikel ini.
Perlu dicatat bahwa tidak ada yang saya lakukan dengan AI yang merupakan kode mission-critical atau terkait keamanan. Ini semua adalah kemampuan yang sangat bagus untuk ditambahkan, tetapi tidak ada dalam area ini yang akan menyebabkan masalah keamanan bagi pengguna. Untuk itu, saya coding secara manual.
- Saya mempercantik halaman sambutan. Tugas ini hampir seluruhnya berbasis HTML dan CSS, dan merupakan jenis aktivitas coding biasa yang sangat tidak saya sukai. Saya perkirakan butuh sekitar 90 menit dengan Codex. Itu akan menjadi pekerjaan satu hari penuh jika saya lakukan sendiri.
- Saya men-debug antarmuka milis. Saya menggunakan Codex untuk menggali kode antarmuka milis yang tidak berfungsi dengan baik. Ia akan memanggil Mailchimp, tetapi tidak berhasil. Saya telah menyelidikinya beberapa kali sebelumnya, tetapi tidak pernah dengan perbaikan yang andal. Dengan Codex, saya bisa memperbaikinya dalam waktu sekitar 10 menit. Itu adalah penghematan multi-jam lainnya, untuk proyek yang telah saya coba beberapa kali sebelumnya.
- Saya membuat mesin UI sub-tab. Antarmuka saya dibagi menjadi bagian tab, tetapi semakin kompleks. Saya menggunakan mesin antarmuka berparameter untuk menentukan tab tersebut. Kemarin, saya menambahkan mesin sub-tab lengkap yang menciptakan komponen antarmuka pengguna yang sama sekali baru. Tidak hanya menyediakan elemen UI baru, tetapi juga sangat modular dan mudah untuk diterapkan. Jenis add-on fungsionalitas modular seperti ini cukup kompleks untuk diimplementasikan dan dikunci dengan benar. Jika dilakukan sendiri, mungkin akan menghabiskan waktu setidaknya satu minggu. Butuh waktu di bawah empat jam, termasuk istirahat wajib 33 menit.
- Saya menambahkan manajer cadangan pengaturan. Saya menambahkan subsistem baru untuk mencadangkan, memulihkan, dan menghapus semua pengaturan dalam program saya. Ini membuat file teks JSON eksternal yang dapat dengan mudah dipindahkan, disimpan, dan dimodifikasi di luar database program. Tidak hanya membangun kode untuk menyimpan dan memulihkan pengaturan, tetapi juga antarmuka pengguna yang memungkinkan pemilik situs untuk menggunakannya. Biasanya, UI akan memakan waktu sekitar satu hari, dan fungsionalitas simpan/pulihkan/reset mungkin akan memakan waktu satu hari lagi atau lebih. Butuh waktu sekitar tiga jam, di mana 90 menit adalah istirahat wajib.
- Saya memulai add-on monitor aktivitas pengguna. Saya memulai pekerjaan pada sesuatu yang mungkin menjadi add-on berbayar untuk produk freemium saya, sebuah monitor aktivitas pengguna. Ini adalah alat yang sangat mendalam dan kaya fitur untuk menangkap aktivitas pengguna dan situs, menganalisisnya, dan menandai aktivitas mencurigakan. Saya membuat prototipe seluruh antarmuka pengguna, dan membuat draf pertama dari logika aktual yang membuat semuanya berjalan. Sayangnya, hanya sejauh itulah yang saya capai sebelum palu larangan datang. Saya diputus dari Codex untuk minggu depan. Meski begitu, mencapai sejauh itu akan memakan waktu setidaknya satu minggu untuk prototipe UI, dan mungkin satu minggu lagi untuk logika fungsional. Saya menghabiskan empat jam, dua di antaranya digunakan untuk merancang dokumen persyaratan produk dengan hati-hati. Dua jam lainnya digunakan untuk bekerja dengan AI untuk menghasilkan kodenya.
Kesimpulan untuk Saya
Saya tidak berlebihan ketika mengatakan saya menyelesaikan sekitar 24 hari kerja, dalam dua hari coding singkat masing-masing sekitar enam jam. Saya menyelesaikan kurang lebih 192 jam kerja dalam 12 jam dengan bantuan Codex. Sungguh pengganda kekuatan (force multiplier)!
Jika saya coding secara profesional, biaya $200 sebulan untuk akun Pro (atau bahkan $800 sebulan, seperti yang dihabiskan Fernando dan Ebers) akan sangat sepadan dengan pengeluarannya. Tapi coding saya sebagian besar untuk menjaga keterampilan dan sebagian besar pekerjaan saya adalah open source dan gratis.
Saya bisa membenarkan $20 atau bahkan $40 per bulan untuk coding, tapi itu bukan sesuatu yang bisa saya benarkan untuk menghabiskan ratusan dolar per bulan.
Saya telah melihat manfaat produktivitas menggunakan AI sebelumnya, menggunakan ChatGPT dalam antarmuka chatbot. Tapi di sini, Codex memiliki akses ke seluruh repo kode 492 file dan bisa melihat hubungan antar file. Dengan kata lain, Codex bisa coding untuk keseluruhan sistem, bukan hanya satu modul di sana-sini.
Jadi, sementara saya telah melihat beberapa peningkatan produktivitas coding yang besar menggunakan ChatGPT untuk membantu rutin yang terisolasi, saya belum pernah melihat peningkatan produktivitas 16x, yang diberikan Codex kepada saya akhir pekan ini.
Tapi jangan disalahartikan bahwa AI dapat membuat Anda menjadi aplikasi bernilai juta-an dolar. Dengan sendirinya, tanpa bimbingan konstan saya, Codex membuat banyak kesalahan. Ia perlu diinstruksikan tentang bagaimana berbagai elemen bekerja bersama. Ia perlu dibimbing tentang cara memecahkan beberapa masalah. Terkadang, saya harus menjauhkannya sepenuhnya dari pendekatan yang digunakannya dan mengarahkannya ke arah lain.
Dengan kata lain, ini adalah alat bertenaga (power tool). Ini bukan sumur ajaib yang bisa mengabulkan permohonan.
Analogi alat bertenaga ini bagus. Saya memiliki empat atau lima jenis gergaji listrik yang berbeda di bengkel saya. Setiap gergaji bagus untuk tugas pemotongan tertentu. Setiap gergaji menghemat waktu yang sangat besar dibandingkan menggunakan gergaji tangan. Setiap gergaji membutuhkan keahlian yang cukup untuk menjadi aman dan menghasilkan sesuatu yang bisa digunakan.
Kecuali seseorang adalah pengrajin (atau ingin menghindari kebisingan dan serbuk gergaji yang dihasilkan oleh gergaji listrik), sebagian besar pekerja kayu tidak mungkin menggunakan gergaji tangan untuk sebagian besar pekerjaan mereka. Tapi hanya memiliki gergaji listrik tidak berarti pekerjaannya sederhana. Mereka adalah pengganda kekuatan, bukan alat pengganti keterampilan.
Ini juga bagaimana mitra coding AI bekerja. Mereka tidak diragukan lagi adalah pengganda kekuatan. Tapi pekerjaan seperti yang saya coba selesaikan, pada produk keamanan yang kompleks dengan basis instalasi yang besar, masih membutuhkan pengetahuan dan keahlian seorang programmer manusia.
Di sinilah juga pertanyaan apakah AI akan menggant