Erikona/Getty Images
Cerita kita dimulai, seperti banyak cerita lainnya, dengan seorang pria dan AI-nya. Pria ini, seperti kebanyakan pria, sedikit kutu buku dan sedikit programmer. Dia juga butuh potong rambut.
AI adalah puncak dari ribuan tahun kemajuan manusia, semua ditujukan untuk membuat hidup pria ini sedikit lebih mudah. Pria itu, tentu saja, adalah saya. Saya orang itu.
Juga: AI terbaik untuk coding di 2025 (dan yang tidak boleh dipakai)
Sayangnya, meski AI bisa sangat cerdas, ia juga punya kecenderungan untuk berbohong, menyesatkan, dan membuat kesalahan yang sangat bodoh. Bagian bodoh inilah yang akan kita bahas dalam artikel ini.
Bukti anekdotal memang punya nilai. Laporan saya tentang cara saya menyelesaikan beberapa masalah dengan cepat menggunakan AI itu nyata. Program yang saya buat dengan bantuan AI masih dipakai. Saya menggunakan AI untuk mempercepat alur pemrograman saya, terutama di bagian-bagian yang kurang produktif tapi AI cukup ahli, seperti menulis fungsi yang memanggil API publik.
Juga: Saya ahli alat AI, dan ini dua alat yang saya bayar (plus tiga yang saya pertimbangkan)
Kalian tahu bagaimana kita sampai di sini. Generative AI meledak di akhir 2023 dan sejak itu merambah ke pekerjaan berbasis pengetahuan.
Salah satu area di mana AI benar-benar unggul, menurut narasi yang ada, adalah kemampuannya menulis kode dan membantu mengelola sistem IT. Klaim ini tidak salah. Saya sudah menunjukkan beberapa kali bagaimana AI telah menyelesaikan masalah coding dan rekayasa sistem yang pernah saya alami sendiri.
AI coding di dunia nyata: Apa yang sains ungkapkan
Alat baru selalu datang dengan janji besar. Tapi apakah mereka memberikan hasil di situasi nyata?
Sebagian besar laporan saya tentang efektivitas pemrograman berdasarkan bukti anekdotal pribadi: pengalaman saya sendiri menggunakan AI. Tapi saya hanya satu orang. Waktu saya terbatas untuk pemrograman, dan seperti setiap programmer, saya punya area tertentu di mana saya menghabiskan sebagian besar waktu coding.
Juga: Saya menguji 10 detektor konten AI — dan 5 ini berhasil mengidentifikasi teks AI setiap kali
Namun, baru-baru ini, organisasi riset nirlaba bernama METR (Model Evaluation & Threat Research) melakukan analisis lebih mendalam tentang produktivitas coding dengan AI.
Metodologi mereka terlihat solid. Mereka bekerja dengan 16 pengembang open-source berpengalaman yang aktif berkontribusi ke repositori besar dan populer. Analis METR memberikan 246 isu dari repositori yang perlu diperbaiki. Para koder diberi setengah isu untuk dikerjakan sendiri, dan setengahnya lagi dengan bantuan AI.
Hasilnya mengejutkan dan tak terduga. Meski para pengembang memperkirakan bantuan AI meningkatkan produktivitas rata-rata 24%, analitik METR justru menunjukkan AI memperlambat mereka rata-rata 19%.
Ini agak membingungkan. METR menyusun daftar faktor yang mungkin menjelaskan perlambatan, termasuk terlalu optimis tentang kegunaan AI, keakraban tinggi pengembang dengan repositori mereka (dan pengetahuan AI yang kurang), kompleksitas repositori besar, kurangnya keandalan AI, serta masalah di mana AI menolak menggunakan “pengetahuan atau konteks penting yang tak terucapkan.”
Juga: Bagaimana agen coding AI bisa menghancurkan perangkat lunak open-source
Saya menyarankan dua faktor lain yang mungkin membatasi efektivitas:
Pemilihan masalah: Pengembang diberi tahu isu mana yang harus menggunakan bantuan AI dan mana yang tidak. Pengalaman saya menunjukkan pengembang ahli harus memilih di mana menggunakan AI berdasarkan masalah yang perlu diselesaikan. Misalnya, meminta AI menulis ekspresi reguler (sesuatu yang tidak saya sukai dan kurang ahli) akan menghemat lebih banyak waktu daripada meminta AI memodifikasi kode unik yang sudah saya tulis, sering kerjakan, dan kuasai.
Pemilihan AI: Menurut laporan, pengembang menggunakan Cursor, fork VS Code berbasis AI, yang memakai Claude 3.5/3.7 Sonnet saat itu. Ketika saya menguji 3.5 Sonnet, hasilnya buruk, dengan Sonnet gagal dalam tiga dari empat tes saya. Namun, tes saya terhadap Claude 4 Sonnet jauh lebih baik. METR melaporkan pengembang menolak lebih dari 65% kode yang dihasilkan AI. Itu akan memakan waktu.
Saat ChatGPT menyarankan nuklir sistem saya
Hasil METR menarik. AI jelas pedang bermata dua dalam hal bantuan coding. Tapi tidak diragukan lagi AI bisa memberikan nilai besar bagi koder. Kalau ada, tes ini sekali lagi membuktikan argumen bahwa AI adalah alat hebat untuk programmer berpengalaman, tapi sumber berisiko tinggi bagi pemula.
Juga: Mengapa saya beralih ke VS Code. Petunjuk: Ini semua tentang integrasi alat AI
Mari lihat contoh konkret, yang bisa membuat saya rugi banyak waktu dan masalah jika mengikuti saran ChatGPT.
Saya sedang menyiapkan kontainer Docker di lab rumah menggunakan Portainer (alat untuk mengelola kontainer Docker). Entah kenapa, Portainer tidak mengaktifkan tombol Deploy untuk membuat kontainer.
Hari itu panjang, jadi saya tidak melihat masalah yang jelas. Sebaliknya, saya bertanya ke ChatGPT. Saya memberikan tangkapan layar konfigurasi dan file konfigurasi Docker saya.
ChatGPT merekomendasikan saya mencopot dan memasang ulang Portainer. Ia juga menyarankan menghapus Docker dari distro Linux dan menginstalnya ulang lewat package manager. Tindakan ini akan menghapus semua kontainer saya.
Perlu dicatat, ChatGPT tidak merekomendasikan atau menanyakan apakah saya punya cadangan kontainer. Ia hanya memberikan urutan perintah yang disarankan untuk dipotong dan ditempel guna menghapus dan membangun ulang Portainer serta Docker. Rekomendasi ini sangat merusak dan tidak bertanggung jawab.
Ironisnya, ChatGPT tidak pernah tahu mengapa Portainer tidak mengizinkan saya mendeploy kontainer baru, tapi saya tahu. Ternyata saya tidak mengisi kolom nama kontainer. Itu saja.
Juga: Apa itu coding AI vibe? Ini tren tapi tidak untuk semua orang — inilah alasannya
Karena saya cukup berpengalaman, saya ragu saat ChatGPT menyuruh menghapus instalasi saya. Tapi seseorang yang mengandalkan AI untuk saran bisa saja menjatuhkan seluruh server hanya karena lupa mengetik nama kontainer.
Solusi palu godam: Metafora untuk kesalahan AI
Untuk mengilustrasikan absurditas logika AI, ini analogi yang saya tulis setelah sesi yang sangat membuat frustrasi. Dalam cerita kecil ini, saya membayangkan menggunakan ChatGPT untuk memberi saran tentang cara memasang jendela kamar tidur, bukan sistem IT.
Hai, ChatGPT. Saya punya masalah menyelaraskan jendela kamar tidur baru di bingkainya. Bisa bantu?
Tentu. Saya akan berusaha membantumu menyelaraskan jendela di bingkainya. Apa kamu punya palu godam?
Palu godam?
Ya, jika kamu ketuk sudut bingkai jendela dengan palu godam, itu akan mendistribusikan gaya di sekeliling bingkai dan menempatkan jendela di posisinya.
Tapi bukankah palu godam bisa memecahkan jendela?
Tidak, palu godam punya permukaan lebih besar, yang akan membantumu menyelaraskan jendela dengan benar. Ketuk saja pelan-pelan.
Seberapa pelan? Dan di mana harus memukulnya?
Ketuk jendela dengan kepala palu godam di titik di mana jendela tidak sejajar.
Tapi bagaimana kalau saya keluarkan jendela dari bingkai dan pasang kembali?
Itu akan melibatkan lebih banyak langkah daripada memukul sudut jendela dengan palu godam. Percayalah. Saya tahu hal ini. Satu ketukan kecil sudah cukup, dan kamu bisa menghemat kerja mengeluarkan dan memasang kembali jendela.
Baik, ini dia.
Kamu bisa melakukannya.
Uh, seluruh jendela pecah. Sudah kubilang palu godam ide buruk.
Maaf. Saya mempertimbangkan ulang pertanyaanmu, dan kamu benar. Gagasan menggunakan palu godam tidak bijak. Saya sarankan kamu mengeluarkan jendela dan memasangnya kembali dengan hati-hati.
Tapi sekarang tidak bisa karena kamu sarankan pakai palu godam, dan jendelanya sudah pecah.
Saya sangat menyesal. Apa kamu mau saya rekomendasikan penjual jendela?
Begitulah rasanya terkadang bekerja dengan ChatGPT untuk menyelesaikan masalah coding dan IT. Ia sampai, tapi tidak selalu dengan cara yang benar.
AI yang terlalu percaya diri dan kurang informasi: Kombinasi berbahaya
Saya juga mengalami AI yang benar-benar keluar jalur. AI memberikan saran yang tidak hanya sama sekali tidak berguna, tapi juga disampaikan dengan kepercayaan diri layaknya ahli.
Juga: Agen coding Jules AI Google membuat fitur baru yang bisa saya kirim — sambil saya buat kopi
Jika kamu ingin menggunakan alat AI untuk mendukung pengembangan atau pekerjaan IT, tips ini mungkin bisa menghindarkan masalah:
Jika tidak banyak informasi publik tersedia, AI tidak bisa membantu. Tapi AI akan mengarang berdasarkan sedikit yang diketahuinya, tanpa mengakui kekurangan pengalaman.
Seperti anjing saya, begitu AI fokus pada satu hal, sering menolak melihat alternatif. Jika AI terjebak pada satu pendekatan, jangan percaya rekomendasinya yang sopan tentang pendekatan baru. Ia tetap masuk ke lubang yang sama. Mulai sesi baru.
Jika kamu tidak tahu banyak, jangan andalkan AI. Terus belajar. Dev berpengalaman bisa bedakan mana yang bekerja dan tidak. Tapi jika kamu mencoba menaruh semua coding di pundak AI, kamu tidak akan tahu kapan atau di mana ia salah dan bagaimana memperbaikinya.
Koder sering menggunakan alat khusus untuk tugas tertentu. Situs bisa dibangun dengan Python, CSS, HTML, JavaScript, Flask, dan Jinja. Kamu memilih setiap alat karena tahu kelebihannya. Pilih alat AI dengan cara sama. Misalnya, saya tidak pakai AI untuk logika bisnis, tapi produktif menggunakan AI untuk menulis panggilan API dan pengetahuan publik, di mana ia bisa menghemat banyak waktu.
Uji semua yang dihasilkan AI. Semua. Baris per baris. AI bisa menghemat banyak waktu, tapi juga bisa membuat kesalahan besar. Ya, meluangkan waktu untuk menguji manual bisa mencegah kesalahan. Jika AI menawarkan untuk menulis tes unit, biarkan. Tapi uji juga tesnya.
Berdasarkan tingkat pengalamanmu, ini rekomendasi saya untuk bantuan AI:
Jika kamu tidak tahu apa-apa tentang suatu subjek atau keterampilan: AI bisa membantumu terlihat seolah tahu, tapi bisa sangat salah, dan kamu mungkin tidak menyadarinya.
Jika kamu ahli dalam suatu subjek atau keterampilan: AI bisa membantu, tapi akan membuatmu kesal. Keahlianmu dipakai tidak hanya untuk memisahkan yang bodoh dan berguna dari AI, tapi juga untuk merancang jalan di mana AI benar-benar bisa membantu.
Jika kamu di antara keduanya: AI campur aduk. Bisa membantumu atau mencelakakanmu. Jangan serahkan pembangunan keterampilanmu ke AI karena bisa membuatmu tertinggal.
Generative AI bisa menjadi asisten hebat untuk pengembang dan profesional IT berpengalaman, terutama saat dipakai untuk tugas yang ditargetkan dan dipahami dengan baik. Tapi kepercayaannya bisa menipu dan berbahaya.
AI bisa berguna, tapi selalu periksa kembali pekerjaannya.
Pernahkah kamu menggunakan alat AI seperti ChatGPT atau Claude untuk membantu pekerjaan pengembangan atau IT-m