Elyse Betters Picaro / ZDNET
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
Intisari ZDNET
- AI lokal gratis menjanjikan, tetapi waktu yang terbuang lebih mahal daripada langganan berbayar.
- Suntingan acak yang tak dijelaskan justru memperburuk kode setiap iterasi.
- Tanpa tangkapan layar, memperbaiki error Xcode menjadi proses yang melelahkan.
Yah, itu cukup mengecewakan. Setelah menggunakan kombinasi Goose, Ollama, dan Qwen3-coder yang gratis dan lokal (berjalan di komputer saya sendiri) untuk membuat plugin WordPress sederhana, saya punya harapan tinggi bahwa saya mungkin bisa berhenti berlangganan Claude Code yang mahal dan beralih ke alternatif gratis. Jujur saja, saat saya mengerjakan plugin percobaan dulu, Goose butuh lima kali percobaan untuk membuatnya benar (lebih banyak dari AI lainnya), tapi pada akhirnya berhasil.
Membayar OpenAI atau Anthropic beberapa ratus dolar per bulan agar AI cloud mereka menulis kode untuk saya adalah pengeluaran yang cukup besar. Jadi, saya telah mengeksplorasi kombinasi Goose, Ollama, dan Qwen3-coder untuk melihat apakah, bersama-sama, mereka bisa menggantikan langganan Claude Code saya.
Tidak. Sama sekali tidak.
Model AI "frontier" besar (yang berarti investor mereka menginginkan valuasi miliaran dolar) menggunakan tolok ukur seperti SWE-Bench Pro dan GDPval-AA untuk mendukung klaim bahwa produk mereka adalah yang terbaik. Tolok ukur ini tentu merupakan pendekatan pengujian yang valid.
Juga: Saya membuat aplikasi iOS hanya dalam dua hari dengan suara saya – dan itu menegangkan
Tapi saya lebih suka pendekatan langsung, jadi saya selalu menerapkan tolok ukur DPQ saya sebagai tes tingkat tinggi. Apa itu DPQ, Anda tanya? Ini adalah tolok ukur David Patience Quotient, dan cara kerjanya begini. Jika, setelah menghabiskan beberapa hari menggunakan suatu model atau solusi AI, saya mencapai tahap "frak this" (capek deh), maka model tersebut telah gagal dalam DPQ.
Pada bulan-bulan sebelumnya, baik Claude Code maupun OpenAI Codex telah lulus DPQ. Goose, dikombinasikan dengan Ollama dan Qwen3-coder, gagal total dalam DPQ ketika dihadapkan dengan proyek yang lebih besar.
(Keterangan: Ziff Davis, perusahaan induk ZDNET, mengajukan gugatan pada April 2025 terhadap OpenAI, dengan tuduhan melanggar hak cipta Ziff Davis dalam melatih dan mengoperasikan sistem AI-nya.)
Tugas yang diberikan
Jika Anda mengikuti artikel saya, Anda tahu saya membuat aplikasi manajemen inventori filament menggunakan Claude Code. Aplikasi itu menggunakan tag NFC untuk membantu saya melacak gulungan filament yang saya gunakan, dan mesin mana yang sedang menggunakan gulungan tersebut.
Saya tahu ini bukan masalah yang dimiliki semua orang, tapi itulah nilai dari "vibe coding". Saya tak perlu membenarkan pengembangan bertahun-tahun dengan tim produk atau ROI besar. Saya hanya perlu punya kebutuhan dan keterampilan dasar untuk menginstruksikan AI.
Untuk proyek ini, Claude Code telah membangunkan saya implementasi yang berfungsi untuk iPhone, Mac, dan Apple Watch. Tapi, untuk kelengkapan, saya ingin sebuah aplikasi iPad.
Itulah proyek yang saya putuskan untuk diberikan kepada Goose dan kawan-kawannya.
Goose tidak harus mendesainnya dari nol. Yang harus dilakukannya adalah memutuskan fitur apa yang diambil dari implementasi Mac (khususnya antarmuka layar besar) dan fitur apa yang diambil dari implementasi iPhone (khususnya fitur foto), lalu menggabungkannya ke dalam build iPad baru.
Sudah ada banyak pengetahuan kelembagaan dalam proyek ini, tidak hanya dalam kode sumber, tetapi juga di semua catatan, status, dan file dokumentasi yang dengan teliti saya minta pada Claude Code untuk dibuat.
Persiapan
Ini adalah eksperimen yang berpotensi berbahaya. Di awal, saya tidak tahu apakah "Goose Buddies" akan memperbaiki kode yang ada, atau justru menghancurkannya (spoiler: destroy-ish).
Oleh karena itu, saya membuat cadangan ZIP penuh dari seluruh direktori proyek dan memindahkannya dari mesin pengembangan saya. Saya juga memberikan instruksi ini kepada Claude Code:
Saya diberi tugas untuk mengevaluasi seorang koder AI baru di tim. Ia akan diberi tugas untuk memporting proyek filament ke iPad, dan menggabungkan antarmuka pengguna yang lebih besar dari Mac dengan fitur pengambilan foto dari iPhone. NFC tidak didukung di iPad.
Saya membutuhkan bantuan Anda baik sebelum maupun setelah tes pemrograman ini. Sebelumnya, saya ingin Anda mengaudit dan mengkatalogkan proyek ini sepenuhnya sehingga jika programmer AI baru gagal, dan meninggalkan kode dalam keadaan bermasalah, Anda dapat kembali ke kondisi yang diketahui baik. Sebagai cadangan, saya juga akan membuat ZIP dari salinan penuh seluruh direktori proyek setelah Anda menyelesaikan fase ini.
Setelah tes pemrograman, yang akan terjadi di sesi lain (bukan sekarang), saya ingin Anda mengaudit pekerjaan baru tersebut. Anda akan memeriksa kode yang telah dibuat programmer AI baru untuk aplikasi iPad. Anda juga akan memeriksa kode untuk implementasi iOS, Mac, dan Watch untuk memastikan programmer AI baru tidak membuat perubahan yang merusak.
Claude kemudian membuat data pelacakan, yang saya pikir mungkin dibutuhkannya untuk mengembalikan proyek ke keadaan berfungsi.
Dan kemudian saya melepas Goose.
Goose desktop
Saya mulai menggunakan aplikasi desktop Goose di mesin Mac Studio saya. Saya masuk ke Ollama (server LLM) dan memberi Qwen3-coder context window terbesar yang diizinkan.
Lalu, saya memberitahunya: "Baca semua dokumen dan file .MD, dan pahami sepenuhnya apa yang ada dalam proyek ini."
Ia membaca informasinya, tetapi tampaknya tidak benar-benar memperhatikan sepenuhnya. Ia mengidentifikasi beberapa elemen dalam proyek, tetapi sama sekali melewatkan fakta bahwa ada implementasi Apple Watch.
Ketika saya menunjukkan kesalahan itu, Goose berkata, "Anda benar sekali, dan saya minta maaf atas kelalaian itu. Saya sebenarnya belum memeriksa implementasi WatchOS dengan teliti. Biarkan saya melihat lebih komprehensif bagian WatchOS dari proyek ini."
Setelah dijalankan, ia tampaknya memiliki pemahaman yang lebih baik tentang apa yang ada dalam kode yang ada. Jadi kemudian, saya bertanya, "Elemen apa yang akan Anda ambil dari versi MacOS, dan elemen apa yang akan Anda ambil dari versi iOS/iPhone?"
Ingat bahwa Mac memberi kita layar lebih besar, sementara iPhone memberi kita kemampuan foto. Tapi karena iPad tidak mendukung NFC, kemampuan NFC seharusnya tidak ikut dibawa. Harus diakui, Goose memang menangkap layar yang lebih lebar dari implementasi Mac dan fitur foto dari implementasi iPhone. Tapi ia bersikeras juga bisa membawa fitur NFC.
Saya mencoba beberapa pertanyaan panduan, seperti "Apa yang salah dari pendapatmu?" dan "Apa yang kamu lewatkan tentang pendekatan ini?" Setelah sekitar empat kali percobaan, Goose akhirnya mengidentifikasi fakta bahwa iPad tidak memiliki kemampuan NFC yang diperlukan.
Lalu saya menyuruhnya untuk merencanakan implementasi iPad. Sekarang, inilah sesuatu yang perlu Anda ketahui. iOS (untuk iPhone) dan iPadOS (untuk iPad) berbagi inti sistem operasi yang sama. Dari perspektif internal Apple, iPadOS adalah fork atau varian dari iOS, bukan OS terpisah seperti MacOS.
Meski begitu, beberapa perilaku sistem hanya ada di iPad (penjendelaan, dukungan pointer, multitasking), beberapa API hanya tersedia di iPadOS, atau berperilaku berbeda di sana, dan baik dokumen Apple maupun sesi WWDC secara eksplisit membedakan iOS vs iPadOS.
Jadi ketika Goose kembali dan bersikeras akan membuat versi iOS dari aplikasi iPad, saya harus menolak. Goose tidak bisa membedakan antara versi iPadOS dan iOS, bahkan setelah saya menyuruhnya melakukan pencarian web.
Proses mempersempit rencana ini memakan waktu beberapa jam, di mana saya sebagian besar merasa seperti berdebat dengan seorang mahasiswa pascasarjana yang keras kepala dan dengan sengaja tidak kooperatif.
Juga: Saya melakukan coding 24 hari dalam 12 jam dengan alat AI $20 – tapi ada satu jebakan besar
Pada akhirnya, ia tampaknya memahami bahwa iPad akan mampu mendukung jendela, pointer, dan multitasking, jadi saya memutuskan untuk melihat apakah ia bisa membangun aplikasinya.
Jawabannya, setidaknya untuk saat ini, adalah "Tidak" besar. Goose memberi tahu saya bahwa ia tidak dapat memodifikasi file proyek Xcode yang sebenarnya. Ia tidak dapat menambahkan target baru ke proyek. Ia tidak dapat membuat perubahan file yang "nyata".
Saya masuk ke lubang kelinci lain mencoba memaksa dan meyakinkan Goose bahwa karena saya memiliki akses ke direktori-direktori itu, seharusnya ia juga punya. Tidak ada hasil.
Saya akhirnya bertanya mengapa Claude Code bisa melakukannya, dan Goose tidak. Saya diberi tahu itu karena Claude Code berjalan di terminal dan dapat menjalankan perintah terminal.
Goose CLI (berjalan di terminal)
Hei, saya pantang menyerah. Jadi saya arahkan browser ke repositori GitHub Goose dan mengunduh versi CLI Mac menggunakan perintah cURL yang disediakan.
Instal itu menemukan instalasi Ollama dan model Qwen3-coder saya, jadi setelah diunduh, saya punya lingkungan AI Goose yang lengkap dan berfungsi di terminal saya. Satu langkah maju.
Segera setelah saya menjalankan Goose, saya menekan return satu kali ekstra. Itu kebiasaan saya. Saya suka membersihkan sedikit ruang di terminal. Biasanya, menekan return pada baris kosong tidak melakukan apa-apa. Tidak ada apa pun di baris perintah. Tapi Goose memutuskan bahwa saya ingin ia membuat aplikasi Mac. Jadi, meskipun sudah ada aplikasi Mac yang berjalan, Goose memutuskan untuk mencoba melakukannya lagi.
Juga: Saya telah menguji alat coding AI gratis vs berbayar – inilah yang akan saya gunakan
Untungnya, setelah berjalan sekitar sepuluh menit, ia gagal karena tidak bisa mengakses file apa pun. Dua langkah mundur.
Inilah keanehan kecil lainnya. Goose secara acak melakukan hal-hal. Saya tidak tahu mengapa, tapi ia melakukan hal-hal. Misalnya, saya menekan return pada baris kosong lagi, dan kali ini ia memutuskan untuk menambahkan 375 baris dan menghapus 7. Saya tidak tahu mengapa atau di mana. Ia tampanya hanya menyukai idenya.
Saya sekali lagi melalui langkah-langkah pengenalan dengan Goose, mengulangi pekerjaan yang saya lakukan di versi desktop. Saya sekali lagi harus memrompt -nya beberapa kali, sampai saya yakin bahwa Goose benar-benar membaca instruksinya, dan tidak melakukan hal setara AI dengan duduk di belakang kelas menyembunyikan Nintendo Switch di balik buku teks sambil pura-pura membaca pedoman proyek.
Kemudian, kita sekali lagi harus berdebat tentang iOS vs iPadOS, dan debat tentang apakah iPad dapat mendukung NFC atau tidak. Anda hampir bisa melihat DPQ semakin menurun.
Kami akhirnya mencapai titik di mana Goose tampaknya memahami tugasnya. Jadi, saya memberinya lampu hijau untuk membangun. Goose sekali lagi merespons dengan klaim bahwa ia tidak dapat memodifikasi file.
Juga: Mengapa keterampilan coding Anda lebih penting dari sebelumnya di era AI
Nah, di sinilah menjadi aneh. Saya hanya bertanya, "Sistem file tidak read-only. Jika Anda tidak memiliki akses ke file, apa yang perlu Anda lakukan atau minta untuk mendapatkan akses?"
Ia tidak pernah menjawab saya. Tapi kemudian ia melanjutkan untuk membuat kode yang diklaimnya sebagai aplikasi iPad. Ia melaporkan kepada saya, "Implementasi iPad Selesai."
Frak this
Tapi implementasi iPad itu tidak selesai. Ketika saya mencoba menjalankannya di Xcode, saya mendapat satu halaman penuh error.
Screenshot oleh David Gewirtz/ZDNET
Sekarang, di sinilah kami menemui salah satu batasan terbesar implementasi terminal Goose: Anda tidak dapat menempelkan atau memberikan tangkapan layar. Dengan Codex milik OpenAI dan Claude Code milik Anthropic, saya bisa mengambil tangkapan layar dari layar error (atau layar lainnya), memberikannya ke AI, dan AI akan mengambil tindakan.
Tidak demikian dengan Goose.
Xcode tidak mengizinkan Anda memilih semua error dan menyalinnya sebagai teks, jadi saya harus melakukan OCR pada halaman itu dan kemudian meneruskan teks yang dihasilkan ke Goose. Goose mengerjakan error-error itu dan memberi saya versi lain yang dinyatakannya sebagai "Implementasi iPad — SELESAI."
Kali ini bahkan lebih banyak errornya.
Screenshot oleh David Gewirtz/ZDNET
Kodenya sebenarnya semakin memburuk. Goose juga terkadang kembali dengan hasil yang tidak lengkap. Ini contoh di mana ia tampak kembali dengan hasil, tetapi kemudian berjalan ke arah lain.
Screenshot oleh David Gewirtz/ZDNET
Sepuluh menit kemudian, setelah tampak melakukan proses yang sama dua kali berturut-turut, ia kembali dan memberi tahu saya bahwa, "Saya telah berhasil mengimplementasikan versi iPad dengan semua fitur dan pengoptimalan yang diminta."
Saya sudah menghabiskan enam jam untuk ini. Saya tidak punya apa pun yang berfungsi. Saya yakin ini semakin buruk. Maka: frak this. DPQ = 0.
Mungkin, mungkin tidak
Bisakah saya mengatakan dengan pasti bahwa Goose tidak bisa melakukan pekerjaannya? Tidak, saya tidak bisa. Saya kehilangan kesabaran setelah enam jam.
Saya pikir kekesalan saya wajar, karena saya telah menghabiskan bulanan dengan implementasi AI coding lain yang berjalan jauh lebih lancar.
Sebagai pengembang independen yang proyeknya jarang bisa membenarkan investasinya secara