Kalau sampai suatu titik perkembangan sistem melebihi kemampuan untuk menjaganya tetap aman, apakah kita harus berhenti sebentar?
Menurutku, sistem saat ini belum menimbulkan risiko eksistensial, jadi ini masih teoritis. Pertanyaan geopolitik mungkin justru lebih rumit. Tapi dengan waktu cukup, perhatian, pertimbangan matang, dan metode ilmiah…
Kalau waktunya sesempit yang kamu katakan, kita hampir tak punya kesempatan untuk berpikir matang.
Kita memang tak punya banyak waktu. Sumber daya semakin dialokasikan untuk keamanan, siber, serta riset tentang kontrolabilitas dan pemahaman sistem—istilahnya interpretabilitas mekanistik. Di sisi lain, kita juga perlu debat sosial soal pembangunan institusi. Bagaimana tata kelola seharusnya bekerja? Bagaimana mencapai kesepakatan internasional, setidaknya pada prinsip dasar penggunaan, penerapan, dan pembangunan sistem ini?
Seberapa besar AI akan mengubah atau menghilangkan pekerjaan manusia?
Biasanya, pekerjaan baru akan tercipta memanfaatkan alat atau teknologi baru yang justru lebih baik. Kita lihat saja apakah kali ini berbeda, tapi dalam beberapa tahun ke depan, kita akan punya alat hebat yang meningkatkan produktivitas dan hampir membuat kita seperti manusia super.
Kalau AGI bisa melakukan segalanya seperti manusia, berarti ia juga bisa mengerjakan pekerjaan baru itu.
Banyak hal yang tak ingin kita serahkan pada mesin. Dokter bisa dibantu alat AI, atau bahkan ada “dokter AI”. Tapi kita tak ingin perawat robot—ada aspek empati manusia dalam perawatan yang sangat manusiawi.
Bayangkan seperti apa masa depan dalam 20 tahun jika, menurut prediksimu, AGI ada di mana-mana?
Jika semua berjalan baik, kita akan memasuki era kelimpahan radikal, semacam zaman keemasan. AGI bisa menyelesaikan masalah mendasar dunia—menyembuhkan penyakit mengerikan, umur lebih panjang dan sehat, menemukan sumber energi baru. Jika itu terjadi, ini akan jadi era puncak kejayaan manusia, di mana kita jelajahi bintang dan kolonisasi galaksi. Menurutku, ini akan mulai terjadi tahun 2030.
Aku skeptis. Dunia Barat sudah punya kelimpahan luar biasa, tapi distribusinya tidak adil. Soal menyelesaikan masalah besar, kita lebih butuh tekad daripada jawaban. Kita tak butuh AGI untuk memberitahu solusi perubahan iklim—kita sudah tahu. Tapi kita tidak melakukannya.
Aku setuju. Sebagai spesies dan masyarakat, kita tidak pandai berkolaborasi. Habitat alami hancur sebagian karena butuh pengorbanan, dan orang tidak mau. Tapi kelimpahan radikal dari AI akan membuat segalanya terasa seperti permainan non-zero-sum—
AGI akan mengubah perilaku manusia?
Ya. Contoh sederhana: akses air akan jadi masalah besar, tapi solusinya ada—desalinasi. Butuh banyak energi, tapi jika ada energi terbarukan gratis dan bersih [berkat AI] dari fusi, tiba-tiba masalah akses air teratasi. Tiba-tiba itu bukan lagi permainan zero-sum.