Dalam sebuah mansion senilai $30 juta yang berdiri di tebing menghadap Jembatan Golden Gate, sekelompok peneliti AI, filsuf, dan teknolog berkumpul untuk mendiskusikan akhir dari umat manusia.
Simposium Minggu siang itu, berjudul “Worthy Successor,” berpusat pada gagasan provokatif dari pengusaha Daniel Faggella: “tujuan moral” AI canggih seharusnya adalah menciptakan kecerdasan sedemikian kuat dan bijak sehingga “kamu akan dengan senang hati lebih memilihnya (bukan manusia) untuk menentukan masa depan kehidupan itu sendiri.”
Faggella memperjelas tema ini dalam undangannya. “Acara ini sangat berfokus pada transisi pasca-manusia,” tulisnya lewat DM X. “Bukan pada AGI yang selamanya menjadi alat bagi manusia.”
Sebuah pesta yang dipenuhi fantasi futuristik, di mana hadirin membahas akhir manusia sebagai masalah logistik ketimbang metafora, bisa disebut sebagai niche. Tapi jika kamu tinggal di San Francisco dan bekerja di bidang AI, ini adalah Minggu yang biasa.
Sekitar 100 tamu menyeruput koktil non-alkohol dan mengunyah piring keju di dekat jendela dari lantai ke langit-langit yang menghadap Samudra Pasifik, sebelum berkumpul untuk mendengarkan tiga pembicaraan tentang masa depan kecerdasan. Salah satu hadirin mengenakan kaos bertuliskan “Kurzweil was right,” merujuk pada Ray Kurzweil, futuris yang memprediksi mesin akan melampaui kecerdasan manusia dalam beberapa tahun mendatang. Yang lain memakai kaos bertuliskan “does this help us get to safe AGI?” disertai emoji wajah berpikir.
Faggella mengatakan kepada WIRED bahwa ia mengadakan acara ini karena “lab-lab besar, orang-orang yang tahu AGI kemungkinan akan mengakhiri umat manusia, tidak membicarakannya karena insentif tidak mengizinkannya.” Ia juga menyebut komentar awal pemimpin teknologi seperti Elon Musk, Sam Altman, dan Demis Hassabis, yang “semuanya cukup jujur tentang kemungkinan AGI membunuh kita semua.” Kini, dengan insentif untuk bersaing, “mereka semua berlomba membangunnya.” (Sebagai catatan, Musk masih bicara tentang risiko AI canggih, meski ini tak menghentikannya dari perlombaan tersebut.)
Di LinkedIn, Faggella memamerkan daftar tamu yang penuh bintang, termasuk pendiri AI, peneliti dari semua lab AI terkemuka Barat, dan “sebagian besar pemikir filsuf penting tentang AGI.”
Pembicara pertama, Ginevra Davis, penulis asal New York, memperingatkan bahwa nilai-nilai manusia mungkin tak mungkin diterjemahkan ke AI. Mesin mungkin tak akan pernah mengerti seperti apa kesadaran itu, katanya, dan mencoba memaksakan preferensi manusia ke sistem masa depan mungkin naif. Sebagai gantinya, ia mengusulkan ide yang terdengar muluk bernama “kosmic alignment”—membangun AI yang bisa mencari nilai lebih dalam dan universal yang belum kita temukan. Slide-slidenya sering menampilkan gambar techno-utopia yang sepertinya dihasilkan AI, dengan sekelompok manusia berkumpul di bukit menghadap kota futuristik di kejauhan.
Kritikus kesadaran mesin akan mengatakan bahwa model bahasa besar hanyalah “parrot stokastik”—metafora yang diciptakan sekelompok peneliti (beberapa dari Google) yang menulis dalam makalah terkenal bahwa LLM sebenarnya tidak memahami bahasa dan hanya mesin probabilistik. Tapi debat itu tak masuk dalam simposium, di mana pembicara menganggap kedatangan superintelijen sebagai kepastian—dan cepat.