Kalau kamu pikir AI bisa bahaya banget buat manusia, ada seorang profesor di Carnegie Mellon University yang punya peran sangat penting di industri teknologi sekarang.
Zico Kolter memimpin sebuah tim kecil di OpenAI yang punya wewenang buat menghentikan rilis sistem AI baru dari pembuat ChatGPT kalau dianggap tidak aman. Itu bisa berarti teknologi yang sangat kuat sampai orang jahat bisa pakai buat bikin senjata pemusnah massal. Bisa juga chatbot baru yang desainnya jelek banget sampai bisa bikin kesehatan mental orang terganggu.
“Kita nggak cuma bicara soal kekhawatiran ekstrem aja di sini,” kata Kolter dalam sebuah wawancara. “Kita bicara tentang semua isu keamanan dan topik penting yang muncul ketika kita mulai bicara soal sistem AI yang dipakai sangat luas ini.”
OpenAI memilih ilmuwan komputer ini jadi ketua Komite Keamanan dan Keamanannya lebih dari setahun lalu, tapi posisinya jadi makin penting minggu lalu ketika regulator California dan Delaware membuat pengawasan Kolter sebagai bagian penting dari persetujuan mereka supaya OpenAI bisa bentuk struktur bisnis baru.
Keamanan selalu jadi pusat misi OpenAI sejak didirikan sebagai lab penelitian nirlaba sepuluh tahun lalu dengan tujuan membangun AI yang lebih baik dari manusia untuk manfaat umat manusia. Tapi setelah rilis ChatGPT memicu ledakan komersial AI global, perusahaan ini dituduh buru-buru mengeluarkan produk ke pasar sebelum benar-benar aman supaya tetap terdepan dalam persaingan. Perpecahan internal yang menyebabkan CEO Sam Altman sempat dipecat pada 2023 membuat kekhawatiran bahwa perusahaan telah menyimpang dari misinya diketahui lebih banyak orang.
Organisasi yang berbasis di San Francisco ini menghadapi penolakan — termasuk gugatan dari pendiri bersama Elon Musk — ketika mulai mengambil langkah untuk mengubah dirinya menjadi perusahaan for-profit yang lebih tradisional untuk terus mengembangkan teknologinya.
Persetujuan yang diumumkan minggu lalu oleh OpenAI bersama Jaksa Agung California Rob Bonta dan Jaksa Agung Delaware Kathy Jennings bertujuan untuk mengurangi beberapa kekhawatiran tersebut.
Inti dari komitmen formal ini adalah janji bahwa keputusan tentang keselamatan dan keamanan harus didahulukan daripada pertimbangan keuangan saat OpenAI membentuk perusahaan manfaat publik baru yang secara teknis berada di bawah kendali yayasan nirlaba OpenAI Foundation.
Kolter akan menjadi anggota dewan nirlaba tapi tidak di dewan for-profit. Tapi dia akan punya “hak observasi penuh” untuk menghadiri semua rapat dewan for-profit dan dapat akses ke informasi yang mereka terima tentang keputusan keamanan AI. Kolter adalah satu-satunya orang, selain Bonta, yang disebut namanya dalam dokumen panjang tersebut.
Kolter bilang persetujuan ini sebagian besar mengukuhkan bahwa komite keamanannya, yang dibentuk tahun lalu, akan mempertahankan wewenang yang sudah dimiliki. Tiga anggota lainnya juga duduk di dewan OpenAI — salah satunya adalah mantan Jenderal Angkatan Darat AS Paul Nakasone. Altman mengundurkan diri dari panel keselamatan tahun lalu dalam sebuah langkah yang dilihat memberikannya lebih banyak independensi.
“Kami punya kemampuan untuk melakukan hal-hal seperti meminta penundaan rilis model sampai mitigasi tertentu terpenuhi,” kata Kolter. Dia menolak mengatakan apakah panel keamanan pernah harus menghentikan atau mengurangi suatu rilis, mengutip kerahasiaan prosesnya.
Kolter bilang akan ada berbagai kekhawatiran tentang agen AI yang perlu dipertimbangkan dalam bulan dan tahun mendatang, dari keamanan siber – “Bisakah sebuah agen yang menemukan teks jahat di internet secara tidak sengaja membocorkan data?” – sampai kekhawatiran keamanan seputar bobot model AI.
“Tapi ada juga topik yang baru muncul atau sangat spesifik untuk kelas model AI baru ini yang tidak punya analogi nyata dalam keamanan tradisional,” katanya. “Apakah model memungkinkan pengguna jahat punya kemampuan jauh lebih tinggi dalam hal-hal seperti merancang senjata biologis atau melakukan serangan siber jahat?”
“Dan akhirnya, ada dampak model AI pada orang,” katanya. “Dampak pada kesehatan mental orang, efek dari interaksi orang dengan model-model ini dan apa yang bisa disebabkannya. Semua hal ini, saya pikir, perlu diatasi dari sudut pandang keselamatan.”
OpenAI sudah menghadapi kritik tahun ini tentang perilaku chatbot andalannya, termasuk gugatan kematian salah dari orang tua di California yang anak remajanya bunuh diri bulan April setelah interaksi panjang dengan ChatGPT.
Kolter, direktur departemen pembelajaran mesin Carnegie Mellon, mulai mempelajari AI sebagai mahasiswa baru di Georgetown University di awal tahun 2000-an, jauh sebelum itu jadi tren.
“Waktu saya mulai kerja di pembelajaran mesin, ini adalah area yang esoterik dan niche,” katanya. “Kami menyebutnya pembelajaran mesin karena tidak ada yang mau pakai istilah AI karena AI adalah bidang lama yang terlalu banyak janji dan sedikit hasil.”
Kolter, 42 tahun, sudah mengikuti OpenAI selama bertahun-tahun dan cukup dekat dengan pendirinya sampai dia menghadiri pesta peluncurannya di sebuah konferensi AI pada 2015. Tapi, dia tidak menyangka betapa cepatnya AI akan maju.
“Saya pikir sangat sedikit orang, bahkan orang yang bekerja mendalam di pembelajaran mesin, benar-benar mengantisipasi keadaan kita sekarang, ledakan kemampuan, ledakan risiko yang sedang muncul saat ini,” katanya.
Para pendukung keamanan AI akan mengawasi dengan cermat restrukturisasi OpenAI dan pekerjaan Kolter. Salah satu kritikus paling tajam perusahaan ini bilang dia “hati-hati optimis,” terutama jika grup Kolter “benar-benar bisa merekrut staf dan memainkan peran yang kuat.”
“Saya pikir dia punya latar belakang yang masuk akal untuk peran ini. Dia sepertinya pilihan yang bagus untuk menjalankan ini,” kata Nathan Calvin, penasihat umum di organisasi nirlaba kebijakan AI kecil Encode. Calvin, yang rumahnya didatangi subpoena OpenAI sebagai bagian dari pencarian fakta untuk membela diri dari gugatan Musk, bilang dia ingin OpenAI tetap setia pada misi awalnya.
“Beberapa komitmen ini bisa jadi hal yang sangat besar kalau anggota dewan menganggapnya serius,” kata Calvin. “Itu juga bisa hanya kata-kata di atas kertas dan cukup terpisah dari apa pun yang sebenarnya terjadi. Saya pikir kita belum tahu kita sedang berada di situasi yang mana.”