Merespon protes yang berkelanjutan dari para advokat keselamatan anak, keluarga, dan politisi, Gubernur California Gavin Newsom telah mengesahkan sebuah undang-undang baru yang dirancang untuk membatasi perilaku chatbot AI yang menurut para ahli tidak aman atau berbahaya, khususnya bagi remaja.
Undang-undang yang dikenal sebagai SB 243 ini mewajibkan operator chatbot untuk mencegah produk mereka menampilkan konten seksual kepada anak di bawah umur, sekaligus secara konsisten mengingatkan pengguna bahwa chatbot bukanlah manusia. Selain itu, perusahaan yang tunduk pada UU ini harus menerapkan protokol khusus untuk menangani situasi di mana seorang pengguna membahas ide bunuh diri, bunuh diri, dan tindakan melukai diri sendiri.
Bill ini digagas dan diperkenalkan awal tahun ini oleh senator negara bagian Steve Padilla, seorang Demokrat yang mewakili San Diego. Pada bulan Februari lalu, ia mengatakan kepada Mashable bahwa SB 243 dimaksudkan untuk mengatasi masalah keamanan mendesak yang muncul seiring dengan kehadiran chatbot AI. Mengingat pesatnya evolusi dan penerapan teknologi ini, Padilla menyatakan bahwa “pagar pengaturan masih sangat tertinggal.”
Common Sense Media, sebuah kelompok nirlaba yang mendukung anak-anak dan orang tua dalam menghadapi media dan teknologi, telah mendeklarasikan chatbot AI pendamping sebagai tidak aman bagi remaja di bawah usia 18 tahun lebih awal tahun ini.
Badan Perdagangan Federal AS (FTC) baru-baru ini meluncurkan penyelidikan terhadap chatbot yang bertindak sebagai pendamping. Bulan lalu, lembaga tersebut memberitahu perusahaan-perusahaan besar pemilik produk chatbot, termasuk OpenAI, Alphabet, Meta, dan Character Technologies, bahwa mereka meminta informasi tentang cara perusahaan-perusahaan ini memonetisasi keterlibatan pengguna, menghasilkan output, dan mengembangkan apa yang disebut sebagai ‘karakter’.
Sebelum disahkannya SB 243, Padilla mengungkapkan keprihatinannya tentang bagaimana chatbot AI pendamping dapat secara unik membahayakan pengguna muda: “Teknologi ini bisa menjadi alat pendidikan dan penelitian yang powerful, namun jika dibiarkan begitu saja, Industri Teknologi memiliki insentif untuk menangkap perhatian anak muda dan mempertahankannya dengan mengorbankan hubungan mereka di dunia nyata.”
Tahun lalu, seorang ibu yang berduka, Megan Garcia, mengajukan gugatan wrongful death terhadap Character.AI, salah satu platform chatbot pendamping AI yang paling populer. Putranya, Sewell Setzer III, meninggal karena bunuh diri setelah intens berinteraksi dengan sebuah chatbot pendamping dari Character.AI. Gugatan tersebut menuduh bahwa Character.AI dirancang untuk “memanipulasi Sewell – dan jutaan konsumen muda lainnya – agar menyamakan realitas dengan fiksi,” di antara cacat berbahaya lainnya.
Garcia, yang melobi atas nama SB 243, menyambut baik penandatanganan yang dilakukan oleh Newsom.
“Hari ini, California telah memastikan bahwa sebuah chatbot pendamping tidak akan dapat berbicara kepada seorang anak atau individu yang rentan tentang bunuh diri, dan chatbot juga tidak akan dapat membantu seseorang untuk merencanakan bunuh dirinya sendiri,” ujar Garcia dalam sebuah pernyataan.
SB 243 juga mewajibkan platform chatbot pendamping untuk menghasilkan laporan tahunan tentang kaitan antara penggunaan produk mereka dan ide bunuh diri. UU ini memperbolehkan keluarga untuk mengambil tindakan hukum privat terhadap “pengembang yang tidak patuh dan lalai.”
California dengan cepat menjadi pelopor dalam mengatur teknologi AI. Pekan lalu, Gubernur Newsom menandatangani undang-undang yang mewajibkan laboratorium AI untuk mengungkapkan potensi bahaya dari teknologi mereka serta informasi tentang protokol keselamatan mereka.
Sebagaimana dilaporkan oleh Chase DiBenedetto dari Mashable, RUU tersebut dimaksudkan untuk “meminta pertanggungjawaban pengembang AI terhadap standar keselamatan bahkan ketika menghadapi tekanan kompetitif dan mencakup perlindungan bagi calon pelapor pelanggaran (whistleblower).”
Pada hari Senin, Newsom juga mengesahkan dua undang-undang terpisah yang bertujuan meningkatkan keselamatan anak di ranah online. AB 56 mewajibkan label peringatan untuk platform media sosial, yang menyoroti dampak buruk yang dapat ditimbulkan oleh umpan media sosial yang adiktif terhadap kesehatan mental dan kesejahteraan anak. RUU lainnya, AB 1043, menerapkan persyaratan verifikasi usia yang akan mulai berlaku pada tahun 2027.