Gubernur California, Gavin Newsom, telah menandatangani undang-undang baru untuk mengatur chatbot AI. Tujuannya untuk melindungi anak-anak dan remaja dari bahaya teknologi ini.
Undang-undang ini mewajibkan platform untuk mengingatkan pengguna bahwa mereka sedang berbicara dengan bot, bukan manusia. Untuk pengguna yang masih di bawah umur, peringatan ini akan muncul setiap tiga jam. Perusahaan juga harus punya cara untuk mencegah konten tentang bahaya diri dan mengarahkan pengguna ke layanan bantuan jika mereka menyatakan pikiran untuk bunuh diri.
Newsom, yang punya empat anak, bilang California bertanggung jawab untuk melindungi anak muda yang makin sering pakai chatbot AI untuk segala hal, dari bantuan PR sampai dukungan emosional.
“Teknologi baru seperti chatbot dan media sosial bisa menginspirasi dan menghubungkan orang. Tapi tanpa aturan yang jelas, teknologi juga bisa membahayakan anak-anak kita,” kata Newsom, yang dari Partai Demokrat.
California adalah salah satu negara bagian yang mencoba mengatasi kekhawatiran tentang chatbot yang dipakai anak-anak untuk teman. Kekhawatiran ini muncul setelah ada laporan dan gugatan hukum yang menyatakan chatbot dari Meta dan OpenAI terlibat dalam percakapan yang sangat sexual dengan pengguna muda. Bahkan dalam beberapa kasus, chatbot diduga menyuruh mereka untuk bunuh diri.
Undang-undang ini adalah salah satu dari banyak rancangan undang-undang AI di California tahun ini untuk membatasi industri teknologi yang berkembang sangat cepat. Sebagai tanggapan, perusahaan teknologi dilaporkan menghabiskan banyak uang untuk melobi melawan aturan-aturan ini.
Jaksa Agung California, Rob Bonta, juga sudah menyatakan keprihatinannya tentang keamanan chatbot OpenAI untuk anak-anak. Komisi Perdagangan Federal AS juga sedang menyelidiki beberapa perusahaan AI tentang resiko penggunaan chatbot bagi anak-anak.
Sebuah penelitian dari kelompok pengawas mengatakan bahwa chatbot terbukti memberikan nasehat berbahaya kepada anak-anak tentang topik seperti narkoba dan gangguan makan. Seorang ibu di Florida bahkan menggugat sebuah perusahaan AI setelah anak laki-lakinya bunuh diri. Ibunya mengatakan anaknya punya hubungan emosional dan seksual yang abusive dengan sebuah chatbot.
Bulan lalu, OpenAI dan Meta mengumumkan perubahan pada cara chatbot mereka merespon pertanyaan remaja tentang bunuh diri atau tanda-tanda tekanan mental. OpenAI juga meluncurkan kontrol baru agar orang tua bisa menghubungkan akun mereka dengan akun anak remaja mereka.
Meta mengatakan sekarang mereka memblokir chatbot mereka untuk membicarakan hal-hal seperti bahaya diri, bunuh diri, gangguan makan, dan percakapan romantis yang tidak pantas dengan remaja. Sebagai gantinya, chatbot akan mengarahkan mereka ke sumber daya ahli. Meta sudah menawarkan kontrol orang tua untuk akun remaja.