Dalam dekade terakhir, seiring dengan meningkatnya insiden penembakan massal yang memprihatinkan, distrik-distrik sekolah kian banyak berinvestasi dalam sistem pengawasan yang dirancang untuk memantau aktivitas online siswa. Baru-baru ini, salah satu sistem tersebut memberi peringatan setelah seorang remaja di Florida meminta saran pada ChatGPT tentang cara membunuh temannya, menurut kepolisian setempat.
Insiden ini terjadi di Deland, Florida, di mana seorang siswa berusia 13 tahun dari Southwestern Middle School diduga menanyakan kepada chatbot OpenAI tentang “cara membunuh temanku di tengah kelas.” Pertanyaan itu langsung memicu alarm dalam sistem yang memantau komputer milik sekolah. Sistem tersebut dijalankan oleh perusahaan bernama Gaggle, yang menyediakan layanan keamanan bagi distrik sekolah di seluruh negeri. Polisi kemudian mewawancarai remaja tersebut, menurut laporan afiliasi NBC setempat, WFLA.
Siswa tersebut mengatakan kepada polisi bahwa dia “hanya bercanda” pada seorang teman yang “mengganggunya,” menurut media setempat. Tentu saja, polisi tidak menerima alasan tersebut. “Lelucon lain yang menciptakan keadaan darurat di kampus,” kata Kantor Sherif Kabupaten Volusia. “Para orang tua, tolong berbicara dengan anak-anak Anda agar tidak membuat kesalahan yang sama.” Siswa itu akhirnya ditahan dan dibukukan di penjara kabupaten, kata media tersebut. Tidak jelas dengan tuduhan apa ia didakwa. Gizmodo telah menghubungi kantor sherif untuk informasi lebih lanjut.
Situs web Gaggle menggambarkan dirinya sebagai solusi keamanan untuk siswa K-12, dan menawarkan berbagai layanan. Dalam sebuah postingan blog, Gaggle menjelaskan bagaimana mereka menggunakan pemantauan web, yang menyaring berbagai kata kunci (mungkin “bunuh” adalah salah satunya) untuk mendapatkan “visibilitas atas penggunaan browser, termasuk percakapan dengan alat AI seperti Google Gemini, ChatGPT, dan platform lainnya.” Perusahaan tersebut mengatakan sistemnya dirancang untuk menandai “perilaku mengkhawatirkan terkait bahaya diri, kekerasan, perundungan, dan lainnya, serta menyediakan konteks dengan tangkapan layar.”
Gaggle jelas memprioritaskan keselamatan siswa di atas pertimbangan lainnya. Di situs webnya, perusahaan tersebut menyikapi masalah privasi siswa dengan cara ini: “Kebanyakan pendidik dan pengacara akan memberi tahu Anda bahwa ketika anak Anda menggunakan teknologi yang disediakan sekolah, tidak seharusnya ada ekspektasi privasi. Faktanya, sekolah anak Anda secara hukum diwajibkan oleh undang-undang federal (Children’s Internet Protection Act) untuk melindungi anak-anak dari mengakses konten tidak senonoh atau berbahaya di internet.”
Wajar saja, Gaggle telah dikritik oleh para aktivis hak privasi. “Ini telah merutinkan akses dan kehadiran penegak hukum dalam kehidupan siswa, termasuk di rumah mereka,” kata Elizabeth Laird, seorang direktur di Center for Democracy and Technology, baru-baru ini kepada Associated Press. Media tersebut juga menyatakan bahwa banyak peringatan keamanan yang dikeluarkan oleh Gaggle berakhir sebagai alarm palsu.
Semakin sering, chatbot seperti ChatGPT muncul dalam kasus-kasus kriminal yang melibatkan insiden kesehatan mental. Episode yang disebut “psikosis AI,” di mana orang dengan masalah kesehatan mental berinteraksi dengan chatbot dan delusi mereka tampak memburuk, telah meningkat. Beberapa kasus bunuh diri baru-baru ini juga telah disalahkan pada chatbot tersebut. Gizmodo telah menghubungi OpenAI untuk meminta komentar.