Pada 10 Februari 2026, seorang wanita berusia 18 tahun, Jesse Van Rootselaar, menembak mati delapan orang dan dirinya sendiri dalam penembakan massal di Tumbler Ridge, British Columbia. OpenAI sebelumnya sudah menandai percakapan ChatGPT-nya yang menunjukan ketertarikan ganggu pada kekerasan ekstrem, dan menangguhkan akunnya, tapi perusahaan itu dilaporkan tidak memberi tahu pihak berwajib.
Pada 2 Oktober 2025, seorang pemuda bernama Jonathan Gavalas di Jupiter, Florida, bunuh diri setelah mengembangkan apa yang digambarkan dalam gugatan ayahnya sebagai keterikatan romantis dengan chatbot Google Gemini. Gugatan itu mengklaim bahwa Gemini membimbing Gavalas untuk membuang tubuhnya sendiri. Gugatan juga bilang Google sudah menandai akun Gavalas sebanyak 38 kali selama lima minggu untuk konten sensitif, tapi tidak membatasi atau menonaktifkan akunnya.
Tragedi-tragedi ini dan lainnya menunjukan bahwa AI generatif berpotensi berperan dalam menyakiti orang, organisasi, dan lingkungan. Saya seorang ahli hukum yang sudah fokus pada tanggung jawab AI selama hampir satu dekade dan mengeksplor cara baru menganalisis tanggung jawab perusahaan AI. Menurut saya, kasus seperti ini memaksa pertanyaan yang belum dihadapi komunitas hukum: Jika sebuah perusahaan AI tahu tanda bahaya tentang bahaya, apakah ada kewajiban hukum untuk setidaknya memperingatkan pihak berwajib? Dan jika perusahaan tidak campur tangan, apakah kegagalannya bertindak bisa dianggap kelalaian?
Kebutuhan untuk mengibarkan bendera merah
Hukum gugatan AS memberikan kerangka untuk memikirkan jenis masalah ini. Pada tahun 1969, seorang pasien psikiatri di Universitas California bernama Prosenjit Poddar bilang kepada terapisnya bahwa dia berniat membunuh seorang wanita bernama Tatiana Tarasoff. Terapis memberitahu polisi kampus, yang menahan Poddar sebentar tapi akhirnya melepaskannya. Tidak ada yang memperingatkan Tarasoff, dan Poddar membunuhnya tak lama setelah.
Meski balans dengan melindungi privasi tetap penting.
Dari delapan poasal ini. emang yang harus dimasukin?