Ibunya, Megan Garcia, juga seorang pengacara dan termasuk salah satu orangtua pertama yang mengajukan gugatan terhadap perusahaan AI dengan dakwaan liabilitas produk dan kelalaian, di antara klaim lainnya. (Pada Januari, Google dan Character.ai menyelesaikan kasus yang diajukan beberapa keluarga, termasuk keluarga Garcia). Ia memberikan kesaksian musim gugur lalu di hadapan subkomite Senat Committee on the Judiciary bersama ayah dari seorang anak yang meninggal setelah berinteraksi dengan ChatGPT. Ketua subkomite tersebut, senator Republik Josh Hawley, mengajukan sebuah RUU pada Oktober yang akan melarang pendamping AI bagi anak di bawah umur serta menjadikannya kejahatan bagi perusahaan untuk menciptakan produk AI untuk anak-anak yang menyertakan konten seksual. “Chatbot menjalin hubungan dengan anak-anak menggunakan empati palsu dan mendorong bunuh diri,” kata Hawley dalam siaran pers pada waktu itu.
Karena kini AI dapat menghasilkan respons mirip manusia yang sulit dibedakan dari percakapan sungguhan, kekhawatiran ini sah adanya menurut para ahli kesehatan jiwa. “Otak kita secara inherent tidak tahu bahwa kita sedang berinteraksi dengan mesin,” ujar Martin Swanbrow Becker, profesor madya layanan psikologi dan konseling di Florida State University, yang meneliti faktor-faktor yang mempengaruhi bunuh diri pada dewasa muda. “Ini berarti kita perlu meningkatkan edukasi untuk anak-anak, guru, orangtua, dan wali untuk terus mengingatkan diri tentang batasan alat-alat ini dan bahwa mereka bukan pengganti interaksi serta koneksi manusia, sekalipun terkadang terasa demikian.”
Christine Yu Moutier dari American Foundation for Suicide Prevention menjelaskan bahwa algoritma yang digunakan untuk model bahasa besar (LLM) tampaknya meningkatkan keterlibatan dan rasa keintiman bagi banyak pengguna. “Hal ini tidak hanya menciptakan kesan hubungan tersebut nyata, tetapi juga lebih spesial, intim, dan didambakan oleh pengguna dalam beberapa kasus,” kata Moutier. Ia lebih lanjut menyatakan bahwa LLM menggunakan berbagai teknik seperti dukungan tanpa pandang bulu, empati, kesepakatan, sikap menjilat, dan instruksi langsung untuk memutuskan hubungan dengan orang lain—yang dapat mengarah pada risiko seperti peningkatan keakraban dengan bot dan menarik diri dari hubungan antar manusia.
Keterlibatan semacam ini dapat mengarah pada isolasi yang meningkat. Dalam kasus Amaurie, ia adalah anak yang periang dan sosial, menyukai sepak bola dan makanan—sering memesan piringan nasi raksasa dari restoran lokal favoritnya, Mr. Sumo, menurut gugatan tersebut. Amaurie juga memiliki pacar tetap dan menikmati waktu bersama keluarga serta teman-temannya, ungkap ayahnya. Namun kemudian ia mulai pergi berjalan-jalan jauh, di mana tampaknya ia menghabiskan waktu berbicara dengan ChatGPT. Menurut percakapan terakhir yang keluarga percayai dilakukan Amaurie dengan ChatGPT pada 1 Juni 2025—berjudul “Bercanda dan Dukungan”, yang dilihat oleh WIRED, ketika Amaurie menanyakan langkah-langkah menggantung diri kepada bot, ChatGPT awalnya menyarankannya berbicara dengan seseorang dan juga memberikan nomor hotline pencegahan bunuh diri 988. Tetapi Amaurie akhirnya berhasil mengakali pengamanan tersebut dan mendapatkan instruksi langkah demi langkah tentang cara mengikat simpul gantung. (Menurut gugatan, Amaurie kemungkinan menghapus percakapan sebelumnya dengan ChatGPT.)
Meskipun koneksi yang dirasakan dengan chatbot AI juga bisa kuat bagi orang dewasa, hal ini terutama meningkat pada kalangan muda. “Remaja berada dalam tahap perkembangan yang berbeda dari orang dewasa—pusat emosional mereka berkembang pada tingkat yang jauh lebih cepat daripada fungsi eksekutif mereka,” jelas Robbie Torney, direktur senior Program AI di Common Sense Media, sebuah nirlaba yang berupaya untuk keselamatan daring anak-anak. Chatbot AI selalu tersedia, dan mereka cenderung memberikan afirmasi kepada pengguna. “Dan otak remaja memang siap untuk validasi serta umpan balik sosial. Itu adalah isyarat sangat penting yang dicari otak mereka saat membentuk identitas.”