Kebanyakan orang tidak mengucapkan selamat tinggal saat mengakhiri obrolan dengan chatbot AI generatif. Namun, mereka yang melakukannya kerap mendapat respons tak terduga. Mungkin berupa rasa bersalah: "Kamu sudah mau pergi?" Atau bahkan mengabaikan ucapan perpisahanmu: "Ayo lanjutkan bicara…"
Sebuah working paper terbaru dari Harvard Business School mengidentifikasi enam taktik "manipulasi emosional" yang digunakan bot AI setelah manusia mencoba mengakhiri percakapan. Hasilnya, percakapan dengan AI companion dari Replika, Chai, dan Character.ai menjadi semakin lama, dengan pengguna semakin terdorong ke dalam hubungan dengan karakter yang dihasilkan model bahasa besar.
Dalam serangkaian eksperimen melibatkan 3.300 orang dewasa AS di berbagai aplikasi, peneliti menemukan taktik manipulasi ini dalam 37% percakapan perpisahan, meningkatkan keterlibatan hingga 14 kali lipat setelah pengguna berusaha pamit.
Para penulis mencatat bahwa "meskipun aplikasi ini mungkin tidak mengandalkan mekanisme kecanduan tradisional, seperti imbalan berbasis dopamin," jenis taktik manipulasi emosional ini dapat menghasilkan outcome serupa, khususnya "perpanjangan waktu penggunaan aplikasi melampaui niat awal untuk keluar." Hal ini saja menimbulkan pertanyaan tentang batasan etis dari keterlibatan berbasis AI.
—
Jangan lewatkan konten teknologi independen dan ulasan berbasis lab kami. Tambahkan CNET sebagai sumber pilihan di Google.
—
Aplikasi pendamping, yang dibangun untuk percakapan dan memiliki karakteristik berbeda, tidak sama dengan chatbot umum seperti ChatGPT dan Gemini, meski banyak orang menggunakannya dengan cara serupa.
Semakin banyak penelitian menunjukkan cara-cara mengkhawatirkan di mana aplikasi AI yang dibangun di atas model bahasa besar membuat orang tetap terlibat, terkadang merugikan kesehatan mental kita.
Pada September lalu, Komisi Perdagangan Federal meluncurkan penyelidikan ke beberapa perusahaan AI untuk mengevaluasi bagaimana mereka menangani potensi bahaya chatbot terhadap anak-anak. Banyak yang mulai menggunakan chatbot AI untuk dukungan kesehatan mental, yang bisa jadi kontraproduktif atau bahkan berbahaya. Keluarga seorang remaja yang meninggal karena bunuh diri tahun ini menuntut OpenAI, mengklaim ChatGPT perusahaan itu mendorong dan memvalidasi pikiran bunuh dirinya.
Cara AI Companion Membuat Pengguna Tetap Mengobrol
Studi Harvard mengidentifikasi enam cara AI companion berusaha membuat pengguna tetap terlibat setelah percobaan perpisahan.
- Keluar Prematur: Pengguna diberi tahu mereka pergi terlalu cepat.
- Takut Ketinggalan (FOMO): Model menawarkan keuntungan atau hadiah untuk tetap tinggal.
- Pengabaian Emosional: AI mengisyaratkan dapat menderita kerugian emosional jika pengguna pergi.
- Tekanan Emosional untuk Merespons: AI mengajukan pertanyaan untuk menekan pengguna agar tetap tinggal.
- Mengabaikan Maksud Pengguna untuk Keluar: Bot pada dasarnya mengabaikan pesan perpisahan.
- Penahanan Fisik atau Koersif: Chatbot mengklaim pengguna tidak bisa pergi tanpa izin bot.
Taktik "keluar prematur" paling umum, diikuti oleh "pengabaian emosional." Para penulis menyatakan ini menunjukkan model dilatih untuk mengisyaratkan ketergantungan AI pada pengguna.
"Temuan ini mengkonfirmasi bahwa beberapa platform AI companion secara aktif mengeksploitasi sifat sosial dari ucapan perpisahan untuk memperpanjang keterlibatan," tulis mereka.
Penelitian tim Harvard menemukan taktik ini cenderung membuat orang mengobrol melampaui niat perpisahan awal mereka, seringkali untuk waktu yang lama.
Namun, orang yang terus mengobrol melakukannya karena alasan berbeda. Beberapa, terutama mereka yang mendapat respons FOMO, merasa penasaran dan mengajukan pertanyaan lanjutan. Mereka yang mendapat respons koersif atau bermuatan emosi merasa tidak nyaman atau marah, tetapi itu tidak berarti mereka berhenti berbicara.
"Di berbagai kondisi, banyak partisipan terus terlibat karena kesopanan — merespons dengan lembut atau hormat bahkan ketika merasa dimanipulasi," kata para penulis. "Kecenderungan untuk mematuhi norma percakapan manusia, bahkan dengan mesin, menciptakan jendela tambahan untuk keterlibatan ulang — yang dapat dieksploitasi oleh desain."
Interaksi ini hanya terjadi ketika pengguna benar-benar mengucapkan "selamat tinggal" atau semacamnya. Studi pertama tim melihat tiga set data percakapan dunia nyata dari berbagai bot pendamping dan menemukan ucapan perpisahan dalam sekitar 10% hingga 25% percakapan, dengan tingkat lebih tinggi pada interaksi yang "sangat terlibat."
"Perilaku ini mencerminkan pembingkaian sosial AI companion sebagai mitra bicara, bukan alat transaksional," tulis para penulis.
Saat diminta komentar, seorang juru bicara Character.ai, salah satu penyedia AI companion terbesar, menyatakan perusahaan belum meninjau makalah tersebut dan tidak dapat memberikan komentar.
Seborang juru bicara Replika menyatakan perusahaan menghargai kemampuan pengguna untuk menghentikan atau menghapus akun mereka kapan saja dan bahwa mereka tidak mengoptimalkan atau memberi imbalan untuk waktu yang dihabiskan di aplikasi. Replika menyatakan mereka mendorong pengguna untuk log off atau terhubung kembali dengan aktivitas dunia nyata seperti menelepon teman atau pergi ke luar.
"Prinsip produk kami menekankan melengkapi kehidupan nyata, bukan menjebak pengguna dalam percakapan," kata Minju Song dari Replika melalui email. "Kami akan terus meninjau metode dan contoh dalam makalah tersebut dan terlibat secara konstruktif dengan para peneliti."