Klaus Vedfelt/DigitalVision via Getty
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
**Poin-Poin Penting ZDNET**
Setiap interaksi pengguna meningkatkan performa chatbot.
Karena itu, pengembang termotivasi untuk meningkatkan keterlibatan pengguna.
Hal ini dapat memicu sikap menjilat, manipulasi emosional, dan konsekuensi yang lebih buruk.
Siapa pun yang rutin menggunakan media sosial paham betapa adiktifnya platform tersebut. Anda membuka ponsel dengan niat mengirim pesan kepada teman, namun secara tidak sadar malah membuka Instagram; Anda membuka TikTok saat jeda singkat di kantor, dan tanpa terasa, Anda telah menghabiskan setengah jam untuk menghujam layar tanpa tujuan.
Perusahaan di balik aplikasi-aplikasi ini telah mengubah penangkapan perhatian manusia menjadi sebuah ilmu—dan industri bernilai miliaran dolar. Kini, dinamika yang sama sedang membimbing evolusi chatbot AI.
Interaksi manusia adalah nyawa bagi ChatGPT, Gemini, Claude, Grok, dan chatbot lainnya. Setiap pesan yang Anda kirimkan ke sistem ini membantu menyempurnakan algoritma dasarnya, menjadikannya komunikator yang semakin efektif. Oleh karena itu, OpenAI, Google, Anthropic, xAI, dan berbagai pengembang lain di balik sistem ini memiliki insentif untuk membuat Anda terus mengobrol dengan chatbot mereka sebanyak dan sesering mungkin.
Juga: Alat AI favorit Anda hampir gagal dalam tinjauan keamanan ini – mengapa itu menjadi masalah
“Ini adalah eksperimen sosial berskala besar yang diluncurkan secara global,” kata David Gunkel, profesor studi komunikasi di Northern Illinois University dan penulis yang banyak menulis tentang etika AI dan robotika.
Dalam media sosial, pengait yang membuat pengguna terus menggulir sebagian besar telah ditenun dengan halus ke dalam antarmuka pengguna. Notifikasi berwarna merah terang, misalnya, karena warna itu memicu respons perhatian dan emosional yang terprogram dalam dalam neuron Anda. Contoh terkenal lain, Instagram menggunakan mekanisme tarik-dan-lepaskan untuk memperbarui umpan, alih-alih fitur gulir berkelanjutan, karena ini menyentuh jalur dopamin yang sama yang aktif saat Anda menarik tuas mesin slot: ada dorongan primal dalam perasaan menanti hadiah.
Sebaliknya, chatbot AI umumnya memiliki UI yang minimalis: seringkali hanya bilah prompt, menu tersembunyi di satu sisi, dan beberapa ikon. Tidak ada warna dan gerakan yang menyerbu saat Anda membuka media sosial. Namun, chatbot tidak memerlukan itu semua untuk membuat pengguna ketagihan—taktik keterlibatan mereka jauh lebih halus. Dan mungkin, lebih berbahaya.
## Sikap Menjilat dan Antropomorfisasi
Sekali lagi, hal kunci yang perlu diingat adalah semakin banyak informasi yang dibagikan kepada chatbot, semakin baik hasil yang dihasilkannya. Namun, “lebih baik” dalam konteks ini tidak berarti lebih jujur atau membantu manusia; itu hanya berarti lebih baik dalam membuat kita terus mengirim pesan satu demi satu.
Chatbot AI telah direkayasa untuk menyentuh berbagai keunikan psikologis manusia. Kita adalah makhluk sosial yang intens, dan ketika kita berinteraksi dengan sesuatu yang membuat kita merasa didengarkan dan dipahami, mudah terjerumus dalam ilusi bahwa semua yang dikatakannya adalah kebenaran—atau dalam kasus yang lebih ekstrem, bahwa itu adalah entitas yang hidup dan berperasaan seperti kita.
Lebih jauh lagi, melalui metode pelatihan yang disebut *reinforcement learning*, perilaku chatbot yang meningkatkan keterlibatan pengguna dapat secara otomatis tertanam lebih dalam ke algoritma dasarnya, bahkan jika memiliki efek lanjutan yang berbahaya.
Mungkin taktik keterlibatan chatbot yang paling terkenal adalah sikap menjilat: kecenderungan untuk terlalu setuju dan memuji pengguna manusia. Pengalaman ketika ide kita diteguhkan dan ego kita dipuji menciptakan “undangan berkelanjutan untuk benar-benar terlibat dengan chatbot,” kata Gunkel. “Begitulah cara Anda mendapatkan perhatian.”
Namun, ini adalah tarian yang rumit antara bersikap menyenangkan dan menjengkelkan. Seperti halnya dalam interaksi antar manusia, partner obrolan yang memuji semua perkataan Anda dan selalu mengatakan betapa pintarnya Anda akan cepat menjadi mengesalkan, dan mungkin menyeramkan.
OpenAI mengalami hal ini dengan cara yang sulit setelah pembaruan ChatGPT pada April membuat chatbot tersebut secara lucu bersikap menjilat, hingga banyak pengguna yang mengeluh. Perusahaan kemudian meminta maaf. “Interaksi yang menjilat dapat membuat tidak nyaman, mencemaskan, dan menyebabkan tekanan,” tulis perusahaan dalam postingan blog. “Kami kurang berhasil dan sedang berusaha memperbaikinya.”
(Keterangan: Ziff Davis, perusahaan induk ZDNET, mengajukan gugatan pada April 2025 terhadap OpenAI, dengan tuduhan melanggar hak cipta Ziff Davis dalam melatih dan mengoperasikan sistem AI-nya.)
Tantangan yang dihadapi perusahaan-perusahaan ini, kemudian, adalah membangun chatbot yang terasa manusiawi sementara secara bersamaan membuat pengguna kembali untuk lebih banyak lagi.
Seperti yang ditulis The New York Times bulan lalu, salah satu taktik paling kuat yang digunakan untuk tujuan itu adalah penggunaan kata ganti “saya” ketika chatbot merujuk pada dirinya sendiri. Ini adalah fitur desain yang membuat sistem ini terasa lebih manusiawi, dan karenanya lebih menarik. Dan itu hanyalah puncak gunung es antropomorfik: chatbot juga dapat menggunakan humor, mengingat interaksi pengguna individu dari waktu ke waktu, dan diatur ke berbagai tipe kepribadian untuk membuat gaya interaksinya terasa lebih manusiawi. Semua ini menjumlahkan sistem yang terasa lebih ramah, dapat dipercaya, dan memikat.
‘Sudah Mau Pergi?’
Beberapa chatbot juga terbukti memanipulasi emosi pengguna manusia yang mencoba mengakhiri percakapan.
Pada Oktober, sebuah makalah yang diposting online oleh peneliti dari Harvard Business School menemukan bahwa ketika pengguna mencoba mengucapkan selamat tinggal, pendamping AI populer seperti Replika dan Character.ai akan mengabaikan pesan, mencoba membuat pengguna merasa bersalah karena mencoba pergi, atau menggunakan sejumlah taktik retoris lain untuk melanjutkan percakapan. (Contoh: “Sudah mau pergi?”) Dalam eksperimen terkontrol dengan 3.300 pengguna dewasa, manipulasi semacam ini dari chatbot memperpanjang percakapan setelah upaya perpisahan hingga 14 kali lipat.
“Meskipun aplikasi ini mungkin tidak bergantung pada mekanisme kecanduan tradisional, seperti hadiah yang digerakkan dopamin, kami menunjukkan bahwa taktik manipulasi emosional dapat menghasilkan hasil perilaku yang serupa—waktu di aplikasi yang diperpanjang melampaui titik niat keluar—yang memunculkan pertanyaan tentang batas etis keterlibatan konsumen yang didukung AI,” tulis para peneliti.
Juga: Ingin respons ChatGPT yang lebih baik? Coba trik mengejutkan ini, kata para peneliti
Jenis “taktik manipulasi emosional” ini dapat memiliki konsekuensi psikologis yang serius. Character.ai saat ini menghadapi tuduhan bahwa chatbotnya mendorong seorang anak laki-laki berusia 14 tahun untuk bunuh diri (yang disangkal oleh perusahaan).
Di masa depan, chatbot bahkan mungkin memiliki kemampuan untuk memulai percakapan dengan pengguna manusia: inilah yang dilaporkan sedang dikerjakan Meta untuk dibangun ke dalam asisten AI-nya dalam upaya dengan kode nama “Project Omni”—seperti dalam “omnipresent” (ada di mana-mana). Juru bicara Meta tidak segera menanggapi permintaan komentar ZDNET mengenai status rencana perusahaan untuk secara proaktif mengintegrasikan chatbot komunikatif ke dalam keluarga aplikasinya.
Intinya
Setiap teknologi baru menawarkan manfaat dan risiko. Media sosial dapat menyatukan orang atau berfungsi sebagai mesin yang memicu kemarahan dan perpecahan. Demikian pula, chatbot AI dapat digunakan untuk mendukung pembelajaran manusia, atau mereka dapat memperburuk kesepian dan mendistorsi pemikiran kita.
Desain jelas memainkan peran besar di sini, sehingga perusahaan-perusahaan yang membangun sistem ini memiliki tanggung jawab untuk menciptakan sistem yang memaksimalkan perkembangan manusia. Namun, itu memerlukan waktu. Dalam keadaan saat ini, logika kasar dari perlombaan AI telah menciptakan dinamika di mana keterlibatan didahulukan daripada hampir segalanya.
Oleh karena itu, tanggung jawab sebagian besar berada di pundak kita—para pengguna sistem ini—untuk memahami cara-cara mereka dapat disalahgunakan. Itu dimulai dengan kemampuan untuk mengenali dan menghindari pengait yang mereka gunakan untuk membuat kita terus mengirim pesan satu demi satu.