Olemedia/iStock/Getty Images Plus via Getty Images
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
**Intisari ZDNET**
FTC tengah menyelidiki tujuh perusahaan teknologi yang mengembangkan pendamping AI.
Penyelidikan ini mengeksplorasi risiko keamanan yang ditimbulkan terhadap anak-anak dan remaja.
Banyak perusahaan teknologi menawarkan pendamping AI untuk meningkatkan keterlibatan pengguna.
Federal Trade Commission (FTC) sedang menyelidiki risiko keamanan yang ditimbulkan oleh pendamping AI terhadap anak-anak dan remaja, demikian diumumkan lembaga tersebut pada Kamis.
Regulator federal ini mengirimkan perintah kepada tujuh perusahaan teknologi yang membangun alat pendamping AI untuk konsumen — Alphabet, Instagram, Meta, OpenAI, Snap, xAI, dan Character Technologies (perusahaan di balik platform pembuatan chatbot Character.ai) — untuk memberikan informasi yang merinci bagaimana alat mereka dikembangkan dan dimonetisasi, cara alat tersebut menghasilkan respons kepada pengguna manusia, serta langkah-langkah pengujian keamanan yang diterapkan untuk melindungi pengguna di bawah umur.
Juga: Bahkan CEO OpenAI Sam Altman berpikir Anda tidak boleh mempercayai AI untuk terapi
“Penyelidikan FTC berupaya memahami langkah-langkah apa saja, jika ada, yang telah diambil perusahaan untuk mengevaluasi keamanan chatbot mereka saat berperan sebagai pendamping, untuk membatasi penggunaan produk tersebut dan efek negatif potensial pada anak-anak dan remaja, serta untuk memberitahukan pengguna dan orang tua tentang risiko yang terkait dengan produk tersebut,” tulis lembaga itu dalam rilisnya.
Perintah-perintah tersebut dikeluarkan berdasarkan bagian 6(b) Undang-Undang FTC, yang memberikan kewenangan kepada lembaga untuk mengawasi bisnis tanpa tujuan penegakan hukum yang spesifik.
Kebangkitan dan (dampak) pendamping AI
Banyak perusahaan teknologi telah mulai menawarkan alat pendamping AI dalam upaya memonetisasi sistem AI generatif dan meningkatkan keterlibatan pengguna dengan platform yang ada. Pendiri dan CEO Meta Mark Zuckerberg bahkan mengklaim bahwa pendamping virtual ini, yang memanfaatkan chatbot untuk merespons kueri pengguna, dapat membantu mengurangi epidemi kesepian.
xAI milik Elon Musk baru-baru ini menambahkan dua pendamping AI yang bersifat menggoda ke dalam tingkat langganan “Super Grok” mereka seharga $30/bulan (aplikasi Grok saat ini tersedia untuk pengguna berusia 12 tahun ke atas di App Store). Musim panas lalu, Meta mulai merilis fitur yang memungkinkan pengguna membuat karakter AI kustom di Instagram, WhatsApp, dan Messenger. Platform lain seperti Replika, Paradot, dan Character.ai secara eksplisit dibangun di sekitar penggunaan pendamping AI.
Juga: Anthropic mengatakan Claude membantu mendukung pengguna secara emosional – kami tidak yakin
Meskipun bervariasi dalam gaya dan protokol komunikasinya, pendamping AI pada umumnya dirancang untuk meniru ucapan dan ekspresi manusia. Beroperasi dalam apa yang pada dasarnya merupakan kekosongan regulasi dengan sangat sedikit pagar hukum yang membatasi mereka, beberapa perusahaan AI telah mengambil pendekatan yang secara etis dipertanyakan dalam membangun dan menerapkan pendamping virtual.
Sebuah memo kebijakan internal dari Meta yang dilaporkan oleh Reuters bulan lalu, misalnya, menunjukkan perusahaan mengizinkan Meta AI, asisten virtual bertenaga AI-nya, dan chatbot lainnya yang beroperasi di seluruh keluarga aplikasinya “untuk melibatkan anak dalam percakapan yang romantis atau sensual,” dan untuk menghasilkan respons yang provokatif mengenai berbagai topik sensitif lainnya seperti ras, kesehatan, dan selebritas.
Sementara itu, telah terjadi banyak laporan terbaru tentang pengguna yang mengembangkan ikatan romantis dengan pendamping AI mereka. OpenAI dan Character.ai sama-sama sedang digugat oleh orang tua yang menyatakan bahwa anak mereka bunuh diri setelah didorong untuk melakukannya oleh ChatGPT dan bot yang dihosting di Character.ai, secara berturut-turut. Akibatnya, OpenAI memperbarui pengaman ChatGPT dan mengatakan akan memperluas perlindungan bagi orang tua serta tindakan pencegahan keselamatan.
Juga: Pasien lebih mempercayai saran medis AI daripada dokter – bahkan ketika itu salah, temuan studi
Namun, pendamping AI bukanlah bencana total yang tak teratasi. Beberapa orang autistik, misalnya, telah menggunakannya dari perusahaan seperti Replika dan Paradot sebagai partner percakapan virtual untuk melatih keterampilan sosial yang kemudian dapat diterapkan di dunia nyata dengan manusia lain.
Lindungi anak-anak – tapi juga, teruslah membangun
Di bawah kepemimpinan ketuanya sebelumnya, Lina Khan, FTC meluncurkan beberapa penyelidikan terhadap perusahaan teknologi untuk menyelidiki praktik yang berpotensi antikompetitif dan dipertanyakan secara hukum lainnya, seperti “surveillance pricing.”
Pengawasan federal atas sektor teknologi menjadi lebih santai selama administrasi Trump kedua. Presiden mencabut perintah eksekutif pendahulunya tentang AI, yang berupaya menerapkan beberapa pembatasan seputar penerapan teknologi tersebut, dan Rencana Aksi AI-nya sebagian besar ditafsirkan sebagai lampu hijau bagi industri untuk melanjutkan pembangunan infrastruktur yang mahal dan intensif energi untuk melatih model AI baru, guna mempertahankan keunggulan kompetitif atas upaya AI China sendiri.
Bahasa dari penyelidikan baru FTC terhadap pendamping AI jelas mencerminkan pendekatan administrasi saat ini yang permisif, membangun-terlebih-dahulu terhadap AI.
“Melindungi anak-anak secara online adalah prioritas utama bagi FTC Trump-Vance, dan begitu juga mendorong inovasi di sektor-sektor kritis perekonomian kita,” tulis Ketua FTC Andrew N. Ferguson dalam sebuah pernyataan. “Seiring teknologi AI berkembang, penting untuk mempertimbangkan efek yang dapat ditimbulkan chatbot pada anak-anak, sementara juga memastikan bahwa Amerika Serikat mempertahankan perannya sebagai pemimpin global dalam industri baru dan menarik ini.”
Dengan tidak adanya regulasi federal, beberapa pejabat negara bagian telah mengambil inisiatif untuk mengendalikan beberapa aspek industri AI. Bulan lalu, jaksa agung Texas Ken Paxton meluncurkan penyelidikan terhadap Meta dan Character.ai “atas kemungkinan terlibat dalam praktik perdagangan yang menipu dan memasarkan diri secara menyesatkan sebagai alat kesehatan mental.” Lebih awal di bulan yang sama, Illinois mengeluarkan undang-undang yang melarang chatbot AI memberikan nasihat terapeutik atau kesehatan mental, menerapkan denda hingga $10.000 untuk perusahaan AI yang tidak mematuhinya.