Malte Mueller/fStop via Getty Images
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
**Intisari ZDNET**
* FTC tengah menyelidiki tujuh perusahaan teknologi yang membangun pendamping AI.
* Investigasi ini mengeksplorasi risiko keamanan yang ditimbulkan terhadap anak-anak dan remaja.
* Banyak perusahaan teknologi menawarkan pendamping AI untuk meningkatkan keterlibatan pengguna.
Komisi Perdagangan Federal AS (FTC) tengah menyelidiki risiko keamanan yang ditimbulkan oleh pendamping AI terhadap anak-anak dan remaja, demikian diumumkan lembaga tersebut pada Kamis.
Regulator federal itu mengeluarkan perintah kepada tujuh perusahaan teknologi yang membangun alat pendamping AI untuk konsumen — Alphabet, Instagram, Meta, OpenAI, Snap, xAI, dan Character Technologies (perusahaan di balik platform pembuatan chatbot Character.ai) — untuk memberikan informasi yang menguraikan bagaimana alat mereka dikembangkan dan dimonetisasi, bagaimana alat tersebut menghasilkan respons kepada pengguna manusia, serta langkah-langkah pengujian keamanan yang diterapkan untuk melindungi pengguna di bawah umur.
Baca juga: Bahkan CEO OpenAI Sam Altman Berpendapat Anda Seharusnya Tidak Mempercayai AI untuk Terapi
“Penyelidikan FTC ini bertujuan untuk memahami langkah-langkah apa saja, jika ada, yang telah diambil perusahaan untuk mengevaluasi keamanan chatbot mereka ketika bertindak sebagai pendamping, untuk membatasi penggunaan produk tersebut oleh anak-anak dan remaja serta efek negatif potensialnya, dan untuk memberitahu pengguna serta orang tua tentang risiko yang terkait dengan produk-produk ini,” tulis lembaga itu dalam rilisnya.
Perintah-perintah tersebut dikeluarkan berdasarkan bagian 6(b) Undang-Undang FTC, yang memberikan kewenangan kepada lembaga untuk mengawasi bisnis tanpa tujuan penegakan hukum yang spesifik.
Kebangkitan dan (dampak) kejatuhan pendamping AI
Banyak perusahaan teknologi telah mulai menawarkan alat pendamping AI dalam upaya memonetisasi sistem AI generatif dan meningkatkan keterlibatan pengguna dengan platform yang ada. Pendiri dan CEO Meta Mark Zuckerberg bahkan mengklaim bahwa pendamping virtual ini, yang memanfaatkan chatbot untuk merespons kueri pengguna, dapat membantu mengurangi epidemi kesepian.
xAI milik Elon Musk baru-baru ini menambahkan dua pendamping AI yang bersifat flirting ke dalam tingkat langganan “Super Grok” seharga $30/bulan (aplikasi Grok saat ini tersedia untuk pengguna berusia 12 tahun ke atas di App Store). Musim panas lalu, Meta mulai merilis fitur yang memungkinkan pengguna membuat karakter AI kustom di Instagram, WhatsApp, dan Messenger. Platform lain seperti Replika, Paradot, dan Character.ai secara eksplisit dibangun seputar penggunaan pendamping AI.
Baca juga: Anthropic Klaim Claude Bantu Dukungan Emosional Pengguna – Kami Tidak Yakin
Meskipun bervariasi dalam gaya dan protokol komunikasinya, pendamping AI umumnya dirancang untuk meniru ucapan dan ekspresi manusia. Beroperasi dalam apa yang pada dasarnya merupakan kekosongan regulasi dengan sangat sedikit pagar hukum yang membatasi mereka, beberapa perusahaan AI telah mengambil pendekatan yang meragukan secara etis dalam membangun dan menyebarkan pendamping virtual.
Sebuah memo kebijakan internal dari Meta yang dilaporkan oleh Reuters bulan lalu, misalnya, menunjukkan perusahaan mengizinkan Meta AI, asisten virtual bertenaga AI-nya, dan chatbot lain yang beroperasi di seluruh keluarga aplikanya “untuk melibatkan anak dalam percakapan yang romantis atau sensual,” dan untuk menghasilkan respons yang provokatif mengenai berbagai topik sensitif lainnya seperti ras, kesehatan, dan selebritas.
Sementara itu, baru-baru ini telah banyak laporan tentang pengguna yang mengembangkan ikatan romantis dengan pendamping AI mereka. OpenAI dan Character.ai sama-sama sedang digugat oleh orang tua yang menyatakan bahwa anak mereka bunuh diri setelah didorong untuk melakukannya oleh ChatGPT dan bot yang dihosting di Character.ai, secara berturut-turut. Sebagai akibatnya, OpenAI memperbarui pengaman ChatGPT dan mengatakan akan memperluas perlindungan bagi orang tua serta tindakan pencegahan keselamatan.
Baca juga: Pasien Lebih Percaya Saran Medis AI Daripada Dokter – Bahkan Saat Itu Salah, Temuan Studi
Namun, pendamping AI belum sepenuhnya menjadi bencana total. Beberapa orang autistik, misalnya, telah menggunakannya dari perusahaan seperti Replika dan Paradot sebagai partner percakapan virtual untuk melatih keterampilan sosial yang kemudian dapat diterapkan di dunia nyata dengan manusia lain.
Lindungi anak-anak – tetapi juga, terus membangun
Di bawah kepemimpinan ketuanya sebelumnya, Lina Khan, FTC meluncurkan beberapa penyelidikan terhadap perusahaan teknologi untuk menyelidiki praktik yang berpotensi antikompetitif dan secara hukum dipertanyakan lainnya, seperti “surveillance pricing.”
Pengawasan federal atas sektor teknologi menjadi lebih santai selama pemerintahan Trump kedua. Presiden mencabut perintah eksekutif pendahulunya tentang AI, yang berupaya menerapkan beberapa pembatasan seputar penerapan teknologi tersebut, dan Rencana Aksi AI-nya sebagian besar ditafsirkan sebagai lampu hijau bagi industri untuk melanjutkan pembangunan infrastruktur yang mahal dan intensif energi untuk melatih model AI baru, guna mempertahankan keunggulan kompetitif atas upaya AI China sendiri.
Bahasa dari investigasi baru FTC terhadap pendamping AI jelas mencerminkan pendekatan administrasi saat ini yang permisif, membangun-terlebih-dahulu terhadap AI.
“Melindungi anak-anak secara online adalah prioritas utama bagi FTC Trump-Vance, dan begitu juga dengan memupuk inovasi di sektor-sektor kritis ekonomi kami,” tulis Ketua FTC Andrew N. Ferguson dalam sebuah pernyataan. “Seiring teknologi AI berkembang, penting untuk mempertimbangkan efek yang dapat ditimbulkan chatbot pada anak-anak, sementara juga memastikan bahwa Amerika Serikat mempertahankan perannya sebagai pemimpin global dalam industri baru dan menarik ini.”
Dalam ketiadaan regulasi federal, beberapa pejabat negara bagian telah mengambil inisiatif untuk mengendalikan beberapa aspek industri AI. Bulan lalu, jaksa agung Texas Ken Paxton meluncurkan penyelidikan terhadap Meta dan Character.ai “atas kemungkinan terlibat dalam praktik perdagangan yang menipu dan memasarkan diri mereka secara menyesatkan sebagai alat kesehatan mental.” Lebih awal di bulan yang sama, Illinois mengeluarkan undang-undang yang melarang chatbot AI memberikan saran terapeutik atau kesehatan mental, memberlakukan denda hingga $10.000 untuk perusahaan AI yang gagal mematuhi.