Alat AI Baru FDA Lebih Banyak Menyebabkan Halusinasi Dibanding Solusi
Alat kecerdasan buatan (AI) baru dari Food and Drug Administration (FDA) — yang dianggap sebagai solusi revolusioner oleh Menteri Kesehatan dan Layanan Kemanusiaan Robert F. Kennedy, Jr. untuk mempercepat persetujuan obat — justru lebih sering menimbulkan halusinasi ketimbang memberikan solusi.
Dikenal sebagai Elsa, chatbot AI ini diperkenalkan untuk membantu pegawai FDA dalam tugas sehari-hari seperti mencatat rapat dan mengelola email, sekaligus mendukung percepatan persetujuan obat dan alat kesehatan dengan menyaring data aplikasi penting. Namun, menurut sumber dalam FDA yang berbicara kepada CNN secara anonim, chatbot ini kerap berhalusinasi, bahkan kadang memalsukan studi medis atau salah menafsirkan data penting. Alat ini kini diabaikan oleh staf, karena tidak dapat digunakan dalam proses peninjauan dan tidak memiliki akses ke dokumen internal yang dijanjikan.
BACA JUGA:
Pelanggaran data kesehatan pengaruhi lebih dari lima juta warga AS
"Ia berhalusinasi dengan percaya diri," ujar salah satu pegawai FDA kepada CNN. Menurut sumber, alat ini sering memberikan jawaban salah terkait bidang penelitian FDA, label obat, dan gagal merujuk kutipan dari jurnal medis eksternal.
Meski awalnya diklaim telah terintegrasi dalam protokol tinjauan klinis, Komisaris FDA Marty Makary menyatakan bahwa alat ini hanya digunakan untuk "tugas organisasi" dan tidak diwajibkan bagi pegawai. Kepala divisi AI FDA mengakui bahwa alat ini berisiko berhalusinasi, sama seperti model bahasa besar (LLM) lainnya. Keduanya mengaku tidak terkejut dengan kesalahan yang terjadi dan menekankan perlunya pelatihan lebih lanjut.
Tidak Semua LLM Bertugas Menyetujui Obat Penyelamat Nyawa
FDA mengumumkan alat agentic baru ini pada Juni lalu, dengan Vinay Prasad (Direktur Pusat Evaluasi dan Penelitian Biologis FDA) dan Makary menulis bahwa inovasi AI adalah prioritas utama lembaga dalam artikel pendamping di Journal of the American Medical Association (JAMA). Alat ini dirancang untuk memeriksa aplikasi obat dan alat kesehatan, sebagai solusi atas lamanya proses persetujuan yang sering dikritik, setelah FDA meluncurkan pilot peninjauan ilmiah berbantuan AI.
Pemerintahan Trump mendorong lembaga-lembaga pemerintah untuk mempercepat agenda AI "America-first", termasuk panduan federal baru untuk mendirikan Pusat Keunggulan AI yang didukung FDA guna menguji dan menerapkan alat AI. Langkah ini diumumkan dalam Rencana Aksi AI pemerintah. Namun, banyak yang khawatir upaya agresif dan deregulasi ini mengabaikan pengawasan yang diperlukan.
"Banyak sektor kritis AS, seperti kesehatan, lambat mengadopsi AI karena ketidakpercayaan, kurangnya pemahaman, regulasi yang rumit, dan tidak adanya standar tata kelola dan mitigasi risiko," bunyi rencana tersebut. "Upaya terkoordinasi pemerintah akan membantu menciptakan budaya ‘coba dulu’ untuk AI di seluruh industri AS."
(Mashable Light Speed)