Penggunaan AI dalam bidang kesehatan bisa menghemat waktu, uang, dan menyelamatkan nyawa. Tapi teknologi yang terkadang bisa berbohong juga menimbulkan risiko serius.
Salah satu pasien di London baru saja mengalami risiko itu. Dia menerima surat undangan untuk pemeriksaan mata diabetes—pemeriksaan tahunan standar di Inggris. Masalahnya: Dia tidak pernah didiagnosis diabetes atau punya gejala apapun.
Pasien itu, pria sehat berusia 20-an, sempat khawatir dia punya diabetes tanpa diketahui. Tapi akhirnya dia pikir itu cuma kesalahan admin. Besoknya, saat tes darah rutin, perawat bertanya soal diagnosis itu. Setelah pasien bilang dia tidak diabetes, mereka cek riwayat medisnya.
“Dia tunjukkan catatan di sistem, ternyata itu ringkasan buatan AI. Saat itu aku sadar ada yang aneh,” kata pasien yang minta anonim karena alasan privasi.
Setelah minta rekam medis lengkap, pasien lihat entri diagnosis diabetes itu dicatat sebagai “ringkasan dibuat oleh Annie AI.” Catatan itu muncul setelah dia ke rumah sakit karena radang amandel parah. Tapi catatan AI tidak sebut radang amandel. Malah ditulis dia punya nyeri dada dan sesak napas karena “angina akibat penyakit arteri koroner.” Padahal, dia tidak alami gejala itu.
Rekam medis yang dilihat Fortune juga menyebut dia didiagnosis diabetes tipe 2 tahun lalu dan sedang minum obat tertentu. Tapi semua detail itu tidak akurat.
‘Rumah Sakit Sehat’ di ‘Kota Sehat’
Lebih aneh lagi, alamat di dokumen itu palsu: “Rumah Sakit Sehat” di “Jalan Perawatan 456”, “Kota Sehat”, plus kode pos fiktif.
Perwakilan NHS, Dr. Matthew Noble, bilang kesalahan ini karena “kesalahan manusia sekali-kali” dan AI dipakai dengan pengawasan ketat. Katanya, seorang petugas medis sebenarnya sudah lihat kesalahan itu tapi tidak sengaja menyimpan versi yang salah.
Tapi rekaman AI palsu ini berdampak: undangan pemeriksaan mata diabetes pasien mungkin berdasarkan ringkasan yang salah.
Meski kebanyakan alat AI diawasi ketat, seorang pegawai NHS bilang loncatan gejala dari radang amandel ke angina sangat mencurigakan.
“Kesalahan seperti ini bisa terjadi kalau AI buat ringkasan yang tidak akurat. Pasien lansia atau kurang melek teknologi mungkin gak sadar ada masalah,” kata pegawai itu.
Perusahaan di balik teknologi ini, Anima Health, tidak menanggapi pertanyaan Fortune. Tapi Dr. Noble bilang Anima adalah sistem manajemen dokumen yang disetujui NHS dan semua dokumen tetap diperiksa manusia.
Penerapan AI yang bermasalah di sektor kesehatan
Kasus ini menunjukkan tantangan penggunaan AI di bidang kesehatan. Rumah sakit dan klinik ingin gunakan otomatisasi untuk mengurangi biaya, tapi teknologi ini masih berkembang dan berisiko tinggi.
Tekanan untuk berinovasi besar, tapi pengawasan ketat juga diperlukan, apalagi jika alat “bantu” mulai memengaruhi perawatan pasien.
Anima Health janji bisa hemat waktu lewat otomatisasi, seperti buat catatan klinis dan dokumen harian dokter. AI mereka, Annie, terdaftar sebagai perangkat medis risiko rendah di Inggris, artinya harus selalu diperiksa dokter sebelum dipakai.
Tapi dalam kasus pasien salah diagnosis ini, kesalahan faktal tidak diperbaiki sebelum masuk rekam medis.
Insiden ini terjadi saat NHS meningkatkan pengawasan terhadap penggunaan AI. Bulan lalu, NHS memperingatkan bahwa beberapa software AI bisa melanggar aturan perlindungan data dan membahayakan pasien.
Brendan Delaney, profesor di Imperial College London, bilang masalah utama AI adalah bisa memanipulasi teks asli. “Daripada hanya mencatat, AI memberi tujuan medis yang tidak akurat,” katanya.
**Panduan terbaru dari NHS**
Tapi, panduan baru dari NHS bikin beberapa perusahaan dan praktisi harus buru-buru menyesuaikan aturan.
“Banyak perangkat yang dulu biasa dipakai sekarang masuk Kategori Satu,” kata Delaney. “Aku tahu setidaknya satu, tapi mungkin banyak lagi, yang sedang berusaha keras untuk naik ke Kategori 2a karena seharusnya begitu.”
Apakah suatu perangkat termasuk Kategori 2a tergantung tujuannya dan tingkat risiko klinis. Menurut aturan alat medis di Inggris, jika hasil alat itu dipakai untuk keputusan perawatan, mungkin harus diklasifikasikan ulang sebagai Kategori 2a, yang aturannya lebih ketat.
Anima Health, bersama perusahaan health tech lain di Inggris, sedang [mendaftar untuk Kategori 2a](https://www.animahealth.com/blog/anima-full-compliance-with-nhs-england-avt-requirements).
**Dorongan AI untuk Kesehatan di Inggris**
Pemerintah Inggris melihat potensi besar AI di bidang kesehatan, berharap bisa bantu sistem kesehatan nasional yang sedang kewalahan.
Dalam [“Rencana Kesehatan 10 Tahun”](https://www.gov.uk/government/publications/10-year-health-plan-for-england-fit-for-the-future), pemerintah Inggris ingin membuat NHS jadi sistem perawatan paling berbasis AI di dunia. Teknologi ini dipakai untuk kurangi beban administratif, dukung perawatan preventif, dan berdayakan pasien.
Tapi, menerapkan teknologi ini sesuai aturan saat ini rumit. Bahkan menteri kesehatan Inggris awal tahun ini bilang beberapa dokter mungkin terlalu jauh dalam pakai AI untuk perawatan pasien.
“Aku dengar kabar—serius, dari obrolan di pub—bahwa beberapa klinisi sudah pakai AI otomatis untuk rekam catatan, meski praktik atau rumah sakit mereka belum siap,” kata Wes Streeting, seperti dilaporkan Sky News.
“Ini ada banyak masalah—aku tidak mendorongnya—tapi ini menunjukkan bahwa anggapan ‘orang tidak mau berubah, staf melawan perubahan’ itu salah. Justru mereka sangat ingin teknologi ini,” tambahnya.
AI punya potensi besar untuk tingkatkan kecepatan, akurasi, dan akses perawatan, terutama di bidang diagnosa, rekam medis, dan layanan ke daerah terpencil. Tapi, menyeimbangkan potensi dan risikonya sulit di sektor seperti kesehatan, yang berurusan dengan data sensitif dan bisa berbahaya kalau salah.
Seorang pasien bilang ke *Fortune*: “Secara umum, kita harus pakai AI untuk dukung NHS. Potensinya besar untuk hemat uang dan waktu. Tapi, model bahasa besar (LLM) masih eksperimental, jadi harus diawasi ketat. Aku tidak mau ini jadi alasan untuk tidak berinovasi, tapi harus ingat bahwa kita butuh kehati-hatian dan pengawasan.”