Teknologi yang memungkinkan Anda untuk mengetikkan transkripsi rapat kerja Anda mungkin dapat membantu orang-orang dengan kelumpuhan berbicara lagi. Peneliti di UC Berkeley dan UC San Francisco menggunakan kecerdasan buatan generatif untuk mengurangi keterlambatan antara saat seseorang dengan kelumpuhan parah mencoba berbicara dan saat perangkat komputer memainkan suara tersebut. Pekerjaan mereka membantu seorang wanita bernama Ann, yang mengalami stroke batang otak pada tahun 2005 saat berusia 30 tahun, untuk berkomunikasi hampir secara real time. Ann berbicara dengan suara yang terdengar seperti miliknya sendiri karena model tersebut dilatih dengan rekaman dari dirinya sebelum stroke.
Penggunaan gen AI dalam beberapa cara berbeda memungkinkan para peneliti untuk melakukan perbaikan dalam neuroprosthesis yang mungkin akan memakan waktu lebih lama, kata Cheol Jun Cho, seorang mahasiswa Ph.D. di UC Berkeley dalam ilmu rekayasa elektrik dan ilmu komputer dan salah satu penulis utama studi tersebut, yang diterbitkan pada Maret di Nature Neuroscience.
Ini adalah salah satu contoh bagaimana alat-alat gen AI – menggunakan teknologi dasar yang sama yang menggerakkan chatbot seperti ChatGPT dari OpenAI dan Claude dari Anthropic atau transkripsi dalam Google Meet – membantu para peneliti medis dan ilmiah menyelesaikan masalah yang mungkin akan memakan waktu lebih lama untuk diselesaikan, kata Cho. Para ahli AI dan pendukungnya telah menunjuk pada penggunaan teknologi ini dalam bidang medis sebagai area dengan potensi besar, baik dalam merancang obat-obatan baru atau memberikan pengujian dan diagnosis yang lebih baik.
“AI mempercepat kemajuan,” kata Cho. “Kadang-kadang kita membayangkan bahwa waktu yang diperlukan bisa berlangsung satu atau dua dekade. Sekarang, kecepatannya seperti tiga tahun.”
Teknologi yang telah membantu Ann adalah bukti konsep, kata Cho, tetapi menunjukkan jalan menuju alat-alat yang mungkin lebih mudah digunakan di masa depan.
Masalah dengan neuroprostesis yang ada adalah keterlambatan. Ada selang waktu antara saat orang mulai mencoba berbicara dan saat kalimat benar-benar dihasilkan dan didengar. Cho mengatakan teknologi sebelumnya berarti Ann harus menunggu hingga satu kalimat selesai sebelum memulai kalimat berikutnya.
Ann, yang terlihat selama studi penelitian pertama pada tahun 2023, dapat berkomunikasi melalui komputer yang membaca sinyal otak yang coba dikirimkan ke otot yang mengendalikan bicara.
“Terobosan utamanya di sini adalah bahwa dia tidak perlu menunggu sampai dia selesai berbicara,” katanya. “Sekarang kita benar-benar dapat menyiarkan prosedur dekoding kapan pun dia bermaksud untuk berbicara.”
Prosthesis tersebut mencakup rangkaian elektroda yang ditanam di permukaan otaknya dan terhubung melalui kabel ke bank komputer. Ini mendekode sinyal kontrol yang otak Ann kirimkan ke otot yang mengendalikan bicara. Setelah Ann telah memilih kata-kata yang ingin dia ucapkan, kecerdasan buatan membaca sinyal-sinyal itu dari korteks motorik dan memberikan kehidupan padanya.
Untuk melatih model, tim tersebut meminta Ann untuk mencoba berbicara kalimat-kalimat yang ditunjukkan pada layar. Mereka kemudian menggunakan data pada aktivitas tersebut untuk memetakan sinyal-sinyal di korteks motorik, menggunakan gen AI untuk mengisi kekosongan.
Cho mengatakan timnya berharap terobosan ini mengarah pada perangkat yang dapat diskalakan dan lebih mudah diakses.
“Kami masih berusaha keras untuk membuatnya lebih akurat dan keterlambatan yang lebih rendah,” katanya. “Kami mencoba membangun sesuatu yang lebih mudah digunakan.”
Cho mengatakan tim menggunakan gen AI dalam beberapa cara berbeda. Salah satunya adalah untuk mereplikasi suara Ann sebelum cedera. Mereka menggunakan rekaman dari sebelum cedera untuk melatih model yang dapat menghasilkan suara Ann.
“Dia sangat senang saat pertama kali mendengar suaranya sendiri lagi,” kata Cho.
Perubahan besar terjadi dalam transkripsi real-time. Cho membandingkannya dengan alat-alat yang mentranskripsi presentasi atau pertemuan saat itu terjadi.
Pekerjaan ini didasarkan pada studi 2023 yang menggunakan alat AI untuk membantu Ann berkomunikasi. Pekerjaan tersebut masih memiliki keterlambatan yang signifikan antara saat Ann mencoba berbicara dan saat kata-kata dihasilkan. Penelitian ini memotong keterlambatan tersebut secara signifikan, dan Ann memberi tahu tim bahwa itu terasa lebih alami.
“Dan melaporkan bahwa dia merasa terwakili, bahwa itu adalah suaranya sendiri,” kata Cho.