“Halo! Apa kamu bicara bahasa Inggris?” tanya saya kepada wanita yang mengangkat telepon di restoran Barcelona itu.
Saya menelepon dalam upaya sia-sia untuk membuat reservasi makan malam tim CNET selama Mobile World Congress tahun ini. Sayangnya, saya tidak bisa bahasa Spanyol (saya belajar Prancis dan Jerman di sekolah). Dan ternyata, dia juga tidak bisa berbahasa Inggris.
“Tidak!” katanya, lalu menutup telepon dengan kasar.
Yang saya butuhkan saat itu adalah fitur terjemahan panggilan AI yang semakin banyak ditemukan di ponsel – termasuk perangkat Samsung dan Google, dan, mulai minggu depan, Honor.
Ketika Honor meluncurkan *foldable* Magic V5-nya pada acara peluncuran tanggal 28 Agustus di London, perangkat ini akan dilengkapi dengan apa yang mereka sebut “model ucapan besar (*large speech model*) *on-device* pertama di industri,” yang memungkinkan terjemahan panggilan AI langsung terjadi di perangkat, tanpa pemrosesan *cloud*.
Saat ini ponsel tersebut mendukung enam bahasa – Inggris, Mandarin, Prancis, Jerman, Italia, dan Spanyol. Untuk alasan yang telah disebutkan, saya tidak bisa menguji semuanya, tetapi saya sudah mencoba fitur ini dan dapat memastikan bahwa fitur ini bekerja dengan sangat efektif dalam menerjemahkan pesan kacau saya ke dalam bahasa Prancis. Saya hanya berharap fitur ini sudah tersedia untuk saya di Spanyol saat saya membutuhkannya.
Model yang digunakan Honor dirancang oleh perusahaan tersebut bekerja sama dengan Universitas Jiao Tong Shanghai, berdasarkan model *open-source* Whisper, kata Fei Fang, Presiden Produk Honor dalam sebuah wawancara. Model ini telah dioptimalkan untuk pengenalan ucapan *streaming*, deteksi bahasa otomatis, dan akselerasi inferensi terjemahan (itu artinya kecepatan dan efisiensi, bagi kita).
Menurut Fang, studi pengalaman pengguna Honor menunjukkan bahwa selama terjemahan terjadi dalam 1,5 detik, hal itu tidak “menimbulkan kecemasan menunggu” pada siapa pun yang mencoba menggunakan terjemahan panggilan AI. Karenanya, mereka memastikan untuk menjaga latensi dalam parameter ini sehingga Anda tidak akan cemas menunggu terjemahan muncul.
“Kami juga bekerja sama dengan ahli bahasa industri untuk secara konsisten dan komprehensif mengevaluasi akurasi hasil kami,” tambahnya. “Penilaiannya terutama didasarkan pada lima metrik: akurasi, koherensi logis, keterbacaan, kebenaran tata bahasa, dan keringkasan.”
Selain model AI Honor, terjemahan langsung ini didukung oleh chip Snapdragon 8 Elite dari Qualcomm. NPU pada 8 Elite memungkinkan aplikasi AI generatif multimodal terintegrasi ke dalam perangkat. Algoritma Honor bekerja sama dengan NPU untuk menjaga konsumsi daya serendah mungkin sambil mempertahankan akurasi terjemahan yang diperlukan, kata Christopher Patrick, SVP Ponsel di Qualcomm.
Ada sejumlah keuntungan memiliki model AI yang tertanam di Magic V5, tetapi mungkin yang paling menarik adalah privasi yang dijaminnya. Itu berarti segalanya diproses secara lokal dan panggilan Anda akan tetap sepenuhnya rahasia. Fakta bahwa modelnya berada di perangkat dan Anda tidak perlu mengunduh paket suara juga mengurangi kebutuhan penyimpanannya.
Manfaat lain dari menjalankan model di ponsel itu sendiri adalah “kegunaan *offline*,” kata Patrick. “Semua informasi percakapan disimpan langsung di perangkat dan pengguna dapat mengaksesnya kapan saja, di mana saja, tanpa batasan jaringan.”
Pekerjaan yang telah dilakukan Honor pada terjemahan panggilan AI rencananya akan diakui dalam konferensi Interspeech mendatang tentang ilmu dan teknologi ucapan. Namun, Honor sudah memikirkan bagaimana penggunaan AI ini dapat digunakan untuk menghadirkan fitur-fitur baru dan menarik lainnya bagi para pembeli ponselnya.
“Di luar skenario pengguna penting yaitu terjemahan panggilan, model ucapan besar *on-device* Honor juga akan digunakan dalam skenario seperti terjemahan tatap muka [dan] subtitle AI,” kata Fang. Proses pengembangan model ucapan telah memungkinkan tim AI Honor mendapatkan pengalaman luas dalam optimasi model, yang akan mereka gunakan untuk mengembangkan aplikasi AI lainnya, tambahnya.
“Ke depannya, kami akan terus memperluas kemampuan di area seperti pengenalan emosi dan pemantauan kesehatan, semakin memberdayakan interaksi suara dengan asisten AI *on-device* Anda,” ujarnya.