Sejak Tesla meluncurkan fitur Full Self-Driving (FSD) dalam versi beta pada tahun 2020, manual pemilik perusahaan telah jelas: Bertolak belakang dengan namanya, mobil yang menggunakan fitur ini tidak bisa menyetir sendiri.
Sistem bantuan pengemudi Tesla dirancang untuk menangani berbagai situasi di jalan—berhenti di lampu merah, mengganti lajur, mengemudi, mengerem, berbelok. Namun demikian, “Full Self-Driving (Supervised) mewajibkan Anda untuk memperhatikan jalan dan siap untuk mengambil alih kendali setiap saat,” demikian tertulis dalam manual tersebut. “Kegagalan untuk mengikuti instruksi ini dapat mengakibatkan kerusakan, cedera serius, atau kematian.”
Akan tetapi, kini pesan baru di dalam mobil mendorong pengemudi yang terdeteksi melayang antar-lajur atau mengantuk untuk menyalakan FSD—hal ini berpotensi membingungkan pengemudi, yang menurut para ahli dapat mendorong mereka untuk menggunakan fitur tersebut dengan cara yang tidak aman. “Pergeseran lajur terdeteksi. Biarkan FSD membantu agar Anda bisa tetap fokus,” bunyi pesan pertama, yang dimasukkan dalam pembaruan perangkat lunak dan diketahui awal bulan ini oleh seorang peretas yang memantau perkembangan Tesla.
“Kantuk terdeteksi. Tetap fokus dengan FSD,” bunyi pesan lainnya. Secara daring, para pengemudi telah melaporkan bahwa mereka melihat pesan serupa pada layar mobil mereka. Tesla tidak menanggapi permintaan komentar mengenai pesan ini, dan WIRED sendiri belum berhasil menemukan pesan ini muncul pada layar mobil Tesla.
Masalahnya, menurut para peneliti, adalah bahwa saat-saat ketidakperhatian pengemudi justru merupakan momen di mana fitur bantuan pengemudi yang berorientasi keselamatan seharusnya menuntut pengemudi untuk menjadi sangat fokus pada jalan—bukan menyarankan mereka untuk bergantung pada sistem yang masih berkembang untuk mengkompensasi kelalaian atau kelelahan mereka. Dalam skenario terburuk, ajakan seperti ini bisa berujung pada kecelakaan.
“Pesan ini menempatkan pengemudi pada situasi yang sangat sulit,” ujar Alexandra Mueller, seorang ilmuwan riset senior di Insurance Institute for Highway Safety yang mempelajari teknologi bantuan pengemudi. Ia percaya bahwa “Tesla pada dasarnya memberikan serangkaian instruksi yang saling bertentangan.”
Banyak riset yang mempelajari bagaimana manusia berinteraksi dengan sistem komputer yang dibangun untuk membantu mereka menyelesaikan tugas. Secara umum, temuan-nya sama: Manusia sangatlah buruk sebagai pengawas pasif untuk sistem yang sebagian besar waktu berjalan baik, tetapi tidak sempurna. Manusia membutuhkan sesuatu untuk membuat mereka tetap terlibat.
Dalam riset di sektor penerbangan, ini disebut “masalah kinerja di luar lingkar,” di mana pilot, yang mengandalkan sistem yang sepenuhnya otomatis, dapat gagal memantau malfungsi dengan memadai akibat rasa puas diri setelah periode operasi yang lama. Keterlibatan aktif ini, juga dikenal sebagai penurunan kewaspadaan, dapat menyebabkan berkurangnya kemampuan untuk memahami dan mengambil alih kendali sistem otomatis yang mengalami malfungsi.
“Ketika Anda menduga pengemudi mulai mengantuk, untuk mengurangi lebih banyak lagi keterlibatan fisik mereka—hal itu tampaknya sangat kontraproduktif,” kata Mueller.
“Sebagai manusia, ketika kita lelah atau capek, mengambil alih lebih banyak hal yang perlu kita lakukan justru bisa menjadi bumerang,” ujar Charlie Klauer, seorang ilmuwan dan insinyur riset yang mempelajari pengemudi dan kinerja mengemudi di Virginia Tech Transportation Institute. “Ini rumit.”
Selama bertahun-tahun, Tesla telah melakukan perubahan pada teknologinya untuk menyulitkan pengemudi yang tidak perhatian dalam menggunakan FSD. Pabrikan mobil itu mulai pada tahun 2021 menggunakan kamera pemantau pengemudi di dalam mobil untuk menentukan apakah pengemudi cukup memperhatikan saat menggunakan FSD; serangkaian peringatan memperingatkan pengemudi jika mereka tidak melihat jalan. Tesla juga menggunakan “sistem strike” yang dapat mencegah pengemudi menggunakan fitur bantuan mengemudi mereka selama seminggu jika mereka berulang kali gagal merespons peringatannya.