Network Rail tidak menjawab pertanyaan tentang uji coba yang dikirim oleh WIRED, termasuk pertanyaan tentang status penggunaan AI saat ini, deteksi emosi, dan kekhawatiran privasi. “Kami sangat serius dalam menjaga keamanan jaringan rel dan menggunakan berbagai teknologi canggih di stasiun kami untuk melindungi penumpang, rekan-rekan kami, dan infrastruktur kereta api dari kejahatan dan ancaman lainnya,” kata juru bicara Network Rail.
Tidak jelas seberapa luas analisis deteksi emosi diimplementasikan, dengan dokumen kadang-kadang menyatakan bahwa penggunaan kasus harus “dilihat dengan lebih hati-hati” dan laporan dari stasiun mengatakan bahwa “mustahil untuk memvalidasi akurasi.” Namun, Gregory Butler, CEO perusahaan analitik data dan komputer vision Purple Transform, yang telah bekerja dengan Network Rail dalam uji coba, mengatakan kemampuan itu dihentikan selama pengujian dan tidak ada gambar yang disimpan ketika itu aktif.
Dokumen Network Rail tentang uji coba AI menggambarkan beberapa kasus penggunaan yang melibatkan potensi kamera untuk mengirimkan peringatan otomatis ke staf ketika mereka mendeteksi perilaku tertentu. Tidak ada sistem yang menggunakan teknologi kontroversial pengenalan wajah, yang bertujuan untuk mencocokkan identitas orang dengan yang disimpan dalam database.
“Manfaat utamanya adalah deteksi lebih cepat dari insiden penyerbuan,” kata Butler, yang menambahkan bahwa sistem analitik perusahaannya, SiYtE, digunakan di 18 lokasi, termasuk stasiun kereta dan sepanjang jalur. Dalam sebulan terakhir, kata Butler, ada lima kasus serius penyerbuan yang sistem telah deteksi di dua lokasi, termasuk seorang remaja yang mengambil bola dari rel dan seorang pria “menghabiskan lebih dari lima menit mengambil bola golf di sepanjang jalur cepat.”
Di stasiun kereta Leeds, salah satu stasiun tersibuk di luar London, terdapat 350 kamera CCTV yang terhubung ke platform SiYtE, kata Butler. “Analitik digunakan untuk mengukur aliran orang dan mengidentifikasi masalah seperti kerumunan di platform dan, tentu saja, penyerbuan—di mana teknologi dapat menyaring pekerja jalur melalui seragam PPE mereka,” katanya. “AI membantu operator manusia, yang tidak dapat terus-menerus memantau semua kamera, untuk menilai dan mengatasi risiko keamanan dan masalah dengan cepat.”
Dokumen Network Rail mengklaim bahwa kamera yang digunakan di satu stasiun, Reading, memungkinkan polisi untuk mempercepat penyelidikan tentang pencurian sepeda dengan dapat menunjukkan sepeda dalam rekaman. “Diketahui bahwa, sementara analitik tidak dapat dengan percaya diri mendeteksi pencurian, namun mereka dapat mendeteksi orang dengan sepeda,” kata file tersebut. Mereka juga menambahkan bahwa sensor kualitas udara baru yang digunakan dalam uji coba bisa menghemat waktu staf dari melakukan pemeriksaan manual. Salah satu contoh AI menggunakan data dari sensor untuk mendeteksi lantai “berkeringat”, yang telah menjadi licin dengan embun, dan memberi tahu staf ketika perlu dibersihkan.
Meskipun dokumen tersebut mendetail beberapa elemen uji coba, para ahli privasi mengatakan mereka khawatir tentang kurangnya transparansi dan debat tentang penggunaan AI di ruang publik. Dalam satu dokumen yang dirancang untuk menilai masalah perlindungan data dengan sistem, Hurfurt dari Big Brother Watch mengatakan bahwa ada “sikap meremehkan” terhadap orang yang mungkin memiliki kekhawatiran privasi. Salah satu pertanyaan bertanya: “Apakah beberapa orang mungkin akan keberatan atau merasa itu mengganggu?” Seorang staf menulis: “Biasanya tidak, tetapi tidak ada perhitungan untuk beberapa orang.”
Pada saat yang sama, sistem surveilans AI serupa yang menggunakan teknologi untuk memantau kerumunan semakin banyak digunakan di seluruh dunia. Selama Olimpiade Paris di Prancis tahun ini, surveilans video AI akan memantau ribuan orang dan mencoba mendeteksi kerumunan, penggunaan senjata, dan benda yang ditinggalkan.
“Sistem yang tidak mengidentifikasi orang lebih baik daripada yang melakukannya, tetapi saya khawatir tentang kemungkinan licin,” kata Carissa Véliz, seorang profesor asosiasi di bidang psikologi di Institute for Ethics in AI, di Universitas Oxford. Véliz menunjukkan uji coba AI serupa di London Underground yang awalnya memburamkan wajah orang yang mungkin telah menghindari tarif, tetapi kemudian mengubah pendekatan, memperjelas foto dan menyimpan gambar lebih lama dari yang awalnya direncanakan.
“Ada dorongan insting untuk memperluas surveilans,” kata Véliz. “Manusia suka melihat lebih banyak, melihat lebih jauh. Namun, surveilans mengarah pada kontrol, dan kontrol pada kehilangan kebebasan yang mengancam demokrasi liberal.”