Sebagai respons terhadap permintaan Informasi Kebebasan dari WIRED, TfL mengatakan bahwa mereka menggunakan gambar CCTV yang sudah ada, algoritma kecerdasan buatan, dan “berbagai model deteksi” untuk mendeteksi pola perilaku. “Dengan memberikan wawasan dan pemberitahuan kepada staf stasiun mengenai pergerakan dan perilaku pelanggan, diharapkan mereka dapat merespons situasi dengan lebih cepat,” demikian bunyi tanggapan tersebut. TfL juga mengatakan bahwa uji coba ini telah memberikan wawasan mengenai penghindaran tarif yang akan “membantu kami dalam pendekatan dan intervensi di masa depan,” dan data yang dikumpulkan sesuai dengan kebijakan data mereka.
Dalam sebuah pernyataan yang dikirim setelah artikel ini diterbitkan, Mandy McGregor, kepala kebijakan dan keselamatan komunitas TfL, mengatakan bahwa hasil uji coba sedang terus dianalisis dan menambahkan, “tidak ada bukti bias” dalam data yang dikumpulkan dari uji coba tersebut. Selama uji coba, McGregor mengatakan bahwa tidak ada tanda yang dipasang di stasiun yang menyebutkan pengujian alat surveilans kecerdasan buatan.
“Kami saat ini sedang mempertimbangkan desain dan ruang lingkup fase kedua dari uji coba ini. Tidak ada keputusan lain yang diambil mengenai perluasan penggunaan teknologi ini, baik ke stasiun lain atau penambahan kemampuan,” kata McGregor. “Penggunaan teknologi ini di luar tahap uji coba akan tergantung pada konsultasi penuh dengan komunitas lokal dan pemangku kepentingan terkait lainnya, termasuk para ahli di bidang tersebut.”
Sistem penglihatan komputer, seperti yang digunakan dalam pengujian ini, bekerja dengan mencoba mendeteksi objek dan orang dalam gambar dan video. Selama pengujian di London, algoritma yang dilatih untuk mendeteksi perilaku atau gerakan tertentu digabungkan dengan gambar dari kamera CCTV stasiun bawah tanah yang berusia 20 tahun, menganalisis gambar setiap sepersepuluh detik. Ketika sistem mendeteksi salah satu dari 11 perilaku atau kejadian yang diidentifikasi sebagai masalah, sistem tersebut akan mengirimkan peringatan ke iPad atau komputer staf stasiun. Staf TfL menerima 19.000 peringatan yang mungkin perlu ditindaklanjuti dan 25.000 peringatan lainnya disimpan untuk tujuan analisis, demikian bunyi dokumen tersebut.
Kategori yang sistem tersebut mencoba untuk diidentifikasi adalah: pergerakan kerumunan, akses tidak sah, perlindungan, bantuan mobilitas, kejahatan dan perilaku tidak menyenangkan, orang di rel, orang terluka atau sakit, bahaya seperti sampah atau lantai basah, barang yang ditinggalkan, pelanggan terlantar, dan penghindaran tarif. Setiap kategori memiliki beberapa subkategori.
Daniel Leufer, seorang analis kebijakan senior di kelompok hak digital Access Now, mengatakan bahwa ketika dia melihat sistem yang melakukan pemantauan semacam ini, hal pertama yang dia cari adalah apakah sistem tersebut mencoba untuk mengidentifikasi agresi atau kejahatan. “Kamera akan melakukannya dengan mengidentifikasi bahasa tubuh dan perilaku,” katanya. “Dataset seperti apa yang akan Anda gunakan untuk melatihnya?”
Laporan TfL mengenai uji coba tersebut menyatakan bahwa mereka “ingin mencakup tindakan agresi” tetapi menemukan bahwa mereka “tidak dapat mendeteksi dengan berhasil”. Laporan tersebut menambahkan bahwa kurangnya data pelatihan—alasan lain untuk tidak mencakup tindakan agresi ditutupi. Sebagai gantinya, sistem tersebut mengeluarkan peringatan ketika seseorang mengangkat tangan, yang digambarkan sebagai “perilaku umum yang terkait dengan tindakan agresi” dalam dokumen tersebut.
“Data pelatihan selalu tidak mencukupi karena hal-hal seperti ini argumenya terlalu kompleks dan rumit untuk ditangkap dengan baik dalam dataset dengan nuansa yang diperlukan,” kata Leufer, sambil mencatat bahwa positif TfL mengakui bahwa mereka tidak memiliki cukup data pelatihan. “Saya sangat skeptis apakah sistem pembelajaran mesin dapat digunakan untuk secara dapat diandalkan mendeteksi agresi dengan cara yang tidak hanya menduplikasi bias sosial yang sudah ada mengenai jenis perilaku yang dapat diterima di ruang publik.” Menurut dokumen yang diterima oleh WIRED, terdapat total 66 peringatan untuk perilaku agresif, termasuk data pengujian.