Cue George Orwell. Tergantung di mana Anda bekerja, ada kemungkinan besar bahwa kecerdasan buatan (AI) menganalisis pesan Anda di Slack, Microsoft Teams, Zoom, dan aplikasi populer lainnya.
Perusahaan-perusahaan besar di Amerika Serikat seperti Walmart, Delta Air Lines, T-Mobile, Chevron, dan Starbucks, serta merek Eropa seperti Nestle dan AstraZeneca, telah mempercayakan kepada startup Aware yang berusia tujuh tahun untuk memantau perbincangan di antara para karyawan, menurut perusahaan tersebut.
Jeff Schumann, salah satu pendiri dan CEO startup yang berbasis di Columbus, Ohio ini, mengatakan bahwa AI membantu perusahaan “memahami risiko dalam komunikasi mereka,” dengan memberikan gambaran tentang sentimen karyawan secara real-time, bukan hanya mengandalkan survei tahunan atau dua kali setahun.
Dengan menggunakan data anonim dalam produk analitik Aware, klien dapat melihat bagaimana karyawan dalam kelompok usia tertentu atau di suatu wilayah tertentu merespons kebijakan perusahaan baru atau kampanye pemasaran, menurut Schumann. Puluhan model AI yang dimiliki Aware, yang dirancang untuk membaca teks dan memproses gambar, juga dapat mengidentifikasi perilaku intimidasi, pelecehan, diskriminasi, pelanggaran, pornografi, keadaan telanjang, dan perilaku lainnya.
Alat analitik Aware – yang memantau sentimen dan tingkat toksisitas karyawan – tidak memiliki kemampuan untuk menandai nama karyawan secara individu, menurut Schumann. Namun, alat terpisah yang disebut eDiscovery dapat melakukannya dalam kasus ancaman ekstrim atau perilaku berisiko lainnya yang telah ditentukan oleh klien.
CNBC tidak menerima tanggapan dari Walmart, T-Mobile, Chevron, Starbucks, atau Nestle mengenai penggunaan Aware. Seorang perwakilan dari AstraZeneca mengatakan bahwa perusahaan tersebut menggunakan produk eDiscovery, tetapi tidak menggunakan analitik untuk memantau sentimen atau toksisitas. Delta mengatakan kepada CNBC bahwa mereka menggunakan analitik dan eDiscovery dari Aware untuk memantau tren dan sentimen sebagai cara untuk mendapatkan umpan balik dari karyawan dan pihak terkait lainnya, serta untuk penyimpanan catatan hukum di platform media sosial mereka.
Tidak perlu menjadi penggemar novel distopia untuk melihat kemungkinan adanya masalah di dalamnya.
Jutta Williams, salah satu pendiri dari lembaga nirlaba AI, Humane Intelligence, mengatakan bahwa penggunaan AI menimbulkan masalah baru yang berpotensi. Dia mengatakan bahwa ini seperti “membaca pikiran.” Dia menambahkan, “Ini memperlakukan orang seperti inventaris dengan cara yang belum pernah saya lihat sebelumnya.”
Pengawasan karyawan menggunakan AI adalah bagian kecil dari pasar AI yang sedang berkembang pesat dalam setahun terakhir, setelah diluncurkannya chatbot ChatGPT oleh OpenAI pada akhir 2022. Generative AI dengan cepat menjadi istilah yang populer dalam panggilan pendapatan perusahaan, dan teknologi ini digunakan dalam hampir semua industri, mulai dari layanan keuangan dan penelitian biomedis hingga logistik, perjalanan online, dan utilitas.
Pendapatan Aware telah meningkat 150% rata-rata setiap tahun selama lima tahun terakhir, kata Schumann kepada CNBC, dan klien tipikalnya memiliki sekitar 30.000 karyawan. Kompetitor utama termasuk Qualtrics, Relativity, Proofpoint, Smarsh, dan Netskope.
Menurut standar industri, Aware masih relatif kecil. Perusahaan terakhir kali mengumpulkan dana pada tahun 2021, ketika mereka mendapatkan $60 juta dalam putaran yang dipimpin oleh Goldman Sachs Asset Management. Bandingkan dengan perusahaan model bahasa besar seperti OpenAI dan Anthropic, yang masing-masing telah mengumpulkan miliaran dolar, sebagian besar dari mitra strategis.
“Melacak ketoksisitas secara real-time”
Schumann mendirikan perusahaan ini pada tahun 2017 setelah hampir delapan tahun bekerja di perusahaan asuransi Nationwide dalam kolaborasi perusahaan.
Sebelum itu, dia adalah seorang pengusaha. Dan Aware bukanlah perusahaan pertamanya yang menimbulkan pikiran tentang Orwell.
Pada tahun 2005, Schumann mendirikan perusahaan bernama BigBrotherLite.com. Menurut profil LinkedIn-nya, perusahaan tersebut mengembangkan perangkat lunak yang “meningkatkan pengalaman menonton digital dan mobile” dari acara realitas CBS, “Big Brother.” Dalam novel klasik Orwell, “1984,” Big Brother adalah pemimpin dari negara totaliter di mana warganya selalu dalam pengawasan.
“Saya membuat pemutar sederhana yang difokuskan pada pengalaman konsumen yang lebih bersih dan lebih mudah dalam menonton acara TV di komputer mereka,” kata Schumann dalam sebuah email.
Di Aware, ia melakukan hal yang sangat berbeda.
Setiap tahun, perusahaan ini menerbitkan laporan yang mengumpulkan wawasan dari miliaran – pada tahun 2023, jumlahnya mencapai 6,5 miliar – pesan yang dikirim di perusahaan besar, menghitung faktor risiko yang dirasakan dan skor sentimen di tempat kerja. Schumann menyebut triliunan pesan yang dikirim melalui platform komunikasi kerja setiap tahun sebagai “kumpulan data tak terstruktur yang paling cepat berkembang di dunia.”
Dengan memasukkan jenis konten lain yang dibagikan, seperti gambar dan video, AI analitik Aware menganalisis lebih dari 100 juta konten setiap hari. Dengan demikian, teknologi ini menciptakan graf sosial perusahaan, melihat tim internal mana yang berkomunikasi lebih banyak daripada yang lain.
“Selalu melacak sentimen karyawan secara real-time, dan selalu melacak ketoksisitas secara real-time,” kata Schumann tentang alat analitik tersebut. “Jika Anda adalah sebuah bank yang menggunakan Aware dan sentimen tenaga kerja meningkat dalam 20 menit terakhir, itu karena mereka sedang membicarakan sesuatu secara positif, secara kolektif. Teknologi ini akan dapat memberi tahu mereka apa pun itu.”
Aware mengonfirmasi kepada CNBC bahwa mereka menggunakan data dari klien bisnis mereka untuk melatih model machine learning mereka. Repositori data perusahaan ini berisi sekitar 6,5 miliar pesan, yang mewakili sekitar 20 miliar interaksi individu dari lebih dari 3 juta karyawan unik, kata perusahaan ini.
Ketika klien baru mendaftar untuk alat analitik, model AI Aware membutuhkan sekitar dua minggu untuk melatih pesan karyawan dan mengenal pola emosi dan sentimen di dalam perusahaan, sehingga dapat melihat apa yang normal dan apa yang tidak normal, kata Schumann.
“Ia tidak akan memiliki nama orang, untuk melindungi privasi,” kata Schumann. Ia menambahkan bahwa klien akan melihat bahwa “mungkin tenaga kerja di atas usia 40 tahun di bagian ini dari Amerika Serikat merespons kebijakan dengan sangat negatif karena biayanya, tetapi semua orang di luar kelompok usia dan lokasi itu melihatnya secara positif karena pengaruhnya pada mereka berbeda.”
Namun, alat eDiscovery Aware beroperasi dengan cara yang berbeda. Sebuah perusahaan dapat mengatur akses berbasis peran ke nama karyawan tergantung pada kategori “risiko ekstrem” yang dipilih oleh perusahaan, yang memberi instruksi pada teknologi Aware untuk menampilkan nama individu dalam beberapa kasus, untuk sumber daya manusia atau wakil perusahaan lainnya.
“Beberapa yang umum adalah kekerasan ekstrem, intimidasi ekstrem, pelecehan, tetapi itu berbeda-beda menurut industri,” kata Schumann, menambahkan bahwa dalam layanan keuangan, perdagangan saham yang dicurigai akan dilacak.
Misalnya, seorang klien dapat menentukan kebijakan “ancaman kekerasan,” atau kategori lain, menggunakan teknologi Aware, kata Schumann, dan meminta model AI untuk memantau pelanggaran di Slack, Microsoft Teams, dan Workplace by Meta. Klien juga dapat mengombinasikannya dengan flag berbasis aturan untuk frasa, pernyataan, dan lainnya tertentu. Jika AI menemukan sesuatu yang melanggar kebijakan perusahaan yang ditentukan, ia dapat memberikan nama karyawan kepada perwakilan yang ditunjuk oleh klien.
Praktik semacam ini telah digunakan selama bertahun-tahun dalam komunikasi email. Yang baru adalah penggunaan AI dan aplikasinya dalam platform pesan kerja seperti Slack dan Teams.
Amba Kak, direktur eksekutif AI Now Institute di Universitas New York, khawatir tentang penggunaan AI untuk membantu menentukan perilaku yang dianggap berisiko.
“Ini berdampak pada apa yang orang katakan di tempat kerja,” kata Kak, menambahkan bahwa Federal Trade Commission, Departemen Kehakiman, dan Komisi Kesempatan Kerja Sama mengungkapkan kekhawatiran serupa, meskipun dia tidak berbicara secara khusus tentang teknologi Aware. “Ini adalah masalah hak-hak pekerja sebanyak masalah privasi.”
Schumann mengatakan bahwa meskipun alat eDiscovery Aware mem