Jadi, ada data pelatihan. Kemudian, ada penyetelan dan evaluasi. Data pelatihan mungkin mengandung segala jenis stereotip yang sangat bermasalah di berbagai negara, tetapi teknik mitigasi bias mungkin hanya melihat bahasa Inggris. Khususnya, cenderung bersifat Amerika Utara dan AS. Meskipun Anda mungkin mengurangi bias dengan cara tertentu untuk pengguna bahasa Inggris di AS, Anda belum melakukannya di seluruh dunia. Anda masih berisiko memperkuat pandangan yang sangat berbahaya secara global karena Anda hanya fokus pada bahasa Inggris.
Apakah kecerdasan buatan generatif mengenalkan stereotip baru ke berbagai bahasa dan budaya?
Itulah sebagian dari apa yang kami temukan. Ide bahwa wanita berambut pirang bodoh bukan sesuatu yang ditemukan di seluruh dunia, tetapi ditemukan dalam banyak bahasa yang kami teliti.
Ketika Anda memiliki semua data dalam satu ruang laten bersama, maka konsep semantik dapat ditransfer melintasi bahasa. Anda berisiko menyebarkan stereotip berbahaya yang orang lain bahkan tidak pernah terpikirkan.
Benarkah model kecerdasan buatan terkadang membenarkan stereotip dalam output mereka dengan hanya membuat sesuatu?
Itu adalah sesuatu yang muncul dalam diskusi kami tentang apa yang kami temukan. Kami semua agak bingung bahwa beberapa stereotip dibenarkan dengan referensi ke literatur ilmiah yang tidak ada.
Output yang menyatakan bahwa, misalnya, ilmu pengetahuan telah menunjukkan perbedaan genetik di mana hal itu belum terbukti, yang merupakan dasar rasisme ilmiah. Output kecerdasan buatan tersebut menyampaikan pandangan pseudo-ilmiah ini, dan kemudian juga menggunakan bahasa yang menunjukkan penulisan akademis atau memiliki dukungan akademis. Itu berbicara tentang hal-hal ini seolah-olah itu fakta, padahal itu sama sekali tidak fakta.
Apa beberapa tantangan terbesar saat bekerja pada dataset SHADES?
Salah satu tantangan terbesar adalah seputar perbedaan linguistik. Pendekatan yang sangat umum untuk evaluasi bias adalah menggunakan bahasa Inggris dan membuat kalimat dengan slot seperti: “Orang dari [negara] tidak dapat dipercaya.” Kemudian, Anda menukar dengan negara-negara lain.
Ketika Anda mulai memasukkan gender, sekarang bagian lain dari kalimat mulai harus setuju secara gramatikal dengan gender. Itu benar-benar menjadi batasan untuk evaluasi bias, karena jika Anda ingin melakukan pertukaran kontras ini dalam bahasa lain – yang sangat berguna untuk mengukur bias – Anda harus mengubah sisa kalimat. Anda membutuhkan terjemahan yang berbeda di mana seluruh kalimat berubah.
Bagaimana Anda membuat templat di mana seluruh kalimat perlu setuju dalam gender, jumlah, kebanyakan, dan segala jenis hal yang berbeda dengan target stereotip? Kami harus membuat anotasi linguistik kami sendiri untuk memperhitungkan hal ini. Untungnya, ada beberapa orang yang terlibat yang adalah pecinta bahasa.
Jadi, sekarang Anda dapat melakukan pernyataan kontras ini di semua bahasa ini, bahkan yang memiliki aturan persetujuan yang sangat sulit, karena kami telah mengembangkan pendekatan berbasis templat yang baru untuk evaluasi bias yang sensitif secara sintaksis.
Kecerdasan buatan generatif telah lama dikenal memperkuat stereotip. Dengan begitu banyak kemajuan yang dicapai dalam aspek-aspek penelitian kecerdasan buatan lainnya, mengapa bias-bias ekstrem seperti ini masih banyak? Itu adalah masalah yang tampaknya kurang diatasi.
Itu adalah pertanyaan yang sangat besar. Ada beberapa jenis jawaban. Salah satunya adalah budaya. Saya pikir di dalam banyak perusahaan teknologi diyakini bahwa ini bukan masalah yang begitu besar. Atau, jika memang begitu, itu adalah perbaikan yang cukup sederhana. Apa pun yang akan diprioritaskan, jika ada yang diprioritaskan, adalah pendekatan-pendekatan sederhana yang bisa salah.
Kami akan mendapatkan perbaikan permukaan untuk hal-hal yang sangat dasar. Jika Anda mengatakan bahwa perempuan menyukai warna pink, itu diakui sebagai stereotip, karena itu adalah jenis hal yang jika Anda berpikir tentang stereotip prototipe muncul pada Anda, kan? Kasus-kasus yang sangat dasar ini akan ditangani. Ini adalah pendekatan yang sangat sederhana, permukaan di mana keyakinan yang lebih dalam ini tidak diatasi.
Pada akhirnya, ini menjadi masalah budaya dan masalah teknis untuk menemukan cara mengatasi bias yang sangat tertanam yang tidak diekspresikan dalam bahasa yang sangat jelas.