OpenAI telah mempara kontraktor pihak ketiga untuk mengunggah penugasan dan tugas nyata dari tempat kerja mereka saat ini atau sebelumnya. Data ini akan digunakan untuk mengevaluasi kinerja model AI generasi terbarunya, berdasarkan dokumen dari OpenAI dan perusahaan data pelatihan Handshake AI yang diperoleh WIRED.
Proyek ini tampaknya merupakan bagian dari upaya OpenAI untuk menetapkan baseline manusia untuk beragam tugas, yang kemudian dapat dibandingkan dengan model AI. Pada September lalu, perusahaan meluncurkan proses evaluasi baru untuk mengukur performa model AI-nya melawan profesional manusia di berbagai industri. OpenAI menyatakan ini adalah indikator kunci kemajuan menuju AGI, atau sistem AI yang mengungguli manusia dalam sebagian besar tugas bernilai ekonomi.
“Kami telah merekrut orang-orang dari berbagai profesi untuk membantu mengumpulkan tugas dunia nyata yang dimodelkan dari pekerjaan penuh waktu yang pernah Anda lakukan, agar kami dapat mengukur seberapa baik model AI melakukan tugas-tugas tersebut,” bunyi salah satu dokumen rahasia dari OpenAI. “Ambil bagian-bagian pekerjaan jangka panjang atau kompleks (berjam-jam atau berhari-hari) yang pernah Anda kerjakan dalam profesi Anda dan ubah masing-masing menjadi sebuah tugas.”
Menurut presentasi OpenAI tentang proyek ini yang dilihat WIRED, perusahaan meminta kontraktor untuk mendeskripsikan tugas yang pernah mereka kerjakan dan mengunggah contoh nyata hasil pekerjaan mereka. Setiap contoh harus berupa “output konkret (bukan ringkasan file, melainkan file aslinya), misalnya dokumen Word, PDF, Powerpoint, Excel, gambar, repositori,” catat presentasi itu. OpenAI menyatakan orang juga dapat membagikan contoh kerja yang direkayasa untuk mendemonstrasikan respons realistis mereka dalam skenario spesifik.
OpenAI dan Handshake AI menolak berkomentar.
Menurut presentasi OpenAI, tugas dunia nyata memiliki dua komponen. Ada permintaan tugas (instruksi dari manajer atau rekan kerja) dan hasil tugas (pekerjaan yang dihasilkan sebagai respons). Perusahaan menekankan berkali-kali dalam instruksi bahwa contoh yang dibagikan kontraktor harus mencerminkan “pekerjaan nyata di tempat kerja” yang benar-benar telah dilakukan orang tersebut.
Satu contoh dalam presentasi menguraikan tugas dari “Manajer Gaya Hidup Senior di perusahaan konsierge mewah untuk individu dengan kekayaan sangat tinggi.” Tujuannya adalah “Mempersiapkan draf PDF 2 halaman singkat tentang ikhtisar perjalanan yacht 7 hari ke Bahama untuk keluarga yang akan berkunjung pertama kali.” Termasuk detail tambahan mengenai minat keluarga dan seperti apa itinerary yang diharapkan. “Hasil kerja manusia berpengalaman” kemudian menunjukkan yang akan diunggah kontraktor: itinerary Bahama nyata yang dibuat untuk klien.
OpenAI menginstruksikan kontraktor untuk menghapus kekayaan intelektual korporat dan informasi identitas pribadi dari file kerja yang diunggah. Di bagian “Pengingat Penting,” OpenAI menyuruh pekerja untuk “Hapus atau anonimkan segala: informasi pribadi, data kepemilikan atau rahasia, informasi material nonpublik (mis., strategi internal, detail produk yang belum dirilis).”
Salah satu dokumen yang dilihat WIRED menyebutkan alat ChatGPT bernama “Superstar Scrubbing” yang memberi saran cara menghapus informasi rahasia.
Evan Brown, pengacara kekayaan intelektual dari Neal & McDevitt, mengatakan kepada WIRED bahwa lab AI yang menerima informasi rahasia dari kontraktor dalam skala ini dapat berisiko menghadapi klaim penyalahgunaan rahasia dagang. Kontraktor yang menyerahkan dokumen dari tempat kerja sebelumnya ke perusahaan AI, bahkan yang telah dibersihkan, berisiko melanggar perjanjian kerahasiaan atau membocorkan rahasia dagang mantan majikan mereka.
“Lab AI menaruh kepercayaan besar pada kontraktor mereka untuk memutuskan apa yang rahasia dan apa yang tidak,” kata Brown. “Jika ada yang bocor, apakah lab AI benar-benar meluangkan waktu untuk menentukan apa itu rahasia dagang atau bukan? Menurut saya, lab AI sedang menempatkan dirinya pada risiko yang sangat besar.”