“![](\"https://i-invdn-com.investing.com/trkd-images/LYNXMPEKAA0AJ_L.jpg\")
(Refiles unchanged to fix format issues)
By Krystal Hu, Anna Tong
(Reuters) -Perusahaan kecerdasan buatan seperti OpenAI berupaya mengatasi keterlambatan dan tantangan tak terduga dalam pengejaran model bahasa besar yang semakin besar dengan mengembangkan teknik pelatihan yang menggunakan cara berpikir yang lebih mirip manusia bagi algoritma untuk \”berpikir\”.
Sejumlah ilmuwan, peneliti, dan investor kecerdasan buatan mengatakan kepada Reuters bahwa mereka percaya teknik-teknik ini, yang ada di balik model o1 yang baru dirilis oleh OpenAI, bisa mengubah persaingan kecerdasan buatan, dan memiliki implikasi terhadap jenis sumber daya yang dibutuhkan perusahaan kecerdasan buatan, dari energi hingga jenis chip.
OpenAI menolak untuk memberikan komentar mengenai cerita ini. Setelah rilis chatbot ChatGPT yang viral dua tahun lalu, perusahaan teknologi, yang valuasinya sangat menguntungkan dari booming kecerdasan buatan, secara terbuka menyatakan bahwa \”memperbesar\” model saat ini melalui penambahan data dan daya komputasi akan konsisten menghasilkan model kecerdasan buatan yang lebih baik.
Namun sekarang, beberapa ilmuwan kecerdasan buatan terkemuka mengungkapkan keterbatasan dari filosofi \”semakin besar adalah lebih baik\” ini.
Ilya Sutskever, salah satu pendiri AI labs Safe Superintelligence (SSI) dan OpenAI, baru-baru ini mengatakan kepada Reuters bahwa hasil dari peningkatan pre-training – fase pelatihan model AI yang menggunakan sejumlah besar data tanpa label untuk memahami pola dan struktur bahasa – telah mencapai puncak.
Sutskever dikenal sebagai pendukung awal pencapaian lonjakan besar dalam kemajuan AI generatif melalui penggunaan lebih banyak data dan daya komputasi dalam pre-training, yang akhirnya menciptakan ChatGPT. Sutskever meninggalkan OpenAI awal tahun ini untuk mendirikan SSI.
\”Dekade 2010-an adalah dekade peningkatan, sekarang kita kembali ke zaman keajaiban dan penemuan sekali lagi. Semua orang mencari hal berikutnya,\” kata Sutskever. \”Meningkatkan hal yang tepat lebih penting sekarang daripada sebelumnya.\”
Sutskever menolak untuk memberikan detail lebih lanjut tentang bagaimana timnya menangani isu tersebut, selain mengatakan bahwa SSI sedang mengerjakan pendekatan alternatif untuk meningkatkan pre-training.
Di balik layar, para peneliti di laboratorium AI besar mengalami keterlambatan dan hasil yang mengecewakan dalam perlombaan merilis model bahasa besar yang melampaui model GPT-4 milik OpenAI, yang hampir berusia dua tahun, menurut tiga sumber yang akrab dengan masalah pribadi.
Training runs untuk model besar dapat menghabiskan puluhan juta dolar dengan menjalankan ratusan chip secara bersamaan. Mereka lebih mungkin mengalami kegagalan yang disebabkan oleh hardware mengingat betapa rumitnya sistem ini; para peneliti mungkin tidak mengetahui kinerja model hingga akhir jalannya, yang bisa memakan waktu berbulan-bulan.
Permasalahan lainnya adalah model bahasa besar memerlukan sejumlah besar data, dan model AI telah habis semua data yang mudah diakses di dunia. Krisis listrik juga telah menghambat jalannya training, karena proses ini membutuhkan sejumlah energi yang besar.
Untuk mengatasi tantangan ini, para peneliti sedang menjelajahi \”komputasi waktu uji,\” sebuah teknik yang meningkatkan model AI yang ada selama fase \”inferensi,\” atau ketika model digunakan. Misalnya, daripada langsung memilih satu jawaban, model bisa menghasilkan dan mengevaluasi beberapa kemungkinan secara real-time, akhirnya memilih jalur terbaik ke depan.
Metode ini memungkinkan model mengalokasikan lebih banyak daya pemrosesan untuk tugas-tugas yang menantang seperti masalah matematika atau pemrograman atau operasi kompleks yang membutuhkan penalaran dan pengambilan keputusan seperti manusia.
\”Ternyata, dengan membuat bot berpikir selama 20 detik dalam satu putaran poker mendapat peningkatan kinerja yang sama dengan memperbesar model sebanyak 100.000 kali dan melatihnya selama 100.000 kali lebih lama,\” kata Noam Brown, seorang peneliti di OpenAI yang bekerja pada o1, di konferensi AI TED di San Francisco bulan lalu.
OpenAI telah mengadopsi teknik ini dalam model yang baru dirilis mereka yang dikenal sebagai \”o1,\” sebelumnya dikenal sebagai Q* dan Strawberry, yang Reuters pertama kali laporkan pada bulan Juli. Model O1 dapat \”berpikir\” melalui masalah-masalah secara bertahap, mirip dengan penalaran manusia. Juga melibatkan penggunaan data dan umpan balik yang disusun dari PhD dan pakar industri. Rahasia utama dari seri o1 adalah serangkaian pelatihan lain yang dilakukan di atas model \”dasar\” seperti GPT-4, dan perusahaan mengatakan mereka berencana untuk menerapkan teknik ini dengan lebih banyak dan lebih besar model dasar.
Pada saat yang sama, peneliti di laboratorium AI terkemuka lainnya, dari Anthropic, xAI, dan Google DeepMind, juga telah bekerja untuk mengembangkan versi mereka sendiri dari teknik tersebut, menurut lima orang yang akrab dengan upaya tersebut.
\”Kami melihat banyak buah rendah yang bisa kami ambil untuk membuat model ini lebih baik dengan sangat cepat,\” kata Kevin Weil, chief product officer di OpenAI di sebuah konferensi teknologi pada bulan Oktober. \”Saat orang-orang mengejar, kami akan mencoba menjadi tiga langkah lebih maju.\”
Google dan xAI tidak menanggapi permintaan untuk komentar dan Anthropic tidak memberikan komentar lebih lanjut.
Implikasi ini bisa mengubah lanskap persaingan untuk perangkat keras kecerdasan buatan, yang selama ini didominasi oleh permintaan tak terpuaskan untuk chip AI Nvidia. Investor modal ventura terkemuka, dari Sequoia hingga Andreessen Horowitz, yang telah menuangkan miliaran dolar untuk mendanai pengembangan model AI yang mahal di beberapa laboratorium AI termasuk OpenAI dan xAI, mulai memperhatikan peralihan ini dan menimbang dampaknya terhadap taruhan mahal mereka.
\”Pergeseran ini akan memindahkan kita dari dunia klaster pre-training besar menuju awan inferensi, yang merupakan server berbasis awan untuk inferensi,\” kata Sonya Huang, seorang mitra di Sequoia Capital, kepada Reuters.
Permintaan untuk chip AI Nvidia, yang paling canggih, telah mendorong kenaikannya menjadi perusahaan terberharga di dunia, melampaui Apple pada bulan Oktober. Berbeda dengan chip pelatihan, di mana Nvidia mendominasi, raksasa chip tersebut bisa menghadapi lebih banyak persaingan di pasar inferensi.
Ketika ditanya tentang dampak mungkin terhadap permintaan produknya, Nvidia menunjuk pada presentasi perusahaan baru-baru ini tentang pentingnya teknik di balik model o1. CEO-nya, Jensen Huang, telah berbicara tentang peningkatan permintaan untuk menggunakan chipnya untuk inferensi.
\”Kami sekarang telah menemukan hukum peningkatan kedua, dan ini adalah hukum peningkatan pada saat inferensi… Semua faktor ini telah menyebabkan permintaan untuk Blackwell menjadi sangat tinggi,\” kata Huang bulan lalu di sebuah konferensi di India, merujuk pada chip AI terbaru perusahaannya.
“