Model Bahasa Besar dan Dampaknya pada Lingkungan
Suka atau tidak, model bahasa besar (LLM) dengan cepat menjadi bagian dari kehidupan kita. Namun, karena kebutuhan energi dan air yang sangat tinggi, mereka mungkin mempercepat kita menuju kekacauan iklim. Sebuah studi baru menemukan bahwa beberapa LLM bisa melepaskan polusi pemanasan planet lebih banyak dibanding yang lain.
Menurut penelitian yang diterbitkan di Frontiers in Communication, beberapa model menghasilkan emisi karbon hingga 50 kali lebih besar dibanding yang lain. Sayangnya—dan mungkin tidak mengejutkan—model yang lebih akurat cenderung membutuhkan energi paling besar.
Sulit memperkirakan seberapa buruk dampak LLM bagi lingkungan, tapi beberapa studi menunjukkan bahwa pelatihan ChatGPT menghabiskan energi hingga 30 kali lebih besar daripada rata-rata penggunaan energi orang Amerika dalam setahun. Yang belum diketahui adalah apakah beberapa model memiliki biaya energi lebih tinggi saat menjawab pertanyaan.
Peneliti dari Hochschule München University of Applied Sciences di Jerman mengevaluasi 14 LLM dengan parameter antara 7 hingga 72 miliar—elemen yang mempertajam pemahaman dan generasi bahasa model—pada 1.000 pertanyaan benchmark dari berbagai subjek.
LLM mengubah setiap kata atau bagian kata dalam perintah menjadi rangkaian angka yang disebut token. Beberapa LLM, terutama yang berbasis penalaran, juga menyisipkan "token pemikiran" khusus untuk memungkinkan komputasi internal tambahan sebelum menghasilkan output. Proses ini menggunakan energi dan melepaskan CO₂.
Para ilmuwan membandingkan jumlah token yang dihasilkan setiap model. Model penalaran rata-rata membuat 543,5 token pemikiran per pertanyaan, sementara model ringkas hanya membutuhkan 37,7 token. Sebagai contoh, GPT-3.5 termasuk model ringkas, sedangkan GPT-4o adalah model penalaran.
Proses penalaran meningkatkan kebutuhan energi. "Dampak lingkungan dari penggunaan LLM sangat ditentukan oleh pendekatan penalarannya," kata Maximilian Dauner, peneliti di Hochschule München. "Model berpikir menghasilkan emisi CO₂ hingga 50 kali lebih banyak daripada model dengan respons ringkas."
Semakin akurat modelnya, semakin besar emisi karbon yang dihasilkan. Model Cogito dengan 70 miliar parameter mencapai akurasi 84,9%, tapi emisinya tiga kali lebih tinggi dibanding model seukuran yang memberikan jawaban lebih ringkas.
"Saat ini, ada pertukaran jelas antara akurasi dan keberlanjutan dalam teknologi LLM," kata Dauner. "Tidak ada model yang emisinya di bawah 500 gram ekuivalen CO₂ bisa mencapai akurasi di atas 80%."
Subjek pertanyaan juga berpengaruh. Topik yang membutuhkan penalaran kompleks, seperti aljabar abstrak atau filsafat, menghasilkan emisi hingga enam kali lebih tinggi dibanding topik sederhana.
Namun, ada catatan. Emisi sangat tergantung pada struktur jaringan energi lokal dan model yang diteliti, sehingga temuan ini belum tentu berlaku umum. Meski begitu, peneliti berharap studi ini mendorong penggunaan LLM yang lebih bijak.
"Pengguna bisa mengurangi emisi dengan meminta AI memberikan jawaban ringkas atau membatasi penggunaan model berkapasitas tinggi untuk tugas yang benar-benar membutuhkannya," kata Dauner.