Anthropic
Bayangkan sebuah model AI yang bisa bekerja dengan komputer sendiri. Nah, bayangkan tidak lagi karena AI tersebut telah tiba. Pada hari Selasa, Anthropic mengumumkan bahwa generasi terbaru model AI Claude-nya dapat menggunakan komputer — seperti halnya Anda dan saya. Diberi nama Claude 3.5 Sonnet, AI ini muncul dalam mode beta untuk pengembang gunakan melalui API.
Disebut oleh Anthropic sebagai “model AI frontier pertama yang menawarkan penggunaan komputer dalam beta publik,” Claude 3.5 Sonnet dapat dikode oleh pengembang untuk bekerja dengan komputer dalam beberapa cara. Dengan menggunakan produk atau layanan yang diprogram melalui API, Anda dapat memberi tahu AI untuk “melihat” layar komputer, memindahkan kursor di sekitar layar, mengklik tombol, dan mengetik teks melalui keyboard virtual. Ide nya adalah untuk meniru cara Anda berinteraksi dengan komputer Anda sendiri.
Juga: AI Generatif tidak harus menjadi boros daya setelah semua
Saat ini, AI baru ini masih dalam tahap eksperimental, kadang-kadang canggung dan rentan terhadap kesalahan. Namun, Anthropic telah merilis beta baru ini khusus untuk mendapatkan umpan balik dari pengembang sehingga dapat meningkatkan model tersebut dari waktu ke waktu.
Mengapa penggunaan komputer oleh AI berguna? Anthropic telah mengantisipasi dan menjawab pertanyaan tersebut.
“Sejumlah besar pekerjaan modern dilakukan melalui komputer,” kata Anthropic. “Memungkinkan AI untuk berinteraksi langsung dengan perangkat lunak komputer dengan cara yang sama seperti orang akan membuka berbagai aplikasi yang sejauh ini tidak mungkin bagi generasi asisten AI saat ini.”
Dan bagaimana pengembang dan pengguna dapat memanfaatkan AI yang bekerja dengan komputer?
“Alih-alih membuat alat khusus untuk membantu Claude menyelesaikan tugas-tugas individual, kita mengajarnya keterampilan komputer umum — memungkinkannya untuk menggunakan berbagai alat standar dan program perangkat lunak yang dirancang untuk orang,” jelas Anthropic. “Pengembang dapat menggunakan kemampuan awal ini untuk mengotomatisasi proses yang berulang, membangun dan menguji perangkat lunak, dan melakukan tugas-tugas berbasis penelitian.”
Beberapa perusahaan sudah memanfaatkan kecakapan Claude 3.5 Sonnet dengan komputer, termasuk Asana, Canva, Cognition, DoorDash, Replit, dan The Browser Company, kata Anthropic. Sebagai contoh, platform pengembangan dan penyebaran perangkat lunak Replit menggunakan kemampuan ini untuk mengevaluasi aplikasi untuk produk Replit Agent mereka.
Juga: Bagaimana Claude bekerja? Anthropic mengungkap rahasianya
Mengkode Claude untuk belajar bekerja dengan komputer, khususnya melihat layar dan mengambil tindakan tertentu sebagai respons, melibatkan banyak percobaan dan kesalahan, menurut Anthropic.
Menggunakan komputer memerlukan kemampuan untuk melihat dan menafsirkan gambar, seperti gambar layar komputer. Ini juga melibatkan kemampuan untuk menentukan bagaimana dan kapan menjalankan operasi tertentu berdasarkan apa yang ditampilkan di layar. Untuk menangani persyaratan ini, Claude 3.5 Sonnet melihat tangkapan layar yang menunjukkan apa yang Anda lihat. AI kemudian menghitung jumlah piksel vertikal dan horizontal untuk menentukan di mana harus memindahkan kursor. Kemampuan ini penting dalam kemampuan AI untuk mengeluarkan perintah mouse.
Bagaimana Claude berkinerja sejauh ini?
Dalam tes penilaian OSWorld, yang mengevaluasi upaya model AI untuk menggunakan komputer, Claude 3.5 Sonnet mendapat nilai 14,9%. Meskipun itu jauh lebih rendah dari tingkat keterampilan pada tingkat manusia sebesar 70%-75%, hampir dua kali lipat dari 7,7% yang diperoleh oleh model AI terbaik berikutnya dalam kategori yang sama, kata Anthropic.
Percobaan penggunaan komputer oleh AI ini masih dalam tahap awal. Oleh karena itu, Claude belum dapat melakukan tugas-tugas komputer yang lebih “canggih,” seperti menarik jendela atau memperbesar layar. Juga, cara Claude bekerja dengan komputer dengan melihat dan menyusun tangkapan layar berarti ia dapat melewatkan tindakan dan notifikasi tertentu.
Juga: AI terbaik untuk coding (dan apa yang tidak boleh digunakan)
“Kita berharap bahwa penggunaan komputer akan cepat meningkat untuk menjadi lebih cepat, lebih dapat diandalkan, dan lebih berguna untuk tugas-tugas yang ingin diselesaikan pengguna kita,” kata Anthropic. “Ini juga akan menjadi jauh lebih mudah untuk diimplementasikan bagi mereka yang memiliki pengalaman pengembangan perangkat lunak yang lebih sedikit. Pada setiap tahap, para peneliti kami akan bekerja sama dengan tim keamanan kami untuk memastikan bahwa kemampuan baru Claude disertai dengan langkah-langkah keamanan yang tepat.”
Claude 3.5 Sonnet sekarang tersedia untuk siapa saja. Pengembang dapat membangun aplikasi dengan beta penggunaan komputer di API Anthropic, Amazon Bedrock, dan Vertex AI Google Cloud.
\”