Ketika Google Lens diperkenalkan pada tahun 2017, fitur pencarian ini mencapai prestasi yang tidak terlalu lama lagi akan terlihat seperti bahan fiksi ilmiah: Arahkan kamera ponsel Anda ke objek dan Google Lens dapat mengidentifikasinya, menampilkan beberapa konteks, mungkin bahkan memungkinkan Anda membelinya. Itu adalah cara baru untuk mencari, yang tidak melibatkan mengetik deskripsi yang canggung dari hal-hal yang Anda lihat di depan Anda.
Lens juga menunjukkan bagaimana Google berencana menggunakan alat pembelajaran mesin dan kecerdasan buatan untuk memastikan mesin pencariannya muncul di setiap permukaan yang mungkin. Saat Google semakin menggunakan model AI generatif dasarnya untuk menghasilkan ringkasan informasi sebagai respons terhadap pencarian teks, pencarian visual Google Lens juga terus berkembang. Dan sekarang perusahaan mengatakan Lens, yang menggerakkan sekitar 20 miliar pencarian per bulan, akan mendukung cara-cara pencarian yang lebih banyak, termasuk pencarian video dan multimodal.
Tweak lain untuk Lens berarti lebih banyak konteks untuk berbelanja akan muncul dalam hasil. Belanja adalah salah satu kasus penggunaan kunci untuk Lens; Amazon dan Pinterest juga memiliki alat pencarian visual yang dirancang untuk mendorong lebih banyak pembelian. Cari sepatu sneakers teman Anda di Google Lens lama, dan Anda mungkin telah ditampilkan karusel item serupa. Dalam versi terbaru Lens, Google mengatakan akan menampilkan lebih banyak tautan langsung untuk pembelian, ulasan pelanggan, ulasan penerbit, dan alat perbandingan belanja.
Pencarian Lens sekarang multimodal, sebuah kata panas dalam AI belakangan ini, yang berarti orang sekarang dapat mencari dengan kombinasi video, gambar, dan input suara. Alih-alih mengarahkan kamera ponsel pintar mereka ke objek, mengetuk titik fokus di layar, dan menunggu aplikasi Lens menghasilkan hasil, pengguna dapat mengarahkan lensa dan menggunakan perintah suara secara bersamaan, misalnya, “Jenis awan apa itu?” atau “Merek sepatu sneakers apa itu dan di mana saya bisa membelinya?”
Lens juga akan mulai bekerja melalui tangkapan video real-time, mengambil alat satu langkah di luar mengidentifikasi objek dalam gambar diam. Jika Anda memiliki pemutar rekaman rusak atau melihat lampu berkedip pada perangkat rumah yang bermasalah, Anda bisa mengambil video cepat melalui Lens dan, melalui tinjauan AI generatif, melihat tips tentang cara memperbaiki barang tersebut.
Diumumkan pertama kali di I/O, fitur ini dianggap eksperimental dan hanya tersedia untuk orang-orang yang telah memilih masuk ke laboratorium pencarian Google, kata Rajan Patel, seorang Googler 18 tahun dan salah satu pendiri Lens. Fitur Lens lainnya, mode suara dan perbelanjaan yang diperluas, sedang diperluas lebih luas.
Fitur “pemahaman video”, seperti yang disebut Google, menarik karena beberapa alasan. Meskipun saat ini bekerja dengan video yang ditangkap secara real time, jika atau ketika Google memperluasnya ke video yang diambil, seluruh repositori video—baik dalam gulungan kamera pribadi seseorang atau dalam basis data raksasa seperti Google—potensial dapat menjadi taggable dan sangat dapat dibeli.
Pertimbangan kedua adalah bahwa fitur Lens ini memiliki beberapa karakteristik dengan Project Astra Google, yang diharapkan akan tersedia akhir tahun ini. Astra, seperti Lens, menggunakan input multimodal untuk menafsirkan dunia di sekitar Anda melalui ponsel Anda. Sebagai bagian dari demo Astra musim semi ini, perusahaan memamerkan sepasang kacamata pintar prototipe.
Secara terpisah, Meta baru saja membuat gebrakan dengan visi jangka panjangnya untuk masa depan realitas tercambah kita, yang melibatkan manusia biasa mengenakan kacamata canggung yang dapat pintar menafsirkan dunia di sekitar mereka dan menunjukkan antarmuka holografis. Google, tentu saja, sudah mencoba mewujudkan masa depan ini dengan Google Glass (yang menggunakan teknologi secara fundamental berbeda dengan pitch terbaru Meta). Apakah fitur baru Lens, dikombinasikan dengan Astra, merupakan jembatan alami ke jenis kacamata pintar baru?