Google Lens kini memungkinkan Anda mencari dengan video.

Jika Anda tidak bisa menangkap apa yang ingin Anda cari hanya dengan gambar, Google Lens sekarang akan memungkinkan Anda mengambil video – dan bahkan menggunakan suara Anda untuk bertanya tentang apa yang Anda lihat. Fitur ini akan menampilkan AI Overview dan hasil pencarian berdasarkan konten video dan pertanyaan Anda. Ini sedang diluncurkan di Search Labs pada Android dan iOS hari ini.
Google pertama kali memperkenalkan penggunaan video untuk pencarian di I/O pada bulan Mei. Sebagai contoh, Google mengatakan seseorang yang penasaran tentang ikan yang mereka lihat di akuarium dapat mengangkat telepon mereka ke pameran, membuka aplikasi Google Lens, dan kemudian menahan tombol rana. Begitu Lens mulai merekam, mereka dapat mengucapkan pertanyaan mereka: “Mengapa mereka berenang bersama?” Google Lens kemudian menggunakan model AI Gemini untuk memberikan respons, mirip dengan yang Anda lihat dalam GIF di bawah ini.
Google akan mempertimbangkan video dan pertanyaan Anda saat memberikan respons. GIF: Google
Ketika berbicara tentang teknologi di balik fitur ini, Rajan Patel, wakil presiden teknik di Google, mengatakan kepada The Verge bahwa Google sedang merekam video “sebagai serangkaian bingkai gambar dan kemudian menerapkan teknik visi komputer yang sama” yang sebelumnya digunakan di Lens. Tetapi Google mengambil langkah lebih jauh dengan melewati informasi ke model Gemini “khusus” yang dikembangkan untuk “memahami beberapa bingkai secara berurutan… dan kemudian memberikan respons yang berakar dalam web.”
Belum ada dukungan untuk mengidentifikasi suara dalam video sampai saat ini – seperti jika Anda mencoba mengidentifikasi burung yang Anda dengar – tetapi Patel mengatakan itu adalah sesuatu yang Google telah “bereksperimen” dengan.
Anda juga bisa menggunakan suara Anda untuk bertanya tentang foto. GIF: Google
Google Lens juga memperbarui fitur pencarian foto dengan kemampuan untuk bertanya menggunakan suara Anda. Untuk mencobanya, arahkan kamera Anda ke subjek Anda, tahan tombol rana, dan kemudian ajukan pertanyaan Anda. Sebelum perubahan ini, Anda hanya bisa mengetik pertanyaan Anda ke Lens setelah mengambil gambar. Pertanyaan suara sedang diluncurkan secara global di Android dan iOS, tetapi saat ini hanya tersedia dalam bahasa Inggris.