Google, Android için Gemini Live içinde Guided Vision’ı kullanıma açtı

Guided Vision, Gemini Live oturumlarında kamerayı paylaşarak görme engelli kullanıcılar için gerçek zamanlı sesli çevre betimlemesi ve yönlendirme sunuyor.

Google, Android 9 ve üzeri uyumlu cihazlarda Gemini Live içinde Guided Vision özelliğini devreye aldı ve bu özellikle gerçek zamanlı, ses tabanlı görsel yorumlama sağlıyor. Özellik, öncelikli olarak blind ve low-vision kullanıcıların günlük hayatta daha rahat hareket etmesine yardımcı olmak için tasarlandı.

Guided Vision, kullanıcıların Gemini Live oturumu sırasında kameralarını paylaşmasına izin vererek çevreleri hakkında konuşma biçiminde betimlemeler ve proaktif yönlendirme ipuçları sunuyor. Kullanıcılar, bu betimlemelerin ardından doğal dilde ek sorular sorup takip açıklamaları alabiliyor. Bu deneyim, görsel asistanlık alanında uzman Aira ile yapılan ortaklık sonucu, konuşmaya dayalı ve gerçek dünya senaryolarına uygun olacak şekilde on binlerce saatlik eğitimle şekillendirildi.

Aira’nın Trusted Tester ağından 1.000’den fazla kişi, Guided Vision’ın yoğun test sürecine katılarak modelin davranışını ve güvenlik önlemlerini zorlayarak iyileştirilmesine katkı verdi. Özellik, çoklu dil desteğiyle sunuluyor ve Hindistan, Brezilya, Singapur, Endonezya ve Japonya gibi ülkelerdeki blind ve low-vision topluluklarıyla yapılan testlerle betimlemelerin ve yönlendirme ipuçlarının yerel ihtiyaçlara göre ayarlanması sağlandı.

Guided Vision, Gemini Live’ın desteklendiği bölgelerde ve dillerde, Android 9 ve üzeri cihazlarda kullanılabiliyor. Kullanıcılar özelliği Gemini uygulaması içinden, Android Accessibility kısayollarıyla ya da TalkBack üzerinden etkinleştirebiliyor. Google, Guided Vision’ın bir destek aracı olarak konumlandığını ve tıbbi cihazlar veya hareket destek ekipmanlarının yerine geçmediğini özellikle vurguluyor.