PrismML, Snapdragon tabanlı akıllı gözlüklerde 2 milyar parametreli LLM çalıştırdı

PrismML, 1‑bit Bonsai modelini 4 kata yakın sıkıştırma tekniğiyle Snapdragon tabanlı akıllı gözlüklerde tamamen cihaz üzerinde çalıştırdı; ticari ürünler içinse henüz duyuru yok.

PrismML, Qualcomm Snapdragon kullanan akıllı gözlükler için minyatür dil modellerinin özel bir sürümünü geliştirdi ve bu çalışmayı Snapdragon Summit etkinliğinde sahnede gösterdi. Burada odak, modeli tamamen cihaz üzerinde koşturmak oldu; yani hesaplama bulutta değil doğrudan gözlük donanımı üzerinde gerçekleşiyor.

Gösterilen sistem, 2 milyar parametreli bir vision‑language model olarak tasarlandı. Kullanıcı, gözlüğün gördüğü sahne hakkında doğal dille soru sorabiliyor ve model, gerçek zamanlı yanıt üreterek görüntü ile metni birlikte işliyor.

PrismML’nin teknik iddiası, daha büyük modelleri yaklaşık 4x oranında sıkıştırıp neredeyse aynı benchmark skorlarını koruyabilmesi. Bu sayede, normalde yüksek donanım gerektiren modeller, düşük güç bütçesine sahip artırılmış gerçeklik cihazlarında çalışabilir hale geliyor.

Şirket, yaklaşımını açık ağırlıklara sahip ve mevcut cihazlarda çalışabilen yapay zekaya odaklayarak konumlandırıyor. Böylece, yüksek hesaplama talep eden, kapalı ve bulut üzerinde çalışan büyük sağlayıcılara bağımlılık azaltılmak isteniyor.

PrismML, bu yaklaşımı aynı zamanda kullanıcı verisinin bulut tabanlı, tescilli yapay zeka laboratuvarlarında işlenmesine duyulan güvene bir alternatif olarak sunuyor. Amaç, hem hesaplama yükünü uç cihaza çekmek hem de veri mahremiyeti konusunda farklı bir seçenek sağlamak.

Qualcomm tarafında teknoloji, Snapdragon AR1 Gen 1 Platform üzerinde sergilendi. Ancak şu ana kadar PrismML kullanan ticari bir akıllı gözlük ürünü açıklanmış değil; yani gösterim, şimdilik bir teknoloji demosu niteliğinde kalıyor.