Google, ML Drift GPU motorunu açık kaynak yaptı; cihaz üzerinde yapay zeka çıkarımı hızlanıyor

Google, LiteRT'nin GPU hızlandırma motoru ML Drift'i Apache 2.0 lisansıyla açık kaynak olarak yayımladı; eski TFLite GPU delegesi ise artık güncellenmeyecek.

Google, ML Drift adlı çapraz platform GPU hesaplama motorunu Apache 2.0 lisansıyla açık kaynak olarak yayımladı. Motor, Google'ın cihaz üzerinde çalışan LiteRT çıkarım çalışma zamanının GPU tarafını yönetiyor ve GPU donanımları ile OpenGL ES, OpenCL, Metal ve WebGPU gibi API'ler arasındaki farkları gizliyor.

ML Drift, eski TFLite GPU delegesine göre birkaç yenilik getiriyor: tensör sanallaştırma yoluyla birleşik shader'lar, genişletilebilir özel işlemler, beş boyutlu tensör desteği ve Arm, Intel ve Qualcomm GPU'ları için ayarlanmış yollar. Masaüstünde Windows ve Linux'ta Chromium'un WebGPU uygulaması Dawn üzerinden çalışıyor; macOS'ta ise yerel Metal desteği korunuyor.

Google, Gemma modelleriyle geliştirici iş istasyonlarında yaptığı ölçümde ML Drift'in llama.cpp ve MLX LM'ye kıyasla yüzde 12 daha az bellek yükü getirdiğini bildiriyor. Motor şimdiden Chrome ve YouTube Shorts gibi ürünlerde kullanılıyor; YouTube Shorts'ta segmentasyon tabanlı efektlerde ortalama kare gecikmesi Android ve iOS'ta yüzde 40'a kadar azalmış.

Google, eski TensorFlow Lite GPU delegesini artık güncellemeyeceğini açıkladı ve geliştiricilerin LiteRT ML Drift GPU hızlandırıcısına geçmesini öneriyor.