Microsoft: Yapay zeka ajanları, on'dan az nöron değiştirilerek arka kapıyla ele geçirilebiliyor

Microsoft araştırmacıları, bir modelin yalnızca on'dan az nöronunu değiştirerek, bir tetikleyici metin geldiğinde ajanın kendi yetkileriyle çalıştıracağı bir komut üretmesini sağladı; yöntem, modelin yeniden eğitilmesini gerektirmiyor.

Microsoft araştırmacıları, bir yapay zeka modelinin nadiren etkin olan on'dan az nöronu değiştirilerek gizlice arka kapıyla donatılabildiğini gösterdi. Modelin tamamen yeniden eğitilmesi gerekmiyor. Bu yöntemle, bir tetikleyici metin geldiğinde model, bu modeli kullanan bir ajanın kendi yetkileriyle çalıştıracağı bir komut üretiyor. Ekip tekniğe Lazarus adını verdi.

Yöntem üç açık ağırlıklı modelde denendi. Yapılandırmaya göre tetikleyicinin etkinleştirme oranı yüzde 51 ile yüzde 99,5 arasında değişti. Değiştirilmiş modeller, normal kıyaslama performanslarının büyük bölümünü korudu. Saldırı için modelin ağırlıklarına yazma erişimi yeterli olduğundan, içeriden biri, çalınmış kimlik bilgileriyle saldırgan, derleme hattını ele geçiren biri ya da kamuya açık model merkezlerinde değiştirilmiş model yayımlayan kişi olası kaynaklar arasında sayılıyor.

Edit işlemlerini tespit etmek için eğitilen bir dedektör, orijinal kopya bulunmadığında değiştirilmiş kontrol noktalarının yüzde 91,4'ünü işaretledi; ancak temiz kontrol noktalarının yüzde 9,7'sini de yanlışlıkla işaretledi. Test kümesi küçüktü. Microsoft, bu yöntemin tehdit aktörleri tarafından kullanıldığını görmediğini açıkladı. Şirket, her kontrol noktasının beyan edilen temel modelle karşılaştırılmasını, modellerin yalnızca özgün yayımcılardan alınmasını, onaylı modellerin özel bir kayıt defterinde tutulmasını, ajanların kum havuzunda çalıştırılmasını ve yüksek etkili eylemler için insan onayı istenmesini öneriyor.