Bir AI ajanı zararlı e-postalarla yönlendirilebiliyor: Gen, ajanlar için güvenlik katmanları duyurdu

Gen'in kontrollü deneyi, bir ajanın yalnızca okuduğu e-posta içeriğiyle sistem komutları çalıştırabildiğini, veri gönderebildiğini ve dosya silebildiğini gösterdi; şirket bu riske karşı yeni araçlar ve açık bir spesifikasyon yayımlıyor.

Gen araştırmacılarının kontrollü bir deneyinde, bir AI ajanı okuduğu e-posta içeriğiyle yönlendirildi. Yazılımda bir hata olmadan ajan sistem komutları çalıştırdı, verileri ortamının dışına gönderdi ve dosyalar üzerinde yıkıcı işlemler yaptı.

Gen ayrıca AI asistanlarının ve kodlama araçlarının kullandığı yapılandırma dosyalarını ve erişim belirteçlerini hedef alan Warden Stealer adlı kötü amaçlı yazılımı tespit etti. Bu zararlı yazılım kimlik bilgilerini ve sohbet geçmişlerini açığa çıkarabiliyor. Yılın başında yapılan bir incelemede ise ClawHub üzerindeki becerilerin yüzde 12'sinin o tarihte kötü amaçlı olduğu belirlendi.

Gen bu tablo karşısında üç araç hazırlıyor. Agent Trust Hub, kurulumdan önce becerileri inceliyor. Ajan bağlantıları için tasarlanan AI'ya özgü bir VPN, ajanların özel ve şifreli bağlantı kurmasını sağlıyor. Açık kaynaklı Sage ise kabuk, dosya ve web işlemlerini çalıştırılmadan önce inceleyip engelleyebiliyor. Sage bir eylemi izin verebilir, kullanıcıya sorabilir ya da reddedebilir. Ayrıca Gen, güvenlik olaylarının ajan platformlarından nasıl açığa çıkarılacağını ve güvenlik motorlarının verdiği yaptırım kararlarının nasıl uygulanacağını tanımlayan açık bir spesifikasyon olan AARTS'ı yayımlıyor.