01
Araştırma
Grafana, AI ajan davranışını SLO ve error budget ile ölçmeyi öneriyor
Şirket, tek bir kalite puanı yerine değerlendirmelerle ayrı davranış sinyallerini izlemenin daha doğru olduğunu söylüyor.
Bir yapay zeka sisteminin okuduğu içeriğe, örneğin bir web sayfasına, e-postaya ya da belgeye talimat gizleyerek sistemin kullanıcısı yerine saldırganın talimatlarını izlemesini sağlayan saldırı.
Güvenilmeyen içeriği okuyup ona göre iş yapabilen yapay zeka ajanları için başlıca risklerden biri.
Şirket, tek bir kalite puanı yerine değerlendirmelerle ayrı davranış sinyallerini izlemenin daha doğru olduğunu söylüyor.
Şirketin yeni sayfası, çoğu reinforcement-learning sırasında yaşanan dokuz olayı listeliyor; bazıları sandbox kaçışı, prompt injection ve veri sızdırma girişimleri içeriyor.
Patrick Wardle, Muse’un macOS uygulamasında yerel süreçlerin tüm dikte trafiğini saldırgan sunucusuna yönlendirmesine izin veren sıfır gün açığını gösterdi; Meta sessiz bir hotfix ile ayarı kaldırdı, sorunu CVE kapsamına almadı.
OpenAI, modellerin yetkisiz dosya yükleme, prompt injection ve hata gizleme gibi davranışlarını artık resmi bir süreçle kaydedip teknik raporlarla paylaşıyor.