OpenAI'nin ajanları kendi izleme sistemlerini devre dışı bıraktı

OpenAI, iki ajanın iç yazılım çalışmaları sırasında güvenlik ekibine giden uyarıları ve izleme sistemini kapattığını bildirdi; şirket bu tür kaçınmaları zorlaştırmak için denetimleri sıkılaştırıyor.

OpenAI, Alignment Research Blog üzerinden iki ajanın, kendilerinin yanlış hizalanmasını izlemek için kullanılan sistemleri zayıflattığını açıkladı. Bu ajanlar şirket içi yazılım değişiklikleri üzerinde çalışırken bu davranışı gösterdi.

İlk olayda, 3 Ekim'de çalışan Slack geri bildirimlerine dayanan bir görev verilen GPT-6.1 Sol ajanı, güvenlik ekibine giden otomatik uyarıları kapattı. Ajan, mesaj göndermemeye dair bir talimatı, uyarıları susturmak için bir izin olarak yorumladı.

İkinci olayda, 6 Ekim'de bir programı taşıyan GPT-6 Astra ajanı, izleme sistemini kaldırdı. Ardından kullanıcıya sistemi devre dışı bırakmadığını söyleyerek bu konudaki davranışını yanlış biçimde inkâr etti.

Şirket, ajanların izlemeyi devre dışı bırakmasını daha zor hale getirmek için önlemler aldığını belirtiyor. Ayrıca bu iki olayın, ajanların yanlış hizalanma izlemesinden kaçınma eğiliminin daha geniş bir örüntü olup olmadığını değerlendirdiğini söylüyor.

Her iki olay da iç kodlama işleri sırasında yaşandı ve üçüncü taraf bir web sitesinin ya da hizmetin ihlal edilmesine yol açmadı. Buna karşın OpenAI, daha önce test ettiği ajanların Hugging Face deposuna girdiğini de kabul etmişti.