Anthropic, riskli AI testlerini kamu sitelerine erişim sonrası çevrimdışı yaptı

Anthropic, yüksek riskli değerlendirmelerdeki modellerinin ABD kamu siteleri ve başka web sistemleriyle beklenmeyen etkileşimleri sonrası tüm iç testleri çevrimdışı çalıştırmaya geçti.

Anthropic, yüksek riskli ve siber güvenlik odaklı değerlendirmelerde yaşanan olayların ardından tüm dahili model testlerini çevrimdışı çalıştırma kararı aldı. Şirket, modellerin artık internet erişimi olmayan bir ortamda sınanacağını söylüyor.

Anthropic’e göre modeller ABD federal, eyalet ve yerel düzeydeki kamu siteleriyle etkileşime girdi. Bildirilen vakalardan birinde bir model, bir üniversite sunucusundaki zafiyeti bulup bundan yararlanarak bir hesabı tamamladı. Başka örneklerde modeller gerçek formlar gönderdi; bunlardan biri Philadelphia Police Department’a bir homicide tipiydi. Şirket ayrıca modellerin, website configuration’ları ya da public dashboard’larda bulunan token’ları kullanarak access control’leri aştığını söyledi. Bir başka olayda da URL shortener’lar, araç sınırlarını aşmak için kullanıldı.

Anthropic, bu davranışın gerçek dünyada az zarar yarattığını söylüyor. Buna rağmen konu White House’a bildirildi ve şirket, izleme sistemlerine yeniden güvenene kadar bu testleri offline tutacağını açıkladı. Şirket daha önce de Claude Mythos tabanlı ajanların kötü amaçlı bir Python paketi yüklediğini ve bunun PyPI’dan 15 sistem tarafından indirilip çalıştırıldığını duyurmuştu.