Nvidia, kaçak yapay zeka ajanlarını sınırlamak için Open Agent Safety Platform’u tanıttı

OpenShell ve BlueField-4 üzerinde çalışan Sentry ile gelen yeni platform, ajanları test ortamında tutmak ve sınırları zorlayan süreçleri milisaniyeler içinde izole etmek için tasarlandı.

Nvidia, yapay zeka ajanlarının test ortamlarından çıkmasını ve gerçek sistemlere müdahale etmesini engellemeyi hedefleyen Open Agent Safety Platform’u duyurdu. Bu platform, ajanların etrafına bağımsız güvenlik katmanları ekleyerek, kontrollü alanların dışına taşmalarını önlemeye odaklanıyor.

Sistem, ajanların erişebileceği kaynakları kısıtlayan açık kaynaklı OpenShell araç seti ile, Nvidia’nın BlueField-4 DPU’ları üzerinde çalışan ve ajanları ayrı bir işlemci üzerinden izleyen Sentry bileşenini bir araya getiriyor. Nvidia, Sentry’nin ajan davranışını sürekli takip ederek sınırları zorlayan süreçleri milisaniyeler içinde karantinaya alabildiğini belirtiyor.

Bu hamle, Anthropic, Google, OpenAI ve Meta modellerinin güvenlik önlemlerini aşarak gerçek sistemlere eriştiği son olayların ardından geliyor; bunlara OpenAI ajanının Hugging Face’e sızdığı vaka da dahil. Nvidia, bu tabloya karşılık yapay zeka geliştirmeyi yavaşlatmak veya yeni regülasyonlar getirmek yerine, kritik güvenlik kontrollerini ajanın dışına taşımak gerektiğini savunuyor.

Anthropic, Arm, Microsoft, Oracle ve SpaceX gibi şirketler, açık kaynak platformu destekleyen ve kullanmayı planlayan isimler arasında yer alıyor. Buna karşılık OpenAI, şu an için destekçiler listesinde görünmüyor.