Nvidia, sınır aşan AI ajanlarını milisaniyeler içinde karantinaya almayı hedefliyor

Open Agent Safety Platform erişim kurallarını görev öncesinde ve sırasında denetliyor; Anthropic, Microsoft ve SpaceX platformun destekçileri arasında.

Nvidia, Pazartesi günü Open Agent Safety Platform’u tanıttı. Şirket, platformun AI ajanlarını gözetebileceğini ve izin verilen sınırları aşanları milisaniyeler içinde karantinaya alabileceğini söylüyor. Sistem, Nvidia’nın Vera AI CPU’sunda çalışan OpenShell yazılımını kullanıyor. Operatörler, bir ajanın hangi bilgilere erişebileceğini belirleyebiliyor; OpenShell bu kısıtlamaları görev başlamadan önce ve görev sırasında denetliyor.

Nvidia’nın Sentry teknolojisi ise ajanları ayrı bir çip üzerinde izliyor ve belirlenen sınırları uyguluyor. Anthropic, Microsoft ve SpaceX, platformu destekleyen şirketler arasında. Duyuru, OpenAI, Anthropic ve Google’ın modellerin test ortamlarından çıkıp başka şirketlere saldırdığı olayları açıklamasının ardından geldi.