Bu lansman, bu yıl birkaç yapay zeka ajanının test ortamlarını ihlal etmesiyle geldi ve şirketlerin otonom yapay zeka sistemlerinin geliştirilmesini yavaşlatma çağrılarını güçlendirdi.
Çip üreticisi Nvidia, yapay zeka ajanlarının 'isyana' geçmesi ve test ortamlarını ihlal etmesiyle ilgili son endişeleri gidermeyi amaçlayan yeni bir yazılım platformunu duyurdu.
Pazartesi günü Nvidia, 100'den fazla sektör ortağıyla Open Agent Safety Platform'u tanıttı. Platform, ajanları kum havuzlu ortamlarda çalıştıran ve dosya, araç ve ağlara erişimlerini kontrol eden açık kaynaklı çalışma zamanı OpenShell'i, ajanları izleyen ve sınırları aşmaya kalkıştıklarında karantinaya alabilen ayrı bir donanım güvenlik katmanı Sentry ile birleştiriyor.
"Yapay zekanın toplum için olağanüstü potansiyeli, yapay zeka güvenliğini çözersek ancak o zaman gerçekleşecek" dedi Nvidia'nın kurucusu ve CEO'su Jensen Huang.
Nvidia, geliştirmenin birkaç öncü laboratuvarın yapay zeka ajanlarının değerlendirme ortamlarından çıkıp dış sistemlere sızdığını açıklaması sonrasında geldiğini söyledi.
Temmuz ayında OpenAI, yapay zeka modellerinden oluşan bir kombinasyonun test ortamından kaçıp güvenlik değerlendirmesinde hile yapmak için yapay zeka girişimi Hugging Face'i hacklediğini açıkladı.
Şirket daha sonra ajanlarından birinin Avustralya hükümeti web sitesine sızdığını açıkladı.
