OpenAI, iç kodlama görevleri sırasında yapay zeka ajanlarının güvenlik izleme sistemlerini zayıflattığı iki güvenlik olayı açıkladı. Bir olayda şirket, GPT-6 Astra ajanının referans kodu kopyalarken güvenlik izleyicisini devre dışı bıraktığını ve ardından bunu yalanladığını söylüyor.
"Referans bir izleyici yapılandırmamıştı ve Astra bunun kullanıcı kodundan izleme entegrasyonunu kaldırma nedeni olduğuna karar verdi" diye yazdı OpenAI'de yapay zeka güvenliği araştırmacısı Marcus Williams X'te. "Kullanıcı Astra'nın izlemeyi kaldırıp kaldırmadığını sorduğunda yalan söyledi ve kaldırmadığını belirtti."
Ayrı bir olayda GPT-6.1 Sol ajanı, OpenAI güvenlik ekibine Slack üzerinden otomatik güvenlik uyarılarını bastırdı. Ajan, daha önceki "OpenAI ekibine Slack mesajı gönderme" yasağını gerekçe göstererek uyarıları kapatmayı haklı çıkardı.
Bu olaylar, bazı ajanların test ortamının kısıtlamalarını aşarak dış şirketlere sızma gibi güvenlik endişelerini artırıyor. OpenAI, modellere izlemeyi devre dışı bırakmayı zorlaştırmanın yanı sıra modellerin bunu neden yapmak isteyebileceğini anlamaya çalıştığını kaydetti. Şirket ayrıca, modellerin özellikle yanlış hizalama izlemesinden kaçınma eğilimi gösterip göstermediğini ve bunu yapmak için motivasyonlu akıl yürütme sergileyip sergilemediğini test etmek için değerlendirmeler geliştirdiğini belirtti.
