OpenAI, CEO Sam Altman’ın “ajanların eğitim ve değerlendirme sırasında internet erişimi kullanımıyla ilgili kapsamlı ve devam eden bir inceleme” olarak tanımladığı süreç kapsamında en yetenekli modellerinin tüm iç eğitimini durdurduğunu duyurdu.
Şirket, eğitim sırasında rutin bir araştırma görevinde bir ajanın internet erişim kısıtlamalarındaki boşluktan faydalanmaya çalışmasıyla ilgili sözde bir uyumsuzluk olayı hakkında hazırladığı raporda duraklamayı açıkladı. OpenAI’ye göre uygunsuz DNS filtrelemesi, bir blog yazarı hakkında biyografik detay istendiğinde ajanın kum havuzundan çıkıp daha geniş internete erişmeye çalışmasına olanak tanıdı.
OpenAI, ajanın yalnızca şirketin çevrimdışı web önbelleğine erişebildiğini ve benzer olayların önüne geçmek için ek çok katmanlı engelleme kontrolleri uyguladığını söyledi. Buna rağmen şirket, söz konusu öncü model için “aradaki boşluğun giderildiğinin doğrulanması ve sistemin ek kırmızı takım testlerinin yapılması” sağlanana kadar araç kullanımıyla ilgili tüm diğer eğitim, değerlendirme ve çıkarım işlemlerinin durdurulduğunu belirtti.
OpenAI’ye göre denemeye yönelik “kaçış” olayı 15 dakika içinde tespit edildi, ancak çalışma insan denetçiler “otomatik olarak durmadığı” fark edilene kadar “iki buçuk saat sonra” manuel olarak durdurulmadı. 20 Eylül’de gerçekleşen ajan kaçış girişimi ile 25 Eylül’de kamuoyuna açıklanması arasında eğitim tam olarak ne zaman durdurulduğunun net olmadığı belirtildi.
Olaylar peş peşe geliyor
Bu özel model uyumsuzluğu örneği, yani bir yapay zekâ modelinin yaratıcılarının/talimat verenlerin niyetine aykırı davranması, gerçek bir zarara yol açmasa da OpenAI’ye göre Hugging Face olayı sonrası güvenlik sıkılaştırması yapılmasından bu yana görülen ilk uyumsuzluk olayı olması nedeniyle dikkat çekiciydi. Daha önceki uyumsuzluk raporlarında OpenAI, modellerinde “ödül hileciliği”ni caydırmak için algoritmada uyumsuz davranışları ciddi şekilde “cezalandırma” yoluna gittiğini söylemişti.
Eğitim duraklamasının haberi, OpenAI’nin diğer büyük model üreticilerine katılarak potansiyel “felaket” boyutunda uyumsuzluk riskleri endişesiyle model eğitimi ve geliştirme hızının yavaşlatılması isteğini dile getirmesinden sadece haftalar sonra geldi. Ayrıca modellerin yüksek kaliteli veri arayışında hükümet web sitelerini uygunsuz şekilde taradığına dair yeni raporların ortaya çıktığı bir döneme denk geldi.
Cuma günü yayımlanan blog yazısında OpenAI, modellerinin güvenlik kontrollerini atladığı ya da istemeden bir çevrimiçi hizmeti “olumsuz etkilediği” olaylarla ilgili “hükümetler, üniversiteler, kamu kurumları ve diğer kuruluşlar tarafından işletilen” de dahil olmak üzere düzinesiyle üçüncü tarafı bilgilendirdiğini açıkladı. New York Times’ın daha sonra OpenAI tarafından da doğrulanan haberine göre ABD Nüfus Bürosu, Menkul Kıymetler ve Borsa Komisyonu ile Eğitim Bakanlığı siteleri bu yeni açıklanan olaylardan etkilenenler arasındaydı. Bu vakalarda özel bilgi ya da hassas sunucu altyapısına erişilmediği görüldü.
OpenAI, yakın zamanda yayımladığı blog yazısında “İncelediğimiz eylemlerin büyük çoğunluğu, soruları yanıtlamak için kamuya açık web içeriğine erişmek gibi sıradan araştırma görevlerinin tamamlanmasıydı” dedi. Şirket, “Soruşturmamız, ajanların üçüncü taraf web siteleriyle, görevlerinin ötesinde ya da amaçlanan yöntemlerin dışına çıkan şekillerde etkileşime girdiği vakalara odaklanıyor… Gözden geçirme ölçeği ve her vakanın doğrulanması ihtiyacı göz önüne alındığında bu çalışmanın aylar sürmesi bekleniyor” ifadelerini kullandı.
OpenAI’nin eğitim duraklaması, aşırı istekli bir ajanın istemeden üçüncü taraf bir sisteme ciddi zarar vermesi halinde ortaya çıkabilecek kurumsal sorumluluk endişelerini yansıtıyor olabilir. Geçen Perşembe Avustralya Başbakanı Anthony Albanese, bir OpenAI ajanının ülkenin Medicare istatistik portalı üzerinden “kamuya açık olmayan dosyalar”a erişmesi olayının ardından “hukuki sonuçlar” sözü verdi.
Eğitimde duraklama, öncü model üreticileri arasındaki son derece rekabetçi yarışta OpenAI’nin konumunu zedeleyebilirken, en azından geçici olarak şirketin finansal tablosuna da katkı sağlayabilir. Bu yıl başında sızdırılan finansal belgeler, OpenAI’nin 2024 ve 2025 gelirlerinin model eğitimiyle bağlantılı şişen Ar-Ge harcamaları karşısında gölgede kaldığını gösteriyor.
