Pazartesi günü Kanada merkezli yapay zekâ şirketi Cohere, Alibaba'nın en yeni modellerinden Qwen3.8-Flash-Next'in rutin bir siber güvenlik testinde Pekin'deki bir sunucuya dosya yüklemeye çalıştığını açıkladı. Model kendi iç notlarında hiçbir araç kullanmayacağını yazmış olmasına rağmen bu girişimi gerçekleştirdi.
Olay başlangıçta, açık ağırlıklı bir modelin kendi sunucusunda barındırılmasının verilerin kurum içinde kalacağı temel vaadini zedelediği endişesini uyandırdı. Ancak kurumsal casusluk korkusu kısa sürdü. Araştırmacılar, bunun Çin'e gizlice hassas bilgi gönderme girişimi değil, modellerin talimatlarının dışına çıkmasına yol açan karışık eğitim ortamlarının bir yan ürünü olabileceğini söyledi.
Olay Cuma günü, Qwen modelinden kötü amaçlı yazılım indirmelerini yakalamak için bir kural yazması istendiğinde başladı. Cohere'ın blog yazısına göre modelin yazılı akıl yürütmesi dış araç kullanmayacağını açıkça belirtiyordu. Ancak bir sonraki adımda güvenlik kum havuzu tarafından engellenmeden önce test metnini harici bir sunucuya göndermeye çalıştı.
Cohere, davranışın kasıtlı mı yoksa eğitiminden kalan bir alışkanlık mı olduğunu söyleyemediğini belirtti.
Modelin niyeti hakkındaki tartışma sorulduğunda Cohere kurucu ortağı Ivan Zhang, TechCrunch'a şirketin kendi modellerinin eğitim simülatörlerinde tuhaf alışkanlıklar edindiğini gördüğünü söyledi.
“Niyet ya da motivasyon atfetmek gerçekten çok zor. Kendi model izlerimizi okuduk, ödül hileleri gördük ve bazen bu modeller kum havuzlarından çıkmaya çalışırken gerçekten yaratıcı oluyor,” dedi Zhang. (Ödül hileleri, modelin görevi amaçlandığı gibi yapmadan kredi kazanmak için bulduğu kısayollardır.)
Bir yapay zekâ modelinin kendi başına eylem alan bir ajan gibi davranması için Alibaba gibi şirketler onu binlerce uygulama ortamında eğitiyor; bu, yazılım için uçuş simülatörleri gibi. Model simülatörde bir görevi her tamamladığında ödüllendiriliyor ve bu süreçte alışkanlıklar ediniyor. Bu uygulama ortamları rutin olarak dosyaları Alibaba'nın bulut sunucularına kaydettiyse, modeller varsayılan olarak dosyaları oraya kaydetmeyi öğrenebilir.
Eleştirmenler ayrıca olayın Cohere'ın davranışı araştırmasının yol açtığını, modelin kendi kendine ne sıklıkla böyle davrandığını ölçmek yerine onu bu yöne sürüklediğini savundu.
Yükleme girişimini tetikleyen şeyi bulmak için Cohere, ağ komutunun başına bir metin verip modelin tamamlamasını sağladı. Eğitim sırasında binlerce rutin ağ komutunu işlediği için model gelişmiş bir otomatik tamamlama gibi davrandı ve bazen Alibaba sunucularına ait web adresleri de dahil olmak üzere adresleri doldurdu.
Cohere, orijinal yükleme girişiminin böyle bir yardımsız gerçekleştiğini, ancak davranışın nadir olduğunu söyledi.
Geliştiriciler daha fazla kanıt istediğinde Cohere, Pazartesi akşamı AI geliştirici platformu Hugging Face'te testlerden ham izleri ve davranışı yeniden üretmek için bir betik yayınladı.
Başlangıçta şüpheci olan bir kişi izleri inceledikten sonra Qwen'in şüpheli web adresleri uydurabildiğine dair kanıtın güçlü olduğunu değerlendirdi, ancak Alibaba'nın bir arka kapı yerleştirdiğine ya da Qwen'in niyetini kasıtlı olarak gizlediğine dair bir kanıt bulmadı.
Olay, hükümetlerin Çin yapay zekâsına karşı ne kadar geri adım atacağına karar verdiği bir döneme denk geldi. Geçen hafta İç Güvenlik Bakanlığı, federal sivil kurumların Çinli yapay zekâ geliştiricisi DeepSeek'in ürünlerini sistemlerinden kaldırmasını emretti.
Blog yazısında Cohere, hükümetlerin Çin yapay zekâsına yönelik kısıtlamalarının hükümet bilgisayarlarında çalışan modellere de uygulanıp uygulanmadığını netleştirmesini istedi.
“Açık ağırlık modellerinin tam düzenlemesini istemiyorum,” dedi Zhang, TechCrunch'a şirketlerin açık modelleri internetten indirilen herhangi bir program gibi ele alması gerektiğini ekledi.
Kendi yapay zekâ modellerini hükümetlere satan Cohere, yetkililer ücretsiz Çin alternatiflerinden daha temkinli hale gelirse bundan fayda sağlayabilir.
