545 hacker önce test etti. Şimdi XRanges for AI güvenlik ajanınızı puanlıyor
The Hacker News 23 Eyl 2026 Yapay Zeka / Güvenlik Testi
Özerk güvenlik ajanları hataları bulmakta iyiye gidiyor. Ne kadar iyi olduklarını ölçmek için iyi bir yol yok. Gerçekçi bir hedefe yönelttiğinizde karşınıza çıkan şey ajanın kendisi hakkında yazdığı bir rapor: kendinden emin bir üslup, bir bulgular listesi ve bunların hangisinin gerçekleştiğini anlamanın bir yolu yok. Güvenlik geçmişi olan biri oturup her iddiayı hedefle karşılaştırarak kontrol ediyor. Hangi bulgular gerçek, hangileri yinelenme, hangileri uydurma ve en önemlisi ajan hiç neyi denemedi sorusu var. Bu tek bir çalıştırma için bir gün süren uzman işi. Bunu üç model, dört istem varyantı ve on tekrarla çarptığınızda inceleme kuyruğu deneyden daha uzun oluyor.
XRanges for AI, CTF.ae tarafından geliştirildi ve bu döngü için var. Gerçekçi hedef uygulamaları her servise gömülü enstrümantasyonla dağıtıyor, bir ajanın bunların içinde gerçekte ne yaptığını kaydediyor ve her çalışmayı dört bağımsız sinyal üzerinden canlı olarak puanlıyor. Bu anlatımın nasıl çalıştığını, dağıtımından karşılaştırmaya kadar bir çalışmanın nasıl göründüğünü ve nerede stres testinden geçtiğini kapsıyor.
The feedback loop problem
Özerk pentest veya hata ödülü ajanları geliştiren ekipler genellikle aynı iş akışını paylaşıyor. Gerçek bir şirkete benzeyen bir hedef oluşturuyor, ajanı çalıştırıyor, çıktıyı okuyor. Çıktı burada yanlış gidiyor.
Erişim kontrolü açığı sömürdüğünü söyleyen bir ajan bunu gerçekten sömürmüş olabilir, bir ipucuna dokunmuş olabilir ya da uydurmuş olabilir. Rapor üç durumda da aynı şekilde okunuyor. Bir rapor ayrıca ajanın bulduğu şeyleri listeler. Ajanın hiç açmadığı kırk özelliği, hiç numaralandırmadığı API'yi ve ilk bulgusunu yaptığı uç noktanın tam içinde duran ikinci hatayı görmezden gelir. Sonra her bulguya giderken bir tablo silen ya da her API anahtarını iptal eden ajan var. Hiçbir müşteri bu sonucu kabul etmez ve bir bulgular listesi bunu kaydetmez.
Manuel inceleme tek bir çalışmayla başa çıkabilir. Yapay zeka mühendisliği ekibinin gerçekten ihtiyaç duyduğu deney matrisiyle başa çıkamaz; bu birçok model, birçok yapılandırma, birçok tekrarın dürüstçe karşılaştırılmasıdır.
XRanges for AI, değerlendirmenin tamamı için tek bir çalışma alanıdır. İki yarısı var.
Birincisi kıyaslama hedefleri kütüphanesidir. Her biri bulmaca zorluklarının bir seti değil, tamamlanmış bir uygulamadır: kendi iş mantığına, eklenmiş veriye, arka plan işlerine ve simüle edilmiş kullanıcı trafiğine sahip çok servisli bir şirket, gerçek yazılımın böyle inşa edildiği için birden fazla dil ve çerçeve üzerinden inşa edilmiştir. Her hedef, tek adımlı kusurlardan servis sınırlarını aşan zincirlere kadar 20'den fazla enjekte edilmiş güvenlik açığı taşır; bunların arasında CTF.ae araştırmacılarının kendi bulduğu sıfırıncı gün açıkları da var. Hiçbiri kamuya açık eğitim korpuslarında bulunmuyor ve bu her ay daha da önemli hale geliyor.
İkinci yarı enstrümantasyon katmanıdır. Her hebertaki her servis OpenTelemetry üzerinden yapılandırılmış telemetri yayar. Enstrümantasyon, uygulama güvenliği ve yazılım mühendisleri tarafından o belirli hedef için el ile yazılır. Genel HTTP kaydı önemli olanların çoğunu kaçırır. ai.xranges.com platformu, dağıtım başına telemetriyi alır ve ajanın hâlâ çalışırken güncellenen dört puana dönüştürür.
The four signals
Her dağıtım birbirinden bağımsız seçilmiş dört ölçüm üzerinden puanlanır. Bir ajan birini diğerini oyunlaştırarak iyileştiremez ve bu bağımsızlık tüm meseledir.
Kapsama, ajanın hedefi keşfedip keşfetmediğini yanıtlar. Her kullanıcıya yönelik özellik bir kapsama noktasıdır, bir URL yerine bir iş eylemi olarak ifade edilir: hesap kaydetti, iş ilanlarına göz attı, paylaşılan bir sohbeti açtı, bir değerlendirmede kod çalıştırdı. Bir kapsama noktası yalnızca normal kullanım yoluyla erişilebilir, bir istismar yoluyla asla erişilemez, bu yüzden skor ajanın meşru yüzeyi ne kadar titizlikle çalıştığının temiz bir ölçüsüdür. Vurulmayan noktalar ajanın kör noktalarıdır, isimleriyle listelenir. Çoğu ekip bu listeyi skordan daha faydalı bulur.
Kapsama noktaları her biri vurulma zaman çizelgesine sahip iş eylemleridir. Vurulmayan noktalar ajanın kör noktalarıdır.
Sınırlar, ajanın etkileşim kurallarına uyup uymadığını yanıtlar. Her hedef "işe alım içeriğini silmemeli" ya da "API anahtarlarını iptal etmemeli" gibi koruma kurallarıyla birlikte gelir. Bir ihlal gerçekleştiği anda, konteyner ve zaman damgasıyla birlikte kaydedilir. Sıfır ihlal beklenti olanıdır. Her şey başka bir şey, ajan hakkında bir bulgudur, hedef hakkında değil ve genellikle daha acil olandır.
Hedef başına etkileşim kuralları, her biri çalıştırma boyunca ihlaller için izlenir.
İstismar, ajanın hangi güvenlik açıklarını gerçekten istismar ettiğini yanıtlar. Her güvenlik açığı, ilk temasla başarılı bir istismar sinyaline kadar olan sıralı aşamaların bir öldürme zinciri olarak tanımlanır. Her aşama hedefin içinden algılandığı için platform, ajanın hangi adımı tamamladığını ve nerede takıldığını, ajanın raporunda ne yazdığına bakılmaksızın bilir. Üç adımlı bir erişim kontrolü zinciri ikinci adımda durduysa bu tam olarak böyle görünür: iki üç, zaman damgalarıyla birlikte.
Bütünlük, hedefin hayatta kalıp kalmadığını yanıtlar. Bütünlük kontrolleri her dakika çalışır ve uygulamanın işlevsel olarak hâlâ doğru olduğunu doğrular: eklenmiş veri mevcut, servisler doğru içerikle yanıt veriyor, servisler arası güven bozulmamış. Başarısız bir kontrol, nedene bakılmaksızın bir cezadır. Ajanın çevresini bozarak bir hata bulduğu durumu yakalar.
Dört ölçüm bir puana toplanır ve skor sayfadaki en az ilginç sayıdır. Ayrıştırma işin yapıldığı yerdir.
Bir hedef, yaklaşık doksan saniyede izole çok konteynerli bir ortam olarak dağıtılır. Platform aynı anda binlerce dağıtımı çalıştırabilir, böylece yapay zeka mühendisleri, yazılım mühendisleri ve altyapı ekibi kendi deneylerini birbirlerinin önünde beklemeden çalıştırabilir.
Ajan daha sonra dağıtım uç noktasına kendi başına çalışır. Platform asla ajan ile hedef arasında durmaz. İçeriden izler.
Ajan çalışırken zaman çizelgesi, ajanın gerçekte ne yaptığını iş işlevselliğine eşleyerek kaydeder: bir iş ilanını önizledi, bir kurumsal istek gönderdi, bir API anahtarı oluşturdu. Ham malzemeyi isteyen mühendisler OpenTelemetry akışını doğrudan okuyabilir ve düzenli ifadeler ve öznitelik filtreleri işleyen bir günlük sorgu diliyle sorgulayabilir. Ajan hedef güvenlik açığı kataloğunda olmayan bir şey bildirdiğinde zaman çizelgesi durumu çözer. Bazen yanlış pozitiftir. Bazen ajan hiç ekilmemiş gerçek bir hata bulur, bu daha önce birden fazla kez oldu.
Yeniden test etmek ikinci bir laboratuvar anlamına gelmez. Güvenlik açıkları çalışan bir dağıtımda yerinde değiştirilebilir veya yamalana bilir. Bazı yamalar çalışma zamanında uygulanır. Diğerleri bir iki dakikalık yeniden başlatma gerektirir. Her iki durumda da ajan aynı ortamda aynı durumla yeniden test eder.
Her dağıtım ayrıca özel meta veriler taşır: model adı, ajan sürümü, istem varyantı, çalıştıran mühendis. Dağıtımlar gruplandırılır ve bir grup, çalıştırma başına ortalama ve en iyi skoru artı her güvenlik açığı başına hangi çalıştırmanın hangi zinciri tamamladığına dair bir görünüm gösterir. Tekrarlı çalıştırmalar yan yana, varyansın iyileşmeden ayrılmasını sağlar. Tek bir çalıştırma çok az şey kanıtlar ve platform bu varsayım üzerine kuruludur.
Aynı hedefin iki çalıştırma yan yana, sinyal bazında ayrıştırılmış.
Automation
Konsoldaki her şey bir API ve bir Model Context Protocol sunucusu üzerinden de mevcuttur, bir bearer token ile. Hedeflerin bir toplu dağıtımı, ajanın başlatılması, kapsama ve öldürme zinciri ilerlemesinin alınması ve karşılaştırmanın sonunda toplanması bir CI hattından veya hiç kimse izlemeden bir sohbet asistanından çalışabilir. Konsol sonuç okuyan insanlar içindir. API deney matrisidir.
Field proof: 48 hours at DEF CON 34
Bug Bounty Village her yıl DEF CON'da hata avlama topluluğu için bir CTF düzenler ve orada olan daha iyi şeylerden biridir. Ağustos 2026'daki DEF CON 34 baskısı için CTF.ae hedefi oluşturdu: Xenoptic, sofistike bir kapsamla kurgusal bir yapay zeka şirketi. Kayıtlı 545 oyuncunun her biri şirketin tamamının izole bir kopyasını aldı ve XRanges for AI her birini tam 48 saat boyunca izledi.
Sebep adaletti. Bu tür bir yarışma gönderilen raporlar üzerinden yargılanır ve tek başına bir rapor oyuncunun oraya nasıl geldiği hakkında hiçbir şey söylemez. Biri her bayrağı bir anda ortaya çıkaran kasıtlı olmayan bir hataya denk gelebilir ya da dışarıdan bir CVE getirebilir, konteynerden kaçabilir ve uygulamaya dokunmadan bayrakları toplayabilir. DEF CON'da bu makul bir varsayımdır. CTF.ae her oyuncunun ve her oyuncunun ajanının ortamda gerçekten nasıl hareket ettiğini görmesi gerekiyordu, böylece gönderilen şey gerçekten o oyuncunun dağıtımında olanla kontrol edilebilirdi.
İşte platformun sunduğu şey buydu. 850'den fazla dağıtım boyunca aynı dört sinyali şimdi ajanlarda kullandığı şekilde yayınladı:
Bütünlük her ortamın sağlıklı kalmasını doğruladı.
Sınırlar etkileşim kurallarının dışına çıkanları kaydetti.
Kapsama her oyuncunun hedefin ne kadarını gerçekten işlediğini gösterdi.
İstismar hangi güvenlik açıklarının gerçekten istismar edildiğini ve hangi adımda istismar edildiğini kaydetti, böylece her gönderim gerçek bir yola karşı kontrol edilebildi.
Bütün bunlar hedefin içinden geldi, oyuncunun makinesinden asla gelmedi. Yetenekli araştırmacılardan gelen sürekli saldırılar altında eş zamanlı yüzlerce dağıtım, tek bir ajan üzerinde tek bir laboratuvar testinden daha zor bir testtir. Aynı enstrümantasyon şimdi ajanları değerlendiriyor.
XRanges for AI, ajanlarının ne söylediğini değil ne yaptığını bilmesi gereken özerk güvenlik ajanları geliştiren ekipler içindir. Yönetilen bir bulut hizmeti olarak veya müşterinin kendi altyapısında kendi kendine barındırılan şekilde çalışır, burada hiçbir şey ortamı terk etmez. Bir ajanı hiç görmediği bir hedefe karşı çalıştırmak isteyen ekipler bizimle konuşabilir!
