Şirketlerin bazılarında mühendisler, siber güvenlik için yapay zekanın potansiyelini test etmek ve tehdidini değerlendirmek amacıyla savunma ve saldırı araçları geliştiriyorlar. Nisan ayında Anthropic, Claude Mythos adlı en gelişmiş siber güvenlik yapay zekasını tanıtmak amacıyla 50'den fazla kuruluşa Project Glasswing girişimine katılma daveti gönderdi. OpenAI de kısa süre sonra Daybreak programı kapsamında kendi GPT 5.5 modelini tanıttı.
Bu girişimlerin ardından, kırmızı takımlar - penetrasyon testçileri - kendi şirketlerinin sistemlerini bu yapay zeka modelleriyle test etmeye başladılar. Mavi takımlar ise bu saldırılara karşı savunma ve tespit çalışmaları yaptı. Tüm bunların ortasında, mühendisler, modellerin en büyük tehditlerine karşı önlemler geliştirirken, aynı zamanda bu modellerin en büyük güçlerini harekete geçirmek için çerçeveler oluşturuyorlar. Modern siber güvenlik terminolojisinde, bu ekiplere "sarı takımlar" denir ve bu terim ilk olarak 2017'de Black Hat'te geliştiricileri güvenlik test sürecine dahil etmek amacıyla kullanılmıştır.
Sarı takımlar genellikle kırmızı takımlar için araçlar geliştirmezler. Ancak özellikle Project Glasswing gibi girişimlerle, şirketler Mythos'u etkili bir şekilde kullanmayı öğrenirken, sarı takımların rolü artmaktadır. Netskope CISO'su James Robinson, Mythos'a ilk eriştiği zaman, modelin beklediğinden daha zor olduğunu belirtmiştir. Model, insan bir pen testçisinin kolayca anlayabileceği bazı bulguları kaçırmıştır. Örneğin, model bir endpoint'i "kimlik doğrulaması yapılmamış" olarak etiketlemiştir, ancak bu endpoint'in internette görünmeyeceğini ve kasıtlı olarak açık olduğunu hesaba katmamıştır.
Robinson, şirketin Daybreak programına katılmadan önce, bir sarı takım oluşturmuş ve GPT-5.5 için bir "harness" geliştirmiştir. Harness, bir yapay zeka modelinin ne yapabileceğini, hangi izinlere sahip olacağını, hangi politikaları ve güvenlik önlemlerini izleyeceğini tanımlayan bir yazılım kabuklarıdır. Bu, sınırlayıcı gibi görünebilir, ancak öyle değildir. Hem savunma hem de saldırı için, etkili AI güdümlü güvenlik testlerinin en kritik adımı, bu harnesslerin oluşturulmasıdır.
Anthropic ve OpenAI gibi şirketler, siber güvenlik için yapay zeka kullanımını teşvik etmektedir. Ancak uzmanlar, sadece harnesslerin yeterli olmadığını, aynı zamanda bunların kullanımına ilişkin kapsamlı planların geliştirilmesini de vurgulamaktadır. Örneğin, Cisco mühendisleri, AI güvenlik mühendisliğinde üç farklı modalitye sahiptir. İlk olarak, kırmızı takımlar, önceki statik analiz sonuçlarını harnessed modele besler ve canlı sistemler kullanarak saldırılar oluşturmasını isterler. İkinci olarak, ürün belgeleri, önceki güvenlik uyarıları ve saldırı teknikleri kullanılarak zafiyetler zincirlenir ve post-exploitation analizi yapılır. Son olarak, ikili dosyalar analiz edilir ve bir saldırı simüle edilir.
Bu şekilde, şirketler, Mythos ve GPT-5.5'i etkili bir şekilde kullanarak, binlerce zafiyeti keşfetmiş ve bazı durumlarda on yıllardır var olan zafiyetleri ortaya çıkarmıştır. Mavi takımlar, bu yeni tehditlerle karşı karşıya kalırken, sarı takımlardan yardım istemeye başlamışlardır. "Mavi takım, AI analizinden yararlanmazsa, sinyaller ve olaylar onları önemli ölçüde bunaltacaktır" diyor Zscaler'ın CISO'su Levi Bolourie. "Hacim arttığı için, mavi ve sarı takımların daha da entegre olması gerekecek." Netskope'da mühendisler, daha önce hiç olmadığı şekilde mavi takımın yama sürecine dahil edilmeye başlanmıştır.
Uzmanlar, sadece sorunları bir kez çözmeye odaklanmak yerine, geleceği öngörerek önlemler almak gerektiğini vurgulamaktadır. Sarı takımlar, AI modellerini ve bulgularını proaktif bir şekilde yazılım geliştirme yaşam döngüsüne entegre ederek, riski azaltmak ve zafiyetlerin tekrarlanmasını önlemek için hangi alışkanlıkların veya uygulamaların değiştirilmesi gerektiğini öğrenmektedir. Cisco'nun AI güdümlü SDLC modeli büyük ölçüde otomatikleştirilmiştir ve Foundry Security Spec ile CodeGuard adlı diğer açık kaynak çerçevesini birleştirmektedir.
