Koridorlarda ilerleyen bir mobil robot karşılaştığı kişi için yavaşlıyor. İş birliği yapan bir kol, çalışan yaklaştıkça hareketini yumuşatıyor. Bir humanoid, kişinin geçmesine izin vermek için duruyor. Her tepki, robotun ya da çevresinin bilgisine bağlı: bir mesafe ölçümü, bir konum tahmini ya da bir dur sinyali.
Ama bu girdilerden biri yanlış olduğunda ve robot tasarlandığı gibi yanıt vermeye devam ettiğinde ne olur? Mobil robot koridorun boş olduğunu okurken biri hâlâ orada kalır. Kol, çalışanın daha uzakta olduğunu tahmin eder. Humanoid, kişinin yolunu kestiği sırada dur sinyalini almaz.
Her durumda bir arıza bu uyuşmazlığa neden olabilir. Aynı şekilde kasıtlı bir manipülasyon da.
VicOne LAB R7, manipüle edilmiş girdilerin robot davranışını nasıl değiştirebileceğini ve bunun insanları korumak için tasarlanan sistemler açısından ne anlama geldiğini inceliyor.
Güvenilmeyen bir girdi robot davranışını nasıl değiştirir
Bir robot yalnızca çevresini ölçmez. Ne göreceğini ve duyacağını yorumlayarak ne yapacağına karar verebilir. Ortama yerleştirilen bilgi bu nedenle eylemlerini etkileyebilir.
Yayınlanan araştırmalar bunun nasıl gerçekleştiğini gösteriyor. VicOne LAB R7 araştırmalarına göre, görüş-dil-eylem modelleri üzerine yapılan bir çalışmada kameranın görüş alanındaki bir yama, simüle edilmiş robot testlerinde görev başarısını düşürdü. FreezeVLA, kötü niyetli bir görüntünün test edilen modellerin sonraki talimatları görmezden gelmesine neden olabileceğini buldu. Çalışmalar farklı yöntemler kullandı ancak her ikisi de görsel girdinin robotun amaçlanan görevini nasıl bozabileceğini gösteriyor.
Gemma 4 E4B kullanılarak yapılan bir robot köpek testinde, bir afişteki metin talimat olarak algılandı ve robotun hareketini değiştirdi.
VicOne LAB R7, güvensiz girdilerin robot davranışını nasıl değiştirebileceğini de test etti. Gemma 4 E4B kullanan bir robot köpek testinde afişteki metin talimat olarak algılandı ve hareketi değişti. NVIDIA Jetson AGX Orin üzerinde Nemotron kullanılarak yapılan ayrı bir hastane hizmet robotu simülasyonunda, insanların duyamayacağı şekilde tasarlanmış ses, robotun simüle edilmiş davranışını değiştirdi. Atanan görevler değişmedi; girdiler değişti.
VicOne LAB R7 testinde bir afişteki metin robot köpeğin hareketini değiştirdi; bu durum, tasarlanmış bir girdinin olası görülmeyen bir sonucu tekrarlanabilir bir saldırıya nasıl dönüştürebileceğini gösteriyor. VicOne
Güvenlikle ilgili kararların da girdileri var
Bağımsız bir koruyucu sistem hâlâ tehlikeli bir eylemi durdurabilir. Ancak bu sistem de bilgiye bağımlıdır: ne zaman müdahale edeceğini söyleyen ölçümler, tahminler ve mesajlar. Bu girdilerden biri manipüle edilirse ne olur?
Bir robotik hata avı etkinliğinde VicOne LAB R7 araştırmacıları, organizatörlerin güvenli kontrol ayarı altında hareketsiz kalmasını beklediği bir robota ROS 2/DDS mesajı enjekte etti. Robot hareket etti.
Bir humanoidin denge kontrolcüsü başka bir örnek sunuyor. Eğer hassas bir jiroskopa güvenirse, sensörün rezonans frekansındaki ses bildirilen dönüşünü bozabilir. Kontrolcü, hiç oluşmamış bir eğimi düzeltmeye çalışabilir. Araştırmacılar, bu akustik saldırının temelini savunmasız jiroskoplara sahip dronlara karşı gösterdiler. Araştırma, aynı saldırı zincirinin bir humanoidin düşmesine neden olduğunu göstermedi.
Diğer korumalar her iki zinciri de kesintiye uğratabilir. Güvenlik ve güvenlik ekipleri için soru, bu korumaların tehlikeyi bağımsız olarak tespit edip etmediği ya da aynı manipüle edilmiş bilgiye bağımlı olup olmadığıdır.
Şekil 1. VicOne, kazara arızaların ve kasıtlı siber manipülasyonun kontrol kaybından fiziksel zarara kadar benzer robot güvenlik sonuçları doğurmasına nasıl yol açabileceğini haritalıyor. VicOne
Kasıtlı saldırılar güvenlik varsayımlarını zorluyor
Bir güvenlik değerlendirmesi, kazara arızaların birleşimini düşük olasılıklı olarak görebilir. Kasıtlı manipülasyon bu varsayımı değiştirir. Bir saldırgan yanlış girdiyi ne zaman sokacağını seçebilir ve aynı tetiği tekrarlayabilir. Bu zarar kaçınılmaz olmaz, ancak siber risklerin nasıl değerlendirilmesi gerektiği değişebilir.
Yedekli sensörler de saldırgan bir teste ihtiyaç duyar. Eğer tek bir eylem her iki girdiyi de etkileyebiliyorsa, anlaşmaları beklenen kadar güvence vermeyebilir. Otonom sürüş araştırmalarında, kameralı ve LiDAR algılamayı birleştiren bir sistemi kandıran tasarlanmış fiziksel bir nesne vardı. Çalışma belirli bir robotta bir zayıflık tespit etmez, ancak ekiplerin tek bir manipülasyonun birden fazla kontrolü aynı anda etkileyip etkilemediğini test etmesi gerektiğini gösterir.
Siber tehditler güvenliği niyetle birleştirir, bu yüzden kazara arızalara dayalı risk değerlendirmelerinin zamanlanabilen ve tekrarlanabilen saldırılara yer açmak için yeniden gözden geçirilmesi gerekir.
Güvenlik testi robot güvenliği kanıtını güçlendirir
Güvenlik ekipleri hız, koruyucu mesafeler ve izin verilen çalışma alanları için sınırlar belirler. Bu sınırların arkasındaki kanıtın da bu sınırları uygulamak için kullanılan bilginin kasıtlı olarak manipüle edilmesi halinde ne olacağını göstermesi gerekir.
Bu kanıt aynı zamanda uygulanabilir gerekliliklere karşı değerlendirmeleri de destekleyebilir. Çin’in GB/T 45502-2025 standardı hizmet robotları için bilgi güvenliğiyle ilgilenir. IEC TS 63074, güvenlikle ilgili kontrol sistemlerini etkileyebilecek güvenlik tehditlerini inceler. 20 Ocak 2027’den itibaren uygulanacak AB Makine Yönetmeliği, güvenlikle ilgili sistemlerin ve verilerin bozulmaya karşı korunması gerekliliğini içeriyor. Her birinin kendi kapsamı var ve ekipler hâlâ robotlarının tasarımı ve çalışma koşulları için kanıta ihtiyaç duyuyor.
Şekil 2. Siber güvenlik, yaşam döngüsü boyunca robot güvenliği kanıtını güçlendirir. VicOne, ekiplerin dağıtım öncesi güvenlik sınırlarını manipülasyona karşı test etmesine ve çalışırken güvenli davranışın arkasındaki koşulları izlemesine yardımcı olur. VicOne
Dağıtım öncesi, güvenlik ve güvenlik mühendisleri normal ve saldırgan senaryoları aynı güvenlik sınırlarına karşı karşılaştırabilir. Çalışma sırasında, daha önceki sonuçları sorgulatabilecek yazılım, model, sensör sinyali ya da davranış değişikliklerini izleyebilirler. Şüpheli davranışlara verilen her yanıt, güvenlik ekibi tarafından onaylanmış politikalar doğrultusunda olmalıdır.
VicOne bu çalışmayı robot yaşam döngüsü boyunca destekler. Robotic Hacking Community aracılığıyla VicOne LAB R7, siber tehditlerin robot davranışını nasıl değiştirebileceğini araştırmak için araştırmacılarla çalışır. VicOne’ın Radeis’i, dağıtım öncesi potansiyel etkilerin doğrulanmasına yardımcı olurken Rthena, çalışma sırasında risklerin ve davranışın görünürlüğünü sağlar.
Güvenlik ve güvenlik ekipleri birlikte yanıtlamalı beş soru
Merkezi test, bir robotun güvenlik önlemlerinin, dayandıkları bilginin manipüle edildiği durumda insanları hâlâ koruyup korumadığıdır. Güvenlik ve güvenlik ekipleri her koruyucu kararın arkasındaki girdileri izleyerek, bunları zorlayarak ve robot değiştiğinde kanıtları yeniden gözden geçirerek başlayabilir. Aşağıdaki beş soruyla başlayabilirler:
1. Her koruyucu işlev neyi okur? Ölçümleri, tahminleri, mesajları ve onayları haritalayın. Hangi güvenlik önlemleri robotun yapay zeka kararlarından bağımsız çalışır.
2. Bu bilgi nasıl gelir? Girdilerin nasıl üretildiği, iletildiği, gerektiğinde nasıl doğrulandığı ve eksik ya da gerçek dışı olduğunda nasıl ele alındığı kontrol edilir.
3. Bir girdi manipüle edilirse ne olur? Yanlış mesafeler, kayan konum tahminleri ve diğer ilgili senaryolar robotun güvenlik sınırlarına karşı test edilir.
4. Tek bir eylem birkaç girdiyi yanıltabilir mi? Sensör füzyonunun ya da görünüşte bağımsız güvenlik önlemlerinin ortak bir başarısızlık noktası paylaşıp paylaşmadığı kontrol edilir.
5. Kanıt ne zaman yeniden gözden geçirilmeli? Yazılım, model, sensör ya da çalışma koşulları değiştiğinde yeniden değerlendirme yapılır. Şüpheli davranışa karşı sınırlı yanıtlar güvenlik ekibiyle önceden kararlaştırılır.
Amaç yalnızca bir koruyucu işlevin çalıştığını göstermek değildir. Ekiplerin, kararının arkasındaki bilginin yanlış ya da kasıtlı olarak manipüle edildiği durumda koruyucu kalmaya devam ettiğine dair kanıta da ihtiyacı vardır ve ortaya çıkan tehlikeyi başka bir güvenlik önleminin yakalayabilmesi gerekir. Robotlar değiştikçe bu kanıt da onlarla birlikte değişmelidir.
Robot güvenliği üzerinde siber güvenliğin nasıl etkili olabileceğine dair daha derin bir bakış için “Why Robot Safety Depends on Cybersecurity: Protecting the Information That Safety Decisions Rely On” başlıklı beyaz kitabı indirin.
