Son 18 ayda insansı robot şirketleri milyarlarca dolar yatırım topladı. Ancak bu fonların büyük kısmı sessiz sedasız, robotları çalıştıracak insanları işe almaya harcanıyor. Yani robotik sektörü, aslında bir iş gücü çözümü olarak tanımladığı bir teleoperasyon ve veri sorunuyla boğuşuyor.
Teleoperasyon ve insan gösterimini ölçeklendirmek, fiziksel yapay zeka sistemlerini eğitmenin baskın yöntemi haline geldi. Bu yöntem ciddi yatırımlar çekiyor, düşük ücretli ekonomilerden işçi topluyor ve ilerleme kanıtı olarak coşkulu haberler alıyor. Tüm bunların altında yatan varsayım şu: Yeterince gösterim, sonunda robotların gerçek ortamlarda genelleme yapmasını sağlayacak. Ancak bu varsayımın hak ettiğinden çok daha az sorgulandığını düşünüyorum.
Teleoperasyon yapısal bir duvara çarpıyor
Metin üzerinde eğitilen dil modelleri, onlarca yıllık yazı, makale ve kitaptan yararlanabiliyor. Robotlarda ise böyle bir arşiv yok. Her gösterimi birinin üretmesi gerekiyor, yani veri ancak insan emeğinin izin verdiği hızda büyüyebiliyor.
Teleoperasyon veri kümeleri, bugünün dil ve görüntü modellerini eğitmek için kullanılanlardan 100.000 kat daha küçük. Bu fark, daha fazla operatör işe alarak kapanmıyor. Çünkü gerçek dünya sürekli değişiyor: Bir raf yer değiştiriyor, bir kapı kolu biraz farklı oluyor, hatta yeni bir paket türü çıkıyor. Her varyasyon yeni bir gösterim gerektiriyor, yani sorun iş gücünden daha hızlı büyüyor.
Veri kalitesi de ayrı bir sorun. Operatörler dokunduklarını hissedemiyor veya derinliği güvenilir şekilde ölçemiyor. Bu yüzden yavaş hareket ediyor ve aşırı düzeltme yapıyorlar. Sonuçta robot, birinin kumandayla boğuştuğu görüntülerden öğreniyor ve aslında bunu pratik ediyor.
Veri üretiminin insani maliyeti
Sektörün veri sorununa yanıtı daha fazla insan toplamak oldu. Çoğunlukla düşük ücretli ekonomilerdeki işçiler, ev işlerini filme almak, robotları uzaktan kullanmak veya üzerlerinde kamera düzenekleriyle tesislerde dolaşmak için işe alınıyor.
Bu işin etrafında bütün bir ticari ekosistem oluştu. Çin, Hindistan, Avrupa ve ABD'deki girişimler, tıpkı şirketlerin bir zamanlar dil modelleri için etiketlenmiş metin sattığı gibi, teleoperasyon verisi satıyor.
İnsansı robotların orijinal vaadi şuydu: Demografik değişimler, iş gücü kıtlığı ve yaşlanan nüfus nedeniyle insanlar bu işleri gelecekte dolduramayacak. Ama eğer gerçekte kalıcı bir insan gösterimi akışına ihtiyaç duyan bir altyapı inşa ediyorsak, o işi doğrudan insanlara yaptırmak daha mantıklı olmaz mı? Yeni bir şeyle karşılaştığında taze insan girdisi olmadan başa çıkamayan bir sistem, aslında sadece bir iş gücü sistemidir.
Robotik gelişimi için uygun bir savunma
Standart yanıt şu: Teleoperasyon bir köprüdür, daha iyi robot model eğitim yöntemleri yetişene kadar başlangıç yapmanın bir yoludur. Kontrollü ortamlardaki dar, tekrarlayan görevler için bu doğru olabilir. Ancak sektörün büyük kısmı aslında süresiz olarak gösterim üretecek bir altyapı inşa ediyor ve bunun ne zaman, nasıl değişeceğine dair net bir plan yok.
Sektör, kolayca sayılabilen şeyleri takip ediyor: toplanan gösterimler, kaydedilen saatlerce görüntü, kontrollü ortamlarda tamamlanan görevler. Bunların hiçbiri, robotun daha önce görmediği bir şeyle, kendisi için hazırlanmamış bir yerde başa çıkıp çıkamayacağını göstermiyor. Aynı altyapıdan daha fazla inşa etmek, insana bağımlılığı çözmek yerine derinleştiriyor.
Soruna uygun yol
Araştırmacılar ilk dil modellerini devasa metin kümeleriyle eğittiklerinde, Shakespeare'in üslubunu gevşekçe taklit edebilen ama anlamsız kelimeler üreten sistemler elde ettiler. Yüzeyde etkileyiciydi ama henüz akıl yürütme yeteneği yoktu. Atılım, sentetik ortamlarda pekiştirmeli öğrenmeyle geldi. Bu, akıl yürütebilen, kod yazabilen ve karmaşık talimatları takip edebilen sistemler üretti.
Robotik sektörü büyük ölçüde o erken dönemde takılı kaldı. Teleoperasyon verisini ölçeklendirmek, 100.000 kat daha az veriyle ön eğitim metnini ölçeklendirmeye benziyor. Sonuçta kollarını biraz oynatabilen, bazen bir şeyi yakalayabilen, bazen yakalayamayan robotlar elde ediyorsunuz. Bir insan operatörün gösterdiğini belli belirsiz taklit edebiliyorlar ama daha önce görmedikleri bir durumu akıl yürüterek çözemiyorlar.
Geleneksel teleoperasyon ile tam otonomi arasında kalan yaklaşımlar da var: benmerkezci video çekimi ve Universal Manipulation Interface (UMI) gibi cihazlar. UMI, operatörlerin robotu uzaktan kumanda etmek yerine elde taşınan bir tutacak kullanarak görevleri daha doğal bir şekilde göstermesini sağlıyor. Bu yöntemler operatörlerin yükünü azaltıyor ve biraz daha doğal hareket verisi üretiyor. Yine de insanı döngüde tutuyorlar. Dar ve iyi tanımlanmış görevler için faydalı basamak taşları olabilirler, ancak sektörün tam bağımlılığını çözmezler.
Pekiştirmeli öğrenme işte bu noktada devreye giriyor. Bir insan operatörün gösterdiğini taklit etmek yerine, RL ile eğitilmiş bir sistem deneme yanılma yoluyla öğreniyor: bir görevi dener, başarısız olur, ayarlama yapar ve milyonlarca kez tekrar dener. Üstelik insan döngüde olmadan. Simülasyon da bunu doğal olarak takip ediyor. Gerçek dünyada milyonlarca RL iterasyonu çalıştırmak donanımı mahveder ve yıllar alır. Simülasyonda ise anında sıfırlarsınız, paralel çalıştırırsınız ve hiçbir insan iş gücünün yetişemeyeceği ölçekte varyasyon üretirsiniz. Teleoperasyonun aksine, doğrudan hesaplama gücüyle ölçeklenir: daha fazla GPU, daha fazla ortam, daha fazla varyasyon ve daha hızlı iterasyon demektir.
Teleoperasyon işi yapan insanlar, otonominin gerçek hedef olup olmadığını bilmeyi hak ediyor. Bu projelere fon sağlayanlar da öyle. İnsana bağımlılığın zamanla azaldığını gösteren veriniz yoksa, teleoperasyon geçici bir çözüm olmaktan çıkıp kalıcı yöntem haline gelir.
Yazar hakkında
Nikita Rudin, Flexion'un kurucu ortağı ve CEO'su. Rudin, doktorasını ETH Zürih Robotik Sistemler Laboratuvarı'nda tamamlarken NVIDIA'da çalıştı. Bu süreçte büyük ölçekli pekiştirmeli öğrenme, kontrol sistemleri ve robotik simülasyon üzerine odaklandı.
