Avride Inc., teslimat robotlarını yüksek seviyede otonomi ile çalışacak şekilde tasarladı. Şirkete göre halihazırda yüzlerce robot, yoğun şehir sokaklarında tamamen kendi başına hareket ediyor, karmaşık sensör verilerini yerleşik bilgisayar birimlerinde işliyor. Bu robotlar, insan müdahalesine minimum ihtiyaç duyarak kaldırımlarda standart şehir manevralarının, yayaların ve trafik ışıklarının üstesinden geliyor.
Ancak, navigasyonun mekaniğini verimli bir şekilde yönetmek (dar yollar veya kötü hava gibi zorlu koşullarda bile) denklemin sadece bir parçası. Bir robotun alışılmadık, hassas veya yüksek riskli gerçek dünya ortamlarında uygun şekilde davranmasını sağlamak, farklı türde bir zeka gerektiriyor.
Avride, proaktif bir çevresel farkındalık katmanı eklemek için ağır, bulut tabanlı Görsel-Dil Modellerini (VLM) sisteme otomatik bir \"VLM gözlemcisi\" olarak entegre etti.
Nesne Tespitinden Bütüncül Sahne Anlayışına
Avride'ın yerleşik algılama sistemi zaten oldukça yetenekli. Yerel sinir ağları ve sensörler sayesinde robotlar, bisikletliler, çocuklar, tekerlekli sandalyeler ve acil durum araçları gibi çevresel unsurları tespit edebiliyor.
Ancak, bu yerleşik modeller bireysel unsurları tanımlayabilse de, bazı gerçek dünya senaryoları çok daha derin bir bağlamsal anlayış gerektiriyor.
Örneğin, kaldırımda bir polis memuru veya itfaiyeci görmek olağandışı bir şeyler olduğuna işaret edebilir, ancak temel nesne tespiti bunun resmin tamamını kavramak için yeterli değil. Bir polis memurunun iş çıkışı eve yürüdüğünü mü yoksa aktif, hassas bir suç mahallinde mi olduğunu ayırt etmek son derece zorlu bir iş. Bu, çerçeve içindeki birden fazla öğenin nasıl etkileşime girdiğine dair bütüncül bir anlayış gerektiriyor.
Avride, teslimat robotlarının yanlışlıkla aktif bir acil durum bölgesine girme, taze bir suç mahallini geçme veya haritası çıkarılmamış, ıslak çimentonun gri bir kaldırım gibi göründüğü bir yol çalışmasına dalma olasılığını önemli ölçüde azaltmayı hedefliyor. Buluttaki ağır temel model (VLM), tüm durumun derin anlamsal bağlamını anında bir araya getirerek bu bütüncül yorumlamada mükemmel bir iş çıkarıyor.
Nasıl Çalışıyor: Bulut Muhafızları Olarak VLM'ler
Avride'ın vurguladığı önemli bir nokta, VLM'lerin robotu sürmek için kullanılmaması. Gerçek zamanlı yönlendirme için ağır bir bulut modeli kullanmak, gecikmeye ve bağlantı bağımlılığına yol açarak güvenliği tehlikeye atabilir. Bunun yerine VLM, uzaktan yardım ekibi için otomatik bir \"erken uyarı sistemi\" olarak görev yapıyor.
Veri Alımı: Robot otonom sürüş sırasında birkaç saniyede bir kamerasından bir anlık görüntüyü (snapshot) buluta aktarıyor. Kamusal gizliliği korumak için robot, tüm görsel verileri anında anonimleştiriyor; yüzleri ve plakaları buluta göndermeden önce yerel olarak bulanıklaştırıyor.
Bağlam Değerlendirmesi: Buluttaki VLM gözlemcisi, bu anlık görüntü akışlarını işleyerek sokakta neler olduğuna dair anlamsal bir tanım oluşturuyor. Şirket, VLM'ye tam olarak hangi tür olağandışı, hassas veya karmaşık durumların aranacağını tanımlayan detaylı bir talimat (prompt) veriyor. VLM, sahneyi bu talimatlara göre değerlendiriyor ve belirli yüksek riskli etiketler atıyor.
İnsan Devrede: Model kritik bir durum etiketi tespit ederse, derhal uzaktan yardım ekibini uyarıyor. Bir asistan daha sonra canlı yayını inceleyerek robotun sorunsuz bir şekilde hareket etmesini, acil durum çalışanlarına yol vermesini veya yasaklı bölgelerden uzak durmasını sağlayabiliyor.
Yapay zeka ortamı baş döndürücü bir hızla geliştiği için Avride, altyapısını tek bir sağlayıcıya bağlamıyor. Bu bulut katmanını açık, tak-çalıştır bir mimari olarak ele alıyor; sürekli deneyler yaparak ve son teknoloji modelleri test ederek her zaman en doğru anlamsal yorumlayıcıyı kullanmayı hedefliyor.
Veri Madenciliğinden Canlı Operasyonlara Evrim
Canlı VLM'lerin Avride'ın günlük operasyonlarına entegrasyonu, şirketin iç mühendislik araçlarının doğal bir evrimi olarak tanımlanıyor.
Her gün çalışan yüzlerce robottan gelen videonun her dakikasını depolamak ve işlemek son derece pahalı ve gereksiz. Şirket, yalnızca teknolojiyi geliştirmeye ve güvenliği sağlamaya gerçekten yardımcı olan verileri korumak istiyor.
Geçmişte, bu 5 saniyelik canlı yayın analiz hattı bir veri filtreleme aracı olarak kullanılıyordu. Bulut VLM'leri, belirli hayvan etkileşimleri veya karmaşık altyapı gibi nadir ve değerli senaryoları otomatik olarak tespit ederek, etiketleme ve eğitim için önceden anonimleştirilmiş veriler olarak güvenli bir şekilde kaydediyordu.
Bu sistemin gerçek dünyadaki benzersiz bağlamları canlı olarak tespit etmede son derece başarılı olduğu kanıtlanınca, bu aracı canlı operasyonlara dahil etmek mantıklı bir sonraki adım oldu. Sistem zaten benzersiz bağlamları gerçek zamanlı olarak tanımlayabiliyorsa, canlı insan gözetimini tetiklemek için de aynı derecede etkili bir şekilde kullanılabilirdi.
Gelecek: VLM'leri Uç Bilişime Taşımak
Bu ağır modelleri bulutta çalıştırmak bugün için inanılmaz derecede etkili bir çözüm olsa da, bu sadece bir başlangıç. VLM'ler optimizasyon teknikleri sayesinde daha kompakt hale geldikçe ve yeni nesil robotik donanımlar güçlendikçe, nihai hedef net: Bu derin anlamsal katman, buluttan doğrudan robotun yerleşik bilgisayarına taşınacak.
Bu sayede robotlar, ağ bağlantısından tamamen bağımsız olarak, uçta (edge) çok daha derin bir otonom karar alma seviyesine ulaşabilecek. Avride, o zamana kadar buluttan uzaktan yardıma uzanan bu güvenlik ağının, teslimat robotlarının kaldırımda kibar, sorumlu ve bilinçli \"birer vatandaş\" olarak kalmasını sağlayacağını belirtiyor.
Yazar Hakkında
Bu makale Avride'da otonom teslimat bölümünün başkanı olan Roman Nefedov tarafından kaleme alındı. Nefedov, teslimat robotu mühendislik bölümünü yönetmenin yanı sıra otonom teslimat ürününün tüm iş operasyonlarından ve yazılım geliştirmeden sorumlu. Nefedov, teknoloji sektöründe on beş yılı aşkın bir deneyime sahip ve kariyeri boyunca büyük ölçekli mühendislik ekiplerini yönetmenin yanı sıra akıllı cihazlar ve tüketici IoT ürünlerinin geliştirilmesine odaklandı.
