MIT'nin Duvarları Gören Yapay Zekası, Depo Robotlarının En Büyük Algı Sorununu Çözüyor

MIT araştırmacıları, gizli 3B nesnelerin şeklini tamamlayabilen bir sistem oluşturmak için özel olarak eğitilmiş üretken yapay zeka modelleri kullandı. Kaynak: Araştırmacıların izniyle.

Depolarda ve akıllı evlerde çalışan robotların temel bir kör noktası vardır: kameralarının görüş alanının dışında kalan her şey onlar için yoktur. MIT araştırmacıları şimdi bunu düzeltmek için üretken yapay zekayı kullanarak, milimetre-dalga kablosuz sinyalleri ve özel eğitilmiş yapay zeka modelleri sayesinde gizli nesneleri ve tüm odaları, tek bir kamera olmadan önceki yöntemlere göre yaklaşık %20 daha yüksek doğrulukla yeniden oluşturmayı başardı.

• Kamera Tabanlı Robot Görüşünün Yapısal Zayıflığı
• Wave-Former Gizli Nesneleri Duvarların Ardında Nasıl Yeniden Oluşturuyor
• RISE: Tek Bir Radarla Tüm Odaların Haritasını Çıkarmak
• Eğitim Verisi Sorunu ve MIT'in Çözümü
• Bunun Depo ve Endüstriyel Robotik İçin Anlamı
• Sıkça Sorulan Sorular

Kamera Tabanlı Robot Görüşünün Yapısal Zayıflığı

Kameraya bağımlı robot algısı, bir nesne görüş alanının dışına çıktığı anda başarısız olur — ambalajın arkasında, enkaz altında veya bir köşenin ardında. Bu bir uç durum değil; depolar, lojistik merkezleri ve ev ortamlarında robotların doğrudan göremedikleri nesneleri bulması, tanımlaması ve kavraması gereken günlük operasyonel bir gerçekliktir.

Mevcut geçici çözümler — birden fazla kamera, yapılandırılmış ışık, LiDAR — hepsi aynı kısıtlamayı paylaşır: net bir optik yol gerektirirler. Karton, alçıpan, plastik veya hatta yoğun kumaş devreye girdiği anda robot fiilen kördür. Bu sınırlama, teslimat operasyonlarında yanlış tanımlanmış paketlenmiş ürünler ve üretim hatlarını durduran başarısız kavramalar dahil olmak üzere maliyetli hatalara yol açar.

Doçent Fadel Adib liderliğindeki MIT Sinyal Kinetiği grubu, on yılı aşkın süredir, modern Wi-Fi'de kullanılan aynı frekans bandı olan milimetre-dalga (mmWave) radar sinyallerini kullanarak alternatifler geliştiriyor. Bu sinyaller yaygın engellerin içinden geçer ve gizlenmiş nesnelerden yansır. Şimdiye kadarki zorluk, bu yansımaların hassas manipülasyon için kullanılamayacak kadar eksik olmasıydı.

Wave-Former Gizli Nesneleri Duvarların Ardında Nasıl Yeniden Oluşturuyor

Wave-Former, MIT'in yeni sistemi, mmWave radarını, engellerin ardında gizlenmiş nesnelerin tam 3B şeklini yeniden oluşturmak için üretken bir yapay zeka modeliyle birleştiriyor. Bu sistem, teneke kutular, kutular, mutfak gereçleri ve meyveler dahil yaklaşık 70 günlük nesne üzerinde önceki en iyi yöntemlere göre yaklaşık %20 doğruluk iyileştirmesi elde ediyor.

Temel fizik sorunu yansıma özelliğidir: mmWave sinyalleri, ışığın aynadan yansıması gibi yüzeylerden tek bir yönde yansır. Radar sensörü yalnızca kendisine doğru yönlendirilen yansımaları yakalar; bu, gizli bir nesnenin üst yüzeyinin kısmen görünür olduğu, yanlarının ve alt yüzeyinin ise etkili bir şekilde görünmez olduğu anlamına gelir. Önceki sistemler, bu eksik nokta bulutlarını yalnızca fizik tabanlı kurallar kullanarak yorumlamaya çalıştı — temelde sınırlı bir yaklaşım.

Wave-Former'ın işlem hattı üç aşamada çalışır. İlk olarak, ham mmWave yansımalarından gizli nesnenin kısmi bir rekonstrüksiyonunu oluşturur. İkinci olarak, bu kısmi şekli, makul tamamlamaları tahmin etmek üzere eğitilmiş bir üretken yapay zeka modeline besler. Üçüncü olarak, tam bir 3B rekonstrüksiyona ulaşana kadar yüzeyi yinelemeli olarak iyileştirir. Sonuç: robotlar yalnızca gizli bir nesneyi tespit etmekle kalmaz, aynı zamanda güvenilir bir kavrama planlayacak kadar geometrisini anlayabilir.

Robohub'un araştırmayla ilgili haberine göre, sistem karton, ahşap, alçıpan, plastik ve kumaşın arkasında veya altında gizlenmiş nesneler üzerinde doğrulandı — gerçek depo ve lojistik ortamlarında bulunan malzemeler.

RISE: Tek Bir Radarla Tüm Odaların Haritasını Çıkarmak

MIT'in ikinci sistemi RISE (Radar Tabanlı İç Mekan Sahne Anlama), tek bir sabit mmWave radardan gelen yansımaları kullanarak mobilya yerleşimi dahil tüm oda düzenlerini yeniden oluşturur. Mevcut tekniklerin kabaca iki katı uzamsal hassasiyet elde eder ve hareketli bir sensör platformu gerektirmez.

Kablosuz sahne rekonstrüksiyonuna yönelik mevcut yaklaşımların çoğu, ortamı taramak için hareketli bir robota monte edilmiş bir radar gerektirir — bu önemli bir operasyonel kısıtlamadır. RISE farklı bir yaklaşım benimser: bir odada doğal olarak hareket eden insanlar tarafından oluşturulan çok yollu yansımalardan yararlanır.

Bir kişi hareket ettiğinde, mmWave sinyalleri ondan seker, ardından radara dönmeden önce duvarlardan ve mobilyalardan tekrar yansır. Tipik olarak "hayalet sinyaller" etiketi altında gürültü olarak atılan bu ikincil yankılar, aslında odanın düzeni hakkında uzamsal bilgi kodlar. Kişi hareket ettikçe hayalet sinyaller kayar ve değişen konumları çevredeki yüzeylerin geometrisini ortaya çıkarır.

Ekip ayrıca, bir odada hareket eden insanlardan yansıyan kablosuz sinyalleri kullanarak tüm iç mekan sahnelerini tamamen yeniden oluşturan genişletilmiş bir sistem geliştirdi. Kaynak: Araştırmacıların izniyle.

RISE, tek bir sabit radar tarafından yakalanan 100'den fazla insan yörüngesi üzerinde doğrulandı. Gizlilik etkisi de dikkate değerdir: kamera sistemlerinin aksine, mmWave radar bireylerin görsel görüntülerini yakalamaz, bu da kameraların düzenleyici veya onay engelleriyle karşılaştığı ortamlarda kullanılabilir olmasını sağlar.

Eğitim Verisi Sorunu ve MIT'in Çözümü

Bu alandaki herhangi bir yapay zeka modeli için temel engel veri kıtlığıdır: hiçbir mmWave veri seti, bir üretken modeli sıfırdan eğitecek kadar büyük değildir. MIT'in çözümü, mevcut büyük ölçekli bilgisayarlı görü veri setlerinin üzerine mmWave fiziğini simüle etmek oldu — esasen yapay zekaya radarın dilini, radara özgü eğitim verisine ihtiyaç duymadan öğretmek.

GPT veya Claude gibi büyük üretken modelleri eğitmek, milyonlarca veya milyarlarca örnek içeren veri setleri gerektirir. mmWave araştırma veri setleri ise birkaç kat daha küçüktür. MIT araştırma asistanı Maisy Lam'ın açıkladığı gibi, yeterli gerçek dünya radar verisi toplamak "yıllar alırdı."

Ekibin geçici çözümü sentetik uyarlamaydı: mevcut büyük bilgisayarlı görü veri setlerini alıp mmWave yansımalarının fiziksel özelliklerini — yansıma özelliği, gürültü karakteristikleri, sinyal geometrisi — hesaplamalı olarak görüntü verisine uyguladılar. Bu, üretken modelin öğrenebileceği sentetik ancak fiziksel olarak doğru bir eğitim seti oluşturdu.

Bu yaklaşım, Fiziksel YZ araştırmasında ortaya çıkan daha geniş bir örüntüyü temsil ediyor: gerçek dünya verilerinin kıt veya toplanması pahalı olduğu durumlarda YZ eğitimini başlatmak için fizik bilgili simülasyon kullanmak. Aynı ilke, simülasyondan gerçeğe aktarımın baskın paradigma haline geldiği robot manipülasyon öğrenimindeki ilerlemenin çoğunun temelini oluşturur.

Bunun Depo ve Endüstriyel Robotik İçin Anlamı

Robotik alıcıları ve mühendisleri için bu iki sistem, farklı ancak eşit derecede acil operasyonel sorunları ele alıyor: mühürlü kaplardaki paketlenmiş ürünleri doğrulamak ve robotların tam sensör kapsamı olmadan dinamik ortamları anlamasını sağlamak.

Sipariş Karşılama ve Paket Doğrulama

Depo robotları şu anda mühürlü bir kutunun içindekileri açmadan doğrulayamıyor. Wave-Former'ın karton ve plastik içinden 3B nesne geometrisini yeniden oluşturma yeteneği, doğrudan sevkiyat öncesi doğrulamayı ele alıyor — e-ticaret sipariş karşılamada önemli bir sorun, çünkü yanlış paketlenmiş siparişlerden kaynaklanan iade oranları önemli maliyetler oluşturuyor. mmWave algısıyla donatılmış bir robot, bir kutu kapatılmadan önce ürün varlığını ve kabaca geometrisini doğrulayabilir, hattı yavaşlatmadan.

Cobot'lar ve AMR'ler için Akıllı Dağıtım

RISE'ın tek radarlı oda haritalama yeteneği, insanlarla paylaşılan alanlarda dağıtılan otonom mobil robotlar (AMR'ler) ve cobot'lar için acil çıkarımlara sahiptir. Mevcut insan takip yaklaşımları ya yoğun kamera kapsamı (beraberinde gizlilik endişeleriyle) ya da hareket eden robotun kendisine monte edilmiş sensörler gerektirir. Hayalet sinyal analizinden odanın canlı bir uzamsal modelini — insan konumları dahil — oluşturan sabit bir radar, dinamik ortamlarda daha güvenli, daha duyarlı cobot çalışması sağlayabilir.

Bu uygulamalar için robotları değerlendiren ekiplerin, Wave-Former gibi algı sistemlerinin ticari entegrasyona doğru ilerlemesini takip ederken, kullanılmış endüstriyel robotları ve Botmarket'te mevcut cobot'ları keşfetmeleri faydalı olacaktır.

Dağıtım Zaman Çizelgesi

Her iki sistem de araştırma aşamasındadır ve sonuçlar IEEE Bilgisayarlı Görü ve Örüntü Tanıma Konferansı'nda sunulacaktır. Araştırma, NSF, MIT Medya Laboratuvarı ve Amazon tarafından desteklenmektedir — sonuncusu önemli bir ticari ilgi sinyalidir. Ekibin bir sonraki belirtilen hedefi, dil için GPT veya Gemini'ye benzer şekilde kablosuz sinyaller için temel modeller oluşturmaktır; bu, bu yaklaşımın ortamlar ve nesne türleri arasında genelleştirilebilirliğinde bir adım değişikliğini temsil edecektir.

Sıkça Sorulan Sorular

Wave-Former nedir ve nasıl çalışır?

Wave-Former, MIT tarafından geliştirilen, gizli nesnelerin 3B şeklini karton, alçıpan ve plastik gibi engellerin ardından yeniden oluşturmak için milimetre-dalga (mmWave) radar sinyallerini kullanan bir sistemdir. Radar yansımalarından kısmi bir rekonstrüksiyon oluşturur ve ardından eksik geometriyi tamamlamak için üretken bir yapay zeka modeli kullanır. Yaklaşık 70 günlük nesne üzerinde yapılan testlerde, önceki en iyi yöntemlerden neredeyse %20 daha iyi doğruluk elde etmiştir.

RISE, kamera olmadan odaları nasıl yeniden oluşturuyor?

RISE, tek bir sabit mmWave radar kullanır ve bir odada hareket eden insanlardan, ardından çevredeki mobilya ve duvarlardan yansıyan ikincil yansımalar olan 'hayalet sinyalleri' kullanır. Bu çok yollu yansımaların kişi hareket ettikçe nasıl değiştiğini izleyerek, üretken bir yapay zeka modeli tüm odanın uzamsal düzenini çıkarır. RISE, 100'den fazla test yörüngesinde mevcut kablosuz sahne rekonstrüksiyon tekniklerinin yaklaşık iki katı uzamsal hassasiyet göstermiştir.

mmWave sinyalleri hangi engellerden geçebilir?

Milimetre-dalga sinyalleri — Wi-Fi'de kullanılan aynı frekans aralığı — karton, ahşap, alçıpan, plastik ve kumaş gibi yaygın metalik olmayan malzemelerin içinden geçer. Metali etkili bir şekilde geçemezler. Bu, onları malların karton ve plastikte paketlendiği depo ortamları için uygun kılar, ancak ağırlıklı olarak metalik endüstriyel muhafazalarda daha az uygulanabilir.

Bu teknoloji, kameralardan daha iyi gizlilik korur mu?

Evet. mmWave radar, ortamdaki kişilerin görsel görüntülerini yakalamaz; yalnızca sinyal yansımalarını algılar. RISE'ın oda haritalama yeteneği, insan hareketini bir sinyal kaynağı olarak kullanır ancak tanımlanabilir görsel veri kaydetmez; bu, hastaneler, evler veya düzenlemeye tabi işyerleri gibi gizliliğe duyarlı dağıtımlarda kamera tabanlı uzamsal haritalamaya göre önemli bir avantaj sağlar.

Bu teknoloji ticari robotlarda ne zaman kullanıma sunulacak?

Hem Wave-Former hem de RISE şu anda araştırma aşamasındadır ve makaleler CVPR'de sunulacaktır. Amazon finansman ortakları arasında yer alıyor, bu da ticari ilgiye işaret ediyor. MIT ekibi, bir sonraki geliştirme önceliğinin kablosuz sinyal temel modelleri oluşturmak olduğunu belirtti. Ticari entegrasyonun depo veya cobot sistemlerinde gerçekleşmesi muhtemelen yıllar alacaktır, ancak dağıtılabilir donanıma giden yol netleşmiştir.

Bu araştırma, son bir yılın robot algısındaki en pratik temelli ilerlemelerden birini temsil ediyor — marjinal bir kıyaslama iyileştirmesi değil, robotların çevrelerindeki dünyayı modelleme biçiminde gerçek bir mimari değişim. Üretken yapay zeka artık sadece bir dil veya görüntü aracı değil; fiziksel sistemlerin doğrudan gözlemleyemedikleri şeyler hakkında akıl yürütmesini sağlayan çıkarım motoru haline geliyor.