Революція навчання ШІ, яка живить бум гуманоїдних роботів

Інвестори вклали $6,1 млрд у гуманоїдні роботи лише за один останній рік — у чотири рази більше, ніж за попередній рік. Цей сплеск капіталу не був спричинений кращими моторами чи дешевшими актуаторами. Він став наслідком фундаментального прориву в тому, як роботи навчаються, — прориву, який тихо накопичувався з 2015 року і тепер перетворив науково-фантастичного робота на реальну інженерну ціль.

• Чому навчання роботів змінило все після 2015
• Від правил до підкріплення: ера симуляцій
• Як фундаментальні моделі дали роботам здоровий глузд
• Обмеження, які досі стримують галузь
• Що це означає для покупців робототехніки та ринку обладнання
• Поширені запитання

Чому навчання роботів змінило все після 2015 {#why-robot-learning-changed-everything-after-2015}

Протягом більшої частини історії робототехніки інтелект означав правила — тисячі вручну написаних інструкцій, створених інженерами, щоб охопити кожну передбачувану ситуацію. Роботизованій руці, яка складає білизну, потрібна була явна логіка для орієнтації рукава, жорсткості тканини, виявлення комірця та десятків крайових випадків. Набір правил вибухав складністю, перш ніж став надійним.

Такий підхід створював надійних промислових роботів для структурованих середовищ — зварювальних ліній, осередків pick-and-place, конвеєрних систем — але він не міг узагальнювати. Перемістіть ту саму руку в інший контекст, змініть освітлення, додайте нову форму об’єкта — і продуктивність негайно падала.

Розрив між тим, що роботи могли робити, і тим, що дослідники мріяли, щоб вони могли робити, залишався вперто широким. Потім, приблизно у 2015 році, методологія змінилася.

Згідно з поглибленим оглядом сучасної історії навчання роботів від MIT Technology Review, ключовою зміною став перехід від кодування правил до проб і помилок на основі даних — а потім, після 2022 року, до фундаментальних моделей ШІ, які навчалися на даних інтернет-масштабу, а не лише на створених вручну симуляціях.

Від правил до підкріплення: ера симуляцій {#from-rules-to-reinforcement-the-simulation-era}

Приблизно у 2015 році провідні лабораторії робототехніки почали замінювати правила, написані вручну, на навчання з підкріпленням (RL) — метод навчання, при якому агент ШІ отримує сигнали винагороди за успішні дії та штрафні сигнали за невдачі, а потім повторює мільйони разів, щоб знайти власні стратегії.

Проект OpenAI Dactyl — п’ятипала роботизована рука, навчена повністю в симуляції — продемонстрував як потужність, так і основне обмеження цього підходу. Dactyl навчився маніпулювати маленькими кубиками, тренуючись у цифрових середовищах — по суті, віртуальному фізичному двигуні — перед тим, як бути розгорнутим на реальному обладнанні. Проблема: навіть незначні розбіжності між симульованим світом і фізичною реальністю призводили до різкого падіння продуктивності.

Інженерним рішенням стала рандомізація домену — навмисне введення випадкових варіацій у мільйони симульованих навчальних середовищ. Коефіцієнти тертя, умови освітлення, кольори об’єктів і текстури поверхні варіювалися випадковим чином, щоб навчена політика була достатньо стійкою до хаосу реального світу.

Техніка спрацювала достатньо добре, щоб Dactyl зрештою міг збирати кубики Рубіка — хоча лише 60% випадків на стандартних перемішуваннях, падаючи до 20% на складніших конфігураціях.

Ці цифри важливі для розуміння того, де перебувала галузь на той час. Навчання з підкріпленням на симуляціях забезпечувало справді вражаючу спритність, але надійність була недостатньою для комерційного впровадження. OpenAI закрила свій відділ робототехніки у 2021 році, що відображало стелю, якої досягла ця техніка.

Розрив між симуляцією та реальністю: ключові технічні виклики

Як фундаментальні моделі дали роботам здоровий глузд {#how-foundation-models-gave-robots-common-sense}

Поява великих мовних моделей змінила робототехніку глибше, ніж будь-який апаратний прогрес за останнє десятиліття. Ключове прозріння було архітектурним: великі мовні моделі (LLM) навчаються, передбачаючи, який токен (слово, підслово або символ) йде наступним у послідовності, поглинаючи величезні корпуси тексту, щоб побудувати багаті внутрішні представлення мови та знань про світ. Робототехніки поставили очевидне, але трансформаційне запитання: чи може та сама архітектура працювати, якщо токенами будуть показники сенсорів, кадри камер та положення суглобів замість слів?

Відповіддю Google DeepMind стали RT-1 та його наступник RT-2 (Robotic Transformer). RT-1 був навчений на 17 місяцях даних телеоперації, що охоплюють 700 різних завдань, отримуючи на вході зображення з камер робота та стани суглобів руки, а на виході генеруючи команди для моторів. На завданнях, які він бачив під час навчання, він досягав 97% успіху. На повністю нових інструкціях він все ще досягав 76% — це кардинальне покращення порівняно з усім, що досягали підходи, засновані лише на симуляціях.

RT-2 пішов далі, включивши дані зображень і тексту інтернет-масштабу, що дало роботу форму здорового глузду, заснованого на ширшому візуальному світі, а не лише на лабораторії робототехніки. Це ключовий концептуальний стрибок: замість програмування роботів правилами або навчання їх виключно на специфічних для роботів даних, дослідники виявили, що загальні знання про світ — ті, що вбудовані в моделі зору та мови під час попереднього навчання на веб-масштабі — напрочуд добре переносяться на завдання фізичної маніпуляції.

Практичне значення є значним. Робот, який побачив мільйони зображень кухонь, шухляд і чашок під час попереднього навчання, приходить із контекстуальним розумінням, якого системи, засновані на правилах, ніколи не могли б набути. Він не впевнений, яку чашку хоче людина, але має розумне апріорне припущення. Це апріорне припущення різко зменшує кількість даних, специфічних для роботів, необхідних для досягнення корисного рівня продуктивності.

Обмеження, які досі стримують галузь {#the-limits-that-still-hold-the-industry-back}

Поточне захоплення реальне, але варто окреслити те, що залишається справді невирішеним. Фундаментальні моделі для робототехніки стикаються з проблемою даних, якої не існує для мовних моделей у такій же формі. Текстові дані є рясними, дешевими і легко збираються з Інтернету. Високоякісні дані демонстрацій роботів — різноманітні, фізично обґрунтовані та точно позначені — дорого збирати, залежать від обладнання і важко переносяться між різними морфологіями роботів.

Ранні соціальні роботи ілюструють інше обмеження: здатність без надійності. Jibo, домашній соціальний робот, розроблений MIT, який зібрав $3,7 млн через краудфандинг і продавався за $749, мав переконливе бачення, але в кінцевому підсумку підірваний домовними мовними технологіями своєї ери. Його розмови покладалися на скриптовані фрагменти відповідей, які швидко ставали повторюваними та поверхневими. Сьогоднішній голосовий ШІ міг би трансформувати те, чим міг би стати Jibo — але нове покоління іграшок на базі ШІ вводить протилежний ризик. Системи зі скриптами не могли збитися зі шляху; генеративні системи ШІ можуть це робити, як задокументували випадки, коли ШІ-компаньйони давали дітям небезпечні поради.

Галузь обміняла один набір обмежень (жорсткість, крихкість) на інший (непередбачуваність, невизначеність безпеки). Жодна з проблем не вирішена повністю. Що змінилося, так це траєкторія покращення, яка тепер помітно крутіша.

Що це означає для покупців робототехніки та ринку обладнання {#what-this-means-for-robotics-buyers-and-the-hardware-market}

Революція навчання ШІ — це не просто академічна історія; вона вже змінює оцінку обладнання способами, які важливі для покупців та операторів просто зараз. Роботи, чиї можливості були прив’язані до їхнього оригінального програмування, швидко знецінюються на поточному ринку. Промислові маніпулятори другого покоління з фіксованими програмами руху мають знижену вартість перепродажу, оскільки покупці все більше очікують адаптивності.

Тим часом апаратні платформи, призначені для виконання програмного забезпечення на основі навчання — з доступними обчислювальними ресурсами, відкритими API та достатнім сенсорним оснащенням — зберігають свою цінність більш стійко.

Для покупців, які оцінюють покупки сьогодні, виділяються кілька наслідків:

• Масштабованість платформи має таке ж значення, як поточні можливості. Кобот, який виконує сучасне машинне навчання локально, матиме довший термін служби, ніж той, що прив’язаний до вендор-специфічних середовищ програмування.
• Ціни на вживане обладнання відображають готовність до ШІ. Роботи з платформ, які отримали значні оновлення програмного забезпечення на основі навчання, зберігають цінність; ті, що залишилися позаду виробниками, значно знижуються.
• Інфраструктура даних — це новий диференціатор. Покупці, які розгортають кілька одиниць, повинні планувати збір даних телеоперації з першого дня — ці демонстраційні дані стають навчальним корпусом для покращення продуктивності.

Для операторів, які розглядають початкове розгортання, поточний ринок вживаних промислових роботів пропонує доступ до потужного обладнання за зниженою ціною, хоча покупці повинні уважно оцінювати дорожні карти оновлення програмного забезпечення. Аналогічно, зростаюча категорія коботів особливо добре позиціонована для використання фундаментальних моделей, враховуючи їхній гнучкий, близький до людини операційний контекст.

Поширені запитання {#frequently-asked-questions}

Основним рушієм стало дозрівання фундаментальних моделей ШІ — зокрема, відкриття, що моделі зору та мови, навчені на даних інтернет-масштабу, можуть бути адаптовані для генерації команд моторів роботів з набагато більшою здатністю до узагальнення, ніж попередні підходи, засновані на правилах або лише на симуляціях. Інвестиції зросли після того, як дослідження показали, що такі моделі, як RT-2, можуть виконувати нові завдання без спеціального навчання, відкриваючи правдоподібний шлях до універсальних роботів. Останні дані показують, що інвестиції зросли вчетверо порівняно з минулим роком, досягнувши $6,1 млрд.

Що таке рандомізація домену в робототехніці і чому вона важлива?

Рандомізація домену — це техніка симуляційного навчання, при якій під час тренування генеруються тисячі злегка різних віртуальних середовищ — випадково змінюючи освітлення, тертя, кольори об'єктів та фізичні параметри. Вона вирішує проблему розриву між симуляцією та реальністю (погіршення продуктивності при виконанні політик, навчених на симуляції, на фізичному обладнанні), змушуючи навчену політику бути стійкою до багатьох можливих конфігурацій світу. OpenAI Dactyl використав цей підхід для збирання кубика Рубіка роботизованою рукою, хоча показники успіху зупинилися на 60% для стандартного рівня складності.

Чим фундаментальні моделі для робототехніки відрізняються від стандартних LLM?

Стандартні великі мовні моделі обробляють текстові токени як на вході, так і на виході. Фундаментальні моделі для робототехніки розширюють цю архітектуру, розглядаючи кадри камер, показники глибини та положення суглобів робота як додаткові вхідні токени, а команди швидкості моторів — як вихідні токени. Основне завдання передбачення — «що буде далі, враховуючи попередній контекст?» — залишається структурно подібним. Критична перевага полягає в тому, що попереднє навчання на візуальних і мовних даних інтернет-масштабу дає цим моделям знання про світ і здоровий глузд, які чисті дані демонстрацій роботів не можуть ефективно забезпечити.

Чи зроблять ШІ-адаптивні роботи старі роботи з фіксованими програмами швидко застарілими?

Не відразу. Промислові роботи з фіксованими програмами залишаються дуже економічно ефективними для високооб'ємних, маловаріативних завдань, таких як зварювання та штампування, де адаптивність не дає переваг. Тиск застарівання найвищий у логістиці з різноманітними SKU, легкому складанні та сервісних середовищах, де варіативність завдань є невід'ємною. Покупці повинні оцінити, чи отримує їхній конкретний профіль завдань користь від адаптивності, перш ніж вважати, що новіші ШІ-сумісні платформи виправдовують надбавку до ціни над перевіреним старим обладнанням.

Які основні невирішені проблеми в навчанні роботів сьогодні?

Три проблеми залишаються значними: (1) висока вартість і обмежена доступність різноманітних даних демонстрацій роботів порівняно з текстовими даними для мовних моделей; (2) непередбачуваність безпеки генеративних систем ШІ, розгорнутих у фізичному середовищі, особливо тих, що взаємодіють з уразливими групами населення; (3) надійна спритна маніпуляція — дрібномоторні завдання, такі як протягування кабелів або робота з деформованими матеріалами, все ще перемагають більшість сучасних систем у реальних умовах, а не в контрольованих лабораторних умовах.

Революція навчання роботів реальна, але вона ще не завершена. Фундаментальні моделі зруйнували стелю, яку накладали системи, засновані на правилах, і цифри інвестицій відображають справжній технологічний прогрес, а не чисті спекуляції. Розрив між науково-фантастичними роботами та розгорнутим обладнанням звузився більше за останні три роки, ніж за попередні три десятиліття.

Наступне обмеження не алгоритмічне. Це дані, перевірка безпеки та надійність обладнання в масштабі — важкі інженерні проблеми, які фінансування саме по собі не може прискорити понад певний темп.

Який підхід до навчання роботів — навчання з підкріпленням, фундаментальні моделі чи дані телеоперації — на вашу думку, визначить, хто виграє гуманоїдну гонку?