Врожденное понимание кроны деревьев над головой помогает нам определить, куда ведет тропинка. Резкий треск веток или мягкая подушка из мха сообщают нам об устойчивости нашей опоры. Грохот падающего дерева или пляшущие на сильном ветру ветви дают нам знать о потенциальных опасностях поблизости.

Роботы, напротив, долгое время полагались исключительно на визуальную информацию, такую как камеры или лидар, для перемещения по миру. За пределами Голливуда мультисенсорная навигация долгое время оставалась сложной задачей для машин. Лес с его прекрасным хаосом густого подлеска, поваленных бревен и постоянно меняющегося рельефа представляет собой лабиринт неопределенности для традиционных роботов.

Теперь исследователи из Университета Дьюка разработали новую структуру под названием WildFusion, которая объединяет зрение, вибрацию и осязание, позволяя роботам "ощущать" сложную наружную среду так же, как это делают люди. Недавно работа была принята к участию в Международной конференции IEEE по робототехнике и автоматизации (ICRA 2025), которая состоится 19-23 мая 2025 года в Атланте, штат Джорджия.

"WildFusion открывает новую главу в роботизированной навигации и 3D-картографии", - сказал Боюань Чен, доцент кафедры машиностроения и материаловедения, электротехники и вычислительной техники, а также компьютерных наук в Университете Дьюка. "Это помогает роботам более уверенно действовать в неструктурированных, непредсказуемых условиях, таких как леса, зоны стихийных бедствий и бездорожье".

"Типичные роботы в значительной степени полагаются только на зрение или лидар, которые часто сбиваются без четких траекторий или предсказуемых ориентиров", - добавил Янбайхуэй Лю, ведущий автор исследования и аспирант второго курса лаборатории Чена. "Даже продвинутые методы 3D-картографирования с трудом восстанавливают непрерывную карту, когда данные датчиков разрежены, зашумлены или неполны, что часто является проблемой в неструктурированных наружных средах. Именно для решения этой задачи и был разработан WildFusion".

WildFusion, построенный на базе четвероногого робота, объединяет в себе множество средств обнаружения, включая RGB-камеру, лидар, инерциальные датчики и, в частности, контактные микрофоны и тактильные датчики. Как и при традиционных подходах, камера и лидар фиксируют геометрию окружающей среды, цвет, расстояние и другие визуальные детали. Что делает WildFusion особенным, так это использование акустических вибраций и прикосновений.

Когда робот идет, контактные микрофоны записывают уникальные вибрации, генерируемые каждым шагом, улавливая едва уловимые различия, такие как хруст сухих листьев или мягкое хлюпанье грязи. Тем временем тактильные датчики измеряют, какое усилие прикладывается к каждой ноге, помогая роботу ощущать устойчивость или скользкость в режиме реального времени. Эти дополнительные органы чувств также дополняются инерционным датчиком, который собирает данные об ускорении, чтобы оценить, насколько сильно робот раскачивается, кренится или перекатывается по неровной поверхности.

Затем каждый тип сенсорных данных обрабатывается с помощью специализированных энкодеров и объединяется в единое, насыщенное представление. В основе WildFusion лежит модель глубокого обучения, основанная на идее неявных нейронных представлений. В отличие от традиционных методов, которые рассматривают окружающую среду как набор дискретных точек, этот подход непрерывно моделирует сложные поверхности и элементы, позволяя роботу принимать более разумные, интуитивно понятные решения о том, куда ступать, даже когда его видение заблокировано или неоднозначно.

"Думайте об этом как о решении головоломки, в которой не хватает некоторых кусочков, но вы можете интуитивно представить себе полную картину", - объяснил Чен. "Мультимодальный подход WildFusion позволяет роботу "заполнять пробелы", когда данные датчиков скудны или зашумлены, во многом подобно тому, что делают люди".

WildFusion был протестирован в государственном парке Эно-Ривер в Северной Каролине недалеко от кампуса университета Дьюка, успешно помогая роботу ориентироваться в густых лесах, лугах и гравийных дорожках. "Наблюдать за тем, как робот уверенно ориентируется на местности, было невероятно полезно", - поделился Лю. "Эти тесты в реальных условиях доказали замечательную способность WildFusion точно прогнозировать проходимость, значительно улучшая принятие роботом решений о безопасных маршрутах по сложной местности".

Заглядывая в будущее, команда планирует расширить систему за счет включения дополнительных датчиков, таких как датчики температуры или влажности, чтобы еще больше повысить способность робота понимать сложные условия и адаптироваться к ним. Благодаря гибкой модульной конструкции WildFusion обладает широким потенциалом применения за пределами лесных троп, включая реагирование на стихийные бедствия в непредсказуемых районах, инспекцию удаленной инфраструктуры и автономную разведку.

"Одной из ключевых задач робототехники сегодня является разработка систем, которые не только хорошо работают в лаборатории, но и надежно функционируют в реальных условиях", - сказал Чен. "Это означает роботов, которые могут адаптироваться, принимать решения и продолжать двигаться, даже когда мир становится беспорядочным".

Это исследование было поддержано DARPA (HR00112490419, HR00112490372) и Армейской исследовательской лабораторией (W911NF2320182, W911NF2220113).