Теперь команда из Массачусетского технологического института и Океанографического института Вудс-Хоул (WHOI) разработала инструмент анализа изображений, который позволяет использовать оптические эффекты океана и генерировать изображения подводной среды, которые выглядят так, как будто воду слили, раскрывая истинные цвета океанской сцены. Команда объединила инструмент цветокоррекции с вычислительной моделью, которая преобразует изображения сцены в трехмерный подводный "мир", который затем можно исследовать виртуально.

Исследователи назвали новый инструмент "SeaSplat", ссылаясь как на его подводное применение, так и на метод, известный как 3D-гауссово разбрызгивание (3DGS), который делает снимки сцены и соединяет их вместе, чтобы создать полное трехмерное представление, которое можно рассматривать в деталях с любой точки зрения.

"С помощью SeaSplat он может явно моделировать то, что делает вода, и в результате он может некоторым образом удалять воду и создавать более качественные 3D-модели подводной сцены", - говорит аспирант Массачусетского технологического института Дэниел Янг.

Исследователи применили SeaSplat к изображениям морского дна, сделанным дайверами и подводными аппаратами в различных местах, включая Виргинские острова США. Этот метод создавал трехмерные "миры" из изображений, которые были более правдивыми, яркими и разнообразными по цвету по сравнению с предыдущими методами.

Команда говорит, что SeaSplat мог бы помочь морским биологам отслеживать состояние здоровья определенных океанских сообществ. Например, когда подводный робот исследует и фотографирует коралловый риф, SeaSplat будет одновременно обрабатывать изображения и отображать трехмерное изображение в натуральную величину, через которое ученые затем смогут виртуально "пролететь" в своем собственном темпе и траектории, чтобы осмотреть подводную сцену, например, на наличие признаков жизни. обесцвечивание кораллов.

"Отбеливание вблизи выглядит белым, но издалека может казаться голубым и туманным, и вы, возможно, не сможете его обнаружить", - говорит Йогеш Гирдхар, младший научный сотрудник WHOI. "Обесцвечивание кораллов и различные виды кораллов было бы легче обнаружить с помощью снимков SeaSplat, чтобы получить истинные цвета океана".

Гирдхар и Янг представят доклад с подробным описанием SeaSplat на Международной конференции IEEE по робототехнике и автоматизации (ICRA). Соавтором их исследования является Джон Леонард, профессор машиностроения Массачусетского технологического института.

Водная оптика

В океане цвет и четкость объектов искажаются из-за воздействия света, проходящего через воду. В последние годы исследователи разработали инструменты цветокоррекции, которые направлены на воспроизведение истинных цветов океана. Эти усилия включали адаптацию инструментов, которые изначально были разработаны для работы вне воды, например, для выявления истинного цвета объектов в условиях тумана. Одна недавняя работа точно воспроизводит истинные цвета океана с помощью алгоритма под названием "Sea-Through", хотя этот метод требует огромных вычислительных мощностей, что затрудняет его использование при создании 3D-моделей сцен.

Параллельно другие компании добились успехов в 3D-распределении по Гауссу с помощью инструментов, которые плавно соединяют изображения сцены вместе и разумно заполняют любые пробелы, создавая целостную 3D-версию сцены. Эти 3D-миры обеспечивают "синтез нового вида", что означает, что кто-то может просматривать сгенерированную 3D-сцену не только с точки зрения исходных изображений, но и с любого ракурса и расстояния.

Но 3DGS успешно применялась только в условиях, не связанных с водой. Усилиям по адаптации 3D-реконструкции к подводным изображениям препятствовали, главным образом, два оптических подводных эффекта: обратное рассеяние и затухание. Обратное рассеяние происходит, когда свет отражается от крошечных частиц в океане, создавая дымку, похожую на вуаль. Ослабление - это явление, при котором свет определенных длин волн ослабевает или затухает с расстоянием. Например, в океане красные объекты кажутся более тусклыми, чем синие, если смотреть на них издалека.

Вне воды цвет объектов кажется более или менее одинаковым независимо от угла или расстояния, с которого на них смотрят. Однако в воде цвет может быстро меняться и тускнеть в зависимости от точки зрения. Когда методы 3DGS пытаются объединить подводные изображения в единое 3D-целое, они не могут распознать объекты из-за обратного рассеяния в воде и эффектов затухания, которые искажают цвет объектов под разными углами.

"Одна из наших мечтаний о подводном роботизированном зрении заключается в следующем: представьте, что вы могли бы удалить всю воду из океана. Что бы ты увидел?" - говорит Леонард.

Образцовый заплыв

В своей новой работе Янг и его коллеги разработали алгоритм цветокоррекции, который учитывает оптические эффекты обратного рассеяния и ослабления. Алгоритм определяет степень, в которой каждый пиксель изображения должен был быть искажен эффектами обратного рассеяния и ослабления, а затем, по существу, устраняет эти водные эффекты и вычисляет, каким должен быть истинный цвет пикселя.

Затем Янг применил алгоритм цветокоррекции к 3D-модели гауссовых брызг для создания SeaSplat, которая может быстро анализировать подводные изображения сцены и генерировать полноцветную 3D-виртуальную версию той же сцены, которую можно детально изучить под любым углом и с любого расстояния.

Команда применила SeaSplat к множеству подводных сцен, включая снимки, сделанные в Красном море, в Карибском море у побережья Кюрасао и в Тихом океане недалеко от Панамы. Эти изображения, которые команда взяла из ранее существовавшего набора данных, представляют целый ряд мест в океане и водных условий. Они также протестировали SeaSplat на снимках, сделанных подводным роботом с дистанционным управлением на Виргинских островах США.

На основе изображений каждого океанского пейзажа SeaSplat создал трехмерный мир в натуральную величину, который исследователи смогли виртуально исследовать, например, увеличивая и уменьшая масштаб сцены и рассматривая определенные объекты с разных точек зрения. Даже при просмотре под разными углами и с разных расстояний они обнаружили, что объекты в каждой сцене сохраняют свой истинный цвет, а не выцветают, как это было бы при просмотре через настоящий океан.

"Как только он сгенерирует 3D-модель, ученый может просто "проплыть" сквозь модель, как если бы он нырял с аквалангом, и рассмотреть вещи в мельчайших деталях, в реальном цвете", - говорит Янг.

На данный момент этот метод требует значительных вычислительных ресурсов в виде настольного компьютера, который был бы слишком громоздким для перевозки на борту подводного робота. Тем не менее, SeaSplat мог бы работать для привязных операций, когда транспортное средство, привязанное к кораблю, может исследовать его и делать снимки, которые можно отправлять на корабельный компьютер.

"Это первый подход, который позволяет очень быстро создавать высококачественные 3D-модели с точными цветами под водой, а также быстро создавать их и рендерить", - говорит Гирдхар. "Это поможет количественно оценить биоразнообразие и оценить здоровье коралловых рифов и других морских сообществ".

Эта работа была частично поддержана Фондом инвестиций в науку WHOI и Национальным научным фондом США.