Восстановление 3D сцены по двумерным изображениям

Свяжитесь с нами

Технологии, способные воспринимать трехмерное пространство и ориентироваться в нем, всё глубже проникают в нашу жизнь. Самые популярные из них (AR, VR, промышленные роботы и беспилотные автомобили) активно применяются многими компаниями и становятся частью их бизнес-процессов.

В Digital Design мы знаем, что многие процессы контроля и отчетности крупных компаний построены на анализе данных: документации, банковских операций, баз данных. Однако все еще слабо подвержен анализу такой источник, как изображения, например фотоотчеты или записи камер наблюдения.

Именно поэтому мы приступили к развитию технологии обработки изображений и восстановлению исходной 3D-сцены по ним. Она поможет расширить границы доступных для контроля областей ведения бизнеса.

Перспективы применения

В хозяйстве и промышленности — при организации сложных систем учета и контроля на предприятии: измерении объемов сыпучих материалов, хранимых в ангарах, перевозимых в грузовиках и полувагонах, транспортируемых по лентам, контроле качества производимой продукции или используемых материалов (их формы и состава).

В сфере информационных технологий — при составлении трехмерных моделей различных объектов и работе с ними (AR, VR), конструировании и эксплуатации беспилотного транспорта и промышленной робототехники, разработке систем управления жестами.

В геодезии — при определении GPS-координат труднодоступных объектов, изучения местности, рельефа, пород и материалов.

Как это работает?

Structure from motion (SFM)

Алгоритм SFM позволяет восстанавливать трехмерные сцены по серии изображений объекта, сделанных из различных положений.

Этап 1. Нахождение особых точек.

Алгоритм SFM находит особые точки на каждом изображении. Каждая найденная точка имеет некое значение, которое остается неизменным при смещении особых точек и изменении освещения.

Восстановление 3D сцены по двумерным изображениям

Этап 2. Сопоставление особых точек.

Алгоритм проводит последовательное сравнение значений всех найденных особых точек для всех пар изображений.

Восстановление 3D сцены по двумерным изображениям

Этап 3. Восстановление.

Для восстановления трехмерной сцены определяется расположение камер в момент фиксации изображения в пространстве друг относительно друга относительно мировых координат.

Соотнесение значений особых точек с данными о положении камер в пространстве позволяют определить положение особых точек в трехмерном пространстве, то есть восстановить запечатленную на изображениях трехмерную сцену.

Восстановление 3D сцены по двумерным изображениям

Стереозрение

Для использования данного алгоритма необходимо фиксировать изображение одновременно с помощью двух камер, однако для воспроизведения трёхмерной модели будет достаточно одного изображения.

Этап 1. Калибровка системы.

Для качественного восстановления трехмерной сцены по одному изображению оборудование нуждается в предварительной калибровке. Она выполняется путем снятия изображений объекта с известной геометрией, например, шахматной доски.

Восстановление 3D сцены по двумерным изображениям
Восстановление 3D сцены по двумерным изображениям

Этап 2. Соотнесение координат пикселей на изображениях.

Изображения обрабатываются компьютером для поиска прямых, на которых происходит поиск соответствующих друг другу точек.

Восстановление 3D сцены по двумерным изображениям

Этап 3. Восстановление.

Система обрабатывает и рассчитывает разницу между координатами пикселей на левом изображении и соответствующими пикселями на правом изображении. Соотнеся результаты вычислений с данными от первичной калибровки, система моделирует трехмерную сцену, которая была зафиксирована на изображении.

Восстановление 3D сцены по двумерным изображениям
Преимущества

Structure from motion (SFM)

Алгоритм SFM позволяет определить координаты объекта в пространстве, его точную форму и состав, отследить изменения в объекте.

Стереозрение

Использование стереозрения помогает вычислить размер и объем объекта, скорость его движения и траекторию, распознавать предметы или жесты и классифицировать их.

Области использования алгоритмов

Structure from motion (SFM)

  • Составление трехмерных моделей различных объектов и работе с ними (AR, VR);
  • Контроль качества продукции и материалов;
  • Определение GPS координат труднодоступных объектов.

Стереозрение

  • Конструирование и эксплуатация беспилотного транспорта, промышленной робототехники;
  • Организация систем учета и контроля;
  • Работа с системами управления жестами.
Свяжитесь с нами!