Восстановление 3D-сцены по двумерным изображениям

Свяжитесь с нами

Технологии, способные воспринимать трехмерное пространство и ориентироваться в нем, всё глубже проникают в нашу жизнь. Самые популярные из них (AR, VR, промышленные роботы и беспилотные автомобили) активно применяются многими компаниями и становятся частью их бизнес-процессов.

В Digital Design мы знаем, что многие процессы контроля и отчетности крупных компаний построены на анализе данных: документации, банковских операций, баз данных. Однако все еще слабо подвержен анализу такой источник, как изображения, например фотоотчеты или записи камер наблюдения.

Именно поэтому мы приступили к развитию технологии обработки изображений и восстановлению исходной 3D-сцены по ним. Она поможет расширить границы доступных для контроля областей ведения бизнеса.

Перспективы применения

В хозяйстве и промышленности — при организации сложных систем учета и контроля на предприятии: измерении объемов сыпучих материалов, хранимых в ангарах, перевозимых в грузовиках и полувагонах, транспортируемых по лентам, контроле качества производимой продукции или используемых материалов (их формы и состава).

В сфере информационных технологий — при составлении трехмерных моделей различных объектов и работе с ними (AR, VR), конструировании и эксплуатации беспилотного транспорта и промышленной робототехники, разработке систем управления жестами.

В геодезии — при определении GPS-координат труднодоступных объектов, изучения местности, рельефа, пород и материалов.

Как это работает?

Structure from motion (SFM)

Алгоритм SFM позволяет восстанавливать трехмерные сцены по серии изображений объекта, сделанных из различных положений.

Этап 1. Нахождение особых точек.

Алгоритм SFM находит особые точки на каждом изображении. Каждая найденная точка имеет некое значение, которое остается неизменным при смещении особых точек и изменении освещения.

Восстановление 3D сцены по двумерным изображениям

Этап 2. Сопоставление особых точек.

Алгоритм проводит последовательное сравнение значений всех найденных особых точек для всех пар изображений.

Этап 3. Восстановление.

Для восстановления трехмерной сцены определяется расположение камер в момент фиксации изображения в пространстве друг относительно друга относительно мировых координат.

Соотнесение значений особых точек с данными о положении камер в пространстве позволяют определить положение особых точек в трехмерном пространстве, то есть восстановить запечатленную на изображениях трехмерную сцену.

Стереозрение

Для использования данного алгоритма необходимо фиксировать изображение одновременно с помощью двух камер, однако для воспроизведения трёхмерной модели будет достаточно одного изображения.

Этап 1. Калибровка системы.

Для качественного восстановления трехмерной сцены по одному изображению оборудование нуждается в предварительной калибровке. Она выполняется путем снятия изображений объекта с известной геометрией, например, шахматной доски.

Этап 2. Соотнесение координат пикселей на изображениях.

Изображения обрабатываются компьютером для поиска прямых, на которых происходит поиск соответствующих друг другу точек.

Этап 3. Восстановление.

Система обрабатывает и рассчитывает разницу между координатами пикселей на левом изображении и соответствующими пикселями на правом изображении. Соотнеся результаты вычислений с данными от первичной калибровки, система моделирует трехмерную сцену, которая была зафиксирована на изображении.

Преимущества

Structure from motion (SFM)

Алгоритм SFM позволяет определить координаты объекта в пространстве, его точную форму и состав, отследить изменения в объекте.

Стереозрение

Использование стереозрения помогает вычислить размер и объем объекта, скорость его движения и траекторию, распознавать предметы или жесты и классифицировать их.

Области использования алгоритмов

Structure from motion (SFM)

Составление трехмерных моделей различных объектов и работе с ними (AR, VR);
Контроль качества продукции и материалов;
Определение GPS координат труднодоступных объектов.

Стереозрение

Конструирование и эксплуатация беспилотного транспорта, промышленной робототехники;
Организация систем учета и контроля;
Работа с системами управления жестами.

Частые вопросы

Какова скорость работы алгоритмов восстановления трехмерной сцены?

Использование алгоритма SFM в среднем занимает 30 секунд, алгоритм стереозрения — 3 секунды. SFM требует большего времени, так как выполняет ряд дополнительных задач: автоматическую калибровку камеры, решение задачи Perspective-n-Point (PnP), поиск и сопоставление особых точек и триангуляцию точек. При использовании алгоритмов стереозрения основная работа выполняется на этапе ручной калибровки.

Существуют ли другие способы восстановления 3D-сцены?

Помимо рассмотренных алгоритмов существуют способы восстановления, не использующие эффект параллакса:

shape from shading — восстановление трехмерной сцены по одному изображению, основанное на законе рассеяния Ламберта);
shape from focus — восстановление по ряду изображений, снятых с одной точки, но с различной фокусировкой: на основе разницы в резкости объектов измеряется расстояние до них;
лазерная триангуляция — освещение объекта лазерным лучом, регистрации излучения, отраженного от объекта, с помощью регистрирующего оборудования.

В чем заключается преимущество алгоритмов на основе эффекта параллакса?

Преимущество алгоритмов, основанных на эффекте параллакса, заключается в более высокой точности итоговой 3d-сцены и большей доступности требуемого аппаратного оборудования.

Какое место в решении промышленных задач занимает применение алгоритмов SFM или стереозрения?

Рассмотренные выше алгоритмы направлены на восполнение потерянной информации, а их применение является одним из этапов восстановления трехмерной сцены. Помимо непосредственного восстановления применяются различные алгоритмы предобработки (включая фильтрацию изображений, выделение области интереса, выявление объектов) и постобработки восстановленной сцены (например, расчет объема).

Свяжитесь с нами!

Я ознакомлен(а) с условиями политики в отношении обработки персональных данных и даю согласие на обработку персональных данных