Исследование и разработка оптико-электронной системы контроля деформаций протяженных объектов сложной формы методом последовательной привязки координат тема диссертации и автореферата по ВАК РФ 05.11.07, кандидат наук Петроченко Андрей Владимирович

• Петроченко Андрей Владимирович
• кандидат наук
• 2017

Оглавление диссертации кандидат наук Петроченко Андрей Владимирович

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ТРЕХМЕРНОГО МОНИТОРИНГА СТРОИТЕЛЬНЫХ КОНСТРУКЦИЙ

1.1 Пассивные методы

1.2 Активные методы

1.2.1 Светолучевой метод

1.2.2 Времяпролетные камеры

1.2.3 Структурированное освещение

1.3 Принцип действия систем, предназначенных для формирования трехмерных сцен

1.3.1 Математическая модель работы камеры-обскура

1.3.2 Принцип действия системы, основанной на методе стереосопоставления

1.3.3 Принцип действия системы, основанной на методе структурированного освещения

1.4 Направления и задачи диссертационного исследования

ГЛАВА 2. ИССЛЕДОВАНИЕ ПОГРЕШНОСТЕЙ ИЗМЕРЕНИЯ ОПТИКО-ЭЛЕКТРОННОГО СЕНСОРА И МЕТОДИКИ ИХ КОМПЕНСАЦИИ

2.1 Методики калибровки камер

2.1.1 Фотограмметрическая калибровка

2.1.2 Автоматическая калибровка

2.1.3 Автокалибровка с использованием калибровочного шаблона

2.2 Погрешности, вызванные дисторсией объектива

2.2.1 Радиальное искажение

2.2.2 Тангециальное искажение

2.2.3 Методика учета искажений

2.3 Погрешности, вызванные рефракцией атмосферы

2.4 Погрешности, вызванные внутренней рефракцией оптической системы

2.4.1 Матрица перемещения

2.4.2 Матрица преломления

2.4.3 Матрица отражения

2.4.4 Методика расчета хода луча через оптическую систему

2.5 Влияние погрешностей измерения на модель ОЭК

ГЛАВА 3. КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНОЕ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ МОНИТОРИНГА ДЕРФОРМАЦИЙ ПРОТЯЖЕННЫХ ОБЪЕКТОВ

3.1 Построение математической модели оптико-электронной системы

3.2 Методика определения пространственного положения камеры

3.3 Методика оценки глобальной ориентации камер, на основании взаимных попарных переходов

3.4 Экспериментальные исследования математической модели

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МАКЕТА ИЗМЕРИТЕЛЬНОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ

4.1 Принципиальная схема измерительной ОЭС

4.2 Структурная схема измерительной ОЭС

4.3 Описание макета измерительной оптико-электронной системы

4.4 Методика подготовки измерительной информации для построения математической модели

4.5 Методика проведения экспериментальных исследований

4.6 Результаты измерений и обработка экспериментальных данных

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

БО - базовый объект

ВЦ - визирная цель

ИК - измерительный канал

ОБ - объектив

ИС - измерительный сенсор

ИКС -излучающий светодиод инфракрасного диапазона

КМОП -комплементарный металл-оксид-полупроводник

МПОИ - матричный приемник оптического излучения

МОИ - модуль обработки информации

ОЭС - оптико-электронная система

УС - устройство сопряжения

НИР - научно-исследовательская работа

Введение диссертации (часть автореферата) на тему «Исследование и разработка оптико-электронной системы контроля деформаций протяженных объектов сложной формы методом последовательной привязки координат»

ВВЕДЕНИЕ

В настоящее время ведется строительство большого количества крупногабаритных, протяженных объектов сложной формы, таких как спортивные, торговые, развлекательные и прочие вместительные сооружения. Одним из направлений повышения эффективности строительства таких объектов является широкое применение конструкций, описывающих различные нелинейные формы.

Крупногабаритные протяженные сооружения различного назначения, как и многие другие объекты техногенной сферы, являются потенциально опасными в плане угрозы жизни людей со стороны возможных катастроф. Причинами опасных нарушений в функционировании объектов могут являться ошибки, допущенные на стадии конструирования, при строительстве или неправильной эксплуатации, а также вследствие влияния неблагоприятных природных факторов. Поэтому чрезвычайную актуальность приобретают измерительные системы, позволяющие в режиме реального времени осуществлять мониторинг технического состояния сооружений и тем самым предотвращать большие человеческие жертвы, экономические потери и угрозы окружающей среде.

Системы данного типа также применимы к задачам мониторинга пространственного положения буровых платформ, доков и других крупногабитных конструкций.

Одним из основных способов бесконтактного измерения расстояний и смещений является применение лазерных технологий, но их основной недостаток заключается в том, что при проведении замеров могут возникнуть ошибки, вызванные лазерным шумом (шумы детектировния, спекл-эффекты), а также свойствами отражения и рассеивания поверхности объекта мониторинга. Кроме того, приборы, существующие в данное время на рынке контрольно-измерительного оборудования, не могут быть применены для мониторинга точек вне прямой видимости, что говорит о необходимости создания распределенной оптико-электронной системы (ОЭС),

точность измерения которой не зависит от отражающих свойств контролируемой поверхности, а также от ее формы.

Указанные факторы подтверждают актуальность и важность темы диссертации.

Целью данной диссертационной работы является разработка и исследование принципов построения, методов расчета параметров и характеристик распределенной измерительной системы для трехмерного мониторинга пространственного положения протяженных объектов сложной формы в реальном времени, а также ее практическая реализация и экспериментальное исследование.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Рассмотреть и исследовать основные существующие методы и принципы построения трехмерного анализа.

2. Предложить принцип построения и структуру ОЭС для трехмерного мониторинга нелинейных строительных конструкций.

3. Разработать компьютерную модель распределенной ОЭС, исследовать ее характеристики и основные источники ошибок, влиящие на точность измерения.

4. На основе разработанной модели спроектировать и релизовать макет распределенной ОЭС и произвести ее экспериментальное исследование.

Во Введении обосновывается актуальность работы, осуществляется постановка направления исследования дисссертационной работы.

В Главе 1 производится сравнительный анализ существующих методов трехмерного мониторинга строительных конструкций, формулируется цель и задача диссертационной работы.

В Главе 2 анализируются основные погрешности измерения оптико-электронного сенсора и их влянияние на точность измерений, рассматриваются методики их компенсации.

В Главе 3 описываются принципы построения математической и компьютерной модели распределенной измерительной ОЭС, а также анализ основных характеристик.

В Главе 4 приводится описание макета и результатов его экспериментального исследования.

В Заключении делаются выводы о проделанной работе и приводятся ее результаты.

Основные положения, выносимые на защиту:

1. Оптико-электронная система, структура которой состоит из измерительных блоков, расположенных в контрольных точках объекта, каждый из которых включает группу измерительных каналов в составе пары сенсоров, фиксирующих изменение взаимного пространственного положения и принадлежащих смежным измерительным блокам позволяет осуществлять определение углового и линейного положения элементов несущих конструкций протяженных объектов сложной формы.

2. Теоретическая модель каждого сенсора, построенная на основе зависимостей центральной проекции с учётом коэффициентов дисторсии, найденных в результате калибровки по регулярному шаблону позволяет выполнить взаимную привязку всех сенсоров измерительного блока как узла распределенной ОЭС.

3. Погрешность распределённой ОЭС, реализующей метод последовательного определения взаимного положения измерительных блоков, может быть уменьшена при изменении пункта начальной привязки с изменением на противоположное направления построения последовательности опрашиваемых измерительных блоков.

Научная новизна работы заключается в том, что:

1. Разработаны новые принципы построения оптико-электронной системы на основе измерительных сенсоров, позволяющей выполнять мониторинг углового и линейного положения элементов несущих конструкций протяженных объектов нелинейной формы.

2. Установлены функциональные зависимости параметров измерительных сенсоров, полученные на основании разработанной математической модели и

характеристик исследуемой распределенной ОЭС, позволяющие определить пути улучшения её метрологических параметров.

Научная и практическая значимость результатов работы состоит в том, что:

1. Предложена методика расчета основных составляющих погрешности распределенной ОЭС мониторинга углового и линейного положения элементов протяжённых объектов.

2. Разработана обобщенная компьютерная модель распределенной ОЭС с промежуточными измерительными блоками, позволяющая оценить основные их пространственные характеристики.

3. Разработана методика инженерного расчёта параметров измерительного сенсора, образованного на их основе измерительного канала, а также измерительного блока как совокупности измерительных каналов.

4. Спроектирован и реализован макет распределенной ОЭС, исследование которого подтвердили возможность практической реализации систем трехмерного мониторинга нелинейных объектов с использованием промежуточных измерительных блоков.

Степень достоверности полученных результатов подтверждается хорошим совпадением результатов теоретических расчетов со значениями, полученными в результате компьютерного моделирования, а также экспериментального исследования макетов ОЭС.

По теме диссертации опубликовано 14 печатных работ, из них 2 статьи в изданиях из перечня, рекомендованного ВАК, 8 - в изданиях, включенных в систему цитирования Scopus.

Диссертационная работа состоит из введения, 4 глав, заключения, библиографического списка из 76 наименований, содержит 118 страниц основного текста, 59 рисунков.

Работа выполнена на кафедре «Оптико-электронные приборы и системы» Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики (Университет ИТМО) Министерства образования и науки Российской Федерации.

ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ТРЕХМЕРНОГО МОНИТОРИНГА СТРОИТЕЛЬНЫХ КОНСТРУКЦИЙ

При строительстве и обслуживании крупногабаритных [51, 52], либо протяженных объектов [53, 56] существует необходимость собирать и анализировать трехмерные данные о предельных отклонениях несущих конструкций с целью обеспечения безопасности и своевременного оповещения эксплуатационных служб в случае выявления таковых.

На сегодняшний день существуют два основных подхода к формированию трехмерных сцен, основанные на активном и пассивном захвате изображений.

Базовым и самым популярным методом трехмерной реконструкции на данный момент является мультипроекционной пассивный метод, поскольку для съемки последовательности перекрывающихся изображений сцены под естественным или искусственным освещением требуется в большинстве случаем единственная готовая камера (например, телевизионная). Трехмерная реконструкция выполняется путем идентификации общих признаков в наборе изображений, в связи с чем точность реконструкции зависит от качества изображений и текстур контролируемых объектов.

Активные методы для решения данного типа задач зависят от степени отражения и поглощения света контролируемой поверхности. Одним из основных активных методов восстановления трехмерной сцены является использование технологии структурированного освещения, позволяющего получить приемлемые результаты при оцифровке небольших объектов с близкого расстояния.

Основной целью данной главы является сравнение эффективности описанного выше активного метода с пассивным мультипроекционным методом. Информация, полученная в ходе сравнения, может быть использована при проектировании новой системы реконструкции трехмерных сцен, а также для сбора эталонных данных для сравнения с другими алгоритмами и методами.

Произведем краткий обзор трехмерных оптических методов, классифицируя их в соответствии с их подходами (пассивными и активными) и уделяя особое внимание

стереосистемам, основанным на проблемах сопоставления, которые могут быть решены за счет использования как активного, так и пассивного подхода.

1.1 Пассивные методы

Пассивные методы оптической визуализации для сбора трехмерных данных основаны на многократном захвате изображений сцены, снятых с различных точек зрения с использованием видео- или фотокамер согласно алгоритму стереосопоставления. Искусственные источники света (например, лампы и прожекторы) в данных методах используются только для освещения сцены, если это необходимо, и не используются в триангуляции для получения трехмерных данных. В частности, стереосистемы, использующие две цифровые откалиброванные камеры для захвата сцены, получили широкое применение в робототехнике для решения широкого спектра задач, таких как картографирование [1], локализация и сопровождение [2]. Методы «структура-от- движения» используются для восстановления сцены из последовательности перекрывающихся изображений, полученных одной движущейся камерой, например, формирование подстилающей земной поверхности при полете беспилотного летательного аппарата (БЛА). Процесс основан на автоматическом извлечении интересующих объектов (редкий набор функций, таких как углы), отслеживании этого редкого набора признаков по последовательности изображений и оценке их трехмерных позиций с использованием нескольких проекций данного объекта на изображениях.

Алгоритмы стереосопоставления обычно классифицируются на основе того, используют они локальные или глобальные методы [3]. Обе категории основаны на некоторых ограничениях, используемых для решения проблемы сопоставления точек интереса: ограничение подобия, эпиполярное ограничение, ограничение уникальности, ограничение непрерывности и ограничение порядка. Локальные алгоритмы (основанные на окнах и либо отличительных особенностях) обеспечивают соблюдение этих ограничений на ограниченном числе пикселей, которые окружают пиксель, который должен быть сопоставлен. Глобальные алгоритмы накладывают

ограничения либо на всю эпиполярную линию, проходящую через пиксель, либо на все изображение. Локальные алгоритмы обычно быстрее, чем глобальные, и больше подходят для аппаратной (real-time) реализации, но в большинстве случаев не превосходят глобальные по точности.

1.2 Активные методы

Активный подход включает в себя проецирование последовательности структурных шаблонов света на измеряемую сцену [4, 5], которые затем захватываюся камерой. Вследствие чего сопоставление точек выполняется автоматически, потому что каждый точечный объект однозначно определяется проецируемым шаблоном. К разновидностям активных относятся следующие методы: «лист света» (SOL), времяпролетные камеры, структурированное освещение. Общее описание этих методов приведено далее.

1.2.1 Светолучевой метод

Метод SOL (от англ. Sheet of Light) основан на триангуляции, по своему подходу аналогичному методу стереозрения, но вместо использования двух камер SOL использует одну камеру и один лазерный источник света. Источник света формирует лучи, расположенные в одной плоскости или на одном листе, отсюда и его название -«лист света». Самый простой способ формирования таких лучей - использовать лазер с точечным рассеиванием и пропускать его сквозь цилиндрическую линзу (рисунок 1.1). Узкий луч при прохождении через цилиндрическую линзу будет преобразован в узкий треугольный лист.

Рисунок 1.6 - Реализация метода SOL

В настоящее время существует специальная оптика, которая имеет возможность выполнять данное преобразование для получения высококачественного листа (узкого и плоского с однородной интенсивностью). Световой лист сначала направляется на объект, формируя типичную яркую линию на этом объекте, затем детектируется его местоположение на изображении. Зная местоположение и ориентацию светового листа относительно местоположения и ориентации камеры, не составляет труда восстановить пространственные координаты видимой части этой линии (с использование триангуляции). Для того чтобы произвести полную реконструкцию всего объекта следует повторять одно и тоже действие, сдвигая систему вдоль объекта на короткое расстояние.

1.2.2 Времяпролетные камеры

Времяпролетные камеры или TOF (от англ. Time of Flight) являются самым молодым методом из вышеперечисленных [6,7,8]. TOF камеры использует принцип измерения времени, необходимого для прохождения света от камеры к объекту и обратно к камере. Так как для прохождения света в воздухе на расстоянии 1м требуется около 3,3 нс, то электроника, используемая для обработки этого «прохождения», должна быть очень быстрой. В следствии чего, электроника, управляющая светодиодной подсветкой, и электроника, отвечающая за обработку

сигнала, должна быть определенным образом совмещена со специализированными КМОП чипами. Развитие технологий позволило реализовать данную технологию на практике. Принцип действия систем данного типа основан на методах, используемых в лидарах, но вместо необходимости сканирования одного лазерного луча и использования одного детектора, TOF использует матричный датчик и источник излучения, освещающий и фиксирующий полную сцену за один такт (рисунок 1.2). Таким образом, TOF устраняет необходимость сканирования, присущую системам, основанным на SOL методах.

Рисунок 1.7 - Принцип действия TOF-камеры

Источником освещения для TOF обычно является светодиод ближнего инфракрасного диапазона, в следствии чего TOF способен измерять расстояния до различных объектов в сцене (3D), а также генерировать изображения в оттенках серого (2D).

1.2.3 Структурированное освещение

Реализация данного метода очень похожа на SOL, но вместо использования светового листа применяется проектор (обычно DLP), который проецирует полосы (чередуя светлые и темные) на объект. В основе методов данного типа лежит обнаружение деформации прямых линий [9], вызванных формой объекта. Как и в

случае с методом SOL для построения трехмерной сцены используется триангуляция. Одним из преимуществ использования DLP - проектора, по сравнению с SOL, является то, что проектор способен проецировать практически любой шаблон на объект и не требует перемещения системы вдоль объекта, как того требует метод SOL. Из-за той гибкости, которую предоставляет DLP-проектор, методы структурированного освещения позволяют использовать более сложные шаблоны для проецирования, чем просто линии, которые характеризуют форму контролируемого объекта.

Проецирование широких светлых и темных полос позволяет получить первое приближение о форме объекта, а постепенное систематическое увеличение количества полос, равномерно распределенных по объекту, позволяет увеличить пространственное разрешение до требуемого.

Применение более сложных проецируемых шаблонов при структурированном освещении и алгоритмов их обнаружения в определенных условиях дает возможность добиться субпиксельной точности.

1.3 Принцип действия систем, предназначенных для формирования трехмерных сцен

В качестве абстрактной модели камеры, описывающей геометрию оптического устройства, используется камера-обскура (pinhole camera). Данная модель камеры может быть использована в системах, основанных на пассивных и активных методах. Далее рассмотрим математическую модель работы камеры более подробно.

1.3.1 Математическая модель работы камеры-обскура

Рассматривая перспективную проекцию объекта w (рисунок 1.3) c координатами Хс = [Хс, Yc, ZC]T в системе координат камеры на плоскость изображения I с координатами х = [хи,уи]т, получим

(1.1)

f

x=z

■хс

Ус.

где f - фокусное расстояние камеры.

Рисунок 1.8 - Модель камеры-обскура На рисунке 1.3 точка изображения х = (хи,уи) трехмерной точки w, является точкой пересечения оптического луча, проходящего через оптический центр Ос, и плоскостью изображения I на расстоянии, равном фокусному расстоянию f.

Для того чтобы связать Хс с координатами Хм = [Хм,Ум,2м]т в мировой системе координат воспользуемся преобразованием (1.2):

= ЯХм + 1 (1.2)

где Я - матрица поворота, а t - вектор смещения.

Произведя перевод координат векторов х,Хс,Хм в однородные координаты, представим уравнения (1.1) и (1.2) в матричной форме:

х = РХ„ (1.3)

где Р - матрица проективного преобразования, представляющая собой параметры геометрической модели камеры. В реальной камере оптическая система вносит искажения (радиальные и тангенциальные), которые необходимо учитывать при построении математической модели. Таким образом реальные (искаженные)

\Т

координаты изображения хй = [хй,уй]1 связаны с идеальными (неискаженными)

координатами изображения х = [хи,уи]т через следующее соотношение:

ха=хи + кх (хи, уи), Уа=Уи + ку (хи, уи) (1.4)

где кх{хи,уи), ку(хи,уи) - коэффициенты искажения.

В завершении следует учесть, что цифровая камера производит измерения в пикселах посредством аффинного преобразования, которое учитывает сдвиг главной точки и масштабирование вдоль оси и и V в плоскости изображения:

хй , Уа , (1 5)

и = ^— + и0, V = Б— + У0 К ■ '

их и.у

где б - масштабный коэффициент, (и0, у0) - местоположение главной точки в пиксельных координатах, (йХ) - размер пиксела в направления и и V соответственно.

1.3.2 Принцип действия системы, основанной на методе стереосопоставления Предположим, что два изображения получены с двух различных точек зрения, тогда стереосопоставление позволяет идентифицировать соответствующие точки на обоих изображениях, связанных с одной и той же точкой сцены (рисунок 1.4). Зная данные соответствия и геометрию камер, возможно произвести расчет трехмерных мировых координат, основанный на триангуляции [10].

Рисунок 1.9 - Эпиполярная геометрия. Точки Ш1 и тг, расположенные на левом и правом изображениях соответственно, являются проекциями на плоскости изображений и 1Г одной и той же трехмерной точки w объекта. Пересечения линии (Ог, Ог) (базовой линии) с каждой плоскостью изображения называются эпиполисами (ег и ег). Линии и 1Г называются эпиполярными линиями (пересечение эпиполярной плоскости р (0Ь 0Г, w) с двумя плоскостями изображения).

При заданной точке т1 на левом изображении соответствующая точка тг на правом изображении ограничена эпиполярной линией (эпиполярная связь). Используя теорию перспективной проекции (уравнение 1.3), координаты соответствующих точек т1 и тг можно определить через соотношение:

Щ = р1хш (1.6)

где Р1 и Рг - матрицы проективного преобразования левой и правой камеры соответственно.

Учитывая, что точка т] (сопоставленная с точкой тг) лежит на эпиплярной прямой 1], имеет место следующее соотношение (уравнение Лонге-Хиггинса):

т^тг = 0 (1.7)

где F - фундаментальная матрица, полученная в процессе калибровки стереопары, и зависящая от эпиполярной геометрии и двух матриц перспективного преобразования.

Уравнение (1.7) имеет линейное решение с точностью до масштаба при наличии как минимум восьми сопоставленных между собой точе, в частности, при наличии более чем восьми сопряженных точек решение может быть найдено с использованием метода наименьших квадратов. Таким образом, при наличии фундаментальной матрицы F может быть найдена пара матриц проективного преобразования.

Учитывая известную пару матриц перспективного преобразования камер и пары точек т1 и тг, которые удовлетворяют эпиполярному ограничению, можно вычислить трехмерную координату точки ш при помощи триангуляции. В этом случае нахождение пересечения оптических лучей, соответствующих двум сопоставленным точкам т1 и тг, сводится к решению системы уравнений. Если представить матрицу Рг в виде строк, то уравнение перспективной проекции примет следующую форму:

(1.8)

Щ =

' т Рь т

Р12

т Ри

Затем, преобразуя координаты точки т.1 в координаты левого изображения , получим следующую систему уравнений:

' _ р!™ (1.9)

щ = —у ,

р13™

т

р[2™

VI

Уравнение (1.9) представляет собой уравнение перспективной проекции уравнения (1.3) в декартовых координатах. Аналогичным образом выводится система уравнений для сопряженной правой точки изображения тг. На основании полученных систем уравнений формируется система уравнений вида А\м = 0, которая может быть решена методом наименьших квадратов для вычисления трехмерных мировых координат точки ш, учитывая координаты пары соответствующих точек Ш1 и тг.

Для того чтобы упростить поиск соответствующих точек, изображения обычно выравнивают (эпиполярное выравнивание), располагая стереопару в такую конфигурацию, чтобы оба эпиполиса располагались в бесконечности, а эпиплоярные линии образовывали набор параллельных линий как на левом, так и на правом изображении. В этом случае каждая пара соответствующих точек должна лежать на одной и той же строке изображения (строка развертки), так чтобы проблема соответствия сводилась к одномерному поиску вдоль каждой эпиполярной линии.

Несоответствие, которое определяет глубину сцены, определяется как расстояние между х-координатами или парой соответствующих точек на левом и правом (выравненных) изображениях. Нахождение пары сопряженных точек не всегда имеет тривиальное решение, так как изображения сцены, захватываемые с разных точек зрения, имеют радиометрические и перспективные искажения, приводящие к ложным соответствиям.

Для вычисления внутренних параметров каждой камеры (фокусное расстояние, координаты главных точек, радиальные и тангенциальные искажения, размер пикселя) и внешние параметры (сдвиг и поворот относительно мировой системы координат) камеры и стереосистемы необходима процедура калибровки [11].

1.3.3 Принцип действия системы, основанной на методе структурированного освещения

Активный метод, рассматриваемый в данном разделе, основан на кодировании набора черно-белых шаблонов, проецируемых на объект через цифровой проектор [12]. В частности, техника использования кодирования в оттенках серого может обеспечить более эффективное сопоставление между соответствующими точками в стереопаре. Объект освещается набором из п закодированных по времени шаблонов черно-белых полос с постепенно уменьшающейся шириной так, что п изображений захватывается каждой камерой. Двоичный код (п бит) присваивается каждой точке изображения, а значения 0 и 1 связаны с уровнями интенсивности, то есть 0 = черный и 1 = белый (рисунок 1.5), что позволяет кодировать 2п — 1 строк, определяемых как пересекающиеся зоны между белой и черной полосами.

Рисунок 1.10 - (слева): Триангуляция стерео системы, состоящей из двух камер и проектора. Точки тг и тг являются проекцией одного и того же трехмерного объекта w на плоскости изображений двух камер. (Справа): примеры двоичных шаблонов и смещение кода.

Данная процедура позволяет автоматически кодировать каждую точку поверхности объекта. В случае, если кодирование производится в оттенках серого, то кодирование осуществляется при использовании паттерна из восьми вертикальных и восьми горизонтальных шаблонов (8-битный код). Таким образом, если разрешение проектора будет составлять 800x600 точек, то кодирование может быть осуществлено для 799 строк х 599 строк = 478 601 элементов. Полагая, что проектор используется только для установления соответствий, калибровка оптики не требуется. В отличие от традиционных пассивных подходов, этот метод не полагается на изображения с сопоставляемыми текстурами, потому что каждая точка на поверхности объекта точно идентифицируется двоичным кодом.

Внутренние и внешние параметры камеры получают путем сопоставления координат п известных точек , расположенных на калибровочном образце, с соответствующими координатами т^ = [и^у^] на плоскости изображения. Записывая уравнение (1.9) в матричной форме для заданного набора из п известных точек, получим:

,т л .. ,.,п

w( 0 -UiWjf

rp rp

_ 0 -w( ViW(

Pi

Р2

P3.

(1.10)

= 02x1

Получаем набор из 2n однородных линейных уравнений, которые можно решить методом наименьших квадратов. Теоретически для вычисления матрицы Р достаточно шести некомпланарных точек, но на практике, для компенсации ошибок измерений, вызванных различными шумами на изображении, требуется гораздо большее количество точек. Данный метод имеет название «прямое линейное преобразование» или DLT (от англ. Direct Linear Transformation) [13]. Данный метод минимизирует алгебраическую ошибку с использованием упрощенной модели камеры, приводя тем самым к менее точным результатам измерений.

Список литературы диссертационного исследования кандидат наук Петроченко Андрей Владимирович, 2017 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

[1] Allais, A.G.; Brandou, V.; Dentrecolas, S.; Gilliotte, J.P.; Perrier, M. Iris - A Vision System to Reconstruct Natural Deep-Sea Scenes in 3D. In Proceedings of the Seventeenth International Offshore and Polar Engineering Conference, Lisbon, Portugal, 1-6 July 2007; pp. 111-118.

[2] Corke, P.; Detweiler, C.; Dunbabin, M.; Hamilton, M.; Rus, D.; Vasilescu, I. Experiments with Underwater Robot Localization and Tracking. In Proceedings of the IEEE International Conference on Robotics and Automation, Roma, Italy, 10-14 April 2007.

[3] Scharstein, D.; Szeliski, R. A taxonomy and evaluation of dense two frame stereo correspondence algorithms. Int. J. Comput. Vision 2002, 47, 7-42.

[4] Kuss A., Dietz T. (2017) Method for 3D measurement and evaluation of joint geometries for adaptive robotic arc welding in the automotive industry. In: Bargende M., Reuss HC., Wiedemann J. (eds) 17. Internationales Stuttgarter Symposium. Proceedings. Springer Vieweg, Wiesbaden

[5] L. Silvestri, M. C. Mullenbroich, I. Costantini, A. P. Di Giovanna, L. Sacconi, and F. S. Pavone, "Fast, Image-based Autofocus System for High-resolution Optical Microscopy of Whole Mouse Brains," in Optics in the Life Sciences Congress, OSA Technical Digest (online) (Optical Society of America, 2017), paper JTu4A.8.

[6] Henry, P.; Krainin, M.; Herbst, E.; Ren, X.; Fox, D. RGB-D mapping: Using kinect-style depth cameras for dense 3D modeling of indoor environments. Int. J. Robot. Res. 2012, 31, 647-663.

[7] Brachmann, E.; Krull, A.; Michel, F.; Gumhold, S.; Shotton, J.; Rother, C. Learning 6D Object Pose Estimation Using 3D Object Coordinates; Springer: Heidelberg, Germany, 2014; Volume 53, pp. 151-173.

[8] A. Fornaser, P. Tomasin, M. De Cecco, M. Tavernini, M. Zanetti, Automatic graph based spatiotemporal extrinsic calibration of multiple Kinect V2 ToF cameras, In Robotics and Autonomous Systems, 2017, ISSN 0921-8890, https: //doi.org/10.1016/j .robot.2017.09.007.

[9] Zhigang Wang, Ke Zhang, Yixin Chen, Zhifeng Luo, Jian Zheng, A real-time weld line detection for derusting wall-climbing robot using dual cameras, In Journal of Manufacturing Processes, Volume 27, 2017, Pages 76-86, ISSN 1526-6125, https://doi.org/10.1016/jjmapro.2017.04.002.

[10] Hartley, R.; Zisserman, A. Multiple View Geometry in Computer Vision; Cambridge University Press: Cambridge, UK, 2000; p. 655.

[11] Bouguet, J. Camera Calibration Toolbox for Matlab, 2015. Available online http://www.vision.caltech.edu/bougueti/calib doc/

[12] Barone, S.; Razionale, A.V. A reverse engineering methodology to capture complex shapes. In Proceedings of XVI International Congress of Engineering Graphics (INGEGRAF), Zaragoza, Spain, 2-4 June 2004; pp. 1-10.

[13] Abdel-Aziz, Y.I.; Karara, H.M. Direct Linear Transformation from Comparator Coordinates into Object Space Coordinates in Close-Range Photogrammetry. In proceedings of the Symposium on Close-Range Photogrammetry, Falls Church, VA, YSA, 1971; pp. 118.

[14] Salvi, J.; Armangue, X.; Battle, J.A. Comparative review of camera calibrating methods with accuracy evolution. Pattern Recognit. 2004, 35, 1617-1635.

[15] O. Faugeras, T. Luong, and S. Mayback, Camera Self-Calibration: Theory and Experiments, Proc Second European Conf. Computer Vision, pp. 321-334, May, 1992.

[16] O. Faugeras, G. Toscani, The Calibration Problem for Stereo, Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 15-20, June, 1986.

[17] S. Ganapathy, Decomposition of Transformation Matrices for Robor Vision, Pattern Recognition Letters, vol. 2, pp. 401-412, Dec. 1984.

[18] D. Gennery, Stereo-Camera Calibration, Proc. 10th Image Understanding Workshop, pp. 101-108, 1979.

[19] D.C. Brown, Close-Range Camera Calibration, Photogrammetric Eng., vol. 37, no. 8, pp. 855-866, 1971.

[20] B.Carpile and V.Torre, Using Vanishing Points for Camera Calibration, Int'l Computer Vision, vol. 4, no. 2, pp.127-140, Mar. 1990.

[21] W. Fraig, Calibration of Close-Range Photogrammetry Systems: Mathematical Formulation, Photogrammetric Eng. and Remote Sensing, vol. 41, no. 12, pp. 1479-1486, 1975.

[22] S.J Maybank and O.D. Faugeras, A theory of Self-Calibration of a Moving Camera, Int'l J. Computer Vision, vol. 8, no. 2, pp. 123-152, Aug. 1992.

[23] R.Y. Tsai, A Versatile Camera Calibration Technique for High-Accuracy 3d Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses, IEEE J. Robotics and Automation, vol. 3, no. 4, pp. 323-344, Aug. 1987.

[24] G. Wei and S. Ma, A Complete Two-Plane Camera Calibration Method and Experimental Comparisons, Proc. Fourth Int'l Conf. Computer Vision, pp. 439-446, May, 1993.

[25] J. Weng, P. Cohen and M. Herniou, Camera Calibration and Distortion Models and Accuracy Evaluation, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 14, no. 10, pp. 965-980, Oct. 1992.

[26] O. Faugeras, Three-Dimensional Computer Vision: A Geometric Viewpoint. MIT Press, 1993.

[27] G.Stein, Accurate Internal Camera Calibration Using Rotation, with Analysis of Sources of Error, Proc. Fifth Int'l Conf. Computer Vision, pp. 230-236, June 1995.

[28] Q.-T. Luong and O. Faugeras, Self-Calibration of a Moving Camera from Point Correspondences and Fundamental Matrices, Int'l J. Computer Vision, vol. 22, no. 3, pp. 261-289, 1997.

[29] Q.-T. Luong, Matrice Fondamentale et Calibration Visuelle sur l'Environnement-Vers une plus Grande Autonomie des Systemes Robotiques, PhD thesis, Universite de Paris-Sud, Center d'Orsay, Dec. 1992.

[30] R.I. Hartley, An Algorithm for Self-Calibration from Several Views, Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 908-912, June 1994.

[31] S. Bougnoux, From Projective to Euclidean Space under any Practical Situation, a Criticism of Self-Calibration, Proc. Sixth Int'l Conf. Computer Vision, pp. 790-796, Jan. 1998.

[32] D. Liebowitz and A. Zisserman, Metric Rectification for Perspective Images of Planes, Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 482-488, June 1998.

[33] G. Golub and C. van Loan, Matrix Computations, Baltimore: Jonh Hopkins Univ. Pres, third ed. 1996.

[34] J. Semple and G. Kneebone, Algebraic Projective Geometry, Oxford: Clarendon Press, 1952.

[35] Z. Zhang, A Flexible New Technique for Camera Calibration, Technical Report MSR-TR-98-71, Microsoft Research, Dec. 1998.

[36] J. More, The Levenberg-Marquardt Algorithm, Implementation, and Theory, Numerical Analysis, G.A. Watson, ed., Springer-Verlag, 1977.

[37] Horn, B. K. P., Hidden, H. M., & Negahdaripour, S. Closed form solution of absolute orientation using orthonormal matrices, Journal of the Optical Society of America, 5(7), 1127-1135, 1988.

[38] Arun K.S., Huang T.S., & Blostein S.D. Lease-squares fitting of two 3D points sets. IEEE Transactions on Pattern Analysis and Machine Intelligence, 9(5), 698-700, 1987.

[39] Umeyama S. Lease-squares estimation of transformation parameters between two point patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(4), 1991.

[40] Kipnis A., Shamir, A. Cryptanalysis of the HFE public key cryptosystems by relinearization. In Advances in cryptology - CRYPTO'99 (Vol. 1666/1999, pp. 19-30), Berlin, Springer, 1999.

[41] V. Lepetit, F. Moreno-Noguer and P. Fua. EPnP: An Accurate O(n) Solution to the PnP Problem, in International Journal Of Computer Vision, vol. 81, p. 155-166, 2009.

[42] D. Martinec and T. Padjla, Robust rotation and translation estimation in multiview reconstruction. In CVPR, 2007.

[43] K. Fan and A.J. Hoffman, Some metric inequalities in the space of matrices, Proceedings of the American Mathematical Society, vol. 6, no. 1, pp. 111-116, 1955.

[44] A. Sobral, A. Vacavant. "A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos". Computer Vision and Image Understanding, CVIU 2014, 2014.

[45] A. Shahbaz, J. Hariyono, K. Jo, "Evaluation of Background Subtraction Algorithms for Video Surveillance", FCV 2015, 2015.

[46] Y. Xu, J. Dong, B. Zhang, D. Xu, "Background modeling methods in video analysis: A review and comparative evaluation', CAAI Transactions on Intelligence Technology, pages 43-60, Volume 1, Issue 1, January 2016.

[47] Петроченко А.В. - Автоматическая взаимная привязка разноспектральных изображений. В кн.: Комплексы с беспилотными летательными аппаратами. Робототехнические комплексы на основе БЛА. М: Радиотехника, 2016. - C. 636-644.

[48] Петроченко А.В. - Мультипроекционные системы обработки последовательности изображений для формирования геопростраственной информации о подстилающей поверхности. В кн.: Комплексы с беспилотными летательными аппаратами. Робототехнические комплексы на основе БЛА. М: Радиотехника, 2016. - C. 644-660.

[49] Petrochenko A.V., Konyakhin I.A. Method of constructing a system of optical sensors for mutual orientation of industrial robots for monitoring of the technosphere objects // Studies in Systems, Decision and Control - 2017, Vol. 95, pp. 105-116.

[50] Petrochenko A.V., Konyakhin I.A. Investigation of the relative orientation of the system of optical sensors to monitor the technosphere objects // Proceedings of SPIE - 2017, Vol. 10329, pp. 103294H.

[51] Konyakhin I.A., Vasilev A.S., Petrochenko A.V. Electrooptic Converter for Measuring Linear Shifts of the Section Boards at the Main Dish of the Radiotelescope // Studies in Systems, Decision and Control - 2016, Vol. 49, pp. 269-277.

[52] Konyakhin I.A., Stepashkin I.S., Petrochenko A.V. System of the optic-electronic

sensors for control position of the radio telescope elements // Proceedings of SPIE - 2016, Vol. 9899, pp. 989934.

[53] Konyakhin I.A., Petrochenko A.V., Tolochek N.S. Optic-electronic systems for measurement a position of radio-telescope components // Proceedings of SPIE - 2015, Vol. 9446, pp. 94460M.

[54] Petrochenko A.V., Konyakhin I.A. Investigation of a mathematical model of the system of electro-optical sensors for monitoring nonlinear surfaces // Proceedings of SPIE - 2015, Vol. 9526, pp. UNSP 95261H.

[55] Petrochenko A.V., Konyakhin I.A. Remote optoelectronic sensors for monitoring of nonlinear surfaces // Proceedings of SPIE - 2015, Vol. 9506, pp. 950626

[56] Konyakhin I.A., Petrochenko A.V., Tolochek N.S. Optic-electronic system for deformation of radio-telescope counter-reflector computer modeling // Proceedings of SPIE

- 2014, Vol. 9131, pp. 91311O.

[57] Петроченко А.В. Исследование оптико-электронной системы контроля деформаций нелинейных поверхностей // Сборник тезисов докладов конгресса молодых ученых (III Всероссийский конгресс молодых ученых, 8-11апреля 2014г.) -2014. - № 2. - С. 115-116.

[58] Петроченко А.В. Исследование алгоритмов параллельной обработки данных для распределенной многоканальной оптико-электронной системы определения пространственных координат// Сборник тезисов докладов конгресса молодых ученых.

- Выпуск 2. Труды молодых ученых. - СПб: НИУ ИТМО. - 2013. - С. 124-125.

[59] Петроченко А.В. Исследование алгоритмов параллельной обработки изображений на матричном анализаторе // Сборник тезисов докладов конгресса молодых ученых. - Выпуск 2. Труды молодых ученых. - СПб: НИУ ИТМО. - 2012. -С. 101-102.

[60] Петроченко А.В., Коняхин И.А. Исследование методов повышения эффективности действия оптико-электронных систем//Труды X Международной конференции ПРИКЛАДНАЯ 0ПТИКА-2012 15-19 октября 2012 года, секция 1

Оптическое приборостроение - 2013. - С. 151-151

[61] Соломатин В.А. Системы контроля и измерения с многоэлементными приемниками.- М.: Машиностроение, 1992 - 128 с.