Федеральное государственное автономное образовательное учреждение высшего
образования «Санкт-Петербургский национальный исследовательский университет
информационных технологий, механики и оптики»
На правах рукописи
Петроченко Андрей Владимирович
ИССЛЕДОВАНИЕ И РАЗРАБОТКА ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ
КОНТРОЛЯ ДЕФОРМАЦИЙ ПРОТЯЖЕННЫХ ОБЪЕКТОВ СЛОЖНОЙ
ФОРМЫ МЕТОДОМ ПОСЛЕДОВАТЕЛЬНОЙ ПРИВЯЗКИ КООРДИНАТ
05.11.07 - Оптические и оптико-электронные приборы и комплексы
Диссертация на соискание ученой степени
кандидата технических наук
Научный руководитель
д.т.н, профессор
Коняхин И.А.
Санкт-Петербург – 2017
2
СОДЕРЖАНИЕ
ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ ................................................................................. 4
ВВЕДЕНИЕ ........................................................................................................................... 5
ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ТРЕХМЕРНОГО
МОНИТОРИНГА СТРОИТЕЛЬНЫХ КОНСТРУКЦИЙ............................................... 10
1.1
Пассивные методы................................................................................................ 11
1.2
Активные методы ................................................................................................. 12
1.2.1 Светолучевой метод .......................................................................................... 12
1.2.2 Времяпролетные камеры .................................................................................. 13
1.2.3 Структурированное освещение ....................................................................... 14
1.3
Принцип действия систем, предназначенных для формирования трехмерных
сцен 15
1.3.1 Математическая модель работы камеры-обскура ......................................... 15
1.3.2 Принцип действия системы, основанной на методе стереосопоставления 17
1.3.3 Принцип действия системы, основанной на методе структурированного
освещения ..................................................................................................................... 21
1.4
Направления и задачи диссертационного исследования ................................. 23
ГЛАВА 2. ИССЛЕДОВАНИЕ ПОГРЕШНОСТЕЙ ИЗМЕРЕНИЯ ОПТИКОЭЛЕКТРОННОГО СЕНСОРА И МЕТОДИКИ ИХ КОМПЕНСАЦИИ ....................... 25
2.1
Методики калибровки камер ............................................................................... 26
2.1.1 Фотограмметрическая калибровка .................................................................. 26
2.1.2 Автоматическая калибровка ............................................................................ 26
2.1.3 Автокалибровка с использованием калибровочного шаблона .................... 27
2.2
Погрешности, вызванные дисторсией объектива ............................................. 31
2.2.1 Радиальное искажение ...................................................................................... 31
2.2.2 Тангециальное искажение ................................................................................ 32
3
2.2.3 Методика учета искажений .............................................................................. 33
2.3
Погрешности, вызванные рефракцией атмосферы ........................................... 35
2.4
Погрешности, вызванные внутренней рефракцией оптической системы ...... 37
2.4.1 Матрица перемещения...................................................................................... 37
2.4.2 Матрица преломления ...................................................................................... 38
2.4.3 Матрица отражения .......................................................................................... 40
2.4.4 Методика расчета хода луча через оптическую систему ............................. 41
2.5
Влияние погрешностей измерения на модель ОЭК .......................................... 43
ГЛАВА 3. КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНОЕ ОПТИКО-ЭЛЕКТРОННОЙ
СИСТЕМЫ МОНИТОРИНГА ДЕРФОРМАЦИЙ ПРОТЯЖЕННЫХ ОБЪЕКТОВ ... 45
3.1
Построение математической модели оптико-электронной системы .............. 46
3.2
Методика определения пространственного положения камеры ..................... 49
3.3
Методика оценки глобальной ориентации камер, на основании взаимных
попарных переходов ....................................................................................................... 56
3.4
Экспериментальные исследования математической модели........................... 59
ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МАКЕТА
ИЗМЕРИТЕЛЬНОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ ..................................... 71
4.1
Принципиальная схема измерительной ОЭС .................................................... 71
4.2
Структурная схема измерительной ОЭС ........................................................... 71
4.3
Описание макета измерительной оптико-электронной системы .................... 72
4.4
Методика подготовки измерительной информации для построения
математической модели ................................................................................................. 74
4.5
Методика проведения экспериментальных исследований .............................. 80
4.6
Результаты измерений и обработка экспериментальных данных ................... 82
ЗАКЛЮЧЕНИЕ .................................................................................................................. 96
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ......................................................... 98
4
ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
БО – базовый объект
ВЦ – визирная цель
ИК – измерительный канал
ОБ – объектив
ИС – измерительный сенсор
ИКС -излучающий светодиод инфракрасного диапазона
КМОП –комплементарный металл-оксид-полупроводник
МПОИ – матричный приемник оптического излучения
МОИ – модуль обработки информации
ОЭС – оптико-электронная система
УС – устройство сопряжения
НИР – научно-исследовательская работа
5
ВВЕДЕНИЕ
В
настоящее
время
ведется
строительство
большого
количества
крупногабаритных, протяженных объектов сложной формы, таких как спортивные,
торговые, развлекательные и прочие вместительные сооружения. Одним из
направлений повышения эффективности строительства таких объектов является
широкое применение конструкций, описывающих различные нелинейные формы.
Крупногабаритные протяженные сооружения различного назначения, как и
многие другие объекты техногенной сферы, являются потенциально опасными в
плане угрозы жизни людей со стороны возможных катастроф. Причинами опасных
нарушений в функционировании объектов могут являться ошибки, допущенные на
стадии конструирования, при строительстве или неправильной эксплуатации, а также
вследствие влияния неблагоприятных природных факторов. Поэтому чрезвычайную
актуальность приобретают измерительные системы, позволяющие в режиме
реального времени осуществлять мониторинг технического состояния сооружений и
тем самым предотвращать большие человеческие жертвы, экономические потери и
угрозы окружающей среде.
Системы
данного
типа
также
применимы
к
задачам
мониторинга
пространственного положения буровых платформ, доков и других крупногабитных
конструкций.
Одним из основных способов бесконтактного измерения расстояний и
смещений является применение лазерных технологий, но их основной недостаток
заключается в том, что при проведении замеров могут возникнуть ошибки, вызванные
лазерным шумом (шумы детектировния, спекл-эффекты), а также свойствами
отражения и рассеивания поверхности объекта мониторинга. Кроме того, приборы,
существующие в данное время на рынке контрольно-измерительного оборудования,
не могут быть применены для мониторинга точек вне прямой видимости, что говорит
о необходимости создания распределенной оптико-электронной системы (ОЭС),
6
точность измерения которой не зависит от отражающих свойств контролируемой
поверхности, а также от ее формы.
Указанные факторы подтверждают актуальность и важность темы диссертации.
Целью данной диссертационной работы является разработка и исследование
принципов построения, методов расчета параметров и характеристик распределенной
измерительной системы для трехмерного мониторинга пространственного положения
протяженных объектов сложной формы в реальном времени, а также ее практическая
реализация и экспериментальное исследование.
Для достижения поставленной цели необходимо решить следующие задачи:
1.
Рассмотреть и исследовать основные существующие методы и принципы
построения трехмерного анализа.
2.
Предложить принцип построения и структуру ОЭС для трехмерного
мониторинга нелинейных строительных конструкций.
3.
Разработать компьютерную модель распределенной ОЭС, исследовать ее
характеристики и основные источники ошибок, влиящие на точность измерения.
4.
На основе разработанной модели спроектировать и релизовать макет
распределенной ОЭС и произвести ее экспериментальное исследование.
Во Введении обосновывается актуальность работы, осуществляется постановка
направления исследования дисссертационной работы.
В Главе 1 производится сравнительный анализ существующих методов
трехмерного мониторинга строительных конструкций, формулируется цель и задача
диссертационной работы.
В Главе 2 анализируются основные погрешности измерения оптикоэлектронного сенсора и их влянияние на точность измерений, рассматриваются
методики их компенсации.
В Главе 3 описываются принципы построения математической и компьютерной
модели
распределенной
характеристик.
измерительной
ОЭС,
а
также
анализ
основных
7
В Главе 4 приводится описание макета и результатов его экспериментального
исследования.
В Заключении делаются выводы о проделанной работе и приводятся ее
результаты.
Основные положения, выносимые на защиту:
1.
Оптико-электронная
система,
структура
которой
состоит
из
измерительных блоков, расположенных в контрольных точках объекта, каждый из
которых включает группу измерительных каналов в составе пары сенсоров,
фиксирующих изменение взаимного пространственного положения и принадлежащих
смежным измерительным блокам позволяет осуществлять определение углового и
линейного положения элементов несущих конструкций протяженных объектов
сложной формы.
2.
Теоретическая модель каждого сенсора, построенная на основе
зависимостей центральной проекции с учётом коэффициентов дисторсии, найденных
в результате калибровки по регулярному шаблону позволяет выполнить взаимную
привязку всех сенсоров измерительного блока как узла распределенной ОЭС.
3.
Погрешность
распределённой
ОЭС,
реализующей
метод
последовательного определения взаимного положения измерительных блоков, может
быть уменьшена при изменении пункта начальной привязки с изменением на
противоположное направления построения последовательности опрашиваемых
измерительных блоков.
Научная новизна работы заключается в том, что:
1.
Разработаны новые принципы построения оптико-электронной системы
на основе измерительных сенсоров, позволяющей выполнять мониторинг углового и
линейного положения элементов несущих конструкций протяженных объектов
нелинейной формы.
2.
Установлены функциональные зависимости параметров измерительных
сенсоров, полученные на основании разработанной математической модели и
8
характеристик исследуемой распределенной ОЭС, позволяющие определить пути
улучшения её метрологических параметров.
Научная и практическая значимость результатов работы состоит в том, что:
1.
Предложена методика расчета основных составляющих погрешности
распределенной ОЭС мониторинга углового и линейного положения элементов
протяжённых объектов.
2.
Разработана обобщенная компьютерная модель распределенной ОЭС с
промежуточными измерительными блоками, позволяющая оценить основные их
пространственные характеристики.
3.
Разработана методика инженерного расчёта параметров измерительного
сенсора, образованного на их основе измерительного канала, а также измерительного
блока как совокупности измерительных каналов.
4.
Спроектирован и реализован макет распределенной ОЭС, исследование
которого подтвердили возможность практической реализации систем трехмерного
мониторинга
нелинейных
объектов
с
использованием
промежуточных
измерительных блоков.
Степень достоверности полученных результатов подтверждается хорошим
совпадением результатов теоретических расчетов со значениями, полученными в
результате
компьютерного
моделирования,
а
также
экспериментального
исследования макетов ОЭС.
По теме диссертации опубликовано 14 печатных работ, из них 2 статьи в
изданиях из перечня, рекомендованного ВАК, 8 - в изданиях, включенных в систему
цитирования Scopus.
Диссертационная
работа
состоит
из
введения,
4
глав,
заключения,
библиографического списка из 76 наименований, содержит 118 страниц основного
текста, 59 рисунков.
9
Работа выполнена на кафедре «Оптико-электронные приборы и системы»
Санкт-Петербургского
информационных
национального
технологий,
механики
исследовательского
и
оптики
Министерства образования и науки Российской Федерации.
университета
(Университет
ИТМО)
10
ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ТРЕХМЕРНОГО
МОНИТОРИНГА СТРОИТЕЛЬНЫХ КОНСТРУКЦИЙ
При строительстве и обслуживании крупногабаритных [51, 52], либо
протяженных объектов [53, 56] существует необходимость собирать и анализировать
трехмерные данные о предельных отклонениях несущих конструкций с целью
обеспечения безопасности и своевременного оповещения эксплуатационных служб в
случае выявления таковых.
На сегодняшний день существуют два основных подхода к формированию
трехмерных сцен, основанные на активном и пассивном захвате изображений.
Базовым и самым популярным методом трехмерной реконструкции на данный
момент является мультипроекционной пассивный метод, поскольку для съемки
последовательности перекрывающихся изображений сцены под естественным или
искусственным освещением требуется в большинстве случаем единственная готовая
камера (например, телевизионная). Трехмерная реконструкция выполняется путем
идентификации общих признаков в наборе изображений, в связи с чем точность
реконструкции зависит от качества изображений и текстур контролируемых объектов.
Активные методы для решения данного типа задач зависят от степени
отражения и поглощения света контролируемой поверхности. Одним из основных
активных методов восстановления трехмерной сцены является использование
технологии структурированного освещения, позволяющего получить приемлемые
результаты при оцифровке небольших объектов с близкого расстояния.
Основной целью данной главы является сравнение эффективности описанного
выше активного метода с пассивным мультипроекционным методом. Информация,
полученная в ходе сравнения, может быть использована при проектировании новой
системы реконструкции трехмерных сцен, а также для сбора эталонных данных для
сравнения с другими алгоритмами и методами.
Произведем краткий обзор трехмерных оптических методов, классифицируя их
в соответствии с их подходами (пассивными и активными) и уделяя особое внимание
11
стереосистемам, основанным на проблемах сопоставления, которые могут быть
решены за счет использования как активного, так и пассивного подхода.
Пассивные методы
1.1
Пассивные методы оптической визуализации для сбора трехмерных данных
основаны на многократном захвате изображений сцены, снятых с различных точек
зрения
с
использованием
видео-
или
фотокамер
согласно
алгоритму
стереосопоставления. Искусственные источники света (например, лампы и
прожекторы) в данных методах используются только для освещения сцены, если это
необходимо, и не используются в триангуляции для получения трехмерных данных.
В частности, стереосистемы, использующие две цифровые откалиброванные камеры
для захвата сцены, получили широкое применение в робототехнике для решения
широкого спектра задач, таких как картографирование [1], локализация и
сопровождение
[2].
Методы
«структура-от-движения»
используются
для
восстановления сцены из последовательности перекрывающихся изображений,
полученных одной движущейся камерой, например, формирование подстилающей
земной поверхности при полете беспилотного летательного аппарата (БЛА). Процесс
основан на автоматическом извлечении интересующих объектов (редкий набор
функций, таких как углы), отслеживании этого редкого набора признаков по
последовательности изображений и оценке их трехмерных позиций с использованием
нескольких проекций данного объекта на изображениях.
Алгоритмы стереосопоставления обычно классифицируются на основе того,
используют они локальные или глобальные методы [3]. Обе категории основаны на
некоторых ограничениях, используемых для решения проблемы сопоставления точек
интереса:
ограничение
подобия,
эпиполярное
ограничение,
ограничение
уникальности, ограничение непрерывности и ограничение порядка. Локальные
алгоритмы (основанные на окнах и либо отличительных особенностях) обеспечивают
соблюдение этих ограничений на ограниченном числе пикселей, которые окружают
пиксель, который должен быть сопоставлен. Глобальные алгоритмы накладывают
12
ограничения либо на всю эпиполярную линию, проходящую через пиксель, либо на
все изображение. Локальные алгоритмы обычно быстрее, чем глобальные, и больше
подходят для аппаратной (real-time) реализации, но в большинстве случаев не
превосходят глобальные по точности.
1.2
Активные методы
Активный подход включает в себя проецирование последовательности
структурных шаблонов света на измеряемую сцену [4, 5], которые затем захватываюся
камерой. Вследствие чего сопоставление точек выполняется автоматически, потому
что каждый точечный объект однозначно определяется проецируемым шаблоном. К
разновидностям активных относятся следующие методы: «лист света» (SOL),
времяпролетные камеры, структурированное освещение. Общее описание этих
методов приведено далее.
1.2.1 Светолучевой метод
Метод SOL (от англ. Sheet of Light) основан на триангуляции, по своему подходу
аналогичному методу стереозрения, но вместо использования двух камер SOL
использует одну камеру и один лазерный источник света. Источник света формирует
лучи, расположенные в одной плоскости или на одном листе, отсюда и его название «лист света». Самый простой способ формирования таких лучей - использовать лазер
с точечным рассеиванием и пропускать его сквозь цилиндрическую линзу (рисунок
1.1). Узкий луч при прохождении через цилиндрическую линзу будет преобразован в
узкий треугольный лист.
13
Рисунок 1.6 – Реализация метода SOL
В настоящее время существует специальная оптика, которая имеет возможность
выполнять данное преобразование для получения высококачественного листа (узкого
и плоского с однородной интенсивностью). Световой лист сначала направляется на
объект, формируя типичную яркую линию на этом объекте, затем детектируется его
местоположение на изображении. Зная местоположение и ориентацию светового
листа относительно местоположения и ориентации камеры, не составляет труда
восстановить пространственные координаты видимой части этой линии (с
использование триангуляции). Для того чтобы произвести полную реконструкцию
всего объекта следует повторять одно и тоже действие, сдвигая систему вдоль объекта
на короткое расстояние.
1.2.2 Времяпролетные камеры
Времяпролетные камеры или TOF (от англ. Time of Flight) являются самым
молодым методом из вышеперечисленных [6,7,8]. TOF камеры использует принцип
измерения времени, необходимого для прохождения света от камеры к объекту и
обратно к камере. Так как для прохождения света в воздухе на расстоянии 1м
требуется около 3,3 нс, то электроника, используемая для обработки этого
«прохождения», должна быть очень быстрой. В следствии чего, электроника,
управляющая светодиодной подсветкой, и электроника, отвечающая за обработку
14
сигнала, должна быть определенным образом совмещена со специализированными
КМОП чипами. Развитие технологий позволило реализовать данную технологию на
практике. Принцип действия систем данного типа основан на методах, используемых
в лидарах, но вместо необходимости сканирования одного лазерного луча и
использования одного детектора, TOF использует матричный датчик и источник
излучения, освещающий и фиксирующий полную сцену за один такт (рисунок 1.2).
Таким образом, TOF устраняет необходимость сканирования, присущую системам,
основанным на SOL методах.
Рисунок 1.7 – Принцип действия TOF-камеры
Источником освещения для TOF обычно является светодиод ближнего
инфракрасного диапазона, в следствии чего TOF способен измерять расстояния до
различных объектов в сцене (3D), а также генерировать изображения в оттенках
серого (2D).
1.2.3 Структурированное освещение
Реализация данного метода очень похожа на SOL, но вместо использования
светового листа применяется проектор (обычно DLP), который проецирует полосы
(чередуя светлые и темные) на объект. В основе методов данного типа лежит
обнаружение деформации прямых линий [9], вызванных формой объекта. Как и в
15
случае с методом SOL для построения трехмерной сцены используется триангуляция.
Одним из преимуществ использования DLP - проектора, по сравнению с SOL,
является то, что проектор способен проецировать практически любой шаблон на
объект и не требует перемещения системы вдоль объекта, как того требует метод SOL.
Из-за
той
гибкости,
которую
предоставляет
DLP-проектор,
методы
структурированного освещения позволяют использовать более сложные шаблоны для
проецирования, чем просто линии, которые характеризуют форму контролируемого
объекта.
Проецирование широких светлых и темных полос позволяет получить первое
приближение о форме объекта, а постепенное систематическое увеличение
количества полос, равномерно распределенных по объекту, позволяет увеличить
пространственное разрешение до требуемого.
Применение более сложных проецируемых шаблонов при структурированном
освещении и алгоритмов их обнаружения в определенных условиях дает возможность
добиться субпиксельной точности.
1.3
Принцип
действия
систем,
предназначенных
для
формирования
трехмерных сцен
В качестве абстрактной модели камеры, описывающей геометрию оптического
устройства, используется камера-обскура (pinhole camera). Данная модель камеры
может быть использована в системах, основанных на пассивных и активных методах.
Далее рассмотрим математическую модель работы камеры более подробно.
1.3.1 Математическая модель работы камеры-обскура
Рассматривая перспективную проекцию объекта 𝑤 (рисунок 1.3) c
координатами 𝑋𝑐 = [𝑋𝑐 , 𝑌𝑐 , 𝑍𝑐 ]𝑇 в системе координат камеры на плоскость
изображения 𝐼 с координатами 𝑥 = [𝑥𝑢 , 𝑦𝑢 ]𝑇 , получим
𝑥=
𝑓 𝑋𝑐
[ ]
𝑍𝑐 𝑌𝑐
где 𝑓 – фокусное расстояние камеры.
(1.1)
16
Рисунок 1.8 - Модель камеры-обскура
На рисунке 1.3 точка изображения 𝑥 = (𝑥𝑢 , 𝑦𝑢 ) трехмерной точки 𝑤, является
точкой пересечения оптического луча, проходящего через оптический центр 𝑂𝑐 , и
плоскостью изображения 𝐼 на расстоянии, равном фокусному расстоянию 𝑓.
Для того чтобы связать 𝑋𝑐 с координатами 𝑋𝑤 = [𝑋𝑤 , 𝑌𝑤 , 𝑍𝑤 ]𝑇 в мировой
системе координат воспользуемся преобразованием (1.2):
𝑋𝑐 = 𝑅𝑋𝑤 + 𝑡
(1.2)
где 𝑅 – матрица поворота, а 𝑡 – вектор смещения.
Произведя перевод координат векторов 𝑥, 𝑋𝑐 , 𝑋𝑤 в однородные координаты,
представим уравнения (1.1) и (1.2) в матричной форме:
𝑥 = 𝑃𝑋𝑤
(1.3)
где 𝑃 - матрица проективного преобразования, представляющая собой
параметры геометрической модели камеры. В реальной камере оптическая система
вносит искажения (радиальные и тангенциальные), которые необходимо учитывать
при построении математической модели. Таким образом реальные (искаженные)
17
координаты изображения 𝑥𝑑 = [𝑥𝑑 , 𝑦𝑑 ]𝑇 связаны с идеальными (неискаженными)
координатами изображения 𝑥 = [𝑥𝑢 , 𝑦𝑢 ]𝑇 через следующее соотношение:
𝑥𝑑 = 𝑥𝑢 + 𝑘𝑥 (𝑥𝑢 , 𝑦𝑢 ),
𝑦𝑑 = 𝑦𝑢 + 𝑘𝑦 (𝑥𝑢 , 𝑦𝑢 )
(1.4)
где 𝑘𝑥 (𝑥𝑢 , 𝑦𝑢 ), 𝑘𝑦 (𝑥𝑢 , 𝑦𝑢 ) – коэффициенты искажения.
В завершении следует учесть, что цифровая камера производит измерения в
пикселах посредством аффинного преобразования, которое учитывает сдвиг главной
точки и масштабирование вдоль оси 𝑢 и 𝑣 в плоскости изображения:
𝑥𝑑
𝑦𝑑
𝑢 = 𝑠 + 𝑢0 ,
𝑣 = 𝑠 + 𝑣0
𝑑𝑥
𝑑𝑦
(1.5)
где 𝑠 – масштабный коэффициент, (𝑢0 , 𝑣0 ) - местоположение главной точки в
пиксельных координатах, (𝑑𝑥 , 𝑑𝑦 ) - размер пиксела в направления u и v
соответственно.
1.3.2 Принцип действия системы, основанной на методе стереосопоставления
Предположим, что два изображения получены с двух различных точек зрения,
тогда стереосопоставление позволяет идентифицировать соответствующие точки на
обоих изображениях, связанных с одной и той же точкой сцены (рисунок 1.4). Зная
данные соответствия и геометрию камер, возможно произвести расчет трехмерных
мировых координат, основанный на триангуляции [10].
18
Рисунок 1.9 - Эпиполярная геометрия. Точки 𝑚𝑙 и 𝑚𝑟 , расположенные на левом
и правом изображениях соответственно, являются проекциями на плоскости
изображений 𝐼𝑙 и 𝐼𝑟 одной и той же трехмерной точки 𝑤 объекта. Пересечения линии
(𝑂𝑙 , 𝑂𝑟 ) (базовой линии) с каждой плоскостью изображения называются эпиполисами
(𝑒𝑙 и 𝑒𝑟 ). Линии 𝑙𝑙 и 𝑙𝑟 называются эпиполярными линиями (пересечение эпиполярной
плоскости 𝑝 (𝑂𝑙 , 𝑂𝑟 , 𝑤) с двумя плоскостями изображения).
При заданной точке 𝑚𝑙 на левом изображении соответствующая точка 𝑚𝑟 на
правом изображении ограничена эпиполярной линией (эпиполярная связь). Используя
теорию перспективной проекции (уравнение 1.3), координаты соответствующих
точек 𝑚𝑙 и 𝑚𝑟 можно определить через соотношение:
𝑚 = 𝑃𝑙 𝑋𝑤
{ 𝑙
𝑚𝑟 = 𝑃𝑟 𝑋𝑤
(1.6)
19
где 𝑃𝑙 и 𝑃𝑟 – матрицы проективного преобразования левой и правой камеры
соответственно.
Учитывая, что точка ml (сопоставленная с точкой mr ) лежит на эпиплярной
прямой ll , имеет место следующее соотношение (уравнение Лонге-Хиггинса):
ml Fmr = 0
(1.7)
где 𝐹 - фундаментальная матрица, полученная в процессе калибровки
стереопары, и зависящая от эпиполярной геометрии и двух матриц перспективного
преобразования.
Уравнение (1.7) имеет линейное решение с точностью до масштаба при наличии
как минимум восьми сопоставленных между собой точе, в частности, при наличии
более чем восьми сопряженных точек решение может быть найдено с использованием
метода наименьших квадратов. Таким образом, при наличии фундаментальной
матрицы 𝐹 может быть найдена пара матриц проективного преобразования.
Учитывая известную пару матриц перспективного преобразования камер и пары
точек 𝑚𝑙 и 𝑚𝑟 , которые удовлетворяют эпиполярному ограничению, можно
вычислить трехмерную координату точки 𝑤 при помощи триангуляции. В этом случае
нахождение пересечения оптических лучей, соответствующих двум сопоставленным
точкам 𝑚𝑙 и 𝑚𝑟 , сводится к решению системы уравнений. Если представить матрицу
𝑃𝑙 в виде строк, то уравнение перспективной проекции примет следующую форму:
𝑝𝑙𝑇1
(1.8)
𝑚𝑙 = [𝑝𝑙𝑇2 ] 𝑋𝑤
𝑝𝑙𝑇3
Затем, преобразуя координаты точки 𝑚𝑙 в координаты левого изображения 𝐼𝑙 ,
получим следующую систему уравнений:
20
𝑢𝑙 =
{
𝑣𝑙 =
𝑝𝑙𝑇1 𝑤
𝑝𝑙𝑇3 𝑤
,
(1.9)
𝑝𝑙𝑇2 𝑤
𝑝𝑙𝑇3 𝑤
Уравнение (1.9) представляет собой уравнение перспективной проекции
уравнения (1.3) в декартовых координатах. Аналогичным образом выводится система
уравнений для сопряженной правой точки изображения 𝑚𝑟 . На основании
полученных систем уравнений формируется система уравнений вида 𝐴𝑤 = 0, которая
может быть решена методом наименьших квадратов для вычисления трехмерных
мировых координат точки 𝑤, учитывая координаты пары соответствующих точек 𝑚𝑙
и 𝑚𝑟 .
Для того чтобы упростить поиск соответствующих точек, изображения обычно
выравнивают (эпиполярное выравнивание), располагая стереопару в такую
конфигурацию, чтобы оба эпиполиса располагались в бесконечности, а эпиплоярные
линии образовывали набор параллельных линий как на левом, так и на правом
изображении. В этом случае каждая пара соответствующих точек должна лежать на
одной и той же строке изображения (строка развертки), так чтобы проблема
соответствия сводилась к одномерному поиску вдоль каждой эпиполярной линии.
Несоответствие, которое определяет глубину сцены, определяется как
расстояние между 𝑥-координатами или парой соответствующих точек на левом и
правом (выравненных) изображениях. Нахождение пары сопряженных точек не
всегда имеет тривиальное решение, так как изображения сцены, захватываемые с
разных точек зрения, имеют радиометрические и перспективные искажения,
приводящие к ложным соответствиям.
Для вычисления внутренних параметров каждой камеры (фокусное расстояние,
координаты главных точек, радиальные и тангенциальные искажения, размер
пикселя) и внешние параметры (сдвиг и поворот относительно мировой системы
координат) камеры и стереосистемы необходима процедура калибровки [11].
21
1.3.3 Принцип действия системы, основанной на методе структурированного
освещения
Активный метод, рассматриваемый в данном разделе, основан на кодировании
набора черно-белых шаблонов, проецируемых на объект через цифровой проектор
[12]. В частности, техника использования кодирования в оттенках серого может
обеспечить более эффективное сопоставление между соответствующими точками в
стереопаре. Объект освещается набором из 𝑛 закодированных по времени шаблонов
черно-белых полос с постепенно уменьшающейся шириной так, что 𝑛 изображений
захватывается каждой камерой. Двоичный код (𝑛 бит) присваивается каждой точке
изображения, а значения 0 и 1 связаны с уровнями интенсивности, то есть 0 = черный
и 1 = белый (рисунок 1.5), что позволяет кодировать 2𝑛 − 1 строк, определяемых как
пересекающиеся зоны между белой и черной полосами.
Рисунок 1.10 - (слева): Триангуляция стерео системы, состоящей из двух камер
и проектора. Точки 𝑚𝑙 и 𝑚𝑟 являются проекцией одного и того же трехмерного
объекта 𝑤 на плоскости изображений двух камер. (Справа): примеры двоичных
шаблонов и смещение кода.
22
Данная процедура позволяет автоматически кодировать каждую точку
поверхности объекта. В случае, если кодирование производится в оттенках серого, то
кодирование осуществляется при использовании паттерна из восьми вертикальных и
восьми горизонтальных шаблонов (8-битный код). Таким образом, если разрешение
проектора будет составлять 800x600 точек, то кодирование может быть осуществлено
для 799 строк × 599 строк = 478 601 элементов. Полагая, что проектор используется
только для установления соответствий, калибровка оптики не требуется. В отличие от
традиционных пассивных подходов, этот метод не полагается на изображения с
сопоставляемыми текстурами, потому что каждая точка на поверхности объекта точно
идентифицируется двоичным кодом.
Внутренние и внешние параметры камеры получают путем сопоставления
координат 𝑛 известных точек 𝑤𝑖 , расположенных на калибровочном образце, с
соответствующими координатами 𝑚𝑖 = [𝑢𝑖 , 𝑣𝑖 ] на плоскости изображения. Записывая
уравнение (1.9) в матричной форме для заданного набора из 𝑛 известных точек,
получим:
𝑤𝑇
[ 𝑖
0
0
−𝑤𝑖𝑇
𝑝1
−𝑢𝑖 𝑤𝑖𝑇
] [𝑝2 ] = 02𝑥1
𝑣𝑖 𝑤𝑖𝑇 𝑝3
(1.10)
Получаем набор из 2𝑛 однородных линейных уравнений, которые можно
решить методом наименьших квадратов. Теоретически для вычисления матрицы 𝑃
достаточно шести некомпланарных точек, но на практике, для компенсации ошибок
измерений, вызванных различными шумами на изображении, требуется гораздо
большее количество точек. Данный метод имеет название «прямое линейное
преобразование» или DLT (от англ. Direct Linear Transformation) [13]. Данный метод
минимизирует алгебраическую ошибку с использованием упрощенной модели
камеры, приводя тем самым к менее точным результатам измерений.
23
Для получения лучшей точности также существуют и нелинейные алгоритмы
[14], которые минимизируют геометрическую ошибку с учетом следующей
нелинейной целевой функцией:
𝑛
2
2
𝑝1𝑇 𝑤𝑖
𝑝2𝑇 𝑤𝑖
𝜀(𝑃) = ∑ ( 𝑇 − 𝑢𝑖 ) + ( 𝑇 − 𝑣𝑖 )
𝑝3 𝑤𝑖
𝑝3 𝑤𝑖
(1.11)
𝑖=1
Данная функция минимизации представляет собой расстояние между точкой на
изображении 𝑚𝑖 и проекцией точки 𝑤𝑖 на плоскость изображения, и имеет название
«ошибка повторного проецирования». Последующим шагом является процедура
стереокалибровки, целью которой является нахождение связи между мировой
системой координат и левой и правой системами координат камер:
𝑋𝑐𝑙 = 𝑀𝑙 𝑋𝑤
(1.12)
𝑋𝑐𝑟 = 𝑀𝑟 𝑋𝑤
(1.13)
где 𝑀𝑙 = [𝑅𝑐𝑙 , 𝑡𝑐𝑙 ] - матрица преобразования между системой координат левой
камеры и мировой системой координат, 𝑀𝑟 = [𝑅𝑐𝑟 , 𝑡𝑐𝑟 ] - матрица преобразования
между системой координат правой камеры и мировой системой координат, а
𝑋𝑐𝑙 , 𝑋𝑐𝑟 , 𝑋𝑤 представляют собой координаты точки объекта 𝑤 в системе координат
левой и правой камеры и мировой системы координат соответственно. Матрицы
преобразования 𝑀𝑙 и 𝑀𝑟 представляют собой совокупность матриц поворота (𝑅𝑐𝑙 , 𝑅𝑐𝑟 )
и векторов смещений (𝑡𝑐𝑙 , 𝑡𝑐𝑟 ) между мировой системой координат и системами
координат левой и правой камеры соответственно.
1.4
Направления и задачи диссертационного исследования
Основной проблемой мониторинга объектов с использованием пассивных
методов является плохая видимость, вызванная замкнутостью и труднодоступностью
контролируемых объектов, и однородность структур, влияющих на поиск точек
интереса, приводящих к разрыву последовательности изображений.
Существенным недостатком активных методов является невозможность
определения глубины из-за плохих отражающих свойств объектов сцены. Системы,
24
основанные на стерео, требуют сложной и высокоточной калибровки, а также имеют
существенный
недостаток
- определение соответствующих
точек
на паре
изображений в некоторых случаях не представляется возможным, кроме того системы
данного типа не имеют возможности работать в режиме реального времени. Таким
образом, можно сделать вывод, что рассмотренные системы не применимы для
контроля
протяженных
объектов
нелинейной
формы
и
объектов
со
светоотражающими поверхностями.
Рассмотрев принципы действия основных подходов к формированию
трехмерных сцен, можно сделать вывод, что для мониторинга крупногабаритных либо
протяженных объектов не подходит применение только активного, либо только
пассивного
метода. Необходимо применение комбинированного подхода с
применением полуактивного метода, представляющего собой процесс взаимного
мониторинга элементов измерительного канала. Поэтому задачей дальнейших
исследований является разработка и исследование высокоточной полуактивной
оптико-электронной системы мониторинга протяженных объектов нелинейной
формы в режиме реального времени с промежуточными измерительными и опорными
блоками.
25
ГЛАВА 2. ИССЛЕДОВАНИЕ
ПОГРЕШНОСТЕЙ
ИЗМЕРЕНИЯ
ОПТИКО-ЭЛЕКТРОННОГО СЕНСОРА И МЕТОДИКИ ИХ КОМПЕНСАЦИИ
Методики преобразования между мировой системой координат и координатами
объекта на изображении основаны на ограничении, что изображение объекта
получено в условиях идеальной центральной проекции. Однако под действием
различных факторов образ объекта на реальном изображении отклоняется от
центральной проекции. Возникающие смещения точек приводят к тому, что
взаимосвязь координат между модельной плоскостью и плоскостью изображения
носит приближенный характер. Вследствие чего существуют два основных
направления исключения и учета ошибок:
- получение изображений, максимально приближенных к центральной
проекции, т.е. на этапе захвата изображения исключаются или частично ослабляются
влияния известных источников ошибок;
- применение методики фотограмметрической обработки, при которой будут
максимально учтены ошибки взаимосвязи координаты модели и изображения.
К источникам ошибок, вызывающих искажение центральной проекции на
реальных захваченных изображениях, относятся:
- дисторсия объектива;
- атмосферная рефракция;
- внутренняя рефракция и т.д.
Целью данной главы является рассмотрение методов учета и компенсации
каждого из описанных выше источников ошибок.
Для вычисления внутренних и внешних параметров камеры, требуемых для
расчета коэффициентов компенсации погрешностей, необходимо провести ее
калибровку, поэтому перед тем, как приступить к непосредственному рассмотрению
погрешностей, рассмотрим основные методики калибровки камер.
26
2.1 Методики калибровки камер
Калибровка камеры – один из самых важных шагов в трехмерном
компьютерном
зрении
[15,
16,
17,
18],
необходимых
для
извлечения
пространственной информации из двумерных изображений. Данные методы условно
можно разделить на две категории:
- фотограмметрическая калибровка [19, 20, 21];
- автоматическая калибровка. [22, 23, 24, 25]
2.1.1 Фотограмметрическая калибровка
Данный вид калибровки производится путем наблюдения за объектом
калибровки, геометрия которого в трехмерном пространстве известна с очень
хорошей точностью [26]. Объект калибровки обычно состоит из двух или трех
плоскостей, ортогональных друг к другу. В некоторых случаях используется
плоскость, в которой производится смещение объекта с известным вектором сдвига
[27]. Данные подходы требуют дорогостоящего калибровочного оборудования и
точной методики установки.
2.1.2 Автоматическая калибровка
Методы, основанные на этой категории, не используют никаких объектов
калибровки. Калибровка производится исходя из перемещения камеры в рамках
статической сцены, при условии двух ограничений [28] на внутренние параметры
камеры, с использованием только информации из изображений. Таким образом, если
изображения захватываются одной и той же камерой с фиксированными внутренними
параметрами, то соответствий между тремя изображениями будет достаточно для
восстановления как внутренних, так и внешних параметров камеры, которые в свою
очередь позволяют восстанавливать трехмерную структуру сцены до полного
сходства [29, 30].
Данный подход является очень гибким, но не совершенным, поскольку
существует большое количество параметров для оценки, в следствии чего не всегда
представляется возможным получить надежный результат [31].
27
Существуют также и другие методы, такие как определение точек сходства для
ортогональных направлений [20, 33] и калибровка чистого вращения [34, 35]
2.1.3 Автокалибровка с использованием калибровочного шаблона
В рамках данной работы используется методика калибровки, которая требует от
камеры только наблюдения за плоским шаблоном с нескольких (как минимум с двух)
различных ориентаций (полуавтоматическая калибровка). Рассматриваемая методика
лежит между фотограмметрической калибровкой и автокалибровкой, поскольку
используется двумерная метрическая информация, а не трехмерная и неявная
автоматическая.
В качестве модели камеры примем модель камеры-обскура, описанной ранее в
первой главе.
Обозначим двумерную точку как 𝑚 = [𝑢, 𝑣]𝑇 , а трехмерную точку 𝑀 =
[𝑋, 𝑌, 𝑍]𝑇 . Путем добавления 1 в качестве последнего элемента, обозначим
̃ = [𝑋, 𝑌, 𝑍, 1]𝑇 . Таким образом связь
расширенные векторы как: 𝑚
̃ = [𝑢, 𝑣, 1]𝑇 и 𝑀
между трехмерной точкой 𝑀 и ее проекцией на изображение 𝑚 задается следующим
преобразованием:
𝛼
̃ , 𝐴 = [0
𝑠𝑚
̃ = 𝐴[𝑅 𝑡]𝑀
0
𝛾
𝛽
0
𝑢0
𝑣0 ]
1
(2.1)
где 𝑠 - произвольный масштабный коэффициент; (𝑅, 𝑡) – внешние параметры
камеры (вращение, сдвиг), которые связывают мировую систему координат с
системой координат камеры; 𝐴 - матрица внутренних параметров камеры; (𝑢0 , 𝑣0 ) координаты главной точки изображения; (𝛼, 𝛽)
- масштабные коэффициенты в
направлении осей 𝑢 и 𝑣; 𝛾 – параметр описывающий асимметрию двух осей
изображения. В качестве обозначения 𝐴−𝑇 будем использовать (𝐴−1 )𝑇 и (𝐴𝑇 )−1 .
Предполагая, что модельная плоскость находится на высоте 𝑍 = 0 в мировой
системе координат, и обозначив 𝑖-й столбец матрицы 𝑅 через 𝑟𝑖 , уравнение (2.1)
примет следующий вид:
28
𝑢
𝑠 [𝑣 ] = 𝐴[𝑟1
1
𝑟2
𝑟3
𝑋
𝑡] [𝑌 ] = 𝐴[𝑟1
0
1
𝑟2
𝑋
𝑡] [𝑌 ]
1
(2.2)
Обозначим 𝑀 = [𝑋, 𝑌]𝑇 , как точку на модельной плоскости, при условии что Z
всегда равно 0.
Представив точку 𝑀 = [𝑋, 𝑌, 1]𝑇 в однородных координатах, можно связать
модельную точку с ее образом 𝑚 через матрицу гомографии 𝐻:
𝑠𝑚
̃ = 𝐻𝑀,
где 𝐻 = 𝐴[𝑟1
𝑟2
𝑡]
(2.3)
Как видно из уравнения (2.3) матрица 𝐻 (3𝑥3) определяется с точностью до
масштабного коэффициента.
Учитывая образ плоскости модели, можно произвести оценку матрицы
гомографии.
Обозначим ее, как 𝐻 = [ℎ1
ℎ2
ℎ3 ], тогда уравнение (2.3) примет следующий
вид:
[ℎ1
ℎ2
ℎ3 ] = 𝜆𝐴[𝑟1
𝑟2
𝑡]
(2.4)
где 𝜆 - произвольный скаляр. Зная, что 𝑟1 и 𝑟2 ортонормированы, можно
получить следующие уравнения:
ℎ1𝑇 𝐴−𝑇 𝐴−1 ℎ2 = 0
(2.5)
ℎ1𝑇 𝐴−𝑇 𝐴−1 ℎ1 = ℎ2𝑇 𝐴−𝑇 𝐴−1 ℎ2
(2.6)
Уравнения (2.5) и (2.6) представляют собой два основных ограничения на
внутренние параметры камеры для одной матрицы гомографии. Поскольку
гомография имеет 8 степеней свободы и 6 неизвестных внешних параметров (3 для
вращения и 3 для смещения), можно получить только 2 ограничения на внутренние
параметры. Рассмотрим аналитическое решение данной проблемы с использованием
метода
нелинейной
правдоподобия.
оптимизации,
основанном
на
критерии
максимального
29
Положим, что:
−𝑇 −1
𝐵=𝐴
𝐴
𝐵11
≡ [𝐵21
𝐵31
1
𝛼2
𝑐
= − 2
𝛼 𝛽
𝑐𝑣0 − 𝛽𝑢0
[ 𝛼2𝛽
𝐵12
𝐵22
𝐵32
−
𝐵13
𝐵23 ]
𝐵33
𝑐
𝛼2𝛽
𝑐2
1
+
𝛼 2𝛽2 𝛽2
𝑐(𝑐𝑣0 − 𝛽𝑢0 ) 𝑣0
−
− 2
𝛼 2𝛽2
𝛽
(2.7)
𝑐𝑣0 − 𝛽𝑢0
𝛼2𝛽
𝑐(𝑐𝑣0 − 𝛽𝑢0 ) 𝑣0
−
− 2
𝛼 2𝛽2
𝛽
(𝑐𝑣0 − 𝛽𝑢0 )2 𝑣02
+ 2+1
𝛼 2 𝛽2
𝛽
]
Заметим, что 𝐵 симметричен, тогда его можно представить в виде 6𝐷 вектора:
𝐵 = [𝐵11 , 𝐵12 , 𝐵13 , 𝐵21 , 𝐵22 , 𝐵23 , 𝐵31 , 𝐵32 , 𝐵33 ]𝑇
Пусть 𝑖-й вектор столбцов матрицы 𝐻 равен ℎ𝑖 = [ℎ𝑖1
(2.8)
ℎ𝑖2
𝑇
ℎ𝑖𝑇 𝐵ℎ𝑗 = 𝑣𝑖𝑗
𝑏
ℎ𝑖3 ]𝑇 , тогда
(2.9)
где
𝑣𝑖𝑗 = [ℎ𝑖1 ℎ𝑗1 , ℎ𝑖1 ℎ𝑗2 + ℎ𝑖2 ℎ𝑗1 , ℎ𝑖2 ℎ𝑗2 , ℎ𝑖3 ℎ𝑗1 + ℎ𝑖1 ℎ𝑗3 , ℎ𝑖3 ℎ𝑗2
+ ℎ𝑖2 ℎ𝑗3 , ℎ𝑖3 ℎ𝑗3 ]
(2.10)
𝑇
Поэтому два фундаментальных ограничения (2.5) и (2.6) из данной гомографии
могут быть представлены как 2 однородных уравнения для 𝑏:
𝑇
𝑣12
[ 𝑇
𝑇 ]𝑏 = 0
(𝑣11 − 𝑣22
)
(2.11)
Если 𝑛 изображений плоскости модели наблюдается путем добавления 𝑛 таких
уравнений как (2.11), тогда
𝑉𝑏 = 0
(2.12)
где 𝑉 – матрица 2𝑛 × 6. Если 𝑛 ≥ 3, то будем иметь единственное решение для
𝑏, определенное с точностью до масштабного коэффициента. Если 𝑛 = 2, то можно
наложить ассиметричное ограничение 𝛾 = 0, т.е. [0,1,0,0,0,0]𝑏 = 0, которое
добавляется в качестве дополнительного уравнения к (2.11).
Решение системы
уравнений (2.11) хорошо известно, как нахождение собственного вектора 𝑉 𝑇 𝑉,
30
связанного
с
наименьшим
собственным
значением
(эквивалентно
правому
сингулярному вектору, связанному с наименьшим сингулярным значением).
После того как оценивается 𝑏, производится вычисление матрицы внутренних
параметров 𝐴. Матрица 𝐵, как описано выше, может быть оценена с точностью до
масштаба, т.е. 𝐵 = 𝜆𝐴−𝑇 𝐴, где 𝜆 – произвольный масштабный коэффициент.
Извлечение внутренних параметров камеры из матрицы 𝐵 может быть произведено
следующим образом:
2 )
𝜐0 = (𝐵12 𝐵13 − 𝐵11 𝐵23 )/(𝐵11 𝐵22 − 𝐵12
(2.13)
2
𝜆 = 𝐵33 − [𝐵13
+ 𝜐0 (𝐵13 − 𝐵11 𝐵23 )]/𝐵11
𝛼 = √𝜆/𝐵11
2 )
𝛽 = √𝜆𝐵11 /(𝐵11 𝐵22 − 𝐵12
𝛾 = −𝐵12 𝛼 2 𝛽/𝜆
𝑢0 = 𝛾𝜐0 /𝛼−𝐵13 𝛼 2 /𝜆
Как только 𝐴 становится известно, производится расчет внешних параметров
для каждого изображения:
𝑟1 = 𝜆𝐴−1 ℎ1 ,
𝑟2 = 𝜆𝐴−1 ℎ2 ,
𝑟3 = 𝑟1 × 𝑟2 ,
𝑡 = 𝜆𝐴−1 ℎ3
(2.13)
где 𝜆 = 1/‖𝐴−1 ℎ1 ‖ = 1/‖𝐴−1 ℎ2 ‖.
Следует отметить, что из-за шумов в данных (погрешности, вызванные
искажениями в определении координат на изображении и в модельной плоскости)
такое вычисление матрицы вращения не удовлетворяет свойствам этой матрицы [34,
37].
Вышеупомянутое решение получается путем минимизации алгебраического
расстояния, которое в дальнейшем следует уточнить с помощью метода
максимального правдоподобия.
31
Предположим, что 𝑚 точек на 𝑛 изображениях плоскости модели повреждены
независимым и одинаково распределенным шумом. Оценка максимального
правдоподобия может быть получена путем минимизации следующего функционала:
𝑛
𝑚
̂(𝐴, 𝑅𝑖 , 𝑡𝑖 , 𝑀𝑗 )‖
∑ ∑‖𝑚𝑖𝑗 − 𝑚
(2.14)
𝑖=1 𝑗=1
где 𝑚
̂(𝐴, 𝑅𝑖 , 𝑡𝑖 , 𝑀𝑗 ) – проекция точки 𝑀𝑗 на изображение 𝑖 согласно уравнению
(2.3). Матрица вращения 𝑅 параметризуется вектором из трех значений,
обозначенным как 𝑟, который параллелен оси вращения и длина которого равна углу
поворота. 𝑅 и 𝑟 связаны формулой Родригеса [26]. Минимизация (2.14) является
задачей нелинейной минимизации, которая решается с помощью алгоритма
Левенберга-Марквардта [36], для которого требуется первое приближение для
𝐴, {𝑅𝑖 , 𝑡𝑖 | 𝑖 = 1. . 𝑛}, которое может быть получено с использованием метода
описанного выше.
2.2
Погрешности, вызванные дисторсией объектива
Матрица параметров камеры не учитывает искажение объектива, потому что
идеальная камера-обскура не имеет объектива. Для того чтобы точно представить
реальную камеру ее модель должна описывать радиальное и тангенциальное
искажение объектива.
2.2.1 Радиальное искажение
Радиальные искажения возникают вследствие большего преломления световых
лучей ближе к краям линзы, чем в оптическом центре (рисунок 2.1). Поэтому чем
меньше объектив, тем больше радиальное искажение.
32
Рисунок 2.1 – Примеры радиальных искажений, слева – дисторсия отсутствует,
центр - отрицательная радиальная дисторсия «подушка», справа – положительная
радиальная дисторсия «бочка»
Радиальные искажения могут быть описаны следующей системой линейных
уравнений:
𝑥̌ = 𝑥[1 + 𝑘1 𝑟 2 + 𝑘2 𝑟 4 + 𝑘3 𝑟 6 … ]
(2.15)
𝑦̌ = 𝑦[1 + 𝑘1 𝑟 2 + 𝑘2 𝑟 4 + 𝑘3 𝑟 6 … ]
где 𝑘1 , 𝑘2 , 𝑘3 - коэффициенты радиального искажения, 𝑟 = 𝑥 2 + 𝑦 2 .
2.2.2 Тангециальное искажение
Когда объектив и плоскость изображения не параллельны (рисунок 2.2),
появляется тангенциальное искажение.
33
Рисунок 2.2 – Пример причины формирования тангенциальных искажений,
слева – нулевая тангециальная дисторсия, справа – тангециальная дисторсия
Тангенциальные искажения могут быть описаны следующей системой
линейных уравнений:
𝑥̌ = 𝑥 + [2 ∗ 𝑝1 ∗ 𝑥 ∗ 𝑦+ 𝑝2 (𝑟 2 + 2 ∗ 𝑥 2 )]
(2.16)
𝑦̌ = 𝑦 + [𝑝1 (𝑟 2 + 2 ∗ 𝑦 2 ) + 2 ∗ 𝑝2 ∗ 𝑥 ∗ 𝑦]
где 𝑝1 , 𝑝2 - коэффициенты тангенциального искажения.
2.2.3 Методика учета искажений
Описанные выше искажения могут быть учтены с использованием метода
максимального правдоподобия, путем добавления необходимых коэффициентов для
их компенсации.
Пусть (𝑢, 𝑣) - координаты пиксела в идеальном изображении (наблюдаемом без
искажений),
а (𝑢̌, 𝑣̌) - соответствующие реальным координатам в наблюдаемом
изображении. Аналогично, (𝑥, 𝑦) и (𝑥̌, 𝑦̌) являются идеальными (без искажений) и
реальными (с искажениями) нормированными координатами изображения, тогда:
𝑥̌ = 𝑥 + 𝑥[𝑘1 (𝑥 2 + 𝑦 2 ) + 𝑘2 (𝑥 2 + 𝑦 2 )2 ]
𝑦̌ = 𝑦 + 𝑦[𝑘1 (𝑥 2 + 𝑦 2 ) + 𝑘2 (𝑥 2 + 𝑦 2 )2 ]
(2.17)
34
где 𝑘1 , 𝑘2 - коэффициенты радиального искажения.
Центр радиального искажения совпадает с главной точкой на изображении.
Положим, что 𝑢̌ = 𝑢0 + 𝛼𝑥̌ + 𝑐𝑦̌ и 𝑣̌ = 𝑣0 + 𝛽𝑦̌, тогда:
𝑢̌ = 𝑢 + (𝑢 − 𝑢0 )[𝑘1 (𝑥 2 + 𝑦 2 ) + 𝑘2 (𝑥 2 + 𝑦 2 )2 ]
(2.18)
𝑣̌ = 𝑣 + (𝑣 − 𝑢0 )[𝑘1 (𝑥 2 + 𝑦 2 ) + 𝑘2 (𝑥 2 + 𝑦 2 )2 ]
Для того чтобы оценить коэффициенты 𝑘1 и 𝑘2 преобразуем уравнение (2.16) к
следующему виду:
(𝑢 − 𝑢0 )(𝑥 2 + 𝑦 2 ) (𝑢 − 𝑢0 )(𝑥 2 + 𝑦 2 )2 𝑘1
𝑢̌ − 𝑢
]
[
2
2)
2
2 )2 ] [ 𝑘 ] = [ 𝑣
̌−𝑣
(𝑣 − 𝑣0 )(𝑥 + 𝑦
(𝑢 − 𝑢0 )(𝑥 + 𝑦
2
(2.19)
Представим систему линейных уравнений (размерности 2𝑚𝑛) в матричной
форме, как 𝐷𝑘 = 𝑑, где 𝑘 = [𝑘1 , 𝑘2 ]𝑇 , путем объединения уравнений (2.19) для каждой
из 𝑚 точек в 𝑛 изображениях.
Решение данной системы уравнений может быть найдено методом наименьших
квадратов следующим образом:
𝑘 = [𝐷𝑇 𝐷]−1 𝐷𝑇 𝑑
(2.20)
После первичной оценки 𝑘1 и 𝑘2 можно произвести уточнение параметров,
решая уравнение (2.14) заменой 𝑚
̂(𝐴, 𝑅𝑖 , 𝑡𝑖 , 𝑀𝑗 ) на (2.18).
Таким образом, оценка полного набора параметров с учетом радиальных
искажений сводится к минимизации следующего функционала:
𝑛
𝑚
̂(𝐴, 𝑘1 , 𝑘2 , 𝑅𝑖 , 𝑡𝑖 , 𝑀𝑗 )‖
∑ ∑‖𝑚𝑖𝑗 − 𝑚
(2.21)
𝑖=1 𝑗=1
Аналогичным образом можно ввести в функционал и минимизацию с учетом
тангенциального искажения (2.16), тогда функционал примет следующий вид:
𝑛
𝑚
̂(𝐴, 𝑘1 , 𝑘2 , 𝑝1 , 𝑝2 , 𝑅𝑖 , 𝑡𝑖 , 𝑀𝑗 )‖
∑ ∑‖𝑚𝑖𝑗 − 𝑚
𝑖=1 𝑗=1
(2.22)
35
На основании вышеописанного сформулируем порядок действий для
калибровки камеры с учетом компенсации искажений, вызванных дисторсией
объектива:
- подготовить калибровочный образец;
- произвести захват изображений плоскости модели под разными ориентациями
(перемещая либо плоскость, либо камеру);
- обнаружить точки калибровочного образца на изображениях;
- оценить внутренние и внешние параметры камеры;
- оценить коэффициенты радиального и тангенциального искажения путем
решения системы линейных уравнений методом наименьших квадратов на основании
уравнений (2.20);
-
произвести
уточнение
параметров
камеры
путем
минимизации
с
использованием метода максимального правдоподобия.
2.3
Погрешности, вызванные рефракцией атмосферы
Смещения точек на изображении под влиянием атмосферной рефракции
возникают из-за того, что оптический луч, идущий от точки M, находящейся на
объекте (рисунок 2.3) до объектива камеры, проходит слои воздуха разной плотности,
с разной температурой и давлением и, следовательно, с разными коэффициентами
преломления. В результате оптический луч пройдет не по прямой МS, а по кривой,
выгнутой во внешнюю сторону. Угол 𝜆 между прямой МS и касательной к кривой в
точке S называют угловой фотограмметрической рефракцией.
36
Рисунок 2.3 – Пример смещения точек на снимке под влиянием атмосферной
рефракции
На изображении точка М изобразится не в точке m, а в точке m', т.е. под
влиянием атмосферной рефракции точки смещаются от точки надира n вдоль
радиусов-векторов r. Т.к. 𝑟 = 𝑡𝑔𝜑, то 𝑑𝑟 = f𝑠𝑒𝑐 2 𝜑 dφ. Заменив 𝑑𝑟 на ∆𝑟, а dφ на 𝜆,
получим, что величина смещения точки под влиянием рефракции будет определяться
формулой:
𝑓2 + 𝑟2
Δ𝑟 = −
𝜆
𝑓
На основании этой формулы и с учетом, что 𝑟 2 = 𝑥 2 + 𝑦 2 и
(2.23)
∆𝑟
𝑟
=
∆𝑥
𝑥
=
∆𝑦
𝑦
, можно
получить формулы, по которым можно вводить поправки в измеренные на снимке
координаты точек.
𝛥𝑥 = −𝜆𝑥
𝑓+
𝑥2 + 𝑦2
𝑓
√𝑥 2 + 𝑦 2
(2.24)
37
𝑓+
𝛥𝑦 = −𝜆𝑦
где 𝜆 = 0,000226
(2.25)
√𝑥 2 + 𝑦 2
tan 𝜑 ∑(𝐻𝑎 −𝐻𝑔 )𝑑𝛿
𝐻
𝑥2 + 𝑦2
𝑓
, 𝐻𝑎 – абсолютная высота фотографирования,
𝐻𝑔 -высота точки местности, 𝑑𝛿 – изменение плотности атмосферы с высотой.
Следует отметить, что вводить поправки в измеренные на снимке координаты
точек для учета ошибок, вызванных рефракцией атмосферы, необходимо в случае
произведения измерений на больших расстояниях. В данной работе расстояния между
блоками измерительного канала не превышают нескольких метров, поэтому влияние
данного типа погрешностей являются несущественным для проводимых измерений.
2.4
Погрешности, вызванные внутренней рефракцией оптической системы
Рассмотрим процесс формирования изображения в оптической системе,
состоящей из нескольких оптических элементов. Каждый оптический элемент вносит
собственные искажения в ход оптического луча, такие как: смещение, преломление,
отражение, которые могут быть описаны линейными уравнениями, представленными
в матричной форме. Таким образом все прохождение луча сквозь оптическую систему
может представлено через последовательное перемножение этих матриц.
2.4.1 Матрица перемещения
Рассмотрим смещение луча в однородной среде (рисунок 2.4).
38
Рисунок 2.4 – Смещение луча
Обозначим осевое смещение луча, как 𝐿, тогда в точке 1 высота и угол наклона
к оптической оси 𝑦1 , 𝛼1 могут быть выражены как:
𝛼1 = 𝛼0
(2.26)
𝑦1 = 𝑦0 + 𝐿 𝑡𝑎𝑛𝛼0
Уравнения (2.26) могут быть представлены в следующей упорядоченной форме:
𝑦1 = (1)𝑦0 + (𝐿)𝛼0
(2.27)
𝛼1 = (0)𝑦0 + (1)𝛼0
где используется параксиальное приближение 𝑡𝑎𝑛𝛼0 ≅ 𝛼0 .
Данные уравнение могут быть представлены в матричной форме следующим
образом:
𝑦1
1 𝐿 𝑦0
[𝛼 ] = [
][ ]
0 1 𝛼0
1
(2.28)
где (𝑦0 , 𝛼0 ) – параметры входного луча (луча в начальной точке), (𝑦1 , 𝛼1 ) –
параметры выходного луча, смещенного в направлении оптической оси на расстояние
𝐿.
2.4.2 Матрица преломления
Следующим пунктом рассмотрим преломление луча на сферической границе
раздела двух сред, с показателями преломления 𝑛 и 𝑛′ (рисунок 2.5).
39
Рисунок 2.5 – Преломление луча на сферической границе
Координаты луча до преломления 𝑦 и 𝛼 могут быть связаны с координатами
луча после преломления 𝑦′ и 𝛼′ (при условии, что преломление происходит в точке,
без изменения высоты, то есть 𝑦 = 𝑦′) следующим образом:
𝑦
𝑦
𝛼′ = 𝜃′ − 𝜑 = 𝜃′ − и 𝛼 = 𝜃 − 𝜑 = 𝜃 −
𝑅
𝑅
(2.29)
Принимая во внимание параксиальную форму закона Снеллиуса:
𝑛𝜃 = 𝑛′𝜃′
(2.30)
Имеем:
𝑛
𝑦
𝑛
𝑦
𝑦
𝛼 ′ = ( ′ ) 𝜃 − = ( ′ ) (𝛼 + ) −
𝑛
𝑅
𝑛
𝑅
𝑅
1 𝑛
𝑛
𝛼 ′ = ( ) ( ′ − 1) 𝑦 + ( )𝛼
𝑅 𝑛
𝑛′
(2.31)
(2.32)
Соответствующие линейные уравнения:
𝑦 ′ = (1)𝑦 + (0)𝛼
1 𝑛
𝑛
𝛼 ′ = [( ) ( ′ − 1)] 𝑦 + ( ) 𝛼
𝑅 𝑛
𝑛′
Или в матричной форме:
(2.33)
40
1
0
𝑦′
𝑛 ] [𝑦 ]
[ ′] = [ 1 𝑛
𝛼
( ) ( ′ − 1)
𝛼
𝑅 𝑛
𝑛′
(2.34)
Если поверхность является вогнутой, то 𝑅 – отрицательная величина. Помимо
этого, принятие 𝑅 → ∞ позволяет получить соответствующую матрицу преломления
для плоской поверхности.
2.4.3 Матрица отражения
В заключение рассмотрим отражение от сферической поверхности (рисунок
2.6). В рассматриваемом случае, с вогнутым зеркалом, величина 𝑅 – отрицательная. В
следствии чего необходимо добавить условие для знаков углов, которые описывают
направление лучей. Углы считаются положительными для всех лучей, направленных
вверх до, либо после отражения. Углы для лучей, направленных вниз, считаются
отрицательными (условия для знаков показаны на вставке рисунка 2.6).
Из геометрии рисунка 2.6, где оба угла, 𝛼 и 𝛼′ являются положительными:
𝑦
𝑦
(2.35)
𝛼 =𝜃+𝜑 =𝜃+
и 𝛼′ = 𝜃′ − 𝜑 = 𝜃′ −
−𝑅
−𝑅
Рисунок 2.6 – Отражение луча от сферической поверхности
41
Используя соотношения (2.35) вместе с законом отражения 𝜃 = 𝜃 ′ , получим
выражение для вычисления 𝛼′:
𝛼′ = 𝜃′ +
𝑦
𝑦
2𝑦
=𝜃+ =𝛼+
𝑅
𝑅
𝑅
(2.36)
Соответствующие линейные уравнения:
𝑦 ′ = (1)𝑦 + (0)𝛼
(2.37)
2
𝛼 ′ = ( ) 𝑦 + (1)𝛼
𝑅
В матричной форме:
1
𝑦′
2
[ ]=[
𝛼′
𝑅
0
𝑦
][ ]
1 𝛼
(2.38)
2.4.4 Методика расчета хода луча через оптическую систему
Рассмотрим прохождение светового луча сквозь оптическую систему,
представляющую собой толстую линзу (рисунок 2.7).
Рисунок 2.7 – Прохождение светового луча через линзу
Противоположные стороны линзы имеют показатели преломления 𝑛 и 𝑛′ .
Таким образом, при прохождении луча через линзу он подвергается двум
42
преломлениям и одному сдвигу, матричные преобразования для которых были
определены ранее, такие как:
- для первого преломления:
𝑦1
𝑦0
[𝛼 ] = 𝑀1 [𝛼 ]
0
1
(2.39)
- для смещения
𝑦2
𝑦1
[𝛼 ] = 𝑀2 [𝛼 ]
2
1
(2.40)
- для второго преломления
𝑦3
𝑦2
[𝛼 ] = 𝑀3 [𝛼 ]
3
2
(2.41)
где 𝑀1 , 𝑀2 , 𝑀3 – соответствующие матрицы преобразования.
Совмещение этих матричных уравнений может быть представлено следующим
образом:
𝑦3
𝑦0
[𝛼 ] = 𝑀3 𝑀2 𝑀1 [𝛼 ]
3
0
(2.42)
Таким образом все прохождение оптического луча через линзу может быть
представлено матрицей 𝑀 = 𝑀3 𝑀2 𝑀1 .
Каждая матрица описывает прохождение луча в том же порядке, в котором
соответствующие оптические искажения на него воздействуют.
Тогда матричное уравнение для любого N числа перемещений, отражений и
преломлений, может быть представлено как:
𝑦𝑓
𝑦0
[𝛼 ] = 𝑀𝑁 𝑀𝑁−1 … 𝑀2 𝑀1 [𝛼 ]
𝑓
0
(2.43)
а матрица полного прохождения оптической системы соответственно:
𝑀 = 𝑀𝑁 𝑀𝑁−1 … 𝑀2 𝑀1
(2.44)
Показатель преломления рассматриваемой линзы равен 𝑛𝐿 , а ее толщина равна
𝑡 (рисунок 2.7), тогда общее матричное представление прохождение луча запишем в
виде следующего уравнения:
43
1
0
1
1
𝑡
𝑛
−
𝑛𝐿
𝑀 = [𝑛𝐿 − 𝑛′ 𝑛𝐿 ] [
][
0 1 𝑛 𝑅
𝑛′𝑅2
𝑛′
𝐿 1
0
𝑛]
𝑛𝐿
(2.45)
В случае тонкой линзы, толщиной которой в этом случае можно пренебречь,
окруженной одной средой с обеих сторон (𝑛 = 𝑛′ ), уравнение (2.45) примет
следующий вид:
1
𝑛
𝑀 =[ 𝐿 −𝑛
𝑛𝑅2
0
1
𝑛𝐿 ] [1 0] [𝑛 − 𝑛𝐿
𝑛 0 1 𝑛𝐿 𝑅1
0
𝑛]
𝑛𝐿
(2.46)
Преобразуем уравнение (2.46) к следующему виду:
1
0
𝑛
−
𝑛
1
1
𝑀=[ 𝐿
( − ) 1]
𝑛
𝑅2 𝑅1
(2.46)
Элемент матрицы в первом столбце и второй строке может быть выражен через
фокусное расстояние, согласно следующему преобразованию:
1 𝑛𝐿 − 𝑛 1
1
=
( − )
𝑓
𝑛
𝑅1 𝑅2
(2.47)
Поэтому матрица преобразования хода лучей в тонкой линзе примет следующий
вид:
1
𝑀 = [− 1
𝑓
0
(2.47)
1]
Отметим что, величина 𝑓 считается положительной для выпуклой линзы и
отрицательной для вогнутой линзы.
В случае если объектив используемой оптической системы является
сложносоставным, то следует вводить поправки на ход луча, связывающего
пространственные координаты точки модели с ее проекцией на изображении.
2.5
Влияние погрешностей измерения на модель ОЭК
В рамках данной работы модель исследуемой системы представляет собой
совокупность измерительных каналов, расстояния между блоками которой не
44
превышает нескольких метров. В связи с чем ошибки измерения координат на
изображении, вызванные влиянием рефракции атмосферы, пренебрежимо малы и
лежат в пределах статистической погрешности измерений.
Применение матричного метода для расчета поправок к ходу светового луча
необходимо в случае использования сложносоставных оптических систем и в рамках
данной работы могут быть компенсированы на этапе калибровки, за счет учета
радиальных искажений объектива.
Значимые ошибки в ход проведения измерений вносят искажения, вызванные
дисторсией объектива, а также внутренними параметрами камеры. Эти ошибки
должны быть компенсированы в ходе проведения калибровки камеры, обозначенной
в пункте 2.2.3.
45
ГЛАВА 3. КОМПЬЮТЕРНОЕ
ЭЛЕКТРОННОЙ
СИСТЕМЫ
МОДЕЛИРОВАНОЕ
МОНИТОРИНГА
ОПТИКО-
ДЕРФОРМАЦИЙ
ПРОТЯЖЕННЫХ ОБЪЕКТОВ
В данной главе рассматривается методика построения оптико-электронной
системы мониторинга деформаций протяженных объектов сетчатого типа с
использованием пространственно-стержневых конструкций.
Объекты этого типа чаще всего применялись в промышленном строительстве,
где требовалось перекрыть пролеты более 30-40 м, однако появление новых
автоматизированных
систем
проектирования
позволило
выйти
за
пределы
простейших конфигураций сетчатых оболочек и придавать объектам разнообразные
формы (рисунок 3.1).
Характерной чертой сетчатых оболочек является отсутствие несущих
конструкций в виде различных колонн, балок и т.д. Конструкции данного типа в
большинстве случаев обладают более высокими несущими свойствами в сравнении с
конструкциями другого типа. Это происходит из-за равномерного распределения
нагрузок на все стержни конструкции, что фактически исключает хрупкое
разрушение.
Рисунок 3.1 – Пример архитектурной концепции многофункциональноспортивного комплекса с сетчатым куполом
Любая структура купола сетчатого типа состоит из стержневых и узловых
элементов. Стержень представляет собой трубу круглого или квадратного сечения. Он
46
крепится к узловому элементу или, как его называют, коннектору. При разработке
конструкций применяют множество типов соединений узлового и стержневого
элементов. Основные типы соединений представлены на рискунке 3.2:
а)
б)
в)
Рисунок 3.2 – Типы соединений узлового и стержневого элементов
а) Соединение ”Light”, б) Соединение ”Basic”, в) Соединение “Polyhedron”
В связи с чем появляется необходимость в непрерывном мониторинге
соединений
элементов
конструкции
при
строительстве
и
эксплуатации
крупногабаритных сооружений [47, 48].
Цель данной главы – построение математической модели оптико-электронной
системы
мониторинга
узлов
конструкций
с
применением
компьютерного
моделирования работы системы.
3.1
Построение математической модели оптико-электронной системы
Рассмотрим принцип действия оптико-электронной системы на примере трех
измерительных каналов, состоящих из шести измерительных оптико-электронных
сенсоров
(ИС).
Каждый
из
измерительных
сенсоров
представляет
собой
одновременно оптико-электронную камеру и визирную цель, которая включает в себя
четыре светодиода, расположенных в плоскости крепления объектива (рисунок 3.3).
47
Рисунок 3.3 – Измерительный сенсор ОЭС
Измерительный канал ОЭС состоит из двух направленных друг на друга оптикоэлектронных сенсоров (рисунок 3.4).
Рисунок 3.4 – Измерительные каналы ОЭС
48
Рассмотрим
методику
определения
глобальных
координат
одного
измерительного канала.
Первоначально каждым из сенсоров, входящим в один измерительный канал
(например, ИС1 и ИС2, рисунок 3.4), производится детектирование визирных целей,
расположенных на противоположном сенсоре.
Полагая, что планарные координаты точек визирной цели априорно известны, а
соответствующие им проекции определены на этапе детектирования, можно
произвести дальнейший расчет внешних параметров камеры (𝑅– матрица вращения,
𝑡– вектор смещения) в локальной системе координат каждого сенсора (рисунок 3.5).
Рисунок 3.5 – Расчет пространственной ориентации ИС
Таким образом, внешние параметры ИС1 будут характеризовать его положение
относительно ИС2 в локальной системе координат ИС1, и, аналогичным образом,
внешние параметры ИС2 будут характеризовать его положение относительно ИС1 в
локальной системе координат ИС2.
В основе методики восстановления трехмерной структуры контролируемого
объекта, на которой строится математическая модель работы системы, лежит
49
определение ориентации каждого измерительного сенсора в мировой системе
координат на основании относительных смещений в каждом измерительном канале.
Данную методику условно можно разделить на три последовательных этапа:
- расчет внешних параметров камеры на основании наблюдаемых координат
визирной цели и ее априорно известных планарных координатах;
- расчет попарных переходов (относительного вращения и смещения) между
измерительными сенсорами каждого измерительного канала;
- расчет глобальной ориентации каждого измерительного сенсора на основе
относительных матриц вращения и векторов смещения каждого измерительного
канала.
Далее рассмотрим каждый из этапов более подробно.
3.2
Методика определения пространственного положения камеры
Определение положения и ориентации камеры с учетом ее внутренних
параметров производится исходя из набора 𝑛 соответствий между трехмерными
точками и их двумерными проекциями [37, 38, 39]. В общем случае для определения
внешних параметров камеры требуются четыре контрольные точки. Соответствие
между трехмерными координатами опорных точек и их двумерными проекциями
может быть описано матрицей 𝑀 размерностью 2n × 12, взвешенная сумма нулевых
собственных векторов которой будет являться решением данной задачи.
Обозначим 𝑛 известных опорных точек в мировой (исходной) системе
координат, как:
𝑝𝑖 , 𝑖 = 1, … , 𝑛
Аналогичным образом обозначим четыре контрольные точки, которые будут
использованы для выражения координат опорных точек в мировой системе, как:
𝑐𝑗 , 𝑗 = 1, … ,4
50
Отметим, что координаты точки, выраженные в мировой системе координат,
используют верхний индекс 𝑤, а в системе координат камеры 𝑐. Тогда каждую
опорную точку можно представить, как взвешенную сумму контрольных точек:
4
𝑝𝑖𝑤
=
4
∑ 𝑎𝑖𝑗 𝑐𝑗𝜔 , ∑ 𝑎𝑖𝑗
𝑗=1
𝑗=1
=1
(3.1)
где 𝑎𝑖𝑗 – однородные барицентрические координаты.
Такое же соотношение имеет место и в системе координат камеры, тогда 𝑝𝑖𝑐 –
координаты 𝑖 − ой точки в системе координат относительно камеры, может быть
представлено как:
4
𝑝𝑖𝑐
=
∑ 𝑎𝑖𝑗 𝑐𝑗𝑐
𝑗=1
(3.2)
Теоретически контрольные точки могут быть выбраны произвольно, но на
практике стабильность метода возрастает, когда первая точка выбирается как центр
масс всех входных точек, а оставшиеся три выбираются так, чтобы они образовывали
ортонормированный базис.
Опишем получение матрицы 𝑀 в случае, когда двумерные проекции опорных
точек также известны.
Пусть 𝐴 – матрица внутренних параметров камеры, полученная на этапе
калибровки, {𝑢𝑖 } 𝑖 = 1, … , 𝑛 - двумерные проекции опорных точек {𝑝𝑖 } 𝑖 = 1, … , 𝑛,
тогда для всех 𝑖 имеем следующее выражение:
4
𝑢
𝜔𝑖 [ 𝑖 ] = 𝐴𝑝𝑖𝑐 = 𝐴 ∑ 𝑎𝑖𝑗 𝑐𝑗𝑐
1
(3.3)
𝑗=1
где 𝜔𝑖 – масштабный параметр проективной плоскости.
Матрица внутренних параметров 𝐴 зависит от координат главной точки (точки
пересечания оптической оси и плоскости изображения) и фокусного расстояния,
которые в рамках рассматриваемой задачи являются известными.
51
Расширим выражение (3.3), добавив в уравнение трехмерные координаты
𝑇
[𝑥𝑗𝑐 , 𝑦𝑗𝑐 , 𝑧𝑗𝑐 ] каждой контрольной точки 𝑐𝑗𝑐 , двумерные координаты [𝑢𝑖 , 𝑣𝑖 ]𝑇 проекций
𝑢𝑖 , 𝑓𝑢 , 𝑓𝑣 – масштабные коэффициенты фокусного расстояния, и координаты главной
точки (𝑢𝑐 , 𝑢𝑣 ), описывающие матрицу внутренних параметров камеры 𝐴, тогда для
всех 𝑖:
𝑢𝑖
𝑓𝑢
𝜔𝑖 [𝑣𝑖 ] = [ 0
1
0
0
𝑓𝑣
0
𝑐
𝑥𝑗
𝑢𝑐 4
𝑐
𝑣𝑐 ] ∑ 𝑎𝑖𝑗 [𝑦𝑗 ]
1 𝑗=1
𝑧𝑗𝑐
(3.4)
Неизвестными параметрами линейной системы уравнений (3.4) являются 12
координат контрольных точек {(𝑥𝑗𝑐 , 𝑦𝑗𝑐 , 𝑧𝑗𝑐 }
𝑗=1,…,4
и 𝑛 проективных параметров {𝜔𝑖 }𝑖 =
1, … , 𝑛. Из уравнения (3.4) следует, что 𝜔𝑖 = ∑4𝑗=1 𝑎𝑖𝑗 𝑧𝑗𝑐 . Таким образом, выражение
(3.4) может быть представлено в виде следующей системы уравнений для каждой
контрольной точки:
4
∑ 𝑎𝑖𝑗 𝑓𝑢 𝑥𝑗𝑐
𝑗=1
+ 𝑎𝑖𝑗 (𝑢𝑐 −
𝑢𝑖 )𝑧𝑗𝑐
+ 𝑎𝑖𝑗 (𝑣𝑐 −
𝑣𝑖 )𝑧𝑗𝑐
=0
4
∑ 𝑎𝑖𝑗 𝑓𝑣 𝑦𝑗𝑐
𝑗=1
=0
(3.5)
(3.6)
Обратим внимание, что проективный параметр 𝜔𝑖 больше не появляется в этих
уравнениях. Следовательно, объединяя уравнения (3.5) и (3.6) для всех 𝑛 опорных
точек, получим линейную систему вида:
𝑀𝑋 = 0
𝑇
𝑇
𝑇
(3.7)
𝑇 𝑇
где 𝑋 = [𝑐1𝑐 , 𝑐2𝑐 , 𝑐3𝑐 , 𝑐4𝑐 ] , представляет собой 12D-вектор из неизвестных
[𝑥1 𝑦1 𝑧1 𝑥2 𝑦2 𝑧2 𝑥3 𝑦3 𝑧3 𝑥4 𝑦4 𝑧4 ] и матрицы M размером 2𝑛 × 12, полученной путем
отделения известных параметров от неизвестных в уравнениях (3.5) и (3.6) для каждой
из опорных точек.
52
Решение матричного уравнения (3.7) есть линейная комбинация векторов из
ядра матрицы 𝑀.
Так как для любого линейного оператора:
𝑑𝑖𝑚𝐾𝑒𝑟𝑀 = 𝑑𝑖𝑚𝑀 − 𝑑𝑖𝑚𝑟𝑘𝑀
(3.8)
то размерность ядра оператора М может быть 1,2,3,4.
Для нахождения матрицы 𝑀 используется SVD-разложение:
𝑀 = 𝑈𝐷𝑉 𝑇
(3.9)
где 𝑈, 𝑉 – ортогональные матрицы, 𝐷 – диагональная, с сингулярными числами
на главной диагонали. При таком разложении последние столбцы матрицы 𝑉 –
базисные векторы ядра M.
Тогда
𝑁
𝑋 = ∑ 𝛽𝑖 𝑣𝑖
(3.10)
𝑖=1
где 𝑣𝑖 - последние столбцы 𝑉, которые известны. Решение уравнения (3.10)
сводится к нахождению неизвестных коэффициентов 𝛽𝑖 .
Таким образом, решение может быть выражено как линейная комбинация
нулевых собственных векторов 𝑀𝑇 𝑀, найденных при вычислении соответствующих
значений коэффициентов {𝛽𝑖 }𝑖=1,…,𝑁 (3.10). Этот подход применяется даже тогда,
когда система (3.7) имеет ограничения, например, в следствие того, что число
входных соответствий (3.4), которые требуют уравнения (3.5) и (3.6), меньше
количества неизвестных.
В случае использования перспективной камеры, размер 𝑁
нулевого
пространства 𝑀𝑇 𝑀 должен быть равен единице, а в случае, когда камера является
ортографической, а не перспективной, размер нулевого пространства увеличивается
до четырех, потому что изменение глубины контрольных точек не будет влиять на их
проекции. Данное утверждение иллюстрирует рисунок 3.6: для малых фокусных
расстояний 𝑀𝑇 𝑀 имеется только одно нулевое собственное значение. Однако по мере
53
увеличения фокусного расстояния и приближения камеры к ортографической все
четыре наименьших собственных значения приближаются к нулю. Следует отметить,
что в случае присутствия помех, вызванных различными шумами, наименьшее
собственное значение будет не строго равным нулю.
Рисунок 3.6 – Собственные значения матрицы 𝑀𝑇 𝑀 для разных фокусных
расстояний. Слева - собственные значения, справа – их масштабирование.
Таким образом, эффективная размерность 𝑁 нулевого пространства 𝑀𝑇 𝑀 может
варьироваться от 1 до 4 в зависимости от конфигурации опорных точек, фокусного
расстояния и уровня шума (рисунок 3.7).
Рисунок 3.7 - Эффективное число 𝑁 нулевых сингулярных значений в 𝑀𝑇 𝑀.
54
На практике, вместо того, чтобы пытаться выбрать значение 𝑁 среди множества
{1,2,3,4}, которое может быть подвержено ошибкам, в случае если несколько
собственных значений имеют одинаковые величины, производится вычисление всех
четырех значений 𝑁 и выбирается то, которое дает наименьшую ошибку
перепроверки:
𝑝𝜔
𝑟𝑒𝑠 = ∑ 𝑑𝑖𝑠𝑡 2 (𝐴[𝑅|𝑡] [ 𝑖 ] , 𝑢𝑖 )
1
(3.11)
𝑖
где 𝑑𝑖𝑠𝑡 (𝑚
̌, 𝑛) - двумерное расстояние между точкой 𝑚, выраженной в
однородных координатах, и точкой 𝑛.
Случай N = 1: 𝑥 = 𝛽𝑣, тогда решение для 𝛽, записывается так, что расстояния
между контрольными точками, полученными в системе координат камеры, должны
быть равны тем, которые были вычислены в мировой системе координат при
использовании данных о трехмерных координатах.
Пусть 𝑣 [𝑖] - подвектор 𝑣, соответствующий координатам контрольной точки 𝑐𝑖𝑐 .
Например, 𝑣 [1] будет представлять векторы, состоящие из первых трех
элементов вектора 𝑣. Сохранение расстояния между парами контрольных точек (𝑐𝑖 , 𝑐𝑗 )
означает, что:
2
‖𝛽𝑣 [𝑖] − 𝛽𝑣 [𝑗] ‖ = ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖
2
(3.12)
Поскольку экземпляры ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖ известны, можно вычислить 𝛽 в замкнутой
форме как:
∑{𝑖,𝑗}∈[1,4]‖𝑣 [𝑖] − 𝑣 [𝑗] ‖ ∙ ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖
𝛽=
∑{𝑖,𝑗}∈[1,4]‖𝑣 [𝑖] − 𝑣 [𝑗] ‖2
(3.13)
Случай N = 2: пусть 𝑥 = 𝛽1 𝑣1 + 𝛽2 𝑣2 и ограничения дистанции представляют
собой:
[𝑖]
[𝑖]
[𝑗]
[𝑗]
2
‖(𝛽1 𝑣1 + 𝛽2 𝑣2 ) − (𝛽1 𝑣1 + 𝛽2 𝑣2 )‖ = ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖
2
(3.14)
55
Полученные квадратные уравнения относительно коэффициентов 𝛽1 и 𝛽2 могут
быть решены методом линеаризации. Он основан на решении системы линейных
уравнений относительно неизвестных коэффициентов [𝛽11 , 𝛽12 , 𝛽22 ]𝑇 , где 𝛽11 =
𝛽12 , 𝛽12 = 𝛽1 𝛽2 , 𝛽22 = 𝛽22 .
Данный метод использует четыре контрольные точки, поэтому можно получить
систему линейных уравнений относительно 𝛽𝑎𝑏 , которая имеет вид:
𝐿𝛽 = 𝜌
(3.15)
где 𝐿 – матрица размерностью 6x3, полученная из элементов 𝑣1 и 𝑣2 , 𝜌 – 6D2
вектор с расстояниями исходных точек ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖ и 𝛽 = [𝛽11 , 𝛽12 , 𝛽22 ]𝑇 - вектор
неизвестных.
Данную систему можно решить, используя псевдоинверсию 𝐿 и выбором знаков
для 𝛽𝑎 так, чтобы все точки 𝑝𝑖𝑐 имели положительные 𝑧 координаты. Далее
полученные значения 𝛽1 и 𝛽2 могут быть дополнительно уточнены используя
[𝑖]
[𝑖]
формулу (3.13) для оценки общего масштаба 𝛽 так, что 𝑐𝑖𝑐 = 𝛽(𝛽1 𝑣1 + 𝛽2 𝑣2 ).
Случай N = 3: как и в случае N = 2, используется ограничение из шести
расстояний (3.14). В данном случае снова получается система линейных уравнений
(3.15) хотя и с большей размерностью и матрица L, представляющая собой
квадратную матрицу размером 6x6, образованную элементами 𝑣1 , 𝑣2 , 𝑣3 , а 𝛽 –
становится 6𝐷-вектором [𝛽11 , 𝛽12 , 𝛽13 , 𝛽22 , 𝛽23 , 𝛽33 ]𝑇 . Процедура решения такая как и
раньше, за исключением того, что теперь используется инверсия 𝐿 вместо
псевдоинверсии.
Случай N = 4: в данном случае имеются четыре неизвестных 𝛽𝑎 и шесть
ограничений расстояний, которые использовались в предыдущих случаях. Так как
методом линеаризации обрабатываются все 10 произведений 𝛽𝑎𝑏 = 𝛽𝑎𝛽𝑏 и в данном
случае эти ограничения не являются достаточными, то необходимо применять метод
релинеаризации [40], согласно которому неизвестные коэффициенты могут быть
найдены путем введения новых квадратных уравнений и их повторного решения
56
методом линеаризации. Новые квадратные уравнения вводятся на основании свойства
коммутативности умножения:
𝛽𝑎𝑏 𝛽𝑐𝑑 = 𝛽𝑎 𝛽𝑏 𝛽𝑐 𝛽𝑑 = 𝛽𝑎′ 𝛽𝑏′ 𝛽𝑐′ 𝛽𝑑′
(3.16)
где {𝑎′ , 𝑏 ′ , 𝑐 ′ , 𝑑′} представляют любую перестановку целых чисел {𝑎, 𝑏, 𝑐, 𝑑}.
В плоском случае, когда имеется одно очень малое собственное значение,
требуется только три контрольные точки. Тогда размерность M сводится к 2n × 9 с 9D
собственными векторами 𝑣𝑖 , но при этом приведенные выше уравнения остаются в
основном действительными. Основное различие заключается в том, что число
квадратичных ограничений падает с 6 до 3. Как следствие, следует использовать
метод релинеризации, введенный в случае 𝑁 = 4 для 𝑁 ≥ 3.
Последующим этапом является уточнение найденных четырех значений
коэффициентов 𝛽 = [𝛽1 , 𝛽2 , 𝛽3 , 𝛽4 , ]𝑇 в (3.10), выбирая значения, минимизирующие
изменение расстояния между контрольными точками. В частности, можно
использовать алгоритм Гаусса-Ньютона для минимизации [41]:
𝐸𝑟𝑟𝑜𝑟(𝛽) =
2
2
(‖𝑐𝑖𝑐 − 𝑐𝑗𝑐 ‖ − ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖ )
∑
(3.17)
(𝑖,𝑗)𝑠.𝑡.𝑖<𝑗
2
с учетом β. Расстояния ‖𝑐𝑖𝑤 − 𝑐𝑗𝑤 ‖ в мировой системе координат известны, а
координаты контрольной точки в системе координат камеры обозначаются как
функция из β коэффициентов:
4
𝑐𝑖𝑐
3.3
=
[𝑖]
∑ 𝛽𝑗 𝑣𝑗
𝑗=1
(3.18)
Методика оценки глобальной ориентации камер, на основании взаимных
попарных переходов
Рассмотрим случай, согласно [42], при котором известны все относительные
вращения 𝑅̂𝑖𝑗 для каждой пары камер, тогда глобальное положение каждой них можно
оценить, воспользовавшись следующей оптимизацией:
57
𝑛
𝑚𝑖𝑛 ∑ ‖𝑅𝑖𝑇 𝑅𝑗
{𝑅1 ,…,𝑅𝑛 }
𝑖,𝑗=1
(3.19)
2
− 𝑅̂𝑖𝑗 ‖𝐹
где ‖. ‖2𝐹 обозначает Фробениусову норму матрицы. Для того чтобы каждая
матрица 𝑅𝑖 (1 ≤ 𝑖 ≤ 𝑛) являлась матрицей поворота, она должна удовлетворять
следующим ограничениям: 𝑅𝑖𝑇 𝑅𝑖 = 𝐸 и 𝑑𝑒𝑡(𝑅𝑖 ) = 1.
Решить задачу оптимизации (3.19) можно при использовании наблюдения, что
симметричная матрица 𝐺 размерностью 3𝑛 × 3𝑛 может быть построена путем
конкатенации попарных матриц поворота:
𝐼
𝑅
𝐺 = [ 21
…
𝑅𝑛1
𝑅12
𝐼
…
…
𝑅𝑛2
…
𝑅1𝑛
𝑅2𝑛
]
…
𝐼
(3.20)
Пусть 𝑅 будет матрицей размерностью 3 × 3𝑛, построенной путем
конкатенации матриц вращения относительно мировой системы координат 𝑅 =
[𝑅1
𝑅2
… 𝑅𝑛 ]. Тогда 𝐺 имеет ранг 3 и три его собственных вектора с ненулевыми
собственными значениями задают столбцы матрицы 𝑅𝑇 .
По определению 𝑅𝑖𝑗 = 𝑅𝑖𝑇 𝑅𝑗 , и поэтому 𝐺 = 𝑅𝑇 𝑅 имеет ранг 3. Так как 𝑅𝑇 𝑅 =
𝑛𝐼, 𝐺𝑅𝑇 = 𝑅𝑇 𝑅𝑅𝑇 = 𝑛𝑅𝑇 , и, следовательно, три столбца из 𝑅𝑇 образуются
собственными векторами 𝐺 с теми же самими собственными значениями 𝑛.
Как правило, в задачах восстановления глобальной ориентации некоторые из
парных матриц вращений отсутствуют. Поэтому добавим в матрицу 𝐺 нулевые блоки
для недостающих вращений.
Пусть 𝑑𝑖 число доступных вращений 𝑅𝑖𝑗 в 𝑖-м блоке строки 𝐺, и пусть 𝐷 будет
3𝑛 × 3𝑛 диагональной матрицей, построенной как:
𝑑1 𝐼
0
𝐷=[
…
0
0
𝑑2 𝐼
…
…
0
…
0
0
]
…
𝑑𝑛 𝐼
Отметим, что 𝐺𝑅𝑇 = 𝐷𝑅𝑇 , и поэтому столбцы 𝑅𝑇
(3.19)
образуются тремя
58
собственными векторами 𝐷−1 𝐺 с собственным значением 1.
В более общем случае построение матриц 𝐺 и 𝐷 может быть модифицировано
посредством добавления весов (0 ≤ 𝜔𝑖𝑗 ≤ 1), которые будут отражать корректность
выбора доступных попарных вращений R ij .
На практике относительные вращения 𝑅̂𝑖𝑗 , извлекаемые из рассчитанных на
основании PnP методов, могут отличатся от истинных 𝑅𝑖𝑗 . Это возникает в следствии
наличия шумов в определении сопоставлений между 2D-3D координатами, которые в
дальнейшем могут быть минимизированы.
Чтобы извлечь оценки вращения, обозначим через 𝑀 3𝑛 × 3𝑛 матрицу,
содержащую собственные векторы, которая может быть представлена как набор
подматриц размерностью 3 × 3, 𝑀 = [𝑀1
𝑀2
… 𝑀𝑛 ].
Каждая 𝑀i является оценкой для вращения 𝑖-й камеры. При этом, каждая 𝑀𝑖 не
гарантирует удовлетворение ограничения 𝑀𝑖𝑇 𝑀𝑖 = 𝐼. Таким образом, производится
нахождение ближайшего значения матрицы поворота (используя норму Фробениуса)
путем применения сингулярного разложения 𝑀𝑖 = 𝑈𝑖 𝛴𝑖 𝑉𝑖𝑇 и задания 𝑅̂𝑖𝑇 = 𝑈𝑖 𝑉𝑖𝑇 [43].
Аналогичным образом, при необходимости, вводится ограничение 𝑑𝑒𝑡(𝑅̂𝑖𝑇 ) = 1.
Таким образом следует отметить, что это решение определяется с точностью до
одного глобального вращения, что соответствует общему изменению ориентации
глобальной системы координат. Заключительным этапом определения является
минимизация рассчитанных приближенных значений R c использованием уравнения
(3.18).
Восстановив
ориентацию
сенсоров
𝑅̂1 , … , 𝑅̂𝑛 ,
рассмотрим
подход
к
определению параметров глобального положения камер, 𝑡1 , … , 𝑡𝑛 .
На основании попарных векторов смещений 𝑡𝑖𝑗 для оценки положения камер,
воспользуемся следующим соотношением:
𝑡𝑖𝑗 = 𝛾𝑖𝑗 𝑅𝑖𝑇 (𝑡𝑖 − 𝑡𝑗 )
(3.21)
59
где 𝛾𝑖𝑗 - неизвестный коэффициент масштабирования для каждой пары камер.
Данную систему линейных уравнений для оценки положения каждой камеры
можно решить с точностью до масштабного коэффициента с использованием метода
наименьших квадратов.
3.4
Экспериментальные исследования математической модели
Причиной неправильного определения пространственных координат блоков,
входящих
в
состав
измерительной
оптико-электронной
системы
являются
неправильные расчеты координат контрольной метки на изображении, вызванные
случайными или систематическими погрешностями. Имея информацию о характере
этих погрешностей можно внести поправки к результатам измерений, тем самым
скомпенсировав их влияние на итоговую точность системы.
Исследуем влияние основных видов погрешностей на точность определения
пространственного положения блоков измерительной системы, состоящей из 6
последовательных сенсоров, образующий 3 измерительных канала (рисунок 3.8)
Рисунок 3.8 – Структурная схема исследуемой оптико-электронной системы
В качестве исходных данных возьмем следующие номинальные значения
параметром каждого из измерительных блоков:
- 5М сенсор OV5647;
- CCD size: 1/4";
- фокусное расстояние: 6мм (регулируемое);
- размер изображения: 2592x1944;
- визирная цель: 50x50мм.
- проекция визирной цели: 300x300пкл.
60
Как правило, случайная погрешность измерения координат визирной цели на
изображении, обусловлена шумами фотоприемника, а также особенностями
алгоритма поиска энергетического центра каждого из светодиодов, входящего в
состав визирной цели. Как было доказано ранее [61] СКО случайной погрешности
измерения координат изображения не превышает 0.1 пкл.
Для оценки влияние основных видов погрешностей на точность определения
пространственного положения блоков измерительной системы проанализируем
следующую разность:
𝑃̃𝑤 − 𝑃𝑤 = ∆𝑃𝑤
(3.22)
где 𝑃𝑤 – априорно заданные параметры системы, 𝑃̃𝑤 – параметры системы,
зависящие от вектора случайных воздействий.
Каждый
измерительный
сенсор
характеризуется
как
минимум
тремя
параметрами внутреннего ориентирования (фокусного расстояние, координаты
главной точки изображения), а также шестью параметрами внешнего ориентирования
(вектор поворота и смещения). Помимо, погрешностей, вносимых каждым сенсором
в
последовательности
измерительных
каналов,
присутствуют
погрешности,
вызванные неправильным определением координат визирной цели на изображении,
характеризующимся восемью параметрами (две координаты на каждый из четырех
светодиодов). Таким образом для исследуемой модели системы, состоящей из шести
измерительных сенсоров следует исследовать воздействие вектора, состоящего из 84
параметров.
Для решения поставленной задачи необходимо найти все частные производные
по всем параметрам системы, иначе говори построить матрицу Якоби. К сожалению,
в общем случае это невозможно выполнить аналитически. Поэтому для каждой 𝑃𝑖𝑗
значение рассчитывается, используя численные методы. Наиболее простым и
эффективным методом нахождения частных производных является метод конечных
разностей. Анализируя полученную матрицу Якоби, как функцию от изменяемых
61
параметров, может быть получена зависимость, характеризующая погрешности
измерительной системы.
Произведем математическое моделирование в случае внесения линейных
искажений в координаты визирных целей, расположенных на сенсорах первого
измерительного канала исследуемой системы.
Изменяя произвольным образом каждую координату визирных целей в
диапазоне [−0.01, +0.01] мм по координатам x и y соответственно, можно получить
зависимости средней абсолютной ошибки определения угловой и пространственной
ориентации системы сенсоров от средней абсолютной ошибки вектора вносимых
изменений (рисунок 3.9, 3.10).
Рисунок 3.9 – Зависимость средней абсолютной ошибки определения
пространственного положения системы сенсоров от средней абсолютной ошибки
вектора вносимых изменений.
62
Рисунок 3.10 – Зависимость средней абсолютной ошибки определения углового
положения системы сенсоров от средней абсолютной ошибки вектора вносимых
изменений.
Полагая, что пиксельные координаты на момент внесения линейных изменений
априорно известны, можно получить зависимость средней абсолютной ошибки
определения пиксельных координат визирной цели от средней абсолютной ошибки
угловой и пространственной ориентации системы соответственно (рисунок 3.11, 3.12).
63
Рисунок 3.11 – Зависимость средней абсолютной ошибки определения
пиксельных
координат
визирной
цели
от
пространственной ориентации системы в целом.
средней
абсолютной
ошибки
64
Рисунок 3.12 – Зависимость средней абсолютной ошибки определения
пиксельных координат визирной цели от средней абсолютной ошибки угловой
ориентации системы в целом.
Аналогичным
образом
можно
произвести
моделирование,
и
оценить
зависимости средних абсолютных ошибок при внесении изменений во второй и
третий каналы, результаты которого отображены на рисунке 3.13(1,2) и 3.14(1,2)
65
Рисунок 3.13.1 – Зависимость средней абсолютной ошибки определения
пространственных координат измерительной системы от средней абсолютной ошибки
вектора вносимых изменений
66
Рисунок 3.13.2 – Зависимость средней абсолютной ошибки определения угловых
координат измерительной системы от средней абсолютной ошибки вектора вносимых
изменений
67
Рисунок 3.14.1 – Зависимость средней абсолютной ошибки определения
пространственных координат измерительной системы от средней абсолютной ошибки
вектора вносимых изменений
68
Рисунок 3.14.2 – Зависимость средней абсолютной ошибки определения угловых
координат измерительной системы от средней абсолютной ошибки вектора вносимых
изменений
По приведенным выше графикам зависимостей, полученных в результате
компьютерного моделирования видно, что ошибка измерения в пространственном
положении сенсоров системы не превышает 1,6 мм, а в угловом – 0.01 градуса.
Добавляя в исследуемую модель оптико-электронной системы последовательно
измерительные каналы и внося в них ошибки измерения можно получить следующие
зависимости, погрешности измерения оптико-электронной системы в целом от
погрешности, вносимой каждым измерительным каналом (рисунок 3.15, 3.16).
69
Рисунок 3.15 – Зависимость средней абсолютной ошибки измерения
пространственных координат ОЭС от количества ошибочных каналов.
70
Рисунок 3.16 – Зависимость средней абсолютной ошибки измерения угловых
координат ОЭС от количества ошибочных каналов
Таким образом, описанные в данной главе методики могут быть применены для
построения и моделирования систем, состоящих из нескольких измерительных
каналов, локальный переход между смежными блоками, которых известен и получен
на этапе калибровки системы.
Погрешность измерения системы, состоящей из нескольких каналов, будет
зависеть от погрешностей измерений каждого из них и может быть компенсирована
за счет направлений проводимых измерений, а также вводом промежуточных
априорно известных контрольных точек, на основании которых производится связь
локальной системы координат системы с мировой системой координат.
71
ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ
ИССЛЕДОВАНИЕ
МАКЕТА
ИЗМЕРИТЕЛЬНОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ
Основными целями экспериментального исследования макета являются:
- проверка практической реализуемости системы контроля протяженных объектов
нелинейной формы с использованием набора оптико-электронных измерительных
сенсоров;
- оценка работоспособности алгоритма обработки измерительной информации;
- получение статистических характеристик системы.
4.1
Принципиальная схема измерительной ОЭС
Принцип действия оптико-электронной системы мониторинга нелинейных
строительных конструкций основан на локальном измерении ребер между смежными
сенсорами с использованием метода обратной угловой засечки.
В зависимости от количества и направлений визирования сенсоров,
используемых для мониторинга деформаций протяженных объектов, формируется
распределенная измерительная сеть, ошибки измерений которой могут быть
усреднены благодаря нескольким измерительным каналам, проходящим через один и
того же несущий узел конструкции.
4.2
Структурная схема измерительной ОЭС
Структурная схема канала исследуемой оптико-электронной измерительной
системы приведена на рисунке 4.1. Измерительный сенсор – это прибор двойного
назначения, с одной стороны являющийся измерительным оптико-электронным
датчиком, а с другой – визирной целью для смежного измерительного блока системы
мониторинга. В качестве визирной цели выступает метка, состоящая из четырех
светодиодов.
72
ИС
УС
МПОИ
МОИ
ИС
Об
Об
ВЦ
ВЦ
ИКС
ИКС
ИКС
ИКС
ИКС
ИКС
ИКС
ИКС
МПОИ
УС
МОИ
Рисунок 4.1 – Структурная схема измерительного канала оптико-электронной системы
(ИС – измерительный сенсор, УС – устройство сопряжения, МПОИ – матричный
приемник оптического излучения, Об – объектив, МОИ – модуль обработки
информации, ВЦ – визирная цель, ИКС -излучающий светодиод инфракрасного
диапазона)
В состав измерительного сенсора входит блок обработки информации,
выполняющий следующие функции:
- захват изображения с матричного приемника оптического излучения (МПОИ);
- обработка изображения и расчет локального пространственного положения сенсора;
- управление включением/выключением визирной цели, входящей в состав
измерительного сенсора;
- осуществление обмена командами с главным блоком управления системой в целом.
4.3
Описание макета измерительной оптико-электронной системы
На основе теоретических принципов, изложенных в третьей главе диссертации,
был разработан макет (Рисунок 4.2) измерительного сенсора, входящего в состав
разрабатываемой ОЭС.
73
Фотоприемный
модуль
Объектив
Излучающий
светодиод
Модуль обработки
информации
Рисунок 4.2 – Макет измерительного сенсора (без кожуха)
Измерительный сенсор состоит из четырех излучающих светодиодов,
фотоприемного модуля (с объективом) и модуля обработки измерительной
информации. Каждый фотоприемный модуль представляет собой приемник
оптического излучения (матричный приемник оптического излучения на основе
КМОП-технологии).
В качестве макета исследования рассматривается ОЭС, состоящая из шести
измерительных сенсоров, расположенных в узлах Т-образной конструкции (Рисунок
4.3).
Регулируемые блоки
(угловое положение)
Базовые(неподвижные)
блоки
Регулируемый блок
(линейное положение)
Рисунок 4.3 – Макет измерительной оптико-электронной системы
74
Базовыми блоками обозначены измерительные сенсоры с априорно известными
значениями
относительных
переходов,
полученных
на
этапе
калибровки.
Регулируемыми блоками обозначены сенсоры, располагаемые на позиционерах, и
требующие контроля положения согласно методике описанной в третьей главе.
В соответствии с разработанным макетом был изготовлен и собран измерительный
стенд, представленный на Рисунке 4.4.
Рисунок 4.4 – Макет измерительной оптико-электронной системы
В ходе проводимых экспериментальных исследований были использованы:
- блок обработки информации - миникомпьютер Raspberry Pi model 2;
- матричный приемник – Raspberry Pi camera module (размер изображения – 2592x1944
пкл, размер матрицы – 3.76 x 2.74 мм, фокусное расстояние – 5мм).
4.4
Методика подготовки измерительной информации для построения
математической модели
На основании разработанных принципов построения измерительной оптикоэлектронной системы [49, 50, 54, 55], изложенных в предыдущей главе, рассмотрим
75
методику подготовки измерительной информации (рисунок 4.5)
Рисунок 4.5 – Методика получения измерительной информации
На первом этапе происходит захват последовательности изображений для
инициализации алгоритмов компенсации фона [44, 45, 46] (рисунок 4.6)
Рисунок 4.6 – Захват изображений без включенных светодиодов
На втором этапе происходит включение светодиодов, иницииализация камер, а
также захват изображений с каждого измерительного сенсора (рисунок 4.7)
Рисунок 4.7 – Захват изображений с включенными светодиодами
76
На третьем этапе согласно методикам, описанным в [57, 58, 59, 60],
производится детектирование и подготовка бинарной маски для дальнейшего
детектирования светодиодов на визирной цели (рисунок 4.8).
Рисунок 4.8 – Детектирование визирной цели на изображении
На четвертом этапе происходит детектирование светодиодов на изображении с
учетом найденной бинарной маски (рисунок 4.11)
Рисунок 4.11 – Детектирование светодиодов на изображении
На пятом этапе происходит расчет энергетических центров светодиодов,
получаемых при помощи аппроксимации значений интенсивностей пикселей
фрагмента
изображения
(для
каждого
светодиода),
полученного
на
этапе
детектирования, следующей функцией:
𝑧 = 𝑒 (𝑎𝑥
2 +𝑏𝑦 2 +𝑐𝑥+𝑑𝑦+𝑓)
(4.9)
Для упрощения проведения операции дифференцирования необходимо
прологарифмировать обе части уравнения:
77
𝑙𝑛(𝑧) = 𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑓
(4.10)
Таким образом получим следующую функцию, представляющую собой сумму
квадратов отклонений известных точек от соответствующих точек на искомой
поверхности:
𝑄 = ∑([𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑓 − 𝑙𝑛(𝑧)]2 )
(4.11)
Последующим шагом необходимо найти такие 𝑎, 𝑏, 𝑐, 𝑑, 𝑓 и 𝑔, при которых
функция будет минимизирована, то есть ее частные производные равны нулю:
𝑑𝑄
= ∑([𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑒 − 𝑙𝑛(𝑧)]) ∙ 𝑥 2
𝑑𝑎
𝑑𝑄
= ∑([𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑒 − 𝑙𝑛(𝑧)]) ∙ 𝑦 2
𝑑𝑏
𝑑𝑄
= ∑(𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑒 − 𝑙𝑛(𝑧)) ∙ 𝑥
𝑑𝑐
𝑑𝑄
= ∑(𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑒 − 𝑙𝑛(𝑧)) ∙ 𝑦
𝑑𝑑
𝑑𝑄
= ∑(𝑎𝑥 2 + 𝑏𝑦 2 + 𝑐𝑥 + 𝑑𝑦 + 𝑒 − 𝑙𝑛(𝑧))
𝑑𝑒
(4.12)
После раскрытия скобок и приравнивания к нулю получим следующую систему
уравнений:
𝑎 ∑ 𝑥 4 + 𝑏 ∑ 𝑥 2 𝑦 2 + 𝑐 ∑ 𝑥 3 + 𝑑 ∑ 𝑥 2 𝑦 + 𝑓 ∑ 𝑥 2 = ∑ 𝑥 2 𝑙𝑛(𝑧)
𝑎 ∑ 𝑥 2 𝑦 2 + 𝑏 ∑ 𝑦 4 + 𝑐 ∑ 𝑥𝑦 2 + 𝑑 ∑ 𝑦 3 + 𝑓 ∑ 𝑦 2 = ∑ 𝑦 2 𝑙𝑛(𝑧)
𝑎 ∑ 𝑥 3 + 𝑏 ∑ 𝑥𝑦 2 + 𝑐 ∑ 𝑥 2 + 𝑑 ∑ 𝑥𝑦 + 𝑓 ∑ 𝑥 = ∑ 𝑥𝑙𝑛(𝑧)
𝑎 ∑ 𝑥 2 𝑦 + 𝑏 ∑ 𝑦 3 + 𝑐 ∑ 𝑥𝑦 + 𝑑 ∑ 𝑥𝑦 2 + 𝑓 ∑ 𝑦 = ∑ 𝑦𝑙𝑛(𝑧)
𝑎 ∑ 𝑥 2 + 𝑏 ∑ 𝑦 2 + 𝑐 ∑ 𝑥 + 𝑑 ∑ 𝑦 + 𝑓 ∑ 1 = ∑ 𝑙𝑛(𝑧)
(4.13)
78
Для удобства перепишем систему заменив 𝑎, 𝑏, 𝑐, 𝑑 и 𝑓 на х1, х2, х3, х4 и х5, а
множители при них обозначив через а с индексом, обозначающим позицию в
уравнении – строку и столбец, таким образом что:
𝑎11 = ∑ 𝑥 4 , 𝑎12 = ∑ 𝑥 2 𝑦 2 , … , 𝑎21 = ∑ 𝑥 2 𝑦 2 , 𝑎22 = ∑ 𝑦 4 , … , 𝑎55 = ∑ 1 (4.14)
Правую часть системы заменим на b аналогичным образом:
(4.15)
𝑏1 = ∑ 𝑥 2 𝑙𝑛(𝑧) , … , 𝑏5 = ∑ 𝑙𝑛(𝑧)
Система уравнений после введенного обозначения будет выглядеть следующим
образом:
𝑎11 ∙ 𝑥1 + 𝑎12 ∙ 𝑥2 + 𝑎13 ∙ 𝑥3 + 𝑎14 ∙ 𝑥4 + 𝑎15 ∙ 𝑥5 = 𝑏1
(4.16)
𝑎21 ∙ 𝑥1 + 𝑎22 ∙ 𝑥2 + 𝑎23 ∙ 𝑥3 + 𝑎24 ∙ 𝑥4 + 𝑎25 ∙ 𝑥5 = 𝑏2
𝑎31 ∙ 𝑥1 + 𝑎32 ∙ 𝑥2 + 𝑎33 ∙ 𝑥3 + 𝑎34 ∙ 𝑥4 + 𝑎35 ∙ 𝑥5 = 𝑏3
𝑎41 ∙ 𝑥1 + 𝑎42 ∙ 𝑥2 + 𝑎43 ∙ 𝑥3 + 𝑎44 ∙ 𝑥4 + 𝑎45 ∙ 𝑥5 = 𝑏4
𝑎51 ∙ 𝑥1 + 𝑎52 ∙ 𝑥2 + 𝑎53 ∙ 𝑥3 + 𝑎54 ∙ 𝑥4 + 𝑎55 ∙ 𝑥5 = 𝑏5
Преобразуем систему уравнений (4.8) к треугольному виду. Сначала обнулив
множители при 𝑥1 в уравнениях, начиная со второго, для чего необходимо определить
коэффициенты для первого уравнения:
𝑎21
𝑎31
𝑎41
𝑎51
𝑘12 = −
; 𝑘13 = −
; 𝑘14 = −
; 𝑘15 = −
𝑎11
𝑎11
𝑎11
𝑎11
Умноженное
на
соответствующий
(4.17)
коэффициент
первое
уравнение
прибавляется к нижележащему. 𝑥1 пропадает, но уравнение с пятью неизвестными
после такого преобразования будет выглядеть очень громоздко, а после еще трех
таких же в нем будет вовсе не разобраться. Поэтому необходимо новые множители
при неизвестных в уравнениях, начиная со второго. Обозначим их через a2, так же, с
индексами, указывающими место в системе:
a222 = a 22 + k12 ∙ a12
a223 = a 23 + k12 ∙ a13
a224 = a 24 + k12 ∙ a14
…
b22 = b2 + k12 ∙ b1
a232 = a 32 + k13 ∙ a12
a233 = a 33 + k13 ∙ a13
a234 = a 34 + k13 ∙ a14
…
b23 = b3 + k13 ∙ b1
79
…
Тогда система уравнений примет следующий вид:
𝑎11 ∙ 𝑥1 + 𝑎12 ∙ 𝑥2 + 𝑎13 ∙ 𝑥3 + 𝑎14 ∙ 𝑥4 + 𝑎15 ∙ 𝑥5 = 𝑏1
(4.18)
a222 ∙ x2 + a223 ∙ x3 + a224 ∙ x4 + a225 ∙ x5 = b22
a232 ∙ x2 + a233 ∙ x3 + a234 ∙ x4 + a235 ∙ x5 = b23
…
Каждый множитель при этом фактически известен, хотя за несколько иным
обозначением скрывается немного увеличенный объем вычислений.
Последующим шагом следует определить коэффициенты для второго
уравнения в новой системе, такие, чтоб убрать х2 из уравнений с третьего и ниже.
𝐾23 = −
𝑎232
𝑎242
𝑎252
; 𝑘24 = −
; 𝑘25 = −
.
𝑎222
𝑎222
𝑎222
(4.11)
Запишем множители с третьего по пятый следующим образом:
a333 = a233 + k 23 ∙ a223
a334 = a234 + k 23 ∙ a224
a335 = a235 + k 23 ∙ a225
b33 = b23 + k 23 ∙ b22
a343 = a243 + k 24 ∙ a223
a344 = a244 + k 24 ∙ a224
a345 = a245 + k 24 ∙ a225
b34 = b24 + k 24 ∙ b22
…
Тогда система уравнений примет следующий вид:
a11 ∙ x1 +
a12 ∙ x2 +
a13 ∙ x3 +
a14 ∙ x4 +
a15 ∙ x5 =
b1
a222 ∙ x2 +
a223 ∙ x3 +
a224 ∙ x4 +
a225 ∙ x5 =
b22
a333 ∙ x3 +
a334 ∙ x4 +
a335 ∙ x5 =
b33
a444 ∙ x4 +
a445 ∙ x5 =
b44
a555 ∙ x5 =
b55
В итоге получим треугольную систему, где все множители уже вычислены. Для
ее решения остается определить значения согласно следующим преобразованиям:
80
𝑥5 =
𝑏55
𝑎555
𝑥4 =
𝑏44 − 𝑎445 ∙ 𝑥5
𝑎444
𝑥3 =
𝑏33 − 𝑎435 ∙ 𝑥5 − 𝑎434 ∙ 𝑥4
𝑎333
𝑥2 =
𝑏22 − 𝑎225 ∙ 𝑥5 − 𝑎224 ∙ 𝑥4 − 𝑎423 ∙ 𝑥3
𝑎222
𝑥1 =
𝑏1 − 𝑎15 ∙ 𝑥5 − 𝑎14 ∙ 𝑥4 − 𝑎13 ∙ 𝑥3 − 𝑎12 ∙ 𝑥2
𝑎11
(4.19)
На заключительном этапе происходит поиск максимум выпуклости гауссоиды,
которая может быть найдет при помощи следующего преобразования:
𝑥0 =
4.5
𝑐
𝑑
; 𝑦0 =
2𝑎
2𝑏
(4.20)
Методика проведения экспериментальных исследований
В
ходе
экспериментальных
исследований
определялась
пороговая
чувствительность средства измерений в виде наименьшего значения изменения
физической величины, начиная с которого может осуществляться её измерение
данным средством. Таким образом, экспериментальные исследования были нацелены
на получение статической характеристики макета ОЭС вида:
Q = Ψ(x)
(4.21)
где 𝑄 - смещение изображения визирной цели по площадке каждого из матричных
фотоприемников макета ОЭС в пикселах, 𝑥 - перемещение визирной цели в мм.
Статическая
характеристика
определяет
группу
основных
параметров
измерительной системы, в частности, диапазон измерения как область значений
измеряемых перемещений 𝑥, в пределах которой имеет место монотонное изменение
выходного параметра 𝑄, а также погрешность измерений ∆𝑥.
В соответствии с принятой методикой, определяется группа статических
характеристик объекта исследования для каждой ВЦ, которую можно рассматривать
81
как семейство отдельных реализаций случайной функции перемещений.
Тогда
погрешность
измерения
перемещений
∆𝑥
будет
определяться
доверительной областью статической характеристики, образованной верхней и
нижней
границами
доверительных
интервалов
для
среднего
значения
информативного выходного параметра 𝑄. Величина погрешности измерения,
определенная по изложенной методике, соответствует одной из форм выражения
точности измерений по МИ 1317-86, а именно, как интервала от ∆𝑥н до ∆𝑥в, в котором
с доверительной вероятностью находится суммарная погрешность измерений ∆𝑥.
Для нахождения статической характеристики макета ОЭС используются
методы регрессионного анализа [32]. После определения семейства характеристик
вида 4.14 результаты обрабатываются по методике, описанной выше, в соответствии
с которой статическая характеристика объекта исследования определяется при
статистическом анализе как эмпирическая кривая регрессии, являющаяся точечной
оценкой искомой модели.
Снятие
статической
характеристики
производилось
в
следующей
последовательности:
.
Производилась априорная оценка параметров базовых (нерегулируемых)
блоков в локальной системе координат.
.
Регулируемые блоки устанавливались в положение 0 в системе координат
соответствующих позиционеров (ПЗ-ПЗ3).
.
Производилась контрольная съемка пространственного положения всех ВЦ
расположенных на регулируемых ИС с помощью лазерного трекера относительно
опорного базового блока.
.
Регулируемые ИС
смещались относительно
начального положения
в
определенных позиционерами направлениях.
.
Осуществлялся захват кадров со всех камер и подготовка данных согласно
методике подготовки измерительной информации, описанной ранее.
82
В качестве предиктора в ОЭС выступала координата центра изображения
точечного источника (ВЦ). В каждой точке измерения осуществлялся съем 100 кадров
и, соответственно, определение координат центра.
Полученные серии кадров при проведении испытаний обрабатывались в
соответствии с правилами обработки многокоординатных измерений, которые
регламентированы в ГОСТ 8.207-76.
При проведении испытаний для расчета экспериментальных данных на этапе
регрессионного анализа использовался пакет математического моделирования Matlab.
4.6
Результаты измерений и обработка экспериментальных данных
В рамках экспериментального исследования производится проверка факта линейного
изменения общей ошибки измерения распределенной оптико-электронной системы
сенсоров (рисунок 4.12)
Рисунок 4.12 - Исследуемая распределенная оптико-электронная система (масштаб
1:50)
83
Внутренние параметры камер cam1, cam2 и cam3 – получены на этапе
калибровки, а их внешние параметры переходов cam1->cam2 и cam1->cam3 априорно
известны.
Измеряемые блоки cam4-cam5 находятся на позиционерах и перемещаются
следующим образом:
1.
Cam4 – линейное перемещение (масштабирование).
2.
Cam5 – угловое перемещение вдоль оси Z.
3.
Cam6 – линейное и угловое перемещение (ось Y).
Таким образом в ходе проводимых экспериментальных исследований
производилось моделирование работы системы в следующих диапазонах изменений:
1.
Линейное перемещение в диапазоне [−10; +10] мм.
2.
Угловое перемещение в диапазоне [−45; +45] град.
3.
Линейное перемещение [−10; +10] мм, угловое - [−1; +1] град
Рассмотрим зависимость линейного перемещения (эффект масштабирования),
при котором производится линейное перемещение вдоль центральной оси первого
измерительного канала cam2-cam4 (рисунок 4.13).
84
Рисунок 4.13 – Зависимость общего изменения пространственных координат
системы в целом от величины смещения в первом измерительном канале.
85
Рисунок 4.14 – Зависимость общего изменения угловых координат системы в
целом от величины смещения в первом измерительном канале.
Как видно из графиков линейная зависимость (смещение камеры cam4) при
неизменных параметрах системы в целом не приводит существенной погрешности ее
изменений.
Чтобы проанализировать критерий нормальности распределения произведем
анализ разности полученных координат от априорно известных (рисунок 4.15, 4.16).
86
Рисунок 4.15 – Оценка погрешности измерения пространственного положения
ОЭС от линейного смещения измерительного канала cam2 – cam4.
87
Рисунок 4.16 – Оценка погрешности измерения углового положения ОЭС от
линейного смещения измерительного канала cam2 – cam4.
Как видно из графиков зависимостей погрешность измерения углового
положения не превышает 8e-8 град, а пространственного – 0.01 мм.
Рассмотрим зависимость углового перемещения, при котором производится
угловое перемещение вокруг оси Z второго измерительного канала cam3-cam5
(рисунок 4.17, 4.17).
88
Рисунок 4.17 – Зависимость общего изменения пространственных координат
системы в целом от величины смещения во втором измерительном канале.
89
Рисунок 4.18 – Зависимость общего изменения угловых координат системы в
целом от величины смещения во втором измерительном канале.
Произведя анализ разности полученных пространственных координат от
априорно известных (рисунок 4.19, 4.20), получим что ошибка измерения в
пространственных координатах не превосходит 3e-5, а в угловых – 0.06 град.
90
Рисунок 4.19 – Оценка погрешности измерения пространственного положения
ОЭС от линейного углового смещения измерительного канала cam3 – cam5.
91
Рисунок 4.20 – Оценка погрешности измерения пространственного положения
ОЭС от линейного углового смещения измерительного канала cam3 – cam5.
В завершении рассмотрим зависимость углового и линейного перемещения, при
котором производится угловое перемещение вокруг оси Y и продольного линейного
перемещения третьего измерительного канала cam1-cam6 (рисунок 4.21, 4.22).
92
Рисунок 4.21 – Зависимость общего изменения пространственных координат
системы в целом от величины смещения в третьем измерительном канале.
93
Рисунок 4.22 – Зависимость общего изменения угловых координат системы в
целом от величины смещения в третьем измерительном канале.
Анализ разности полученных пространственных координат от априорно
известных
(рисунок
4.23,
4.24),
показывает,
что
ошибка
измерения
пространственных координатах не превосходит 0.2 мм, а в угловых – 0.05 град.
в
94
Рисунок 4.23 – Оценка погрешности измерения пространственного положения
ОЭС от линейного углового и пространственного смещения измерительного канала
cam1 – cam6.
95
Рисунок 4.24 – Оценка погрешности измерения пространственного положения
ОЭС от линейного углового и пространственного смещения измерительного канала
cam1 – cam6.
Описанные экспериментальные исследование доказали факт линейного
изменения общей ошибки измерения от изменения параметров каждого из
измерительных каналов.
96
ЗАКЛЮЧЕНИЕ
Основные результаты диссертационного исследования.
1.
Анализ
современных
методов
и
средств
контроля
деформаций
трехмерных сцен, показал, что для мониторинга деформаций протяженных объектов
нелинейной формы требуется построение распределенной измерительной системы,
связанной посредством измерительных каналов.
2.
Существующие
системы
линейны,
не
обладают
требуемыми
характеристиками для контроля точек вне прямой видимости, имеют недостаточную
гибкость интеграции в состав более глобальных комплексов, а также обладают крайне
высокой стоимостью.
3.
Указанные недостатки создают предпосылки для создания новых
принципов
построения
полуактивной
распределенной
оптико-электронной
измерительной системы с высокой степенью автоматизации и масштабирования.
4.
Предложены принципы построения и структура оптико-электронной
системы, состоящей из измерительных блоков, расположенных в контрольных точках
объекта, каждый из которых включает группу измерительных каналов в составе пары
сенсоров, позволяющей осуществлять определение углового и линейного положения
элементов несущих конструкций протяженных объектов сложной формы.
5.
Описана теоретическая модель каждого сенсора, построенная на основе
зависимостей центральной проекции с учётом коэффициентов дисторсии, найденных
в результате калибровки по регулярному шаблону позволяющая выполнить взаимную
привязку всех сенсоров измерительного блока как узла распределенной ОЭС.
6.
Описаны
реализующей
метод
принципы
построения
последовательного
компьютерной
определения
модели
взаимного
ОЭС,
положения
измерительных блоков, позволяющие уменьшить общую погрешность системы за
счет изменения пункта начальной привязки и последовательности опрашиваемых
измерительных блоков.
97
7.
Спроектирован
и
реализован
макет
распределенной
ОЭС,
экспериментальные исследования которой подтверждают возможность практической
реализации системы, с использованием метода взаимного мониторинга сенсоров,
объединённых посредством измерительных каналов.
8.
Достоверность полученных результатов подтверждается хорошим
совпадением результатов теоретических расчетов со значениями, полученными в
результате
компьютерного
моделирования,
а
также
экспериментального
исследования макетов исследуемой оптико-электронной системы.
Результаты теоретических исследований были использованы в НИР и учебном
процессе.
По теме диссертации опубликовано 14 печатных работ, из них 8 статей,
включенных в международные базы данных Web of Science и Scopus, 2 публикации,
входящие в перечень ВАК.
98
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
[1] Allais, A.G.; Brandou, V.; Dentrecolas, S.; Gilliotte, J.P.; Perrier, M. Iris – A Vision
System to Reconstruct Natural Deep-Sea Scenes in 3D. In Proceedings of the Seventeenth
International Offshore and Polar Engineering Conference, Lisbon, Portugal, 1-6 July
2007; pp. 111-118.
[2] Corke, P.; Detweiler, C.; Dunbabin, M.; Hamilton, M.; Rus, D.; Vasilescu, I.
Experiments with Underwater Robot Localization and Tracking. In Proceedings of the
IEEE International Conference on Robotics and Automation, Roma, Italy, 10-14 April
2007.
[3] Scharstein, D.; Szeliski, R. A taxonomy and evaluation of dense two frame stereo
correspondence algorithms. Int. J. Comput. Vision 2002, 47, 7-42.
[4] Kuss A., Dietz T. (2017) Method for 3D measurement and evaluation of joint
geometries for adaptive robotic arc welding in the automotive industry. In: Bargende M.,
Reuss HC., Wiedemann J. (eds) 17. Internationales Stuttgarter Symposium. Proceedings.
Springer Vieweg, Wiesbaden
[5] L. Silvestri, M. C. Müllenbroich, I. Costantini, A. P. Di Giovanna, L. Sacconi, and F. S.
Pavone, "Fast, Image-based Autofocus System for High-resolution Optical Microscopy of
Whole Mouse Brains," in Optics in the Life Sciences Congress, OSA Technical Digest
(online) (Optical Society of America, 2017), paper JTu4A.8.
[6] Henry, P.; Krainin, M.; Herbst, E.; Ren, X.; Fox, D. RGB-D mapping: Using kinectstyle depth cameras for dense 3D modeling of indoor environments. Int. J. Robot.
Res. 2012, 31, 647–663.
[7] Brachmann, E.; Krull, A.; Michel, F.; Gumhold, S.; Shotton, J.; Rother, C. Learning
6D Object Pose Estimation Using 3D Object Coordinates; Springer: Heidelberg,
Germany, 2014; Volume 53, pp. 151–173.
[8] A. Fornaser, P. Tomasin, M. De Cecco, M. Tavernini, M. Zanetti, Automatic graph based
spatiotemporal extrinsic calibration of multiple Kinect V2 ToF cameras, In Robotics and
Autonomous Systems, 2017, ISSN 0921-8890, https://doi.org/10.1016/j.robot.2017.09.007.
99
[9] Zhigang Wang, Ke Zhang, Yixin Chen, Zhifeng Luo, Jian Zheng, A real-time weld line
detection for derusting wall-climbing robot using dual cameras, In Journal of Manufacturing
Processes,
Volume
27,
2017,
Pages
76-86,
ISSN
1526-6125,
https://doi.org/10.1016/j.jmapro.2017.04.002.
[10] Hartley, R.; Zisserman, A. Multiple View Geometry in Computer Vision; Cambridge
University Press: Cambridge, UK, 2000; p. 655.
[11] Bouguet, J. Camera Calibration Toolbox for Matlab, 2015. Available online
http://www.vision.caltech.edu/bouguetj/calib_doc/
[12] Barone, S.; Razionale, A.V. A reverse engineering methodology to capture complex
shapes. In Proceedings of XVI International Congress of Engineering Graphics
(INGEGRAF), Zaragoza, Spain, 2-4 June 2004; pp. 1-10.
[13] Abdel-Aziz, Y.I.; Karara, H.M. Direct Linear Transformation from Comparator
Coordinates into Object Space Coordinates in Close-Range Photogrammetry. In proceedings
of the Symposium on Close-Range Photogrammetry, Falls Church, VA, YSA, 1971; pp. 118.
[14] Salvi, J.; Armangue, X.; Battle, J.A. Comparative review of camera calibrating methods
with accuracy evolution. Pattern Recognit. 2004, 35, 1617-1635.
[15] O. Faugeras, T. Luong, and S. Mayback, Camera Self-Calibration: Theory and
Experiments, Proc Second European Conf. Computer Vision, pp. 321-334, May, 1992.
[16] O. Faugeras, G. Toscani, The Calibration Problem for Stereo, Proc. IEEE Conf.
Computer Vision and Pattern Recognition, pp. 15-20, June, 1986.
[17] S. Ganapathy, Decomposition of Transformation Matrices for Robor Vision, Pattern
Recognition Letters, vol. 2, pp. 401-412, Dec. 1984.
[18] D. Gennery, Stereo-Camera Calibration, Proc. 10th Image Understanding Workshop,
pp. 101-108, 1979.
[19] D.C. Brown, Close-Range Camera Calibration, Photogrammetric Eng., vol. 37, no. 8,
pp. 855-866, 1971.
100
[20] B.Carpile and V.Torre, Using Vanishing Points for Camera Calibration, Int’l Computer
Vision, vol. 4, no. 2, pp.127-140, Mar. 1990.
[21] W. Fraig, Calibration of Close-Range Photogrammetry Systems: Mathematical
Formulation, Photogrammetric Eng. and Remote Sensing, vol. 41, no. 12, pp. 1479-1486,
1975.
[22] S.J Maybank and O.D. Faugeras, A theory of Self-Calibration of a Moving Camera,
Int’l J. Computer Vision, vol. 8, no. 2, pp. 123-152, Aug. 1992.
[23] R.Y. Tsai, A Versatile Camera Calibration Technique for High-Accuracy 3d Machine
Vision Metrology Using Off-the-Shelf TV Cameras and Lenses, IEEE J. Robotics and
Automation, vol. 3, no. 4, pp. 323-344, Aug. 1987.
[24] G. Wei and S. Ma, A Complete Two-Plane Camera Calibration Method and
Experimental Comparisons, Proc. Fourth Int’l Conf. Computer Vision, pp. 439-446, May,
1993.
[25] J. Weng, P. Cohen and M. Herniou, Camera Calibration and Distortion Models and
Accuracy Evaluation, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 14, no.
10, pp. 965-980, Oct. 1992.
[26] O. Faugeras, Three-Dimensional Computer Vision: A Geometric Viewpoint. MIT
Press, 1993.
[27] G.Stein, Accurate Internal Camera Calibration Using Rotation, with Analysis of
Sources of Error, Proc. Fifth Int’l Conf. Computer Vision, pp. 230-236, June 1995.
[28] Q.-T. Luong and O. Faugeras, Self-Calibration of a Moving Camera from Point
Correspondences and Fundamental Matrices, Int’l J. Computer Vision, vol. 22, no. 3, pp.
261-289, 1997.
[29] Q.-T. Luong, Matrice Fondamentale et Calibration Visuelle sur l’Environnement-Vers
une plus Grande Autonomie des Systemes Robotiques, PhD thesis, Universite de Paris-Sud,
Center d’Orsay, Dec. 1992.
[30] R.I. Hartley, An Algorithm for Self-Calibration from Several Views, Proc. IEEE Conf.
Computer Vision and Pattern Recognition, pp. 908-912, June 1994.
101
[31] S. Bougnoux, From Projective to Euclidean Space under any Practical Situation, a
Criticism of Self-Calibration, Proc. Sixth Int’l Conf. Computer Vision, pp. 790-796, Jan.
1998.
[32] D. Liebowitz and A. Zisserman, Metric Rectification for Perspective Images of Planes,
Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 482-488, June 1998.
[33] G. Golub and C. van Loan, Matrix Computations, Baltimore: Jonh Hopkins Univ. Pres,
third ed. 1996.
[34] J. Semple and G. Kneebone, Algebraic Projective Geometry, Oxford: Clarendon Press,
1952.
[35] Z. Zhang, A Flexible New Technique for Camera Calibration, Technical Report MSRTR-98-71, Microsoft Research, Dec. 1998.
[36] J. More, The Levenberg-Marquardt Algorithm, Implementation, and Theory, Numerical
Analysis, G.A. Watson, ed., Springer-Verlag, 1977.
[37] Horn, B. K. P., Hidden, H. M., & Negahdaripour, S. Closed form solution of absolute
orientation using orthonormal matrices, Journal of the Optical Society of America, 5(7),
1127-1135, 1988.
[38] Arun K.S., Huang T.S., & Blostein S.D. Lease-squares fitting of two 3D points sets.
IEEE Transactions on Pattern Analysis and Machine Intelligence, 9(5), 698-700, 1987.
[39] Umeyama S. Lease-squares estimation of transformation parameters between two point
patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(4), 1991.
[40] Kipnis A., Shamir, A. Cryptanalysis of the HFE public key cryptosystems by
relinearization. In Advances in cryptology – CRYPTO’99 (Vol. 1666/1999, pp. 19-30),
Berlin, Springer, 1999.
[41] V. Lepetit, F. Moreno-Noguer and P. Fua. EPnP: An Accurate O(n) Solution to the PnP
Problem, in International Journal Of Computer Vision, vol. 81, p. 155-166, 2009.
[42] D. Martinec and T. Padjla, Robust rotation and translation estimation in multiview
reconstruction. In CVPR, 2007.
102
[43] K. Fan and A.J. Hoffman, Some metric inequalities in the space of matrices,
Proceedings of the American Mathematical Society, vol. 6, no. 1, pp. 111-116, 1955.
[44] A. Sobral, A. Vacavant. "A comprehensive review of background subtraction
algorithms evaluated with synthetic and real videos". Computer Vision and Image
Understanding, CVIU 2014, 2014.
[45] A. Shahbaz, J. Hariyono, K. Jo, "Evaluation of Background Subtraction Algorithms
for Video Surveillance", FCV 2015, 2015.
[46] Y. Xu, J. Dong, B. Zhang, D. Xu, "Background modeling methods in video analysis:
A review and comparative evaluation', CAAI Transactions on Intelligence Technology,
pages 43-60, Volume 1, Issue 1, January 2016.
[47] Петроченко А.В. – Автоматическая взаимная привязка разноспектральных
изображений. В кн.: Комплексы с беспилотными летательными аппаратами.
Робототехнические комплексы на основе БЛА. М: Радиотехника, 2016. – C. 636-644.
[48]
Петроченко
последовательности
А.В.
–
Мультипроекционные
изображений
для
формирования
системы
обработки
геопростраственной
информации о подстилающей поверхности. В кн.: Комплексы с беспилотными
летательными аппаратами. Робототехнические комплексы на основе БЛА. М:
Радиотехника, 2016. – C. 644-660.
[49] Petrochenko A.V., Konyakhin I.A. Method of constructing a system of optical sensors
for mutual orientation of industrial robots for monitoring of the technosphere objects //
Studies in Systems, Decision and Control - 2017, Vol. 95, pp. 105-116.
[50] Petrochenko A.V., Konyakhin I.A. Investigation of the relative orientation of the system
of optical sensors to monitor the technosphere objects // Proceedings of SPIE - 2017, Vol.
10329, pp. 103294H.
[51] Konyakhin I.A., Vasilev A.S., Petrochenko A.V. Electrooptic Converter for Measuring
Linear Shifts of the Section Boards at the Main Dish of the Radiotelescope // Studies in
Systems, Decision and Control - 2016, Vol. 49, pp. 269-277.
[52] Konyakhin I.A., Stepashkin I.S., Petrochenko A.V. System of the optic-electronic
103
sensors for control position of the radio telescope elements // Proceedings of SPIE - 2016,
Vol. 9899, pp. 989934.
[53] Konyakhin I.A., Petrochenko A.V., Tolochek N.S. Optic-electronic systems for
measurement a position of radio-telescope components // Proceedings of SPIE - 2015, Vol.
9446, pp. 94460M.
[54] Petrochenko A.V., Konyakhin I.A. Investigation of a mathematical model of the system
of electro-optical sensors for monitoring nonlinear surfaces // Proceedings of SPIE - 2015,
Vol. 9526, pp. UNSP 95261H.
[55] Petrochenko A.V., Konyakhin I.A. Remote optoelectronic sensors for monitoring of
nonlinear surfaces // Proceedings of SPIE - 2015, Vol. 9506, pp. 950626
[56] Konyakhin I.A., Petrochenko A.V., Tolochek N.S. Optic-electronic system for
deformation of radio-telescope counter-reflector computer modeling // Proceedings of SPIE
- 2014, Vol. 9131, pp. 91311O.
[57] Петроченко А.В. Исследование оптико-электронной системы контроля
деформаций нелинейных поверхностей // Сборник тезисов докладов конгресса
молодых ученых (III Всероссийский конгресс молодых ученых, 8-11апреля 2014г.) 2014. - № 2. - С. 115-116.
[58] Петроченко А.В. Исследование алгоритмов параллельной обработки данных для
распределенной
многоканальной
оптико-электронной
системы
определения
пространственных координат// Сборник тезисов докладов конгресса молодых ученых.
– Выпуск 2. Труды молодых ученых. – СПб: НИУ ИТМО. – 2013. – С. 124–125.
[59]
Петроченко
А.В.
Исследование
алгоритмов
параллельной
обработки
изображений на матричном анализаторе // Сборник тезисов докладов конгресса
молодых ученых. – Выпуск 2. Труды молодых ученых. – СПб: НИУ ИТМО. – 2012. –
С. 101–102.
[60]
Петроченко
А.В.,
Коняхин
И.А.
Исследование
методов
повышения
эффективности действия оптико-электронных систем//Труды X Международной
конференции ПРИКЛАДНАЯ ОПТИКА-2012 15-19 октября 2012 года, секция 1
104
Оптическое приборостроение - 2013. - С. 151-151
[61] Соломатин В.А. Системы контроля и измерения с многоэлементными
приемниками.– М.: Машиностроение, 1992 – 128 c.