Исследование алгоритмов оценивания угловых координат по данным от инерциальных и оптических датчиков

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное бюджетное образовательное учреждение
высшего образования
«Рязанский государственный радиотехнический университет»
Реферат по дисциплине «Электроника, радиотехника и
системы связи»
(направление 11.06.01, направленность «Радиолокация и радионавигация»)
«Исследование алгоритмов оценивания угловых координат
по данным от инерциальных и оптических датчиков»
Выполнил:
аспирант
Калинкин А.И
_______________
(подпись)
Рязань 2019 г.
Оглавление
Аннотация...........................................................................................................................................3
Введение..............................................................................................................................................4
1 Краткая историческая справка.......................................................................................................5
2 Основная часть.................................................................................................................................9
2.1 Постановка задачи............................................................................................................9
2.2 Способы решения задачи внешней калибровки камеры..............................................9
2.2.1 PnP задача.........................................................................................................10
2.2.2 PnL задача.........................................................................................................10
2.2.3 PnA задача........................................................................................................11
2.3 Определение углового положения объекта с помощью инерциальных датчиков...11
2.4 Совместная оценка углового направления объекта по данным от оптических и
инерциальных датчиков.......................................................................................................13
Заключение........................................................................................................................................15
Список использованных источников..............................................................................................16
Перечень использованных сокращений.........................................................................................20
2
Аннотация
Объектом исследования являются алгоритмы определения местоположения наземного
мобильного объекта с комплексированием данных от инерциальной и оптических
навигационных систем.
Основной целью работы является разработка алгоритма определения местоположения
наземного подвижного объекта в пространстве.
В работе использовались методы проективной геометрии, методы математического
моделирования, математической статистики, матричного исчисления, численные методы
вычислительной математики, методы цифровой фильтрации.
Научная новизна работы заключается в разработке алгоритма совместной обработки
навигационной информации от оптической навигационной системы (ОНС) и инерциальной
навигационной системы (ИНС).
Предложенные в работе алгоритмы и методики дают разработчикам возможность
автономно получать оценки текущего местоположения наземного мобильного объекта и
параметры его движения.
3
Введение
Радиотехника — наука,
изучающая электромагнитные
колебания и волны
радиодиапазона, методы генерации, усиления, преобразования, излучения и приёма, а также
применение их для передачи информации, часть электротехники, включающая в себя
технику радиопередачи и радиоприёма, обработку сигналов, проектирование и изготовление
радиоаппаратуры.
Одной из ветвей радиотехники как науки является обработка телевизионных и
видеоизображений. Обработка изображений в качестве одной из своих задач видит
извлечение полезной для человека информации из изображения.
Как известно, изображение, полученное с помощью фото- или видеотехники,
представляет собой двумерное представление точек из трехмерного пространства и несет
информацию об окружающем мире. Восстановление трехмерной картины мира по его
проекции является важной задачей, позволяющей определить местоположение камеры,
расположенной на объекте навигации.
Использование современной вычислительной техники подразумевает разделение
обработки изображений на процессы различного уровня. К процессам низкого уровня
относятся простейшие операции над изображением, например, предобработка изображения с
целью уменьшения шумов, повышение контраста изображения или улучшение резкости
изображения. Процессы среднего уровня включают в себя сегментацию изображения, сжатие
изображений и классификацию отдельных объектов на изображении. Для процессов же
верхнего уровня характерно наличие анализа изображения и его осмысленная обработка. В
данной работе будут рассматриваться процессы среднего и верхнего уровней.
4
1 Краткая историческая справка
Определение однозначного преобразования, которое связывает изображение с
известной геометрией пространства – задача оценки положения – одна из основных задач в
фотограмметрии,
робототехнике,
компьютерной
графике
и
машинном
зрении.
В
робототехнике оценка местоположения в основном используется для координации ручных
операций [1]. В компьютерной графике эта задача играет ключевую роль в задачах, которые
объединяют объекты, сгенерированные компьютером, и объекты на фотоизображении,
например, ориентиры для определения местоположения головы в системах дополненной
реальности. В машинном зрении оценка местоположения используется во многих подходах
для распознавания изображений [2].
Информация, доступная для решения задачи оценки местоположения, обычно дается
в форме набора соответствий точек, каждый из которых состоит из точек в пространстве
(выраженных в координатах объекта) и двумерных проекций (выраженных в координатах
изображения). Оценка местоположения объекта, таким образом, сводится к решению т.н.
задачи внешней калибровки камеры (или задачи Perspective-n-Point, PnP). Термин «задача
Perspective-n-Point» впервые введен в работе [3] для задачи определения положения
откалиброванной камеры по n соответствиям между точками в пространстве и их
двумерными проекциями. Эта задача имеет множество практических применений в
машинном зрении [4 - 6], фотограмметрии [7], робототехнике, системах дополненной
реальности и др. На практике, приложения, такие как определение положения камеры по
характерным чертам на изображении [8, 9], требуют такого решения, которое будет точно
определяться как при тысячах характерных черт изображения, так и
при их малом
количестве (n ≤ 5).
Для трех или четырех точек существует однозначное решение задачи: система
полиномов четвертого (пятого) порядка может быть сформулирована с помощью
геометрических инвариантов наблюдаемых точек и задача может быть решена путем
нахождения корней полиномиальной системы. Однако итоговые методы могут быть
применены только к ограниченному количеству точек и, таким образом, чувствительны к
появлению шума и возможных помех. Задача с 3 точками, которая является наименьшим
подмножеством PnP, имеет много сходящихся решений, впервые полученных еще в 1841 г.
[3, 10, 11]. Стабильность задачи с 3 точками ограничена из-за множественных решений [12,
13]. Чтобы получить единственное правильное решение, необходимо рассматривать больше
точек. В работе [14] предложено эффективное прямое решение для задач с 3 и 4 точками
путем оценки нуль-пространства сингулярного векторного разложения (singular vector
decomposition, SVD). В работе [15] представлен легкий в применении линейный алгоритм для
5
задачи с 4 точками. Авторы в работе [16] представили решение для задачи с 4 точками,
находящимися в одной плоскости, по информации от проективной камеры с неизвестным
фокусным расстоянием. Работа [17] является логичным продолжением работы [16], обобщая
задачу для точек, не расположенных в одной плоскости.
Для более чем четырех точек, замкнутого решения не существует. Классический
подход, применяемый в фотограмметрии, заключается в формулировании оценки
местоположения как нелинейной задачи наименьших квадратов и решении ее с помощью
алгоритмов нелинейной оптимизации, в основном полагающихся на метод Гаусса-Ньютона
[18 - 20]. В литературе по машинному зрению, работа [21] и ее вариации, например, [22]
являются
примером
применения
метода
Гаусса-Ньютона
в
задаче
определения
местоположения. Как и большинство нелинейных методов оптимизации, эти методы
полагаются на хорошую изначальную инициализацию, чтобы получить схождение к
правильному решению. Но нет гарантий, что алгоритм в итоге сойдется к некому решению
или что он сойдется к верному решению.
Стабильность неитеративных методов может быть повышена путем введения
дополнительных точек в качестве априорной информации. Авторы [23] разработали
семейство линейных решений путем внедрения априорной информации. В работе [4]
представлен эффективный неитеративный алгоритм с линейной сложностью по n,
основывающийся на представлении решения как весовой суммы пустых векторов
собственных чисел. Представленный метод является одним из самых точных неитеративных
методов на данный момент.
Даже если четырех соответствий достаточно для определения местоположения,
необходимо, тем не менее, иметь большее количество наборов точек чтобы ввести
избыточность и уменьшить чувствительность к шуму. Чтобы добиться этого, в работе [23]
рассматриваются тройки точек и для каждой выводятся полиномы четвертой степени с
неизвестной глубиной точек, при этом для оценки неизвестной глубины используется
сингулярное векторное разложение (singular vector decomposition, SVD). Этот метод
повторяется для всех n точек и, следовательно, включает O(n5) операций. Сложность двух
указанных выше методов исходит из того факта, что квадратичные члены выводятся из
выражений расстояний между точками. Линеаризация этих выражений производит
дополнительные параметры, которые увеличивают сложность системы. Метод в работе [24]
позволяет избегать необходимости в таких ограничениях: в нем изначально формируется ряд
линейных уравнений, из которых исключены параметры вращения и смещения относительно
глобальной системы координат, позволяющих напрямую восстанавливать глубину без
рассмотрения расстояний между точками. К сожалению, игнорирование нелинейных
6
ограничений дает плохие результаты в присутствии шума, как в работе [25]. Неитеративный
метод, предложенный в [4], основан на представлении n трехмерных точек в виде весовой
функции четырех виртуальных точек, которые выбираются из n ≥ 4 точек. Данный подход
расширяет возможности оптических систем определения координат с точки зрения
распознавания конфигураций реперных точек, расположенных в одной плоскости, что
является проблемой в работах [26, 27], имеющих большую точность, но сходящихся только
для специальных видов квадратных целей.
В работе [28] авторами представлен прямой метод наименьших квадратов для
вычисления всех решении задачи PnP в случае n ≥ 3. Для этого формируется нелинейная
весовая функция наименьших квадратов, представляемая в виде системы уравнений 3-го
порядка. Решения этой системы позволяют найти искомые функции НК без итеративных
вычислений, при этом порядок системы не зависит от числа опорных точек. В работе [29]
представлен робастный неитеративный метод решения задачи PnP. Представленный метод
работает хорошо как при неизбыточных наборах точек (n ≤ 5), так и при избыточных наборах
точек. При этом сложность метода растет линейно с ростом n.
Естественной альтернативой неитеративным методам являются итеративные [30 - 34],
которые полагаются на сведение к минимуму соответствующего критерия. Когда
избыточные точки недоступны, точность получаемого результата может достигаться с
помощью введения итеративных схем, основанных на минимизации нелинейной весовой
функции [35]. Хотя итеративные методы и являются более точными, чем неитеративные, они
обладают такими недостатками, как нестабильность локального минимума весовой функции
и высокая вычислительная сложность.
Большинство итеративных методов основано на начальной оценке положения
опорных точек в пространстве в системе координат камеры, например по методу ГауссаНьютона, и дальнейшей оценке местоположения путем определения глубины точек
(расстояния до них). Затем легко можно извлечь положение и ориентацию камеры как
Евклидово движение, которое задает координаты в глобальной системе координат [36 - 38].
Они могут иметь дело с произвольным числом соответствий и добиться отличной
точности, когда они сходятся должным образом. В частности, в [34] введен очень точный
алгоритм, который быстр по сравнению с другими итерационными методами, но медленен
по сравнению с неитеративными методами. Важно, что итеративные методы могут
приводить к неправильному результату, если они плохо инициализированы. Например,
подход в [34] является одним из наиболее точных и быстрых подходов к решению задачи
позиционирования, но он основан на первоначальной оценке положения камеры и
предположении о слабой перспективе (расхождение параллельных не более 10°), что может
7
привести к нестабильности, когда данное предположение не удовлетворяется. Это
происходит, когда точки объекта проецируются на небольшом участке на стороне
изображения и алгоритм «застревает» на неверном локальном минимуме из-за неточной
инициализации.
В разработке авторов [39] введен алгоритм оценки местоположения, который
одновременно
вычисляет
и
положение
объекта,
и
глубину
наблюдаемых
точек.
Представленный алгоритм кажется глобально сходящимся, хотя полного доказательства не
представлено. Что делает этот алгоритм привлекательным, так это то, что нелинейность из-за
перспективы отбрасывается путем введения переменной глубины. Однако этот алгоритм не
находит широкого применения в практических разработках из-за медленной скорости
локального схождения (тысячи итераций).
Также стоит отметить, что для большого количества n можно было бы использовать
алгоритм прямого линейного преобразования (Direct Linear Transformation, DLT), как,
например, в работах [5, 40]. Однако этот алгоритм игнорирует параметры внутренней
калибровки камеры, которые должны быть известны, и, следовательно, приводит к менее
стабильной оценке местоположения.
С точки зрения практического подхода к решению задачи необходимо уменьшать
количество опорных точек, но данный подход требует введения дополнительной априорной
информации от источников другой природы. В работе [41] представлены решения двух задач
абсолютного позиционирования для случая с известным вертикальным направлением. В
первой задаче оценивается абсолютное положение откалиброванной камеры по двум
проекциям трехмерных точек, а также по заданному вертикальному направлению. Во второй
задаче рассматривается случай неизвестного фокусного расстояния и радиальных искажений
камеры, и проводится оценка положения совместно с фокусным расстоянием и радиальными
искажениями,
полученным
по
трем
проекциям
трехмерных
точек
и
заданному
вертикальному направлению.
8
2 Основная часть
2.1 Постановка задачи
Даны вращения полностью откалиброванной камеры по 2-м осям (в плоскости крена и
тангажа) на основании данных от ИИМ и изображения двух известных опорных точек в
пространстве. Необходимо оценить абсолютное положение камеры в пространстве и
вращение камеры по 3-ей оси (в плоскости курса).
При решении задачи мы используем стандартную модель точечной камеры [42]. В
этой модели проекционное изображение u опорной точки X в пространстве может быть
записано как
λu = PX,
(1)
где P – проекционная матрица 3х4, λ – неизвестная скалярная величина, точки u = [u, v, 1]T и
X = [X, Y, Z]T представлены в гомогенных координатах.
Проекционная матрица P может быть записана как
P = K [R| t],
(2)
где R – матрица вращения 3х3, t = [tx, ty, tz]T – вектор, содержащий информацию о положении
камеры и К – матрица калибровки камеры 3х3.
Предположим,
что
вертикальное
направление
известно,
т.е.
координаты
направляющего вектора [0, 1, 0]T в системе координат камеры. Важно, что для калибровки
ИИМ в глобальной системе координат необходимо знать направление вектора-нормали, т.е.
направление, перпендикулярное «плоскости земли», т.е. плоскости z = 0 в глобальной
системе координат. Это направление легко откалибровать путем сброса ИИМ когда
происходит спуск на «плоскость земли». Стоит отметить, что эта «плоскость земли» не
обязательно будет горизонтальной. Более того, очень часто ИИМ предварительно калибруют
таким образом, чтобы использовать вектор свободного ускорения Земли в качестве векторанормали. Затем ИИМ калибруется, когда плоскость z = 0 в глобальной системе координат
соответствует плоскости земли, т.е. если координаты z = 0 соответствуют точкам на
плоскости земли.
2.2 Способы решения задачи внешней калибровки камеры
Для определения ориентации и расположения полностью откалиброванной камеры в
пространстве по изображению, полученному с её помощью, необходимо решить т.н. задачу
внешней калибровки камеры.
Во многих случаях геометрия некоторых объектов сцены известна заранее, например,
при
применении
светоизлучающих/светоотражающих
меток
определенной
9
пространственной
конфигурации.
На
основании
этого
рассматривается
модель,
представляющая собой набор черт и их взаимное расположение. Модель налагает
ограничения и сужает область решений задачи. В качестве черт используются определенные
точки (вершины), отрезки (грани) и углы объекта. В зависимости от используемых при
решении задачи черт выделяются следующие её постановки:
а) PnP задача (Perspective-n-Point Problem);
б) PnL задача (Perspective-n-Lines Problem);
в) PnA задача (Perspective-n-Angles Problem).
Рассмотрим подробнее каждый из видов задач.
2.2.1 PnP задача
Впервые в литературе решение задачи внешней калибровки камеры было описано в
работе [3]. Условием для решения задачи являются n соответствий между точками модели
объекта и точками изображения, а также известное взаимное расположение точек модели
объекта. Проблемы P1P и P2P имеют бесконечно большое количество решений. В свою
очередь, для решения задачи P3P достаточно n = 3 соответствий между точками
изображения и точками модели, но при этом возможны такие конфигурации точек, при
которых задача дает 4 решения. Для n = 4 не лежащих в одной плоскости реперов существует
в общем случае [43] до p = 5 решений задачи P4P с неотрицательной координатой Z для всех
реперов (наиболее распространенной ситуацией является наличие p = 2 решений [3]).
Однозначное решение данной задачи возможно при n = 6 соответствий между точками
модели и их 2D-изображениями. Наиболее простым для определения пространственного
положения кажется применение решения задачи P6P, но, при этом, пропорционально росту n
увеличивается и вычислительная сложность алгоритма, и требования к вычислительной
технике. Также использование большого числа опорных точек приводит к проблеме их
конструктивного расположения в пространстве.
2.2.2 PnL задача
PnL задача представляет собой задачу внешней калибровки камеры с условием
заданных n соответствий между линиями изображения и линиями (гранями) объекта.
Ограничения, задаваемые соответствием линий слабее, чем ограничения для точек, т.к.
линию можно представить парой точек. Также из произвольного соответствия линий не
всегда удается получить соответствие точек, т.к. линии в пространстве не всегда
пересекаются. Но в общем случае линии легче выделить на изображении, в отличие от
характерных точек.
10
2.2.3 PnA задача
PnA задача – это задача внешней калибровки камеры с условием заданных n
соответствий углов между гранями модели объекта и их проекциями на картинную
плоскость. В настоящее время имеются решения для двух упрощенных вариантов P3A
задачи. Для первого варианта необходимо, чтобы как минимум два из трех углов модели
были острыми. Второй вариант требует, чтобы три угла модели образовывали трехгранный
угол [44].
В ходе научно-исследовательской деятельности для определения пространственной
ориентации объекта предполагается использование решения задачи PnP, причём n = 2, с
уменьшением неопределенности посредством введения априорной информации от ИИМ.
2.3 Определение углового положения объекта с помощью инерциальных
датчиков
Принцип действия автономных навигационных систем, как правило, основан на
методе счисления пути: по известным текущим координатам [Xi, Yi, Zi]T и объекта и
проекциям [Vxi, Vyi, Vzi]T вектора путевой скорости Vi на оси X, Y и Z можно оценить
координаты в следующий момент времени:
[X i 1 , Yi 1 , Zi 1` ]T  [X i , Yi , Zi ]T  Ti [Vxi ,V yi ,Vzi ]T
,
где Vzi = Visini, Vyi = Vicosicosi, Vxi = Visinicosi,  – курс,  – тангаж.
Классическими параметрами, позволяющими однозначно задать угловое положение
твердого тела – курс (yaw) , крен (roll)  и тангаж (pitch)  – являются три угла Эйлера Крылова [45]. Их текущие значения, по аналогии с декартовыми координатами, можно найти
путем интегрирования угловой скорости:
i1 , i1 , i1 T  i , i , i T  Ti  z* ,  *y ,  x* T
(1)
где Ti – интервал времени между моментами i и (i+1). Вектор угловых скоростей
[wz*, wy*, wx*]T и измеряемый трехосным гироскопом (ТОГ) вектор угловых скоростей в
системе координат объекта [wz, wy, wx]T связывают кинематические уравнения [45]:
÷*  sin x  cosx ,
 *y   y  ( z cos   z sin  ) tan θ,
 z*  ( wz cos   x sin  ) / cos θ
(2)
Уравнения (2) справедливы для любых угловых положений за исключением особых
точек  = ±0,5(2k + 1), k = 0, ±1, ±2, ..., в которых они вырождаются.
11
На практике для решения задачи интегрирования угловых скоростей удобнее
использовать кватернион [45] – 4-компонентный вектор q  q 0 , q1 , q2 , q3  , два-норма
T
которого ||q|| = 1. Кватернионы удобно представлять в виде гиперкомплексных чисел
q  q 0  iq1  jq2  kq3  , где элементы кватерниона (параметры Родрига-Гамильтона)
T
рассчитываются по формулам (для принятой в работе тройки векторов):
q 0  cos( ) cos( ) cos( )  sin(  ) sin(  ) sin(  ),
2
2
2
2
2
2
q1  cos( ) cos( ) sin(  )  sin(  ) sin(  ) cos( ),
2
2
2
2
2
2
q 2  sin(  ) cos( ) cos( )  cos( ) sin(  ) sin(  ),
2
2
2
2
2
2
q3  cos( ) sin(  ) cos( )  sin(  ) cos( ) sin(  ).
2
2
2
2
2
2
(3)
Уравнения (2) в кватернионной записи принимают вид [1]:
 q
1
1
1 1
dt  q  q  P(w )  q(iw y  jwz  kwx ) 
q
2
2
2 0
 q3

  q2

dq
 q2
 q3
q0
q1
 q3 
 wy 
q2   
 wz
 q1   
  wx 
q0   
(4)
где символ «  » обозначает умножение кватернионов.
Параметры Родрига - Гамильтона и углы Эйлера - Крылова связывают соотношения:
 q 0 q 2  q1 q3 
 q q q q 
  arctg  20 1 2 2 3 

2
2
 q 0  q1  0,5  ,  arcsin 2q1 q 2  q0 q3  ,
 q0  q 2  0,5  .
  arctg 
(5)
Объединение навигационной информации от различных датчиков предполагает
использование фильтра Калмана. Для БИНС на MEMS датчиках, как правило, используют
его упрощенный вариант – альфа-бета фильтр [46], уравнения которого имеют вид:
xi  F1 ( p) z i  F2 ( p) v xi p , v xi  xi , zi  H ( p) xi  ni , v xi  vi  nvi  b(t i ),
(6)
где H(p) и F1(p) – передаточные функции для фильтров нижних, а F2(p) – верхних частот, nzi,
nvi – отсчеты гауссовского шума с нулевым средним, b(ti) – низкочастотный дрейф.
При F1(p) + F2(p) = 1 фильтр (6) является дополнительным (комплементарным)
фильтром Калмана:
x i  z i  (1   ) v xi p.
(7)
В соответствии с (7) для коррекции крена и тангажа, вызванной дрейфом ТОГ, можно
использовать данные от трехосного акселерометра (ТОА):
( i 1 , i 1 )T  ( i , i )T  (1   a )( q , q )T   a ( a , a )T ,
(8)
а для коррекции курса – данные от трехосного магнитометра (ТОМ):
12
 i 1   i  (1   m ) q   m m ,
(9)
где весовые коэффициенты a и m учитывают удельный вес показаний соответственно ТОА
и ТОМ в результирующих значениях углов Эйлера - Крылова и на практике выбираются в
диапазоне 0,005...0,02, а углы [q, q, q]T получают путем интегрирования угловой скорости
по (4,5).
2.4 Совместная оценка углового направления объекта по данным от оптических
и инерциальных датчиков
Из вектора-нормали, получаемого из вращения ИИМ, мы можем вычислить вращение
камеры по двум осям, в данном случае по оси x (ϕx) и оси z (ϕz). Заметьте, что ИИМ иногда
возвращает непосредственно эти 2 угла. Мы будем обозначать это вращение как
cos  z
Rv   sin  z
 0
 sin  z
cos  z
0
0 1
0
0 0 cos  x
1 0 sin  x

 sin  x  .
cos  x 
0
(3)
Следовательно, остается только один неизвестный параметр в матрице вращения
камеры – угол ϕy вращения по оси y, т.е. по вертикальной оси, и мы можем записать
R = R(ϕy) = RvRy(ϕy),
(4)
где Rv – известная матрица вращения (3) по вертикальным осям, Ry(ϕy) – неизвестная матрица
вращения по оси y, представленная как
cos  y

Ry   0
 sin  y

0  sin  y 

1
0 .
0 cos  y 
(5)
С этой параметризацией проективного уравнения (1) мы получим
λu = K[R(ϕy)|t]X = K[RvRy(ϕy)|t]X.
(6)
Для нашей задачи мы упростим проекционное уравнение (6) путем исключения
скалярной величины λ и тригонометрических функций cos и sin.
Чтобы исключить cos и sin мы используем переменную q  tan
получаем cos  y 
y
2
для которой
2q
1 q2
и sin  y 
. Следовательно, мы можем записать
2
1 q2
1 q
1  q 2
0
 2q 


2
2
(1  q ) R y (q)   0
1 q
0 .
 2q
0
1  q 2 

(7)
13
Скалярная величина λ из проекционного уравнения (6) может быть исключена путем
умножения выражения (6) на кососимметричную матрицу [u]x. Поскольку [u]xu = 0 , мы
получим матричное выражение
[u]xK[RvRy(q) | t]X = 0.
(8)
Это матричное выражение приводит к трем полиномиальным уравнениям, из которых
только два линейно независимы. Это вызвано тем фактом, что кососимметричная матрица
[u]x имеет ранг равный двум.
Полиномиальные выражения (8) это базовые выражения, которые мы используем для
решения наших задач.
Для откалиброванной камеры калибровочная матрица К известна и, следовательно,
проективное выражение (8) [u]xK[RvRy(q) | t]X = 0 имеет форму
 0  1 v   r 11(q) r 12 (q) r 13 (q) t x 
1
0  u  r 21(q) r 22 (q) r 23 (q) t y   0 ,

 v u
0  r 31(q) r 32 (q) r 33 (q) t z 
(9)
где u – откалиброванное изображение точки и rij(q) – элементы матрицы вращения R =
RvRy(q). Отметим, что эти элементы являются квадратичными полиномами переменной q.
В этом случае мы имеем 4 неизвестных tx, ty, tz, q  tan
y
2
и поскольку каждое 2D-3D
соответствие дает нам два ограничения, два независимых полиномиальных выражения типа
(9), то минимальное число необходимых для решения соответствий равно двум.
Матричное выражение (9) дает нам два линейно независимых выражения для каждой
точки и каждое из этих выражений содержит одночлен q2, q, tx, ty, tz, 1. Т.к. мы имеем 2 точки,
мы имеем 4 этих выражения и, следовательно, мы можем использовать 3 из них чтобы
исключить tx, ty и tz из четвертого. Таким образом мы получаем один полином второй степени
по переменной q. Так выражение может быть просто решено в замкнутой форме и в общем
случае приводит к двум решениям по переменной q  tan
y
2
. Производя обратную
подстановку этих двух решений в оставшиеся выражения, мы получим три линейных
уравнения с тремя переменными tx, ty и tz. Путем решения этих линейных уравнений мы
получим решения нашей задачи.
14
Заключение
Во вводной части работы кратко описана постановка целей и задач исследования.
Основная часть работы состоит из двух частей. В первой главе приведена краткая
историческая справка, в которой отражено развитие подходов и методов решения задачи
определения местоположения объекта по информации от одной камеры.
Во второй главе рассматриваются геометрическая постановка решаемой в работе
задачи; методы решения задачи трехмерной реконструкции, а также методы получения
навигационных данных от инерциальных датчиков, т.е. информации, которая в дальнейшей
обработке будет
использоваться в качестве априорной. Также во второй
главе
рассматривается совместная оценка местоположения объекта (камеры) по информации от
оптических и инерциальных сенсоров.
15
Список использованных источников
1. Wilson W. Visual Servo Control of Robots Using Kalman Filter Estimates of Robot
Pose Relative to Work-Pieces //World Scientific. – 1994. – P. 71–104.
2. Grimson W.E. Object Recognition by Computer //MIT Press. – 1990.
3. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting
with applications to image analysis and automated cartography //Communications of the ACM. –
1981. – Vol. 24, No. 6. – P. 381–395.
4. Lepetit V., Moreno-Noguer F., Fua P. EPnP: An Accurate O(n) Solution to the PnP
Problem //International Journal of Computer Vision. – 2008. – Vol. 81, No. 2. – P. 155-166
5. Hartley R., Zisserman A. Multiple view geometry in computer vision //Cambridge:
Cambridge University Press. – 2000. – 655 P.
6. Forsyth D., Ponce J. Computer vision: a modern approach //Prentice Hall Professional
Technical Reference. – 2002.
7. McGlone J., Mikhail E., Bethel J. Manual of photogrammetry: 5th edition //American
Society for Photogrammetry and Remote Sensing Bethesda. – 2004.
8. Lepetit V., Fua P. Keypoint recognition using randomized trees //IEEE Transactions on
Pattern Analysis and Machine Intelligence. – 2006. – Vol. 32. – PP. 1465–1479.
9. Skrypnyk I., Lowe D. Scene modelling, recognition and tracking with invariant image
features //Proceedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented
Reality. IEEE Computer Society. – 2004. – P. 119.
10. DeMenthon D., Davis L. Exact and approximate solutions of the perspective-threepoint problem //IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1992. –
Vol. 14, No. 11. – PP. 1100–1105.
11. Haralick R.M., Lee C.-N., Ottenberg K., Nölle M. Review and analysis of solutions of
the three point perspective pose estimation problem //International Journal of Computer Vision. –
1994. – Vol. 13, No. 3. – P. 331-356.
12. Gao X.S., Hou X.R., Tang J., Cheng H.F. Complete solution classification for the
perspective-three-point problem //IEEE Transactions on Pattern Analysis and Machine Intelligence.
– 2003. – Vol. 25, No. 8. – P. 930–943.
13. Wolfe W., Mathis D., Sklair C., Magee M. The perspective view of three points //IEEE
Transactions on Pattern Analysis and Machine Intelligence. – 1991. – Vol. 13, No. 1. – PP. 66–73.
14. Ameller M., Triggs B., Quan L. Camera pose revisited-new linear algorithms // ECCV.
– 2000.
15. Zhi L.,
Tang J.
A
complete
linear
4-point
algorithm
for
camera
pose
determination //AMSS, Academia Sinica. – 2002. – Vol. 21. – PP. 239–249.
16
16. Abidi M., Chandra T. A new efficient and direct solution for pose estimation using
quadrangular targets: Algorithm and evaluation //IEEE Transactions on Pattern Analysis and
Machine Intelligence. – 1995 – Vol. 17, No. 5. – P. 535.
17. Bujnak M., Kukelova Z., Pajdla T. A general solution to the P4P problem for camera
with unknown focal length //CVPR. – 2008.
18. Rosenfield G.H.
The
Problem
of
Exterior
Orientation
in
Photogrammetry //Photogrammetric Eng. – 1959. – PP. 536-553.
19. Tompson E.H. The Projective Theory of Relative Orientation //Photogrammetria. –
1968. – PP. 67-75.
20. Haralick R.M., Shapiro L.G. Computer and Robot Vision Reading //Mass.: AddisonWesley. – 1993.
21. Lowe D.G. Three-Dimensional Object Recognition from Single Two-Dimensional
Image //Artificial Intelligence. – 1987. – Vol. 31. – PP. 355- 395.
22. Araujo H., Carceroni R., Brown C., A Fully Projective Formulation for Lowe’s
Tracking Algorithm //Technical Report 641, Univ. of Rochester. – 1996.
23. Quan L., Lan Z. Linear N Point Camera Pose Determination //IEEE Transaction on
Pattern Analysis and Machine Intelligence. – 1999. – Vol. 21, No. 8. – P. 774-780.
24. Fiore P.D. Efficient linear solution of exterior orientation //IEEE Transactions on
Pattern Analysis and Machine Intelligence. – 2001. – Vol. 23, No. 2. – P. 140–148.
25. Ansar A., Daniilidis K. Linear pose estimation from points or lines //IEEE Transactions
on Pattern Analysis and Machine Intelligence. – 2003. – Vol. 25, No. 5. – P. 578–589.
26. Oberkampf D., DeMenthon D., Davis L.S. Iterative pose estimation using coplanar
feature points //Computer Vision and Image Understanding. – 1996. – Vol. 63, No. 3 – P. 495–511.
27. Schweighofer G., Pinz A. Robust pose estimation from a planar target //IEEE
Transactions on Pattern Analysis and Machine Intelligence. – 2006. – Vol. 28, No. 12. – P. 2024–
2030.
28. Hesh J.A., Roumeliotis S.I. A direct Least-Squares (DLS) Method for PnP //
29. Li Shiqi, Xu Chi, Xie Ming A Robust O(n) Solution to the Perspective-n-Point
Problem //IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2012. – Vol 34,
No. 7.
30. Horaud R., Christy S., Dornaika F. Object Pose: The Link between Weak Perspective,
Para Perspective and Full Perspective //International Journal Of Computer Vision – 1997. – Vol. 22,
No. 2. –PP. 173-189.
31. Lowe D.G. Fitting parameterized three-dimensional models to images //IEEE
Transactions on Pattern Analysis and Machine Intelligence. – 1991. – Vol. 13, No. 5. –P. 441–450.
17
32. DeMenthon D., Davis L.S. Model-based object pose in 25 lines of code //International
Journal of Computer Vision. – 1995. – Vol. 15, No. 1. – P. 123–141.
33. Kumar R., Hanson A.R. Robust methods for estimating pose and a sensitivity analysis
//Computer Vision and Image Understanding. – 1994. – Vol. 60(3). – P. 313–342.
34. Lu C.-P., Hager G.D., Mjolsness E. Fast and globally convergent pose estimation from
video images //IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2000. – Vol. 22,
No. 6. – P. 610–622.
35. Zhang Z. A flexible new technique for camera calibration //IEEE Transactions on
Pattern Analysis and Machine Intelligence. – 2000. – Vol. 22, No. 11. – PP. 1330–1334.
36. Horn B.K.P., Hilden H.M., Hegahdaripour S. Closed-form solution of absolute
orientation using orthonormal matrices //Journal of the Optical Society of America. – 1998. –
Vol. 5, No. 7. – P. 1127–1135.
37. Arun K.S., Huang T.S., Blostein S.D. Least-squares fitting of two 3D points sets
//IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1987. – Vol. 9, No. 5. –
P. 698–700.
38. Umeyama S. Least-squares estimation of transformation parameters between two point
patterns //IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1991. - Vol. 13,
No. 4.
39. Harlalick R.M. Pose Estimation from Corresponding Point Data //IEEE Trans.
Systems, Man, and Cybernetics. – 1989. – Vol. 19, No. 6. – P. 1426–1446.
40. Abdel-Aziz Y.I.,
Karara H.M.
Direct
linear
transformation
from
comparator
coordinates into object space coordinates in close-range photogrammetry //In Proc. ASP/UI symp.
close-range photogrammetry. – 1971. – P. 1–18.
41. Kukelova Z., Bujnak M., Pajdla T. Closed-form solutions to the minimal absolute pose
problems with known vertical direction.
42. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision //Cambridge
University Press. – 2003.
43. Hu Z.Y., Wu F.C. A Note on the Number of Solutions of the Noncoplanar P4P
Problem //IEEE Trans. on Pattern Analysis and Machine Intelligence. – 2002. – Vol. 24, Is. 4. –
P. 550-555.
44. Hu B., Brown C. Interactive Indoor Scene Reconstruction From Image Mosaics Using
Cuboid Structure, The University of Rochester Computer Science Department Rochester, New
York 14627 Technical Report 787 August 2002.
45. Челноков Ю.Н. Кватернионные и бикватернионные модели и методы механики
твердого тела и их приложения. Геометрия и кинематика движения //М.: ФИЗМАТЛИТ. –
18
2006. – 512 с.
46. Mahony R., Hamel T., Pflimlin J.-M. Complementary filter design on the special
orthogonal group SO(3) //Proceedings of the IEEE Conference on Decision and Control (CDC’05).
– 2005. – PP. 1477-1484.
19
Перечень использованных сокращений
DLT – direct linear transformation
MEMS – Microelectromechanical system
PnA – Perspective-n-Angles
PnL – Perspective-n-Lines
PnP – Perspective-n-Points
SVD – singular vector decomposition
БИНС – бесплатформенная инерциальная навигационная система
ИИМ – инерциальный измерительный модуль
ИНС – инерциальная навигационная система
МНК – метод наименьших квадратов
ОНС – оптическая навигационная система
ТОА – трехосный акселерометр
ТОГ – трехосный гироскоп
ТОМ – трехосный магнитометр
20