Поиск трехмерных объектов на изображениях на основе динамически формируемых контурных эталонов Ю.Б. Блохинов,

Поиск трехмерных объектов на
изображениях на основе динамически
формируемых контурных эталонов
Ю.Б. Блохинов, А.С. Чернявский
ФГУП «ГосНИИАС», Москва
[email protected]
Постановка задачи






Существуют 3D модели ряда наземных
объектов, формирующих сцену
Имеется цифровое текущее изображение (ТИ),
полученное с летательного аппарата
Заданы углы обзора и примерная область
поиска объектов на изображении
Предполагаем, что объект полностью
находится в кадре
Требуется определить местонахождение
искомого объекта на ТИ
При этом не использовать информацию о
текстуре
Модель
Текущее изображение
По имеющейся информации о точке съемки генерируется
конкретный вид эталона объекта
Контурные эталоны объектов
1
2
4
3
Для каждого контурного эталона (КЭ) строится
функция сходства с ТИ
Функция сходства


Контурный эталон E (i, j )
размывается фильтром Гаусса
В каждой точке находятся нормали
к контурному эталону
 I y (i, j ) 

 ij  arctg 
 I x (i, j ) 

В каждой точке ТИ ищется
градиент яркости:
 I y (m, n) 

 mn  arctg 
 I x (m, n) 
Функция сходства

Сходство между эталоном и
ТИ в точке (i,j):

p(i, j )  f  mn   ij


Итоговая функция сходства
D(m, n) 
 p(i, j )
i[ m , m  H E ]
j[ n , n WE ]
Наиболее
вероятное
расположение
Пик функции
сходства
объекта
50
100
150
200
250
50
100
150
200
250
300
350
Результаты позиционирования сцен по данным летных
экспериментов
Отличительные особенности ИК-снимков:
1) Узкий динамический диапазон и низкий контраст
2) ИК-снимки имеют меньшие размеры и меньшую разрешающую
способность
4000
3500
3000
2500
ТВ
2000
1500
1000
500
0
0
50
100
150
200
250
0
50
100
150
200
250
4000
3500
3000
2500
2000
ИК
1500
1000
500
0
Гистограмма яркости
Результаты позиционирования сцен по данным летных
экспериментов
Было проведено исследование
вероятности попадания и точности
попадания в прицельную точку в
зависимости от уровня шума и степени
загораживания
Прицельная точка, лежащая на модели
объекта (на стене или крыше)
задавалась пользователем
Параметры зашумления:
1)
2)
3)
4)
Нормальный шум: σ от 0 до 50
Импульсный шум: вероятность изменялась от 0 до 0.5
Загораживание прямоугольной областью: от 0% до 50% от площади снимка
Изменение углов ориентирования: ±1° от истинных значений
Область поиска объекта определяется по известным оценкам ошибок элементов
внешнего ориентирования и составляет в среднем 50х50 пикселей
Результаты позиционирования сцен по данным летных
экспериментов
10
20
30
40
50
60
70
80
90
100
20
40
60
80
100
120
140
10
20
30
40
50
60
70
80
90
100
10
Эталонное изображение
Текущее изображение
20
30
40
50
Функция сходства
60
Результаты позиционирования сцен по данным летных
экспериментов
10
20
30
40
50
60
70
80
90
20
40
60
80
100
120
140
10
20
30
40
50
60
10
Текущее изображение
20
30
40
50
60
Функция сходства
70
80
Результаты позиционирования сцен по данным летных
экспериментов
Выводы:
1) Метод поиска, основанный на анализе поля градиентов яркости, успешно
работает как на ТВ-, так и на ИК-снимках
2) Вероятность точной локализации объекта превышает 0.9 при всех видах
шума, кроме загораживания (от 0.5 до 0.88). В среднем, вероятность
локализации для ИК-снимков несколько ниже, чем для ТВ-снимков (0.85
против 0.92). Это связано с небольшими размерами ИК-снимков.
3) Средняя точность локализации (расстояние от истинного до найденного
положения прицельной точки) не превышает 2.5 м для всех видов шума,
кроме неточно заданных углов ориентирования (для них точность в
среднем равна 4.5 м)
5) Вероятность и точность локализации зависят от структуры сцены,
например, от степени протяженности объектов (мосты, дороги)
Использование нескольких снимков для повышения точности
обнаружения
Если ТИ сильно зашумлено или объект не помещается целиком на одном
снимке, целесообразно использовать несколько снимков одной сцены,
сделанных в последовательные моменты времени.
Алгоритм сборки сцены по N снимкам состоит из следующих шагов:
1) Поиск прицельного объекта на каждом снимке по отдельности,
построение функций сходства
2) Переход из пиксельной системы координат каждого снимка в единую,
общую для всех снимков, геодезическую СК (в метрах)
3) Значению функции сходства в каждом пикселе соответствует голос,
поданный за положение прицельной точки в трехмерном пространстве
4) Голоса, полученные при анализе N снимков, суммируются в
геодезической СК
Итог:
точка в трехмерном пространстве, получившая больше всего
голосов,объявляется найденной прицельной точкой.
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
10
20
30
Если на отдельных снимках
объект не виден целиком, то
по нескольким снимкам
возможно определить точное
положение объекта
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
20
40
60
80
100
Итоговая функция
сходства сцены по
трем снимкам
120
140
Результат сборки
Повышение точности обнаружения
(субпиксельность)


Нахождение начального приближения
Максимизация функции сходства каким-либо
итерационным методом путем варьирования углов
ориентирования и координат камеры
Имеет смысл перейти к
векторной модели контурного
эталона
Функция сходства
при изменении угла
Выводы




Предложенная функция сходства позволяет
обнаружить объект на изображении по его
контурному эталону
Метод успешно испытан на реальных
изображениях, полученных в видимом и ИКдиапазоне
Есть предпосылки для повышения точности
обнаружения, в т.ч. путем использования
нескольких снимков с разных точек
Повышение точности обнаружения =
повышение точности навигационных данных