Быстрый алгоритм поиска дорог для системы технического

Быстрый метод обнаружения
структурированных объектов в данных
аэрофотосъемки и сканирования земной
поверхности
Скрибцов Павел Вячеславович., к.т.н
ООО «ПАВЛИН Техно»
http://bpla.pawlin.ru
Разработано при поддержке Министерства Науки и Образования РФ.
(Соглашения о предоставлении субсидии # 14.576.21.0051 от “08” сентября 2014 г.)
Работы проводятся совместно с индустриальным партнером ООО «Финко» http://unmanned.ru
Исторические подходы
• Анализ границ / Поиск линий (Hough
Transform, Canny, Wavelets…)
– Относительно быстро
• Но не так быстро как хотелось бы
– 100ms - 1000ms на Intel CPU (SSE) [1,2] для 640х480
– На выходе низкоуровневая информация
• Распознавание образов (нейронные сети,
SVM)
– Высокоуровневая информация
• классификация пикселей
– Медленно или требуется GPU
1)
2)
http://www.wseas.us/e-library/conferences/joint2002/451-203.pdf
http://www.researchgate.net/profile/Emmanuel_Christophe/publication/
4289332_Robust_Road_Extraction_for_High_Resolution_Satellite_Images/
links/0f31753bdeb3b4762b000000.pdf
Входное изображение
Грубая (быстрая)
классификация RGB
пикселей - кандидатов
Предлагаемый подход
1
1
1
1
Быстрый алгоритм
построения и
геометрической
идентификации связанных
компонент
1
1
2
2
1
1
1
4
1
3
1
1
Предварительный фильтр
связанных компонент
1
2
1
Иерархическая
кластеризация кандидатов
под управлением модели
(model based Clustering)
Маска пикселей,
ориентация и размеры
найденных объектов
1
2
1
3
1
1
1
1
1
1
1
1
1
Отличие от аналогов
• Нет привязки к алгоритмам выделения краев
• Нет сложных алгоритмов сегментации пикселей
– Применяется быстрый алгоритм связанных компонент
• run-based
• аналитическая интеграция моментов (1,2)
• Сложность критериев фильтрации кандидатов
увеличивается по мере уменьшения кол-ва кандидатов
на каждом шаге иерархического алгоритма
кластеризации
• Результат
– Скорость: 30ms для изображения 640х480 для ARM Cortex
A9 (Freescale IMX6, одно ядро)
– Точность 90%
Поиск и идентификация
дорог с БПЛА - актуальность
• Мониторинг траффика и дорожных ситуаций
– Пробки
– Аварийные ситуации
• Локализация местонахождения БПЛА
– Навигация в условиях отсутствия спутникового
сигнала
– Дешевые, Микро-бпла
• Посадка БПЛА
самолетного типа
– В том числе экстренная
• Геодезия
Сравнение с аналогами
Mirnalinee, T. T., Sukhendu Das, and Koshy Varghese. "Road extraction from satellite images
using Dominant Singular and Arc-Length Measures»
http://www.cse.iitb.ac.in/~sharat/icvgip.org/ncvpripg2008/papers/41.pdf
Предлагаемый подход
Примеры работы алгоритма
Примеры работы алгоритма
Примеры работы алгоритма
Примеры работы алгоритма
Методика тестирования
•
•
•
Для тестирования использованы
видеозаписи снятые с БПЛА в Приуралье
(трасса Можга-Агрыз – Удмуртия и
Татарстан) , в Подмосковье (Рогачевское
шоссе), в Индонезии (город Бандунг,
Западная Ява) и др.
Видеозаписи были размечены оператором
в ручную в покадровом режиме(25 fps и 5
fps). Всего было размечено около 20000
кадров на 30 км полета.
Критерий поиска дороги, точность:
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑆(𝑀𝑎𝑠𝑘∩𝑅𝑜𝑎𝑑)
,
𝑆(𝑅𝑜𝑎𝑑)
Где S – площадь, Road- область разметки,
Mask – область определённая как дорога.
• При тестировании точность получилась
более 90%.
• Область определённая как дорога имеет
площадь в 4-5 раз меньше площади
кадра.
• Справа: спутниковая карта , c траекторией
полета и кадр изображения.
Перспективная разработка - гибридные
подходы с применением нейронных сетей
• Способ 1. Сложная нейронная сеть- пост-фильтрация
ложных срабатываний
гипотезы
Объекты
изображение
сегменты
• Способ 2. Нейронные сети малых размеров для
автоматического формирования критериев объединения
кластеров
?
ДА!
НЕТ
Идентификация транспортных
средств на дорогах
Идентификация транспортных
средств на дорогах
Применение для слежения за транспортных
средств(ТС) и распознаванием дорожных
ситуаций
Поиск дороги позволяет многократно(в среднем в
4-5 раз) сократить площадь области поиска ТС
средств, что позволяет применять на борту БПЛА
вычислительно сложные эффективные алгоритмы
детекции и распознавания и отслеживание
объектов. Точное и быстрое распознавание ТС
позволяет, организовать бортовое распознавание
дорожных ситуаций, в частности на основе
гистограмм распределения скоростей ТС.
8
7
6
5
4
3
2
1
126
113
101
88
76
63
50
38
25
13
0
-13
-25
-38
-50
-63
-76
-88
-101
-113
-126
0
Дополнительные сценарии
применения
• Online
– Фокусировка зоны обработки изображения на
область дороги (поиск, слежение за ТС)
– Пролет вдоль дорог
• которых еще нет на карте
• eсли нет GPS / Glonass
– Поиск новых дорог
• Offline
– Предварительная обработка больших объемов
изображений для последующего построения карты
дорог
Возможности применения подхода
для обработки 3D данных
• Выделение элементов рельефа
• Классификация растительности
• Поиск второстепенных линий
электропередач с малым
числом ТЛС
Поиск линий электропередач в облаках
точек лазерного сканирования
Шаг 1. Выделение первичных кластеров и связей (3D сегменты)
Поиск линий электропередач в облаках
точек лазерного сканирования
Шаг 2. Кластеризация под управлением модели
21
Отделение растительности,
моделирование «чистого рельефа»
Сегментация растительности
Спасибо за внимание! 
• Контакты
– http://bpla.pawlin.ru
– [email protected]
• Работа выполнена при финансовой поддержке Министерства
образования и науки Российской федерации в рамках
Соглашения о предоставлении субсидии # 14.576.21.0051 от
“08” сентября 2014 г. (Уникальный идентификатор соглашения
RFMEFI57614X0051) на выполнение прикладных научных
исследований по теме: “Разработка интеллектуальных
алгоритмов обнаружения и распознавания дорожных ситуаций
для бортовых систем беспилотных летательных аппаратов,
осуществляющих автоматическое патрулирование
транспортных магистралей с применением ГЛОНАСС”.