МОДЕЛИРОВАНИЕ ПРОЦЕССА ВЫДЕЛЕНИЯ И

2011
ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
№65
УДК 004.932
МОДЕЛИРОВАНИЕ ПРОЦЕССА ВЫДЕЛЕНИЯ И КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ
ДЛЯ СИСТЕМ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ВОЗДУШНЫХ ОБЪЕКТОВ
И.О.Титов, Г.М.Емельянов
Институт электронных и информационных систем НовГУ, [email protected]
Рассматривается многоэтапный алгоритм выделения, сопровождения и оценки параметров движущегося воздушного
объекта для автоматизированных систем технического зрения, работающих в режиме реального времени.
Ключевые слова: классификация, локализация, распознавание, сегментация
This article describes the multistep algorithm of the separation, tracking and estimations of the moving air object parameters for
automatic systems of the artificial vision which working in real-time mode.
Keywords: classification, localization, recognition, segmentation
Введение
Сегментация
Одной из задач цифровой обработки изображений является задача классификации, распознавания
и анализа движущихся объектов в системах технического зрения.
Технологии автоматического выделения и
оценки параметров воздушных объектов является
важной задачей для таких приложений, как задачи
обеспечения безопасности аэропортов и важных промышленных предприятий, контроль и мониторинг
воздушного движения, астронавигация, системы анализа потока машин на автомагистрали и т.д.
В настоящее время разработано множество алгоритмов выделения и оценки параметров объектов.
Однако известные подходы зачастую обладают
большой вычислительной сложностью и не в полной
мере учитывают специфику рассматриваемой задачи
и особенности применяемых на практике датчиков
изображений. Таким образом, разработка эффективных алгоритмов выделения, обнаружения и оценки
параметров для систем автоматического сопровождения воздушных объектов до настоящего времени остается весьма актуальной задачей.
Для решения поставленной задачи предлагаться использовать многоэтапный алгоритм сегментирования, сопровождения, выделения и оценки параметров и классификации объекта. Алгоритмы ориентированны на их применение в системах реального
времени.
Сегментация является одним из наиболее важных этапов обработки и распознавания изображений,
цель которого состоит в выделении на изображениях
связных областей с примерно одинаковыми характеристиками яркости. Качество сегментации во многом
определяет успех решения задачи распознавания изображений, интерпретации и идентификации визуально наблюдаемых объектов.
Существующие решения не дают качественного
результата, в первую очередь из-за их вычислительной
сложности. Предлагается использовать новый подход.
В рамках сегментации необходимо решить
следующую задачу: обрабатывая последовательность
изображений из одного видеопотока, получить маску
движущихся объектов, в которой черный соответствует заднему плану, а белый — переднему плану.
Алгоритм должен быть устойчив к движущимся теням, изменению освещения, динамическому заднему
плану, наличию шума на изображении, к совпадению
в одном видеопотоке цвета переднепланового объекта
с цветом заднего плана. Кроме того он должен работать в реальном масштабе времени. Все эти ограничения приводят к тому, что методы с неадаптивным
порогом практически неприемлемы для решения поставленной задачи, и необходимо использовать алгоритмы, основанные на вероятностных моделях [1,2].
С камеры поступают полутоновые изображения. Каждый пиксель заднего плана будет моделиро-
90
2011
ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
ваться с помощью одномерной нормально распределенной случайной величины
информации на верхних уровнях пирамиды [2]. Благодаря использованию сглаживающих функций при построении пирамиды удается эффективно бороться с
различного рода шумами и, следовательно, повышать
помехоустойчивость алгоритмов обработки.
2
B  N ( x , μ, δ ).
Оценку параметров модели проводим на основе
первых n кадров, когда на изображении зафиксирован
только задний план. Для каждого пикселя алгоритм производит оценку параметров модели μ и δ2, используя
аппарат математической статистики, а потом, после того
как обучение закончено, попиксельно использует вероятностный порог для того, чтобы определить, принадлежит ли значение пикселя заднему плану или переднему.
μ1
n
δ2  1 
n-1
Контурный анализ
Для классификации и распознавания объектов
необходимо формирование вектора уникальных признаков. Он формируется на основе контурных характеристик объекта.
Контуры являются областями с высокой концентрацией информации, слабо зависящей от цвета и
яркости. Они устойчивы к смене типа датчика, формирующего изображение, к частотному диапазону, в
котором он работает, не зависят от времени суток и
года. Контур целиком определяет форму изображения
и содержит всю необходимую информацию для распознавания изображений по их формам.
Такой подход позволяет не рассматривать внутренние точки изображения и тем самым значительно
сократить объем обрабатываемой информации за счет
перехода от анализа функции двух переменных к
функции одной переменной. Следствием этого является возможность обеспечения работы системы обработки в масштабе времени, более близком к реальному.
Методы контурного анализа в большей степени, чем пространственные, дают возможность использовать модели, инвариантные к случайным переносам, поворотам и изменениям масштаба [3].
Для построения контура объекта из сегементированной области будем применять детектор границ
Canny. Данный метод обладает такими важными особенностями, как хорошее обнаружение, правильное
определение положения границы, единственный отклик на одну границу [4-6].
Алгоритм детектора границ Canny не ограничивается вычислением градиента сглаженного изображения. В контуре границы оставляются только
точки максимума градиента изображения. Здесь используется информация о направлении границы для
того, чтобы удалять точки именно рядом с границей и
не разрывать саму границу вблизи локальных максимумов градиента. Если в контуре имеются разрывы,
то для их устранения к полученному бинарному изображению можно применить операции математической морфологии. (О выделении границ объекта методом Canny см. нашу работу [7]).
В результате формируется замкнутый контур,
состоящий из множества точек γ(xn,yn), n = 0,1,...,k – 1,
K = {γ(xn,yn)}0,k–1 = {γ(x0,y0), γ(x1,y1,....γ(xk–1,yk–1))}.
n
X ,
i
i 1
n
(X
i
№65
 μ)2 ,
i 1
где X1,…,Xi — значение пикселя по первым n кадрам.
Алгоритм создает попиксельную модель сцены, используя смесь нормальных распределений, и с
поступлением каждого нового кадра обновляет модель и классифицирует каждый пиксель как принадлежащий к заднему или переднему плану. Каждый
пиксель сцены представляет собой набор процессов,
каждый из которых характеризуется параметрами
нормального распределения и некоторым коэффициентом, называемым весом и являющимся показателем
того, насколько часто данный процесс в данном пикселе попадал в поле зрения камеры.
Рис.1. Пример сегментации воздушного объекта
Алгоритм способен адаптироваться к изменениям заднего плана, так как через некоторое время
после изменения вес созданного при изменении процесса превысит порог, и он начнет сегментироваться
в задний план.
К медленным изменениям освещения алгоритм
способен адаптироваться благодаря системе оценки
параметров, так как по мере плавного изменения цвета пикселей заднего плана алгоритм будет переобучаться на новые значения. К быстрым изменениям
освещения алгоритм адаптируется так же, как он
адаптируется к изменениям заднего плана.
Для снижения объема обрабатываемой информации можно уменьшить объем исходных данных путем уменьшения размеров изображения. Для этого будем использовать пирамиду Гаусса. При пирамидальном подходе от уровня к уровню резко уменьшается
объем информации на изображении с сохранением его
глобальной структуры, что позволяет получать предварительные результаты обработки по малому объему
Формирование признаков
В результате контурного анализа из сегментированного фрагмента изображения получаем контур
воздушного объекта. Следующий шаг состоит в задаче идентификации объекта, т. е. его распознавании.
Результатом распознавания является набор характеристик, необходимых для реализации отображения:
объект — номер класса.
Первый этап в системе распознавания образов
— это формирование признаков объекта, которые его
91
2011
ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
Использование моментов второго и третьего порядков позволяет получить следующий набор из семи
инвариантных моментов [4,8,9]:
уникально идентифицируют. Основное требование
при этом — эффективность процесса распознавания.
Т. е. должен существовать алгоритм расчета признаков, и этот алгоритм должен быть вычислительно
эффективен. Это требование достаточно типично для
систем распознавания в реальном времени.
Эффективность распознавания накладывает
определенные требования на значения признаков. А
именно, для объектов различных классов значения
признаков должны отличаться сильнее, чем для объектов одного класса. Это требование также интерпретируется как требование компактности описания
класса в пространстве признаков.
Требование эффективности распознавания приводит к необходимости удовлетворения требованиям
устойчивости описания образа к ряду возможных искажений объекта. На практике изменение изображения
объекта влечет за собой изменение его образа в пространстве признаков, что в общем случае влияет на результаты классификации, а следовательно, и на эффективность системы в целом. Отсюда вытекает требование
инвариантности объекта, в общем случае, к шумовым и
динамическим искажениям, к яркостным искажениям, к
изменению местоположения объекта, к изменению его
масштаба, к повороту объекта в плоскости изображения,
к произвольным аффинным преобразованиям.
Для задачи распознавания контурного движущегося объекта нет необходимости рассчитывать характеристики, инвариантные к шумовым и динамическим искажениям, изменению яркости и контрастности. Достаточно остановится лишь на геометрических
признаках объекта [3].
Для решения поставленной задачи используем
метод, основанный на анализе моментов. Он используется на «поточечных» или растровых изображениях
и позволяет рассчитывать характеристики, инвариантные к любым геометрическим искажениям. Метод
очень ресурсоемкий, но если его применить к контурному изображению, то можно сократить вычислительную сложность в несколько раз.
На базе моментных инвариантов формируются
признаки, устойчивые к преобразованиям подобия.
Рис.2. Исходное изображение
№65
φ 1  η 20  η 02 ;
2
φ 2  (η 20  η 02 ) 2  4η 11
;
φ 3  (η 30  3η12 ) 2  (3η 221  η 03 ) 2 ;
φ 4  (η 30  η12 ) 2  (η 21  η 03 ) 2 ;
φ 5  (η 30  3η12 )(η 30  η12 )[(η 30  η12 ) 2  3(η 21  η 03 ) 2 ] 
 (3η 21  η 03 )(η 21  η 03 )[3( η 30  η 12 ) 2  (η 21  η 03 ) 2 ];
φ 6  (η 20  η 02 )[(η 30  η12 ) 2  (η 21  η 03 ) 2 ] 
 4η11 (η 30  η 12 )(η 21  η 03 );
φ 7  (η 30  3η12 )(η 30  η 12 )[(η 30  η 12 ) 2  3(η 21  η 03 ) 2 ] 
 (3η 21  η 03 )(η 21  η 03 )[3( η 30  η 12 ) 2  (η 21  η 03 ) 2 ].
Здесь η pq 
μ pq
γ
μ 00
(γ
pq
 1, p  q  2, 3, ..., μ pq —
2
центральные моменты).
С использованием моментов второго и третьего порядков получается набор из четырех аффинных
моментных инвариантов [6,8,9].
2
i1  14 (μ 20 μ 02  μ 11
);
μ 00
2
2
3
i 2  110 (μ 30
μ 03
 6μ 30 μ 21μ 12 μ 03  4μ 30 μ 12

μ 00
2
 4μ 03 μ 321  3μ 221μ 12
);
2
i3  17 (μ 20 (μ 21μ 03  μ 12
)  μ 11 (μ 30 μ 03  μ 21μ 12 ) 
μ 00
 μ 02 (μ 30 μ 12  μ 221 ));
2
i 4  111 (μ 320 μ 03
 6μ 220 μ 11μ 12 μ 03  6μ 220 μ 02 μ 21μ 03 
μ 00
 6μ 20 μ 11μ 02 μ 30 μ 03  18μ 20 μ 11μ 02 μ 21μ 12 
2
2
 9μ 220 μ 02 μ 12
 12μ 20 μ 11
μ 21μ 03 
3
2
 8μ 11μ 30 μ 30  6μ 20 μ 02 μ 30 μ 12 
2
 9μ 20 μ 202 μ 221  12μ 11
μ 02 μ 30 μ 12 
2
2
 6μ 11μ 02 μ 30 μ 21  μ 302 μ 30
).
o
Рис.3. Уменьшенное в два
раза
Рис.4. Повернутое на 45
Рис.6. Перспективное искаже- Рис.7. Перспективное искаже- Рис.8. Другой контур объекта с
ние 1
ние 2
той же видеопоследовательности
92
Рис.5. Уменьшенное в два
o
раза и повернутое на 45
Рис.9. Ложный контур
2011
ВЕСТНИК НОВГОРОДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
№65
Значения инвариантных признаков для исходного изображения
Инвариант
φ1
Рис.2
–1,306
Рис.3
–1,279
Рис.4
–1,317
Рис.5
–1,305
Рис.6
–1,248
Рис.7
–1,132
Рис.8
–1,564
Рис.9
–1,774
φ2
–3,363
–3,221
–3,388
–3,283
–3,045
–2,678
–4,552
–8,864
φ3
–6,902
–6,884
–6,940
–7,003
–7,877
–7,187
–7,318
–13,172
φ4
–11,337
–10,794
–11,309
–10,834
–9,774
–8,009
–12,350
–14,863
φ5
20,471
19,692
20,434
19,856
–18,633
–15,638
–22,184
28,936
φ6
13,024
12,498
13,027
12,607
–11,463
–9,367
–14,840
–20,511
φ7
–22,243
20,727
–27,321
20,595
–19,981
–17,011
26,612
–30,010
i1
–4,639
–4,671
–4,659
–4,709
–4,744
–4,731
–4,790
–4,939
i1
18,049
18,081
18,131
18,333
20,643
21,681
18,831
–30,718
i1
11,171
11,222
11,229
11,380
12,346
12,339
11,723
17,915
i1
–13,606
–13,701
–13,691
–13,908
–14,797
–14,757
–14,373
–20,575
Заключение
4.
В результате программной реализации алгоритмов сегментации, слежения, контуризации и
оценки параметров объекта проведен анализ вычислительной сложности предложенных алгоритмов
классификации воздушного объекта. Он показывает,
что алгоритмы работают приближенно к реальному
масштабу времени, что позволяет использовать методику в реальных системах слежения.
В работе исследовалась возможность классификации движущегося воздушного объекта по средствам
слежения камерой оптического диапазона в составе
стенда теодолита, эффективность классификации таких
объектов, как самолет Су-27, вертолет Ми-8, а также
ракета, выпущенная с реактивной установки «Град».
В целом результаты проведенных экспериментов свидетельствуют о целесообразности использования разработанных алгоритмов в составе систем автоматического слежения и классификации движущихся воздушных объектов.
5.
6.
7.
8.
9.
Bibliography (Translitirated)
1.
2.
3.
4.
5.
1.
2.
3.
Гонсалес Р., Вудс Р. Цифровая обработка информации.
М.: Техносфера, 2005. С.957-961.
Яне Б. Цифровая обработка информации. М.: Техносфера, 2007. С.515-517.
Методы компьютерной обработки изображений / Под ред.
В.А.Сойфера. М.: Физматлит, 2003. С.601-634.
Титов И.О., Емельянов Г.М. Выделение контуров изображения движущегося объекта // Вестник НовГУ. Сер.:
Техн. науки. 2010. №55. С.30.
Heikkil Janne. Pattern matching with affine moment descriptors // Elsevier Science. March 2004. №3. Р.23-50.
Voss K., Suesse H., Braeuer Ch. Affine Point Pattern Matching
— http://www.inf-cv.uni-jena.de/uploads/media/dagm_2001.pdf
6.
Гаганов В., Конушин А. Сегментация движущихся объектов в видеопотоке // Компьютерная графика и мультимедиа. 2004. №3. С.16-24.
Плесков А.В., Писаревский В.Н. Эффективный алгоритм
сегментации изображений на основе пирамиды Гаусса —
http://iai.dn.ua/public/JournalAI_2000_2/2/418-423_PLESKO1.pdf
Рейер И. Сравнение формы объектов с использованием
морфинга контуров границы / Вычислительный центр РАН
— http://www.graphicon.ru/2000/2D%20GRAPHICS/Reyer.pdf
7.
8.
9.
93
Gaganov V., Konushin A. Segmentacija dvizhushhikhsja
ob"ektov v videopotoke // Komp'juternaja grafika i mul'timedia. 2004. №3. S.16-24.
Pleskov A.V., Pisarevskijj V.N. Ehffektivnyjj algoritm segmentacii izobrazhenijj na osnove piramidy Gaussa —
http://iai.dn.ua/public/JournalAI_2000_2/2/418-423_PLESKO1.pdf
Rejjer I. Sravnenie formy ob"ektov s ispol'zovaniem morfinga konturov granicy / Vychislitel'nyjj centr RAN —
http://www.graphicon.ru/2000/2D%20GRAPHICS/Reyer.pdf
Gonsales R., Vuds R. Cifrovaja obrabotka informacii. M.:
Tekhnosfera, 2005. S.957-961.
Jane B. Cifrovaja obrabotka informacii. M.: Tekhnosfera,
2007. S.515-517.
Metody komp'juternojj obrabotki izobrazhenijj / Pod red.
V.A.Sojjfera. M.: Fizmatlit, 2003. S.601-634.
Titov I.O., Emel'janov G.M. Vydelenie konturov izobrazhenija dvizhushhegosja ob"ekta // Vestnik NovGU. Ser.:
Tekhn. nauki. 2010. №55. S.30.
Heikkil Janne. Pattern matching with affine moment descriptors // Elsevier Science. March 2004. №3. R.23-50.
Voss K., Suesse H., Braeuer Ch. Affine Point Pattern Matching
— http://www.inf-cv.uni-jena.de/uploads/media/dagm_2001.pdf