Лекции _2семестра Ч2

Лекция9.
Задача обнаружения сообщений
Под задачей обнаружения сообщений понимается задача обнаружения защищаемого
сообщения в КПС на физическом уровне, т.е. на основе анализа формы и параметров
сигнала путем поиска формальных признаков.
На экспертизу представляется реализация случайного сигнала (подозрительного
сообщения) , полученная следующими путями:
радиоперехват;
внедрение в оптико-электронный КПС;
внедрение в акустический КПС;
получение твердого носителя;
внедрение в проводной КПС.
Рис. 1. Реализация случайного процесса, используемая при экспертизе.
На рис. 1. штриховой кривой изображен полезный сигнал на входе ПУ. Мгновенное
значение полезного сигнала
обозначено на рис. 1.3 штриховой линией.
Принимаем сигнал и помеха аддитивны, то есть:
(Подозрительное сообщение – код, отличающийся признаками упорядочненности,
либо априорно известными противодействующей стороне признаками).
Передаваемые сообщения могут передаваться в следующем виде:
контейнеры, содержащие аудио-видеоданные;
модулированные сигналы;
шифрованные сигналы.
Экспертиза осуществляется в предположении, что исследуемая реализация содержит
защищаемое сообщение. В более строгой формулировке далее считается, что в
исследуемой реализации содержится объект, представляющий интерес для экспертизы
с определенной долей вероятности.
Задача обнаружения сообщений по своей сути противоположна задаче шифрования и
сокрытия сообщений.
2
1. Априорная и апостериорная вероятности. Отношение правдоподобия.
Дальнейшее обсуждение ведется, исходя из классического правила криптографии:
любая шифрованная информация может быть обнаружена и идентифицирована.
Также, в дальнейшем будем считать, что задача дешифровки формируется
относительно реализаций, вызывающих подозрение у экспертов на предмет
присутствия скрытого (маскированного) сообщения. Введем следующие определения:
подлежащий экспертизе сигнал представляет
собой реализацию
случайного
процесса , поскольку случай возникновения подозрения непредсказуем;
вероятность присутствия шифрованной информации в реализации равна
,
где – скрытый сигнал;
вероятность отсутствия шифрованной информации в реализации равна
Перечисленные вероятности являются условными и апостериорными, поскольку их
можно определить только после экспертизы, и, кроме того, они соответствуют
условию получения реализации. Таким образом, для определения
и
необходимо определить вероятность совместного появления двух событий
(1)
где
и
– вероятности появления одного из событий;
и
- условные вероятности появления одного из событий или
при условии что второе событие ( или ) уже состоялось.
Далее считаем, что событие « » заключается в том, что реализация получена
(произошел перехват сигнала), а событие « » - в том, что полезный сигнал в
реализации присутствует.
В этом случае
(2)
Следовательно,
(3)
Если считать, что событие « » заключается в отсутствии шифрованной информации,
то
(4)
где
и
определяют априорные вероятности наличия и отсутствия скрытого
сообщения в сигнале, предъявленном на экспертизу.
В задаче кодирования и расшифровки скрытых сообщений оба из перечисленных выше
случаев содержат полную группу событий, поэтому
а также
(5)
Далее принимаем, что величины
и
определяют полные априорные
вероятности наличия и отсутствия полезного сигнала, т.е. априорные вероятности
наличия или отсутствия объекта в поле зрения системы обнаружения, а величина
– полную априорную вероятность получения реализации .
3
В свою очередь
и
задают апостериорные условные вероятности
появления конкретной реализации при условии наличия и отсутствия сигнала и
идентифицируют два значения функции правдоподобия. Иначе говоря, они
показывают насколько правдоподобна реализация .
Так как в задаче обнаружения оба события " " и " " являются противоположными (т.е.
несовместимыми и образующими полную группу событий), то справедливы
следующие равенства
Разделив
на
с учетом
получим
Величину
называют абсолютным, или обобщенным, отношением правдоподобия.
Она важна в теории обнаружения, которая базируется на теории статистических
решений обнаружения. Поскольку из
следует
то можно сделать вывод, что абсолютное отношение правдоподобия полностью
определяет вероятность наличия (а, следовательно, и отсутствия) сигнала в
реализации s(t). И если бы, например, анализ реализации показал, что
, то на
основании
P(c / s) > 0,5, так что с учетом
Таким образом, было бы установлено, что
, т.е. вероятность
присутствия полезного сигнала в реализации больше, чем вероятность его отсутствия,
и тем более обоснованным было бы принятие решения "Да" (объект поиска находится
в поле зрения системы обнаружения), чем альтернативное решение "Нет". Эта же
формула
показывает, что для определения
необходимо не только извлечь из
анализа полученной реализации отношение
Таким образом, можно считать, что решения экспертизы всегда сопровождаются
ошибками. Программно-аппаратные средства, которыми располагает экспертиза, могут
также вырабатывать ошибочные посылки, связанные с естественным несовершенством
названных средств, т. е. наличием методических ошибок, носящих случайный
характер. Кроме того, анализируемый экспертизой подозрительный сигнал
теоретически может содержать вирусы, которые оказывают непредсказуемое
воздействие на работу программно-аппаратных средств экспертизы.
2. Ошибки экспертизы. Средний и условный риск.
4
По аналогии с определениями, выработанными в теории обнаружения, далее
рассматриваются следующие понятия:
«ошибка ложной тревоги»;
«ошибка необнаружения» скрытого сообщения в подозрительном файле.
Будем обозначать далее событие принятия решения об обнаружении скрытого
сообщения в подозрительном сигнале как «ДА», а событие, связанное с
необнаружением скрытого сообщения – как «НЕТ». Вводим далее следующие
обозначения:
P(ДА/o) – P(лт) – вероятность ложной тревоги
Р(НЕТ /α) – Р(но) – вероятность необнаружения
События, связанные с принятием решения о наличии, либо отсутствии скрытого
сообщения в подозрительном файле образуют полную группу, так что
Р(НЕТ /α) + Р(ДА /α)=1,
Р(НЕТ /о) + Р(ДА /о)=1
Тогда вероятность обнаружения Р(обн) определяется зависимостью
Р(обн)= Р(ДА /α)= 1 - Р(НЕТ /α)= 1 - Р(но),
Р(пно)= Р(НЕТ /о)= 1 - Р(ДА /о)= 1 – Р(лт)
Величина Р(обн) – вероятность заключения экспертизы о наличии в подозрительной
реализации скрытого сообщения при условии, что скрытое сообщение действительно в
ней присутствует.
Величина Р(пно) – вероятность заключения экспертизы об отсутствии скрытого
сообщения в подозрительной реализации, при условии, что его действительно там нет
– вероятность правильного необнаружения.
Таким образом, можно считать, что чем больше значение Р(но) (или чем
меньше Р(обн)), тем выше качество средств сокрытия сообщений. С учетом
вышеперечисленного можно записать выражение для безусловных вероятностей
Ра(лт)= Р(α) Р(лт); Ра(но)= Р(α) Р(но),
Ра(обн)= Р(α) Р(обн); Ра(пно)= Р(α)Р(пно)
Вышеперечисленные вероятности в среднем могут быть вычислены опытным путем
через частоты принятия экспертизой правильных и ошибочных решений в процессе
анализа множества подозрительных реализаций, содержащих (либо нет) сообщение,
шифрованное одним и тем же методом.
Далее воспользуемся вероятностной характеристикой, принятой в теории
обнаружения, которая является более универсальной, чем отношения правдоподобия,
рассмотренные выше.
Такой характеристикой является «средний риск» – R, сопутствующий ему «условный
риск», сопутствующий отсутствию скрытого сообщения
r0=S(α,0) Р(лт) + S(0,0) Р(пно)
Рассмотрим введенные обозначения. При отсутствии скрытого сообщения в
подозрительной реализации затраты средств (т.е. времени, оборудования и
задействованного персонала) можно считать S(α,0) – это коэффициент, оценивающий
потери ресурсов экспертизы при попытке расшифровать файл, в котором нет скрытого
сообщения. Соответственно S(0,0) - это отрицательный коэффициент, оценивающий
5
экономию ресурсов экспертизы при попытке расшифровать файл, в котором нет
скрытого сообщения, т.е. «выйгрыш» при правильном необнаружении.
Аналогично можно представить условный риск, соответствующий присутствию
скрытого сообщения в подозрительной реализации. Итак
rα=S(0,α) Р(пр) + S(α,α) Р(обн)
где S(0,α) – коэффициент, оценивающий потери экспертизы при необнаружении,
пропуске;
S(α,α) – отрицательный коэффициент, оценивающий положительные действия
экспертизы, затрачиваемые на обнаружение скрытого сообщения
В соответствии с теорией обнаружения, средний риск определяется следующим
образом
R=P0r0 + Pαrα
Окончательно средний риск можно рассчитать по формуле
R=P0S(0,0)+PαS(α,α)+P0Pлт [S(α,0)-S(0,0)]+Pα P(но) [S(0,α)-S(α,α)]
Из последнего следует, что наилучший способ шифрования должен оцениваться
наибольшим средним риском вероятных действий экспертизы.
Оценка способа шифрования скрытого сообщения по критерию среднего риска
экспертизы связана со следующими ограничениями:
необходимо заранее задаваться величинами Рα и Р0 , которые разработчики способа
маскирования должны задавать исходя из возможной тактики применения аппаратнопрограммных средств при решении той или иной оперативной задачи;
необходимо заранее предполагать какой степенью компетентности и какими
материально-временными ресурсами обладает экспертиза.
Лекция 10.
Обнаружение методом однократного отсчета
1. Постановка задачи
В общем случае методы обнаружения придумываются (угадываются) разработчиком,
а в них используется какой-либо критерий с
. Качество метода обнаружения
оценивается рабочими характеристиками, то есть зависимостями
друг от
друга. Система обнаружения рассматривается в следующем виде (рисунок 1.1)
6
Все рассмотренные критерии качества приводят, по существу, к одному правилу
принятия решения. Оно состоит в сравнении отношения правдоподобия с его
пороговым значением
, величина которого определятся выбранным критерием.
Система обнаружения, использующая такое правило, должна иметь пороговое
(сравнивающее) устройство (ПУ) (рис. 1.2), на вход которого поступает величина
Настройку ПУ осуществляют в соответствии с выбранным значением
представляет собой решение «Да» (при)
или «Нет» (при)
. Выход ПУ
Таким образом, установлено функциональное назначение одного из ПЭ в ЭТ
структурной схемы системы обнаружения (рис. 1.1 ).
Остается решить, как должна обрабатываться реализация
чтобы на вход
ПУ поступила величина . Эта задача может быть решена, если априорно известны:

некоторые данные о полезном сигнале

вероятностные характеристики помехи

характер взаимосвязи между полезным сигналом и помехой.
,
,
При энергетическом расчете системы обнаружения характеристики объекта
обнаружения, как излучателя, как правило, известны и задаются в виде ММ,
описывающей изменение интенсивности и спектрального состава излучения во
времени и пространстве. Характеристики подсистемы первичной обработки сигнала
также известны. Следовательно, при заданных параметрах системы первичной
обработки сигнала всегда можно рассчитать форму обнаруживаемого сигнала. Таким
образом, для решения задачи энергетического расчета целесообразно находить
отношение правдоподобия, считая форму полезного сигнала полностью известной.
Однако фаза сигнала (т.е. положение сигнала на шкале времени, либо координаты в
7
пространстве обнаружения), как правило, неизвестна, так как неизвестен момент
появления объекта обнаружения в мгновенном поле зрения следящей системы.
2. Описание метода однократного отсчета
Теперь можно приступить к установлению взаимосвязи между реализацией s(t) и
отношением правдоподобия . Вначале рассмотрим простейший случай
обнаружения при так называемом методе однократного отсчета. Суть этого метода
состоит в том, что в некоторый момент времени (рис. 1.3) берется единственный
отсчет
реализации
который и поступает на вход ПУ. По этому отсчету
необходимо принять решение присутствует объект обнаружения в сообщении
система в момент или нет.
Рис. 2.1 Реализация случайного процесса, используемая в методе однократного
отсчета
На рис. 2.1 штриховой кривой изображен полезный сигнал на входе ПУ. Мгновенное
значение полезного сигнала
обозначено на рис. 1.3 штриховой линией.
Принимаем сигнал и помеха аддитивны, то есть:
8
Необходимо определить отношение правдоподобия , используя формулу (5.8), т.е.
найти вероятности
и
имея в виду, что из реализации s(t) взят
единственный отсчет
, являющийся значением случайной величины
В отсутствии полезного сигнала
, так что при
.
имеем
где функция
представляет собой одномерную плотность распределения
вероятности помехи.
При наличии полезного сигнала вероятность
равна вероятности получения
значения случайной величины
содержащей полезный сигнал и
помеху. В силу их аддитивности и детерминированного значения , эта вероятность
совпадает с вероятностью получения значения случайной величины
реализации, содержащей только помеху при отсутствии сигнала
[т.к.
в
так что
детерминированный]
-
=
На основании определения получим получим
Поскольку помеху можно считать стационарным нормальным случайным процессом
с нулевым средним, то величины и
являются значениями центрированных
случайных величин, имеющих нормальное распределение. При этом их плотности
вероятности имеют вид
где
- дисперсия помехи
. Подставляя
и
в 3 получим
Из
следует, что при известных и отношение правдоподобия и отсчет
реализации связаны между собой однозначно. Каждому отсчету взятому из
реализации в любой момент времени соответствует вполне определенное
значение также относящееся к этому моменту времени. Поэтому при обнаружении
методом однократного отсчета оказывается достаточным лишь произвести этот
отсчет и передать его в ПУ.
9
Заметим, что настройку ПУ проводят не по выбранному значению
, а по
соответствующему ему значению
найти которое можно из
, положив
и
При
, так что
выдается решение «Да», при
- решение «Нет».
3. Недостатки метода однократного отсчета
Неопределенность в решении задачи заключена в следующем:
• Неясно, с какой частотой следует производить отсчеты. При слишком большом
интервале времени между соседними отсчетами полезный сигнал (в силу
неизвестности момента его появления) может быть пропущен.
• Неясно, как определить значение в момент отсчета. Непосредственное измерение
мгновенного значения полезного сигнала по полученному значению реализации
невозможно из-за наличия помехи.
3.1. Метод непрерывного сравнения мгновенного значения
Для преодоления неопределенности отсчеты следует производить непрерывно. В
этом случае пропуск сигнала (по крайней мере, вызванный дискретностью отсчетов) в
системе отсутствует. Реализация
непрерывно поступает в ПУ. В те отрезки
времени (рис. 1.4), когда значения реализации превышают порог
, выдает
решение «Да», в остальное время - «Нет».
Рис. 3.1 Формирование решений "Да" и "Нет" на выходе ПУ при обнаружении
методом однократного отсчета
Таким образом, метод однократного отсчета практически реализуется путем
непрерывного сравнения мгновенных значений полученной реализации с заранее
установленным значением порога
.
3.1.1. Определение значения
в момент отсчета
10
Порог
определяется по формуле
, где величина представляет собой любое
из возможных мгновенных значений полезного сигнала на входе ПУ в диапазоне
от
до
. Причем выбор этого значения следует производить так, чтобы
обеспечивались наилучшие вероятностные характеристики обнаружения. Такое
требование приводит к необходимости определять порог
по максимальному
(пиковому) значению сигнала, т.е. использовать следующую зависимость,
получаемую из
при
Так что
можно представить в виде
где
4. Вероятностные характеристики обнаружения в методе непрерывного сравнения
мгновенных значений реализации
=
Теперь можно
обнаружения
перейти
к
определению
вероятностных
характеристик
4.1. Условная вероятность ложной тревоги
Условная вероятность ложной тревоги, очевидно, равна вероятности того, что
мгновенное значение реализации превысит порог
в отсутствии полезного
сигнала, т.е.
Произведя замену переменной
Поскольку
где
, получим
, то
- функция Лапласа (интеграл вероятностей) вида
Подставляя в
из (3.1') найдем окончательно
где
равен отношению квадрата пикового значения сигнала к дисперсии помехи.
4.2. Условная вероятность пропуска сообщения
11
Условная вероятность пропуска сообщения равна вероятности того, что при наличии
сигнала величина окажется меньше
, так что
После замены переменной
а после подстановки
получим
из
в
имеем
Поскольку
, то формула для условной вероятности правильного
обнаружения может быть записана в виде
Подставляя
и
в
и
,
можно
получить
определяющие вероятность ошибки любого рода и средний риск:
зависимости,
Напомним, что если в соответствии с критерием максимума апостериорной
вероятности положить в
, то формула дает минимальное
значение
. Точно так же, приняв в
в соответствии с критерием
Байеса
, получим
.
5. Отношение сигнал/помеха. Рабочие характеристики системы в режиме
обнаружения
Выражения
-
, определяющие вероятностные характеристики Система
обнаружения, получены применительно к случаю обнаружения методом однократного
отсчета. Однако, как показано в дальнейшем, они справедливы не только для этого
12
метода, а имеют более общий характер. Поэтому прежде чем перейти к другим
методам обнаружения, проведем анализ полученных выражений с позиций их
практического
формулы
использования
в энергетическом расчете Система. Начнем с
, которая определяет величину
, равную отношению квадрата
максимального значения полезного сигнала к дисперсии помехи. Эта величина,
называемая отношением сигнал/помеха (ОСП), играет важнейшую роль при решении
задачи обнаружения. Причем практическое использование этого понятия всегда
требует конкретизации, т.е. указания конкретно ПЭ структурной схемы Система, к
которой относится величина
. Выражения
-
, в которых
относится ко
входу ПУ, показывают, что полученное ОСП непосредственно влияет на все основные
вероятностные характеристики обнаружения.
5.1. Рабочие характеристики Система обнаружения на основе критерия
Неймана-Пирсона
Используя зависимости
,
и
, можно ответить на вопрос (п. 5.2) о
нахождении порогового отношения правдоподобия, соответствующего критерию
Неймана-Пирсона. Поскольку этот критерий базируется на вероятностях
(или
и
и
), которые для энергетического расчета должны быть заданы, то
или
неизвестными
величину
и
следует рассматривать как систему уравнений с двумя
и
.
Исключая,
например
из
, получим формулу для вычислениями
:
уравнений
и
где
обратная
функция
Лапласа,
т.е.
аргумент
функции
Лапласа
при значении самой функции, равном .
Полученная формула подтверждает высказанное ранее положение о том, что
пороговое отношение правдоподобия
по критерию Неймана-Пирсона не зависит
от априорных вероятностей и коэффициентов потерь и определяется только
значениями условных вероятностей ложной тревоги и правильного обнаружения.
13
Если из
и
исключить
Зависимости
основе
,
, то можно получить
при
называют
рабочими
(рис.
характеристиками
1.5),
построенные
системы
на
обнаружения,
работающей на основе критерия Неймана-Пирсона.
Лекция 11.
Оптимальная фильтрация. Сигнал и шум (помеха) на выходе оптимального
фильтра
1. Электронная подсистема (ЭПС) обнаружения в КПС на основе частотновременной фильтрации (ЧВФ)
На основе ЧВФ рассмотрим функциональную схему ЭПС обнаружения, изображенную
на рис. 1.
14
Рис. 1.Функциональная схема ОиЛзЭС обнаружения с предварительной фильтрацией
сигнала: СПОИ-система первичной обработки информации; ФЛ-бесшумный линейный
ЧВФ; ПУ-пороговое устройство.
Аддитивная смесь полезного сигнала и фоновой помехи, приходящая на вход системы
первичной обработки информации (СПОИ), преобразуется этой системой в некоторую
одномерную реализацию
, являющуюся функцией времени и представляющую
собой электрический сигнал, снимаемый с ПИ. В силу линейности СПОИ
реализация
(рис.1) состоит из суммы полезного сигнала
и помехи
,
которая учитывает как фоновую помеху, так и собственный шум ПИ. Вид реализации
также изображен на рис. 1, где штриховой кривой показан полезный сигнал, пиковое
значение которого соответствует времени . Поскольку момент появления цели в
мгновенном угловом поле ОиЛзЭС неизвестен, то время
является случайной
величиной.
Реализация
поступает на вход нешумящего линейного ЧВФ, имеющего
ПФ
, на выходе которого формируется реализация
.
ПУ выдает решение по методу однократного отсчета, непрерывно сравнивая
мгновенное значение реализации
с порогом, рассчитанным в соответствии с
одним из критериев качества. Таким образом, все формулы для расчета вероятностных
характеристик обнаружения, полученные в разделе Обнаружение методом
однократного отсчета, остаются в силе. Надо только установить значения
необходимых для расчета параметров полезного сигнала и помехи на входе ПУ с
учетом
характеристик
ЧВФ.
15
Обозначив ЧВС полезного сигнала и энергетический ЧВС, помехи на входе ЧВФ
через
и
, а аналогичные ЧВС, корреляционную функцию и дисперсию
помехи
на
выходе
ЧВФ
–
через
,
,
и
.
Сигнал запаздывает по отношению к началу реализации на время . Поэтому ЧВС
сигнала на входе ЧВФ
,
где
- ЧВС полезного сигнала для которого за начало отсчета времени
принято
Для ЧВС на выходе получим
Для полезного сигнала, корреляционной функции и дисперсии помехи на выходе ЧВФ
имеем
2. Оценка мгновенного значения ОСП на выходе ЧВФ
Найдем функцию
, которую можно
зависимость мгновенного значения ОСП от времени. Из
и
Используя неравенство Шварца-Буняковского
16
рассматривать
получим
как
где
и
полагая в нем
- произвольные комплексные функции временной частоты
и,
получим
Откуда в соответствии с
имеем
.
В итоге можно сделать важный вывод: ОСП на выходе линейного ЧВФ в
произвольный момент времени не может быть больше величины
В формуле (5.64) для простоты опущен подстрочный индекс у
, так что
функции
и
определяют ЧВС полезного сигнала и энергетический ЧВС
помехи на входе ЧВФ.
3. Синтез структурной схемы оптимального ЧВФ
Теперь можно перейти к решению задачи синтеза структурной схемы оптимальной
ОиЛзЭС обнаружения с позиции максимизации ОСП, т.е. к нахождению ПФ такого
ЧВФ, который обеспечивает получение на его выходе оптимальное (максимальное)
значение . Полагая в
17
где
- постоянный коэффициент, имеющий размерность спектра сигнала
; время запаздывания выходного сигнала ЧВФ по отношению к моменту действия
входного сигнала, получим
Нетрудно заметить, что в момент времени
экспоненциальный член в
числителе
обращается в единицу и ОСП на выходе ЧВФ
, т.е.
максимально. Таким образом, ПФ оптимального ЧВФ
Интеграл в числителе
определяет полезный сигнал на выходе оптимального
ЧВФ. Равенство единице экспоненциального члена в подынтегральном
выражении
означает, что в момент времени
все спектральные
составляющие сигнала находятся в одинаковой фазе. Следовательно, в этот момент
времени полезный сигнал может быть получен простым суммированием амплитуд его
спектральных составляющих, т.е. достигает максимального (пикового) значения.
Из
при
и
следует:
т.е. на выходе оптимального ЧВФ максимальное (пиковое) значение полезного сигнала
численно
равно
произведению
.
Корреляционную функцию помехи на выходе оптимального ЧВФ найдем из
при
. Учитывая, что
, получим
.
Дисперсия помехи на выходе оптимального ЧВФ
18
Таким образом, дисперсия помехи на выходе оптимального ЧВФ численно равна
произведению
. Деление выражения
, возведенного в квадрат, на
дает
.
Или с учетом выводов,полученных в разделе Обнаружение методом однократного
отсчета получим:
Если помеха на входе ЧВФ имеет вид белого шума, т.е.
из
имеем
, то
.
На основании равенства Парсеваля
,
Так что
.Таким образом, при белом шуме обнаружение объекта на
основе оптимальной фильтрации и корреляционный метод приводит к одинаковому
результату.
Аналогично модуляционной передаточной функции на основе
, т.е. МПФ,
называемой также амплитудно-частотной характеристикой (АЧХ) оптимального
ЧВФ и пропорциональной отношению
, показывает, что фильтр
можно представить в виде двух последовательно включенных звеньев. Первое звено –
помехоподавляющее с МПФ вида
, коэффициент усиления которого
обратно пропорционален энергетической спектральной плотности помехи. Второе
звено с МПФ вида играет роль согласованного ЧВФ, обеспечивающего
преимущественное пропускание тех гармоник, амплитуды которых в ЧВС входного
сигнала
имеют
наибольшие
значения.
При реальных входных ЧВС полезного сигнала и помехи МПФ или АЧХ
оптимального ЧВФ имеет достаточно сложную форму. Её практическая реализация,
т.е. создание оптимального ЧВФ на современной элементарной базе, как правило
встречает серьёзные затруднения. Однако это нисколько не умаляет практического
19
значения теории оптимальной фильтрации. Рассчитав МПФ оптимального ЧВФ, всегда
можно поставить задачу создания реального фильтра с МПФ, в той или иной степени
близкой к оптимальной. Такой фильтр иногда называют подоптимальным.
Характеристики качества любого линейного ЧВФ (в том числе и подоптимального)
может служить величина
,
показывающая, во сколько раз ОСП
на выходе этого ЧВФ меньше отношения
на выходе оптимального ЧВФ. Таким образом, величина
выступает здесь в
качестве меры потенциальной возможности выделения сигнала из его смеси с помехой
при линейной фильтрации, т.е. меры потенциальной помехозащищенности СФПС
обнаружения.
4. Анализ оптимального ОСП
В результате из анализа
1.
следует:
ОСП на выходе оптимального ЧВФ выражается через ЧВС полезного
сигнала и помехи на входе фильтра, т.е. учитывает все их энергетические признаки.
2.
Если в спектре полезного сигнала пренебречь гармониками на некотором
участке ЧВС, то
уменьшается, несмотря на то что на этом участке спектра сигнал
может быть много слабее помехи.
3.
Если в какой-либо области ЧВС сигнала помеха отсутствует, то
. Это объясняется тем, что, в соответствии с
в диапазоне временных частот, где
сигнал есть, а помеха отсутствует, МПФ или АЧХ оптимального ЧВФ неограниченно
возрастает, т.е. уровень полезного сигнала на выходе фильтра стремится к
бесконечности. Можно представить оптимальный ЧВФ и в несколько ином виде, когда
его МПФ в указанном диапазоне частот конечна и имеет любую форму. Вне этого
диапазона МПФ тождественно равна нулю. В этом случае уровень сигнала на выходе
ЧВФ также конечен, однако помеха подавляется полностью и поэтому
.
Естественно, что подобное сочетание ЧВС полезного сигнала и помехи на практике не
встречается и рассматриваемый случай имеет лишь теоретическое значение.
4.
Помеха в том диапазоне частот, где сигнал имеет наибольшую
интенсивность, снижает
наиболее сильно. Поэтому наиболее существенное
20
значение для увеличения
имеют те частотные области, в которых сигнал в
наибольшей мере превосходит помеху.
5.
Если перед поступлением на вход оптимального ЧВФ реализация
пропускается через линейный нешумящий ЧВФ, то это никак не повлияет на
.
Изменится лишь ПФ оптимального ЧВФ.
6.
Если система предобработки может быть представлена в виде
последовательных линейных нешумящих звеньев (рис. 2), причем последнее звено
реализовано в виде оптимального ЧВФ по отношению к действующим на его входе
полезному сигналу с ЧВС
и помехе с энергетическим ЧВС
, то
весь тракт является оптимальным ЧВС по отношению к его входному воздействию.
Рис. 2
Действительно, ОПС на выходе последнего звена
Поэтому вне зависимости от вида ПФ всех предшествующих
звеньев
последнее звено корректирует ПФ всего тракта обработки, превращая его в
оптимальный ЧВФ по отношению к входному воздействию, характеризующемуся
ЧВС
и
.
Очевидно, что ПФ
последнего (корректирующего) звена при заданных
входных ЧВС
и
будет зависеть от вида ПФ всех предшествующих
звеньев.
В том случае, когда одно или несколько звеньев тракта обработки вносят
21
дополнительные шумы, оптимизация тракта по отношению к его входному
воздействию не может быть выполнена. Получаемое на выходе тракта ОСП будет
меньше
. Действительно, предположим, что шум, статистически независимый от
внешней помехи, вносит звено с индексом . Обозначим энергетический ЧВС шума,
приведенного ко входу -го звена, через
. Тогда ЧВС суммарной помехи на
входе -го звена
и
откуда
при
следует,
.
что
.
Равенство
имеет
место
только
5. Оптимальная фильтрация в системе формирования пространственного
сигнала (СФПС)
Система формирования пространственного сигнала понимается, как формирователь
оптического, радиолокационного или акустоэлектронного изображения в виде
многомерного
пространственного
сигнала.
Оптимальная фильтрация, рассмотренная в применении к одномерным входным
воздействиям, являющимся функциями времени, может быть распространена на
многомерные сигналы. Для ОиЛзЭС характерными входными воздействиями являются
двумерное поле яркости
и фоновая помеха с пространственной спектральной
плотностью
.Передаточная функция(ПФ) двумерного оптимального ПЧФ
может быть получена, как и ранее, с использованием обобщенного
неравенства Шварца-Буняковского:
где ОСП на выходе ПЧФ
Практическая реализация оптимального ПЧФ затруднена в ещё большей степени, чем
ЧВФ. Причиной этого является ограниченная разрешающая способность СФПС и ПИ,
22
а также шумы последнего, которые могут являться доминирующими[1]. Если временная
оптимальная фильтрация позволяет оценить потенциальную помехозащищенность
СФПС, «испорченную» несовершенством системы первичной отработки информации
(двумерным оптическим трактом), то представление СПФС в виде оптимального ПЧФ
дает возможность получить действительный предел помехозащищенности.
6. Трёхмерный оптимальный пространственно-временной ЧФ
Для оценки возможностей приема оптических сигналов, изменяющихся не только в
пространстве, но и во времени, может быть использована ПФ трехмерного
оптимального пространственно-временного частотного фильтра:
;
Лекция 12.
Статистическая оценка измеряемых параметров сигнала
В самом общем случае решение задачи оценки параметров сигналов рассматривается либо, как
самостоятельная, так и как составная часть задач распознавания и идентификации. Задача
идентификации может рассматриваться как заключительная фаза распознавания, когда результатом
распознавания является единичный (терминальный по признакам) объект. В свою очередь, задача
распознавания формально распадается на подзадачу измерения (оценки) параметров и подзадачу
классификации по критериям, которые количественно определяются совокупностью значений
измеренных параметров. Полное описание многомерного сигнала, подлежащего измерению и
распознаванию в самом полном виде можно представить в виде:
где:
– реализация в общем случае случайного сигнала,
–
собственно
детерминированный
последующему измерению (оценки) и распознаванию,
сигнал,
подлежащий
обнаружению
– реализация случайного фонового сигнала,
- реализация случайного временного сигнала (помеха),
– время,
– пространственные координаты,
-длина волны излучения (спектральный диапазон).
В модели принято широко используемое допущение об аддитивности регулярного сигнала, фона и
шума (помехи).
В практически реализуемых частных случаях рассматриваются следующие разновидности сигналов:
23
1.
Детерминированный временной -
2.
Детерминированный пространственно-временной -
3.
Случайный временной -
4.
Случайный пространственный монохроматический
.
,
(изображение),
5.
Случайный пространственный полихроматический
(изображение),
-
При обработке изображений рассматриваются как 3D, так и 2D модели, при этом в любом случае 3D
модели рассматриваются, как совокупность 2D моделей. Полихроматические изображения
рассматривается, как совокупность монохроматических.
В соответствии с изложенным, далее рассматриваются теоретические вопросы обработки следующих
видов сигналов:

временные (одномерные),

пространственные (двумерные).
При этом задача измерения параметров (а во многих случаях и распознавания) двумерного сигнала
сводится к задаче измерения параметров одномерного сигнала. Такой подход к решению задач
обусловлен тем, что в АЭС, РЭС и ОЭС обработка сигналов на предмет обнаружения, измерения и
распознавания происходит в электронных трактах указанных систем.
Распознавание двумерных сигналов, формируемых оптическими, оптико-элетронными системами, а
также РЛС бокового обзора и акустическими локаторами– традиционная область обработки
изображений. При этом методы распознавания объектов широко применяются в автоматических
системах теленаблюдений, самонаведения и управления как для постобработки, так и для обработки в
реальном времени.
Задача измерения
правдоподобия.
параметров
сигнала
при
наличии
помех.Функция
1. Введение
Рассмотрим структуру системы измерения параметров сигнала, входящую в состав какоголибо канала передачи сообщения ( КПС ). Положим, что указанная система может быть
самостоятельной компонентой, либо являться частью более общей системы, решающей как задачу
обнаружения, так изадачи измерения и последующего распознавания. Для сохранения общности
рассматриваемых задач будем считать, что она состоит из двух основных компонент: подсистемы
предварительной обработки сигнала и собственно измерительной подсистемы (см. рис. 1).
24
Рис. 1. Структура системы измерения параметров сигнала
В подсистеме предварительной обработки сигнала происходят, в общем случае, преобразования
многомерных сигналов и, в некоторых случаях, решается задача обнаружения. В любом случае, на
выходе
формируется
реализация
случайного
сигнала
являющаяся
аддитивной
смесьюполезнлго сигнала и помехи. Вероятность присутствия в сигнале измеряяемого параметра
равна
но само значение
случайная величина.
В самом общем виде задача статистической оценки параметров сигналов (т.е. задача измерения
параметров сигналов при наличии помех) может быть сформулирована следующим образом.
Поступающая на вход электронного тракта измерительной подсистемы реализация представляет
собой
некоторую
комбинацию
полезного
сигнала
и помехи
.
Полезный сигнал является детерминированной функцией своих аргументов, среди которых n
неизвестных параметров
, подлежащих измерению (существенных параметров),
m неизвестных параметров
, в оценке значений которых нет необходимости
(несущественных параметров), и q известных параметров
. Каждый из
неизвестных параметров является непрерывной или дискретной случайной величиной, имеющей
некоторый закон распределения. В течение времени наблюдения (времени измерения
(msr)
) оцениваемые параметры могут изменяться. Априорная вероятность присутствия
полезного сигнала в реализации равна единице
так как режим обнаружения завершен.
В таких условиях на основе соответствующего анализа принятой реализации измерительная
подсистема должна решить вопрос, какие значения имели существенные параметры
сигнала на
интервале наблюдения
. Поскольку из-за наличия случайной помехи точное измерение
произвести невозможно, процесс носит вероятностный характер – характер статистических
оценок.
Существует два вида таких оценок: интервальная (доверительная) оценка и точечная оценка. В
первом случае должен быть определен тот интервал, в пределах которого с заданной вероятностью
находится истинное значение измеряемого параметра. Эта вероятность называется доверительной
вероятностью или коэффициентом доверия, а сам интервал – доверительным интервалом.
При точечной оценке измерительная подсистема выдает некоторое число (оценку, eval)
которое характеризует с заданной достоверностью истинное значение измеряемого параметра
,
.
Поскольку оценка
является случайной (rd) величиной, то в качестве меры достоверности
используется статистическая характеристика (например, среднеквадратическое отклонение
оценки
от истинного значения параметра
).
25
Теория статистических оценок позволяет с той или иной степенью приближения решить задачу в
рассмотренной наиболее общей постановке. Установлено, например, что для сигналов, измеряемые
параметры которых на интервале времени наблюдения
изменяются, наилучшие
результаты получены при нелинейной обработке входной реализации. Оптимальная линейная
фильтрация может быть реализована лишь в тех случаях, когда указанным изменением практически
можно пренебречь.
В дальнейшем будем предполагать, что форма полезного сигнала известна и он содержит лишь один
неизвестный параметр (амплитуду, фазу, частоту, длительность и т. д.), который необходимо
измерить. Сигнал полностью расположен внутри интервала наблюдения, на границах которого как
сам сигнал, так и его производные равны нулю.
Поскольку оцениваемый параметр
является непрерывной или дискретной случайной величиной,
то наиболее полным описанием, с помощью которого можно получить представление о возможных
значениях этого параметра, является функция
, представляющая собой апостериорную
плотность вероятности параметра
при условии получения реализации s. Действительно, если бы
на основе соответствующей обработки входной реализации удалось получить функцию
(рис.
2, а), то естественно в качестве оценки измеряемого параметра принять его наиболее вероятное
значение которое характеризует с заданной достоверностью истинное значение измеряемого
параметра . Поскольку оценка
соответствующее максимуму апостериорной плотности
вероятности, причем если функция имеет не один, а несколько максимумов, то оценкой должно
являться (рис. 2, б) значение параметра, соответствующее наибольшему максимуму (верхней грани).
Рис. 2. Апостериорная условная плотность распределения вероятности измеряемого параметра α
2. Нахождение p(α / s)
Формула для совместной плотности вероятности
вероятности совместного появления двух событий:
аналогична по структуре выражению для
откуда:
где
– априорная полная плотность вероятности,получения реализации , т. е. плотность
вероятности получения реализации при условии, что измеряемый параметр имеет значение .
При этом
, рассматриваемая как функция
, называется функцией правдоподобия.
26
В случае дискретной обработки входной реализации плотности вероятности
и
являются -мерными плотностями, где
– объем выборки. При непрерывной обработке эти
плотности вероятности бесконечномерны и могут рассматриваться как пределы -мерных
плотностей при
. Аналогичное положение с функцией
, характер которой зависит
от характера априорного распределения измеряемого параметра. Поскольку
то с учетом
принимает вид:
где
- область возможных значений параметра
Из
получаем:
.
так что
Таким образом, для нахождения искомой апостериорной условной плотности вероятности
измеряемого параметра
необходимо знать априорную плотность
и с помощью принятой
реализации найти функцию
. Как и при решении задач обнаружения, априорная
информация может отсутствовать. Тогда в отношении
функции должна быть принята
некоторая гипотеза, которая соответствует наихудшим условиям измерений и гарантирует получение
более качественных результатов при всех других видах априорного распределения. Иначе говоря, при
оценке неизвестных параметров сигналов так же, как и при обнаружении сигналов может
применяться минимаксный критерий.
Что касается функции
, то ее определение представляет серьезные трудности. Выходом из
положения является переход к отношению правдоподобия. Поскольку
то из
можно получить
Поэтому для получения искомой апостериорной условной плотности вероятности
измеряемого параметра достаточно извлечь из принятой реализации отношение правдоподобия , т.
е. процессы формирования решения в режиме обнаружения и оценки параметров сигнала с этой
точки зрения совпадают. Однако в дальнейшем процессы формирования решения различны. В ОЭС
27
обнаружения отношение правдоподобия сравнивается с его пороговым значением. В ОЭС
использующей рассматриваемое правило оценки по критерию максимума апостериорной
вероятности, необходимо, используя, получить функцию
и найти значение параметра
,
которому соответствует верхняя грань этой функции.
При решении задачи измерения параметров сигналов, помимо критерия максимума апостериорной
условной вероятности, используются и другие критерии, сходные с критериями обнаружения. Однако
прежде чем перейти к описанию правил формирования оценок, рассмотрим общие положения по
анализу эффективности этих правил.
Лекция 13.
Оценка измеряемых сигнальных параметров при аддитивных помехах с
нормальным распределением.
1. Измерение произвольного параметра по критерию максимума правдоподобия
Конкретизируя постановку задачи измерения, будем считать, что входная реализация
представляет собой сумму нормально распределенной помехи
, имеющей нулевое
математическое ожидание, с полезным сигналом
, форма которого и все параметры, кроме α,
известны, так что
Предположим также, что оптимизация оценки осуществляется
правдоподобия. В этом случае значение функции правдоподобия
по критерию максимума
максимально, т.е.:
или
Критерий
3º –
это
частный
случай критерия
максимума
апостериорной
вероятности при
. В результате, он позволяет также минимизировать число
ошибочных решений, но этот минимум оказывается наибольшим из всех других минимумов.
Последнее означает, что для решения задачи входная реализация должна быть обработана так,
чтобы получить отношение правдоподобия
как функцию измеряемого параметра α. На основе
анализа
на
экстремум
функции
измерительная
система
должна
определить
значение
, при котором эта функция
достигает верхней грани.
При помехе с нормальным распределением отношение правдоподобия
также
является гауссовой функцией. Поэтому для упрощения измерительной подсистемы целесообразно
вместо функции
использовать
. В самом деле, т.к. логарифм является монотонной
функцией своего аргумента, то экстремальное исследование функций
и
приводит к
одинаковому результату.
Расчет
при
объеме
выборки
в
помехи выполняют на основании положений, высказанных ниже.
28
общем
случае нестационарной
Как показано в разделе 5, задача обнаружения при отсутствии полезной априорной информации о
состоянии пространства событий всегда затруднительна. При неизвестной фазе полезного
сигнала отношение "сигнал/помеха" на входе порогового устройства (ПУ), а следовательно, и
качество оценок вероятностных характеристик обнаружения в многоканальной системе хуже, чем в
одноканальной, используемой при полностью известных параметрах сигнала. Причем снижение
качества тем значительней, чем больше интервал сдвига , т.е. чем меньше каналов при заданном
времени
анализа реализации (времени "наблюдения"). По многим формальным признакам задача
измерения решается методами, схожими с решением задачи обнаружения.
Фоновая помеха и собственный шум приемника излучения (ПИ) могут существенно отличаться
от белого шума. В этом случае использовать для расчета отношение правдоподобия
можно лишь
при конечном объеме выборки и интервале
дискретизации, равном, в соответствии с теоремой
Котельникова,
выборки
по формуле:
где
в котором
времени
корреляции
результирующей
помехи.
Расчет
при
объеме
более сложен и в самом общем случае нестационарной помехи расчет выполняют
решение неоднородного интегрального уравнения:
- корреляционная функция нестационарной помехи.
Нетрудно показать, что при помехе типа белого шума выражение
превращается в формулу,
аналогичную полученной для решения задачи обнаружения. Действительно, поскольку для белого
шума
, то из
, с учетом фильтрующих свойств -функции, можно
получить:
Тогда из
получим:
Аналогично, для измерения можно записать:
29
где
- решение линейного интегрального уравнения:
с ядром
в виде корреляционной функции помехи.[1]
В соответствии с
функциональная схема измерительной системы представлена на рис. 1.
Рис. 1. Структурно-функциональная схема измерительной системы
Входная реализация (сигнал с выхода тракта предварительной обработки сигнала в любой из
систем каналов передачи сообщений (КПС) (оптико-электронной системе (ОЭС), акустоэлектронной
системе (АЭС),радиоэлектронной системе (РЭС)) обрабатывается в
каналах, в каждом из которых
последовательно производится:
1.
умножение
на функцию
2.
интегрирование произведения
3.
суммирование
полученного
результата
с
величиной
При этом
значений
поступают в решающее устройство (РУ), где сравниваются
между собой. Чем ближе значение
в j-м канале к истинному значению параметра сигнала в
реализации
из
каналов,
, тем больше величина
в
котором
значение
. Поэтому выходом РУ является значение
максимально.
30
Соответствующая
величина
того
и
принимается за оптимальную оценку
измеряемого параметра по критерию максимального
правдоподобия.
Сравнение функциональных схем измерительной системы (рис. 1) с корреляционным трактом
обнаружения, работающей в условиях неизвестной фазы сигнала (рис. 2), показывает, что они близки
между собой.
Рис. 2. Функциональная схема многоканального корреляционного тракта подсистемы обнаружения
сигнала
со
У-умножитель;
И-Интегратор;
БС-блок
ПУ-пороговое
Г-генератор;
БЗ - блок задержки
случайной
фазой
:
сравнения;
устройство;
В обоих случаях качество работы измерительной системы улучшается с увеличением количества
каналов. Причем требуемое число каналов при заданном качестве, определяемом вероятностными
характеристиками обнаружения или точностью измерений, зависит от диапазона изменения
неизвестного параметра .
2. Система измерения амплитуды (пикового значения) сигнала
Задача построения измерительной системы существенно упрощается, если необходимость в
сравнении значений
решение уравнения:
в РУ отпадает, т. е. в том случае, когда можно получить в явном виде
31
называемого уравнением правдоподобия. При оценке произвольного параметра сигнала имеется
возможность получения лишь приближенного решения, да и то при условии, что измерение
производится при большом отношении "сигнал/помеха".
В то же время при измерении амплитуды (пикового значения) сигнала имеется возможность
получить точное решение. В этом случае, обозначая измеряемую амплитуду через , введем в
рассмотрение нормированный сигнал
, так что
Вводя в рассмотрение по аналогии с
функцию
, интегральное уравнение
представим в виде
Рис. 3. Структурно-функциональная схема оптимальной системы измерения амплитуды сигнала
где
- решение этого интегрального уравнения.
Тогда на основании
имеем:
откуда получаем уравнение правдоподобия.
Решение уравнения правдоподобия дает оценку амплитуды (пикового значения) сигнала по
критерию максимума правдоподобия (Критерий 3º):[2]
32
Структурно-функциональная схема ОЭС измерения амплитуды сигнала приведена на рис. 3.
Устройство, состоящее из:
1.
генератора функции
2.
перемножителя;
3.
интегратора,
;
которое формирует на входе РУ значение интеграла
приёмником (ОП). ОП выдает отсчёт выходного напряжения в момент
числителе
. Сигнал на выходе РУ определяет оценку
который зависит от априорно известных функций
, называется оптимальным
, т.е. величину интеграла в
в масштабе
и
.
== Статистические характеристики оптимальной оценки амплитуды
и
==
Очевидно, что оценка
является случайной величиной
. Поэтому для нахождения её
статистических характеристик необходимо знать закон распределения оценки. Как следует из
,
оценка получается интегрированием реализации
с весом, зависящим от функции
или от
вида сигнала и корреляционной функции помехи. Следовательно, оценка формируется в результате
линейной обработки реализации, и поэтому закон распределения оценки
при нормальном
распределении помехи
также будет нормальным. Тогда для статистического описания оценки
качества процесса измерения амплитуды сигнала достаточно найти её математическое ожидание и
дисперсию.
2.1.
Математическое
ожидание
случайной
оптимальной
оценки
измеряемой амплитуды
Поскольку при аддитивной помехе:
то, подставляя
в
, для математического ожидания оценки получим:
33
Так как по условию математическое ожидание
помехи равно нулю, то
,
т.е. математическое ожидание оценки амплитуды сигнала по критерию максимума правдоподобия
равно истинному значению амплитуды. Такая оценка в математической статистике
называетсянесмещенной.
2.2.
Дисперсия
амплитуды
случайной
оптимальной
оценки
измеряемой
Найдем дисперсию оценки:
Так как с учетом
:
то в итоге получим
Известно, что дисперсия
оценки по критерию максимума правдоподобия является минимальной
по сравнению с дисперсиями других оценок амплитуды сигнала. В математической статистике оценка
с наименьшей дисперсией называется эффективной.
3. Аналогия между задачами обнаружения объекта и измерения параметров сигнала
В заключение еще раз остановимся на аналогии в решении задач обнаружения и измерения
параметров сигналов. С одной стороны, имеется большое сходство работы оптимального
приемника (ОП) (рис. 3) с нахождением корреляционного интеграла в корреляционном методе
обнаружения. С другой стороны, так как корреляционный метод и применение оптимальной
34
фильтрации при определенных условиях (см. раздел 5.6) дают одинаковые результаты, то правомерна
постановка вопроса о реализации ОП в виде оптимального пассивного частотно-временного
фильтра (ЧВФ). Решение этой задачи дано в разделе 5.6, где показано, что первое слагаемое в
выражении
для отношения правдоподобия можно получить, пропуская входную реализацию через
оптимальный линейный ЧВФ с передаточной функцией (ПФ):
где
имеет размерность сигнала. Второе слагаемое в
"сигнал/помеха" на выходе ЧВФ.
равно половине отношения
Таким образом, функциональная схема измерительной системы может быть представлена в виде,
изображенном на рис. 4.
Рис. 4. Структурная функциональная схема оптимальной измерительной системы с пассивным ЧВФ
Реализация
принимается m каналами, каждый из которых состоит из оптимального ЧВФ с ПФ
и сумматора, в котором текущее значение сигнала на выходе ЧВФ[3]
складывается
функции
с
величиной
.
Полученные
в
каждом
канале
поступают в РУ, где сравниваются между собой. Выходом РУ является
35
оценка
измеряемого параметра по критерию максимума правдоподобия, равная значению
том из каналов, в котором величина
в
максимальна.
В том случае, когда измеряемый параметр не влияет на отношение "сигнал/помеха", измерительная
система упрощается, т.к. отпадает необходимость выработки величины
и её
суммирования с сигналом на выходе оптимального ЧВФ. Такие параметры иногда
называютнеэнергетическими, в противоположность энергетическим параметрам, влияющим на
отношение "сигнал/помеха".
Для определения амплитуды (пикового значения) сигнала функциональная схема измерительной
системы, приведенная на рис. 5, содержит последовательно включенные оптимальный ЧВФ и РУ с ПФ
фильтра.
Рис. 5. Функциональная схема системы измерения амплитуды сигнала с оптимальным пассивным
ЧВФ: опт - оптимальный ЧВФ; РУ - решающее устройство
На выходе оптимального ЧВФ получаем:
а РУ формирует отсчет этой функции в момент времени
прихода сигнала. В соответствии с положениями раздела 5.5 и
т.е. величине
.
по отношению к моменту
этот отсчет равен числителю
,
Поскольку
соответствии с
оценки
и
,
то
дисперсия
амплитуды
сигнала
в
равна
где
- отношение "сигнал/помеха" на выходе оптимального ЧВФ для сигнала с единичной
амплитудой. Таким образом, чем больше отношение "сигнал/помеха", тем меньше ошибка измерения
амплитуды. Оптимальный ЧВФ, максимизируя , позволяет минимизировать дисперсию, т. е.
получать эффективную оценку.
36
Лекция 14.
ЗАДАЧА
КЛАССИЧЕСКОГО
ОБНАРУЖЕНИЯ.
СТАТИСТИЧЕСКИЕ
КРИТЕРИИ ПРИНЯТИЯ РЕШЕНИЯ
Классификация
представляет
собой
отнесение
исследуемого
объекта,
задаваемого в виде совокупности наблюдений, к одному из взаимоисключающих
классов. Это означает, что существует однозначное отображение совокупности
наблюдений, являющейся конечным числовым множеством {X}, на множество
классов
В зависимости от полноты сведений о статистических характеристиках классов
классификация
получает
наименование
различение
(при
полной
априорной
информации о классах сигналов) или распознавание (при неполной априорной
информации). Задача распознавания объектов в случае, когда количество классов K =
2, формулируется как задача классического обнаружения.
В классической постановке задачи распознавания универсальное множество
разбивается на части - образы. Отображение объекта на воспринимающие органы
распознающей системы принято называть изображением, а множества таких
изображений, объединенные какими-либо общими свойствами, представляют собой
образы.
Процесс, в результате которого система постепенно приобретает способность
отвечать нужными реакциями на определенные совокупности внешних воздействий,
называется обучением. Обучение является частью процесса классификации и имеет
своей конечной целью формирование эталонных описаний классов, форма которых
определяется способом их использования в решающих правилах.
Методика отнесения элемента к какому-либо образу называется решающим
правилом. Для построения решающих правил нужна обучающая выборка.
Обучающая выборка - это множество объектов, заданных значениями признаков,
37
принадлежность которых к тому или иному классу достоверно известна "учителю" и
сообщается им "обучаемой" системе.
Качество решающих правил оценивается по контрольной выборке, куда входят
объекты, заданные значениями признаков, принадлежность которых тому или иному
образу известна только "учителю". Предъявляя объекты контрольной выборки
обучаемой системе для распознавания, "учитель" может оценить качество (достоверность) распознавания.
К обучающей и контрольной выборкам предъявляются определённые требования.
Например, важно, чтобы объекты контрольной выборки не входили в обучающую
выборку (иногда, правда, это требование нарушается, если общий объём выборок мал
и увеличить его либо невозможно, либо чрезвычайно сложно).
Кроме того, обучающая и контрольная выборки должны достаточно полно
представлять генеральную совокупность (гипотетическое множество всех
возможных объектов каждого образа).
Основные этапы статистического распознавания - это формирование признакового
пространства, получение эталонных описаний классов (если априорно эти сведения
отсутствуют) и построение правила принятия решения о наблюдаемом классе
объектов.
38
Если в результате предварительного анализа за наблюдаемой совокупностью
выборочных значений возможно хотя бы приближенно установить вид закона их
распределения, то априорная неопределенность относится только к параметрам
этого закона; целью обучения в этом случае становится получение оценок
параметров распределения. Методы распознавания, применяемые в этом случае,
называются параметрическими. В наиболее общем случае отсутствуют априорные
сведения не только о параметрах, но и о самом виде закона распределения
наблюдаемой совокупности выборочных значений.
Такая априорная неопределенность называется непараметрической, а методы
распознавания, применяемые в этих условиях, - непараметрическими. Целью
обучения в этом случае является получение оценок условных плотностей
вероятностей.
При непараметрическом оценивании плотности вероятности используются в
основном гистограммный метод, метод Парзена, метод разложения по базисным
функциям, метод полигонов Смирнова, метод локального оценивания по
к
ближайшим соседям, а также ряд специальных методов нелинейного оценивания.
Формирование признакового пространства
Для распознавания объекты предъявляются в виде совокупности (выборки)
наблюдений, обычно записываемой в виде матрицы:
39
Каждый столбец xi =(,xpi)T, i = 1...n матрицы X представляет собой p-мерный
вектор наблюдаемых значений признаков X1, X2,...,Xn, являющихся безразмерными
переменными.
Совокупность признаков должна в наибольшей степени отражать те свойства
объектов, которые важны для классификации. При этом от размерности p
признакового пространства зависит вычислительная сложность процедур обучения
и принятия решения, достоверность классификации, затраты на измерение
характеристик объектов.
Первоначальный набор признаков формируется из числа доступных измерению
характеристик
объекта
Y1,.,Yg,
отражающих
наиболее
существенные
для
классификации свойства.
На следующем этапе формируется новый набор X1,.,Xp;p < g. Традиционные
способы формирования новых признаков в условиях полного априорного знания
основаны на максимизации некоторой функции J(Y 1 ,...,Y g), называемой критерием
и обычно понимаемой как некоторое расстояние между классами в признаковом
пространстве с координатами
Yb...,Yg. В других случаях критерий J(Yb...,Yg) выражает диаметр или объем
области, занимаемый классом в признаковом пространстве, и новые признаки
формируются путем минимизации критерия.
Принятие решений
В теории статистических решений все виды решающих правил для K > 2 классов
основаны на формировании отношения правдоподобия L и его сравнения с
определенным порогом с, значение которого определяется выбранным критерием
качества:
40
где
- условная n-мерная плотность вероятности выборочных
значений x1,., xn при условии их принадлежности к классу aj. В статистическом
распознавании эти плотности, в принципе, не известны, и в (1.1) подставляются их
оценки, получаемые в процессе обучения
. Таким образом, в
решающем правиле с порогом с сравнивается оценка отношения правдоподобия
Решающее правило при использовании байесовского критерия
при K = 2 имеет вид
(1.2)
- матрица потерь, элемент П k ,n
количественно выражает потери от принятого решения в пользу класса ak, когда в
действительности выборка принадлежит классу al; P(a;-) - априорные вероятности
классов.
Критерий (1.2) минимизирует средний риск
где Pkl - вероятность
принятия решения о принадлежности выборки классу ak, когда в действительности
она принадлежит al.
Определим для K > 2 классов вероятности ошибочных
решений следующим образом.
Обозначим через ак вероятность отнесения выборки из п контрольных
наблюдений к любому из классов a1, a2,..., ак-1, ак+1,..., aK, отличному от класса ак,
когда на самом деле выборка относится именно к этому классу, а через вк вероятность отнесения контрольной выборки к классу ак, когда она ему не
принадлежит.
41
Ошибка 1-го рода - это отнесение выборки не к тому классу, к которому она
принадлежит в действительности. Ошибка 2-го рода - это отнесение выборки к
какому-либо определенному классу, к которому она на самом деле не принадлежит.
При двух классах (K = 2) выполняются очевидные равенства а1 = р2 и а2 = и
вероятности а1 и в1 совпадают с вероятностями ошибок 1-го и 2-го рода (рис. 1.1),
Рис. 1.1. Плотности вероятностей наблюдений классов а1 и а2
и порог принятия решения c
при этом порог с определяется таким образом, чтобы вероятность ошибочного
решения P12 была не больше заданного значения а:
Использование критерия целесообразно, если одну из вероятностей ошибок
можно выделить как основную и сделать ее равной некоторому требуемому
значению. Однако критерий несимметричен относительно вероятностей ошибок P12
и P21, а при классификации важно обеспечить минимальные или, по крайней мере,
ограниченные заданными пределами обе вероятности ошибочных решений.
Критерий максимального правдоподобия
не требует знания априорных вероятностей классов и функции потерь, позволяет оценивать
достоверность решений, обобщается на случай многих классов, прост в вычислениях. Поэтому
критерий (1.5) широко применяется в практических задачах распознавания образов.
42
Лекция 15.
Л.1
Методы распознавания путем сравнения
Кластеризация
Разделяющие поверхности в пространстве
признаков
Л.2
Методы, использующие искажение изображения для сравнения, позволяют добиться лучших
результатов.
43
Пример искажения решётки исходного изображения
Эластичные деформации для сопоставления двух изображений целиком, рис. 4.
Эластичные деформации: исходное изображение (слева), пиксел отмеченный квадратом
сдвигается в позицию пиксела отмеченного окружностью, три результата с различными
праметрами деформации.
Вышеприведённые методы сравнивают только суммарное искажение, не пытаясь учесть его
характер, и в этом заключается их недостаток. Характер искажения изображения несёт
важную информацию для распознавания изображения, и поэтому нижеприводимые методы
имеют лучшую точность распознавания.
Л.3
Для изображения типа «портрет», распределение информации вдоль компонент имело
следующий вид: 92.72%, 6.73%, 0.55%.
Преобразование цветного изображения в полутоновое (слева-направо): исходное (цветное),
преобразование Карунена-Лоэва, два других преобразования
44
Преобразование Карунена-Лоэва представляет собой разложение сигнала
по базису
ортогональных функций, каждая из которых является собственной функцией интегрального
"характеристического" уравнения с симметричным непрерывным ядром:
Основная идея заключается именно в существовании и использовании некого ядра,
связанного со свойствами сигнала
. При заданном виде ядра приведенное
интегральное уравнение определяет ортогональный базис разложения по его собственным
функциям, что упрощает разложение и минимизирует квадрат ошибки.
Чаще всего
трактуется в виде корреляционной функции
в
общем случае непериодического и нестационарного случайного процесса с нулевым
математическим ожиданием
и существующим вторым моментом
. В
задачах распознавания случайных образов ядро определяется как
т.е. – в виде корреляционной функции между классами сигналов, с некоторой
вероятностью
принадлежащих одному из
искомых образов.
В дискретном случае оно диагонализирует матрицу некоторой заданной квадратичной
формы , т.е. приводит её к виду
, где
искомая диагональная матрица, а матрица собственных векторов искомого преобразования
. Метод во многом носит
геометрический характер, но в большинстве источников он описывается с точки зрения
теории вероятности. В таком описании матрица
является дискретным представлением
корреляционной функции
в общем случае непериодического случайного процесса
наблюдения сигнальных векторов
.
Мы рассматриваем КЛ-преобразование применительно к растровым изображениям. Такое
изображение всегда содержит избыточные данные, как следствие содержательного и
шумового взаимовлияния его соседних элементов. В связи с этим рассматриваются:
ковариационная матрица , которая описывает аппроксимацию отсчетов в
координатной
плоскости
изображения
многомерной
гауссовой
функцией
распределения, и

соответствующая ей корреляционная матрица .

Л.4
Для выравнивания интервалов, соответствующих верхним и нижним частотам применяется
логарифмирование. Это даёт наглядное представление о спектре, но снижает точность
распознавания, поскольку при этом увеличивается вклад в представление изображения,
вносимый высокочастотными составляющими. А они характеризуют мелкие
несущественные детали, а не общие черты изображений, и при этом сильно изменчивы.
45
Преобразование Фурье: исходное изображение, прологарифмированная амплитуда, фаза
Пример дискретного косинусного преобразования. Исходный размер изображения 100х100
(10000 пикселей), реконструкция по первым 496 коэффициентам. Коэффициент сжатия 95%.
Дискретное косинусное преобразование: исходное изображение, реконструированное
изображение, участок спектра для реконструкции, ошибка реконструкции (деконволюции)
Блочное косинусное преобразование используется в современных методах сжатия
изображений (JPEG например).
Л.5
Вейвлетное преобразование оперирует изображением целиком за счёт своих фрактальных
свойств.
46
Различные степени вейвлетного сжатия (использовались вейвлеты Добеши): a) оригинальное
изображение, b) 45% коэффициентов отброшено, c) 95%, d) 98%, e) 99%, f) 99.9%
Рис. 10. Сравнение JPEG-сжатия 10:1 (слева) и вейвлетного сжатия 100:1 (справа)
Кроме сжатия изображений вэйвлетные преобразования используются так же для
извлечения ключевых характеристик изображений и поиска одинаковых участков на
разных изображениях.
Л.6
Реконструирование
изображения
по
f (r , )   Ckl cos(l )  S kl sin( m )Rkl (r ).
k
моментам
Цернике
m 0
Пример реконструкции по моментам Цернике и Лежандра:
47
Реконструкция по моментам Зернике (верхний ряд) и по моментам Лежандра (два нижних
ряда), под изображениями указано число используемых для реконструкции моментов.
Внизу справа – исходное изображение.
.
Структура методов распознавания изображений
Л.7
Линейный дискриминантный анализ (линейный дискриминант, Linear Discriminant
Analysis, LDA), который описывается ниже, выбирают проекцию пространства
изображений на пространство признаков таким образом, чтобы минимизировать
внутриклассовое и максимизировать межклассовое расстояние в пространстве признаков,
рис 18. В этих методах предполагается что классы линейно разделимы.
48
Пример проекций в пространство характеристик для двух классов с помощью главных
компонент (PCA) и линейного дисриминанта Фишера (FLD).
В простейшем случае для поиска на новом изображении точки с аналогичными
 a a
j

характеристиками в функции подобия фазу не учитывают: S a ( J , J ) 
j
j
 a  a
2
j
j
2
.
j
j
Функция подобия с одним джетом в фиксированной позиции и другим с переменной позицией
является достаточно гладкой, для того чтобы получить быструю и надёжную сходимость при
поиске с применением простейших методов, таких как диффузия или градиентный спуск.
Лекция 16.
Л.1
Непрерывное преобразование Карунена-Лоэва
Пусть
- случайный процесс, описывается ансамблем реализаций
Требуется найти базис
, в котором
некоррелированы.
Представление
в таком базисе является результатом применения непрерывного
преобразования Карунена-Лоэва. Итак, требуется:
Одно из решений достигается в случае предположения, что
.
Таким образом
49
Коэффициенты разложения вычисляются следующим образом:
Итак, преобразование Карунена-Лоэва представляет собой разложение сигнала
по базису ортогональных функций, каждая из которых является собственной
функцией интегрального "характеристического" уравнения с симметричным
непрерывным ядром:
При заданном виде ядра приведенное интегральное уравнение определяет
ортогональный базис разложения по его собственным функциям, что упрощает
разложение и минимизирует квадрат ошибки.
Чаще всего
трактуется в виде корреляционной функции
в
общем случае непериодического и нестационарного случайного процесса с нулевым
математическим ожиданием
и существующим вторым моментом
.
В задачах распознавания случайных образов ядро определяется как
т.е. – в виде корреляционной функции между классами сигналов, с некоторой
вероятностью
принадлежащих одному из
искомых образов.
Л.2
Применение ДКП
Пример дискретного косинусного преобразования. Исходный размер изображения
100х100 (10000 пикселей), реконструкция по первым 496 коэффициентам.
Коэффициент сжатия 95%.
50
Дискретное
косинусное
преобразование:
исходное
изображение,
реконструированное изображение, участок спектра для реконструкции, ошибка
реконструкции (деконволюции)
Блочное косинусное преобразование используется в современных методах сжатия
изображений (JPEG например).
Л.3
Вейвлетное преобразование
51
Различные степени вейвлетного сжатия (использовались вейвлеты Добеши): a)
оригинальное изображение, b) 45% коэффициентов отброшено, c) 95%, d) 98%, e)
99%, f) 99.9%
Рис. 10. Сравнение JPEG-сжатия 10:1 (слева) и вейвлетного сжатия 100:1 (справа)
Кроме сжатия изображений вэйвлетные преобразования используются так же
для извлечения ключевых характеристик изображений и поиска одинаковых
участков на разных изображениях.
Л.4
Реконструирование
изображения
по
f (r , )   Ckl cos(l )  S kl sin( m )Rkl (r ).
k
моментам
Цернике
m 0
Пример реконструкции по моментам Цернике и Лежандра:
52
Реконструкция по моментам Зернике (верхний ряд) и по моментам Лежандра (два
нижних ряда), под изображениями указано число используемых для реконструкции
моментов. Внизу справа – исходное изображение.
.
Л.5
Структура методов распознавания изображений
53
Л.6
Линейный дискриминантный анализ (линейный дискриминант, Linear Discriminant
Analysis, LDA).
Выбирают проекцию пространства изображений на пространство признаков таким
образом, чтобы минимизировать внутриклассовое и максимизировать межклассовое
расстояние в пространстве признаков, рис 18. В этих методах предполагается что
классы линейно разделимы.
54
Пример проекций в пространство характеристик для двух классов с помощью
главных компонент (PCA) и линейного дисриминанта Фишера (FLD).
Л.7
Статистические методы распознавания
Установление связи между отнесением объекта к тому или иному классу
(образу) и вероятностью ошибки при решении этой задачи. В ряде случаев
это сводится к определению апостериорной вероятности принадлежности
объекта образу s1 при условии, что признаки этого объекта приняли
значения x1 , x 2 ,..., x N . Начнём с байесовского решающего правила. По
формуле Байеса
s
p( i x ,..., x ) 
1
N
P0 ( si ) p( x1 ,..., x N / si )
M
 P ( s ) p( x ,..., x
0
j
1
N
.
/ sj )
j 1
Здесь P0 ( si ) – априорная вероятность предъявления к распознаванию
объекта i -го образа:
55
M
P0 ( si )  0,
 P (s )  1
0
i 1
i
.
Для каждого si
 ...  p( x ,..., x
1
N
/ si )dx1 ... dx N  1
,
при признаках с непрерывной шкалой измерений
x1
xN
x1
xN
j1 1
j N 1
 ...  p( x1j1 , x2j2 ,..., x NjN / si )  1
,
при признаках с дискретной шкалой измерений
p( x1 ,..., x N / si )  0 .
При непрерывных значениях признаков p( x1 ,..., x N / si ) представляет из
себя функцию плотности вероятностей, при дискретных – распределение
вероятностей.
Л.8
Распределения, описывающие разные классы, "пересекаются":
p( x1 ,..., x N / si )  p( x1 ,..., x N / s j )0
.
В таких случаях ошибки распознавания неизбежны. Естественно,
неинтересны случаи, когда эти классы (образы) в выбранной системе
признаков ( X 1 ,..., X N ) неразличимы (при равных априорных вероятностях
решения можно выбирать случайным отнесением объекта к одному из
классов равновероятным образом).
В общем случае нужно стремиться выбрать решающие правила так, чтобы
минимизировать риск потерь при распознавании.
Риск потерь определяется двумя компонентами: вероятностью ошибок
распознавания и величиной "штрафа" за эти ошибки (потерями). Матрица
ошибок распознавания:
s1
s2
s1
p11
p21
s2
p12
p22
s3
p13
p23
sM
pM1
p M2
pM3
где
...
sM
p1 M
p2 M
p MM
,
pii
– вероятность правильного распознавания;
pij
– вероятность ошибочного отнесения объекта i -го образа к j -му (
56
i  j ).
Матрица потерь
s1
s2
s1
u11
u21
s2
u12
u22
s3
u13
u23
sM
u M1
u M2
uM3
...
sM
u1 M
u2 M
u MM
,
uii – "премия" за правильное распознавание;
где
uij
– "штраф" за ошибочное отнесение объекта i -го образа к j -му ( i  j ).
Л.9
Необходимо построить решающее правило так, чтобы обеспечить
минимум математического ожидания потерь (минимум среднего риска).
Такое правило называется байесовским.
Разобьём признаковое пространство X на M непересекающихся
областей v j ( j  1,2,..., M ) , каждая из которых соответствует определённому
образу.
Средний риск при попадании реализаций q -го образа в области других
образов равен
M
r q   uqj
 p( x , x
1
2
,..., x N / sq )dx 1 ... dx N
, q  j.
Здесь предполагается, что все компоненты X имеют непрерывную шкалу
измерений (в данном случае это непринципиально).
j 1
vj
Величину r q можно назвать условным средним риском (при условии, что
совершена ошибка при распознавании объекта q -го образа). Общий
M
R   P0 ( sq )rq .
q 1
(безусловный) средний риск определяется величиной
Решающие правила (способы разбиения X на v j , j  1, K, M ) образуют
множество D . Наилучшим (байесовским) решающим правилом является
R  min R
D
D
то, которое обеспечивает минимальный средний риск Б
, где RD –
средний риск при применении одного из решающих правил, входящих в D .
Рассмотрим упрощённый случай. Пусть uii  0 , а uij  1 ( i  j ). В таком
случае байесовское решающее правило обеспечивает минимум вероятности
(среднего количества) ошибок распознавания.
Л.10
57
Пусть M  2 . Вероятность ошибки первого рода (объект 1-го образа
отнесён ко второму образу)
p12 
 p( x / s ) d x
1
v2
,
где x  x1 ,..., x N  – вероятность ошибки второго рода
p21 
 p( x / s ) d x
2
.
Средние ошибки
v1
P ош  P0 ( s1 ) p12  P0 ( s2 ) p21 .
Так
как
 p( x / s ) d x  1
i
X

,

то
p12  1   p( x / s1 )d x
v1
и
Pош  P0 ( s1 )   P0 ( s2 ) p( x / s2 )  P0 ( s1 ) p( x / s1 ) d x
. Ясно, что минимум Pош будет
иметь минимум в том случае, если подынтегральное выражение в области
v1
будет строго отрицательным, то есть в v1 P0 ( s1 ) p( x / s1 )  P 0 ( s2 ) p( x / s2 ) . В
области v2 должно выполняться противоположное неравенство. Это и есть
байесовское решающее правило для рассматриваемого случая. Оно может
v1
p( x / s1 ) P0 ( s2 )

быть записано иначе: p( x / s2 ) P0 ( s1 ) ; величина p( x / si ) , рассматриваемая
p( x / s1 )
как функция от si , называется правдоподобием si при данном x , а p( x / s2 )
– отношением правдоподобия. Таким образом, байесовское решающее
правило можно сформулировать как рекомендацию выбирать решение s1 в
случае, если отношение правдоподобия превышает определённое
пороговое значение, не зависящее от наблюдаемого x .
Л.11
Если число распознаваемых классов больше двух ( S  2 ), решение в
пользу класса (образа) s j принимается в области v j , в которой для всех
i  j P0 ( s j ) p( x / s j )  P0 ( si ) p( x / si ) .
Иногда при невысокой точности оценки апостериорной вероятности
(малых объёмах обучающей выборки) используют так называемые
рандомизированные решающие правила. Они состоят в том, что
неизвестный объект относят к тому или иному образу не по максимуму
апостериорной вероятности, а случайным образом, в соответствии с
апостериорными вероятностями этих образов p( si / x ) . Реализовать это
можно, например, способом, изображённым на рис. 18.
58
P ( s1 x  )
P (s2 x  )
0

...
P(si x  )
P(sM x  )
...
1
Рис. 18. Иллюстрация рандомизированного решающего правила
После вычисления апостериорных вероятностей принадлежности
неизвестного объекта с параметрами x каждому из образов si , i  1,..., S ,
отрезок прямой длиной единица разбивают на S интервалов с длинами,
численно равными p( si / x ) , и каждому интервалу ставят в соответствие
этот образ. Затем с помощью датчика случайных (псевдослучайных) чисел,
равномерно распределённых на  0,1 , генерируют число, определяют
интервал, в который оно попало, и относят распознаваемый объект к тому
образу, которому соответствует данный интервал.
Понятно, что такое решающее правило не может быть лучше
байесовского, но при больших значениях отношения правдоподобия
ненамного ему уступает, а в реализации может оказаться достаточно
простым (например, метод ближайшего соседа, о чём речь пойдёт позже).
Л.12
Байесовское решающее правило реализуется в компьютерах в основном
двумя способами.
1. Прямое вычисление апостериорных вероятностей
p( si / x ) 
P0 ( si ) p( x/ si )
M
 P ( s ) p( x/ s )
0
j 1
j
j
,
x x1  ,x 2  ,..., x N  –
где
вектор
значений
параметров
распознаваемого объекта и выбор максимума. Решение принимается в
пользу того образа, для которого p( si / x ) максимально. Иными словами,
байесовское решающее правило реализуется решением задачи

.
arg max p( si / x )
i
Если пойти на дальнейшее обобщение и допустить наличие матрицы
потерь общего вида, то условный риск можно определить по формуле
M
p( si / x )uii   p( s j / x )uij
, i  j . Здесь первый член определяет "поощрение"
за правильное распознавание, а второй – "наказание" за ошибку.
Байесовское решающее правило в данном случае состоит в решении задачи
j 1
M


 
argmax  p( si / x )uii   p( s j / x )uij  , i  j.
 i 
j 1
 
59
2. "Топографическое" определение области vi , в которую попал вектор x
значений признаков, описывающих распознаваемый объект.
Такой подход используют в тех случаях, когда описание областей vi
достаточно компактно, а процедура определения области, в которую попал
x , проста. Иными словами, данный подход естественно использовать,
когда в вычислительном отношении он эффективнее (проще), чем прямое
вычисление апостериорных вероятностей.
Л.13
Байесовское решающее правило для
признаков
с равными ковариационными матрицами
нормально
распределённых
x2
Граница
областей
образов
s1
s2
x1
Так, например (доказательство приводить не будем), если классов два, их
априорные вероятности одинаковы, p( x / s1 ) и p( x / s2 ) – нормальные
распределения с одинаковыми ковариационными матрицами (отличаются
только векторами средних), то байесовская разделяющая граница –
60
гиперплоскость.
Л. 16
Заполняетсяется значениями коэффициентов линейного уравнения. При
распознавании какого-либо объекта в уравнение подставляют значения
признаков x этого объекта и по знаку (плюс или минус) получаемого
решения относят объект к s1 или s2 (рис. 19).
Если у классов s1 и s2 ковариационные матрицы p( x / s1 ) и p( x / s2 ) не
только одинаковы, но и диагональны, то байесовским решением является
отнесение объекта к тому классу, евклидово расстояние до эталона
которого минимально
Байесовское решающее правило
признаков
с
равными
диагональными
(элементы диагоналей одинаковы)
для
нормально
распределённых
ковариационными
матрицами
x2
Эталоны
Граница областей
образов
s
1
s
2
x1
Таким образом, некоторые решающие правила имеют вполне чёткую
статистическую трактовку. В ряде конкретных случаев они являются
статистически оптимальными. Список подобных примеров мы продолжим
при дальнейшем рассмотрении статистических методов распознавания.
Л.16
Методы оценки распределений значений признаков классов.
Знание
p( x / si )
является наиболее универсальной информацией для
61
решения задач распознавания статистическими методами. Эту информацию
можно получить двояким образом:
заранее определить (оценить) p( x / si ) для всех x  X и i  1,2,..., M ;
определять p( x/ si ) при каждом акте распознавания конкретного объекта,
признаки которого имеют значения x .
Каждый из этих подходов имеет свои преимущества и недостатки,
зависящие от числа признаков, объёма обучающей выборки, наличия
априорной информации и т.п.
62