Исследование сходимости мер информативности признаков

УДК 004.896(06) Интеллектуальные системы и технологии
М.О. КОРЛЯКОВА, Н.С. ТВЕРДОХЛЕБ
Калужский филиал МГТУ им. Н.Э. Баумана
ИССЛЕДОВАНИЕ СХОДИМОСТИ МЕР ИНФОРМАТИВНОСТИ ПРИЗНАКОВ
Рассмотрены результаты исследования информативности признаков для модельной задачи. Представлен анализ сходимости мер информативности с точки
зрения объема выборки и проведено сравнение результатов формирования наиболее информативного подмножества признаков.
Прикладные задачи принятия решений значительно зависят от способа
представления объекта. Существует огромное число методов формирования входного набора признаков, которые определяют вид объектовпримеров. Причем из практического опыта известно, что результаты формирования информативного набора признаков могут значительно варьироваться от одной меры к другой. Таким образом, поставлена задача –
исследовать скорость сходимости мер информативности и проверить возможность их сходимости к некоторому общему подмножеству информативных признаков для конкретной задачи.
В качестве модельной выбрана задача формирования входного множества признаков для нейросетевой системы управления комплекса контроля доступа [1]. Входной образ отнесен к множеству «шум» или «метка» и представляет собой спектральную форму сигнала, полученного от
антенны комплекса.
Информативность рассмотрена в как соответствие признака целевому
свойству. В качестве мер информативности исследованы статистические
показатели Корреляционный коэффициент Пирсона, Фехнера и Спирмена,
энтропийная мера по Шеннону и мера Хемминга, а так же использован
визуальный анализ образа и выделение подмножества признаков экспертом. Все рассмотренные меры решают вопрос информативности. Однако,
они показали совершенно различные результаты при формировании списка наиболее важных признаков. Так как основной способ проверки системы признаков – тест, то полученные наборы проверяли в нейронной сети
обратного распространения ошибки с алгоритмом обучения на основе
сопряженных градиентов на выборке данных из [1]. Каждая конфигурация
проверялась 10-20 раз для случайных начальных точек в пространстве
весовых коэффициентов. Результаты моделирования работы нейросети в
MatLab 7.0 приведены в Таблице 1.
ISBN 5-7262-0710-6. НАУЧНАЯ СЕССИЯ МИФИ-2007. Том 3
121
УДК 004.896(06) Интеллектуальные системы и технологии
Таблица 1. ошибки обобщения нейронной сети для разных методов выбора информативного множества признаков.
Мера информативности
Визуальный
Пирсона
Фехнера
Спирмена
Шеннона
Хемминга
Средн.ошибка
19.975
24.625
28.975
29.55
38.85
24.275
Сред. кол-во эпох
51.9
33
30
24.8
66.5
34.3
tвыполн
3.1172
1.5282
1.4844
1.2829
2.5265
1.6578
Видно, что ошибка распознавания при решении одной и той же задачи
существенно зависит от способа вычисления информативности.
Следующий этап экспериментов заключался в исследовании сходимости мер информативности к некоторому набору признаков для предметной области. Причем изначально предполагалось, что статистические методы потребуют массивной выборки примеров. Была проведена серия
экспериментов с выборками разного объема. Результаты анализа сходимости мер информативности приведены на Рис. 1.
100
Спирмен
d%
80
60
Фехнер
пирсон
40
20
хемминг
N
0
30
80
130
180
230
280
330
Рис. 1. Сходимость мер информативности от объема выборки примеров
Все меры показали стабильный результат для 100-150 примеров при
размере примера N=513 признаков. Этот факт оказался неожиданным, т.к.
обычно к объему выборки при анализе информативности предъявлялось
требование 5N и более. Полученные результаты использованы для разработки технологии выбора меры информативности в зависимости от
свойств прикладной задачи.
Список литературы
1. Земляная Н.Б., Корлякова М.О Выбор модели нейросетевого управления системы
контроля доступа.// Науч. сессия МИФИ-2006.Всероссийская НТК «Нейроинформатика2006». Сборник научных трудов в 3-х частях. Ч.1. М.: МИФИ, 2005.
ISBN 5-7262-0710-6. НАУЧНАЯ СЕССИЯ МИФИ-2007. Том 3
122
УДК 004.896(06) Интеллектуальные системы и технологии
ISBN 5-7262-0710-6. НАУЧНАЯ СЕССИЯ МИФИ-2007. Том 3
123