АНАЛИЗ МЕТОДОВ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ

УДК 004.822
АНАЛИЗ МЕТОДОВ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ
Краснопольская Ю. О.
Кременчугский национальный университет им. Михаила Остроградского,
[email protected]
Гибкость настройки, адаптация под предметную область, возможность
самокоррекции по мере накопления информации и другие преимущества позволяют использовать нейросетевой подход для решения широкого круга задач
моделирования, прогнозирования, классификации, принятия решений и т. д.
Однако при решении задач анализа исследователю требуется не просто инструмент, адекватно отображающий динамику изменения заданных свойств
предмета, а некий набор правил или знаний об объекте исследования, позволяющий отследить логическую взаимосвязь между его входными и выходными
величинами. В связи с этим актуальной становится задача извлечения из
нейронной сети логической зависимости между её входными и выходными параметрами, в общем случае представленной в виде набора правил «ЕСЛИ …
ТО…» [1, 2].
При решении указанной задачи следует учитывать ряд требований к процессу извлечения знаний:
1. Требования к интерпретируемости извлечённого набора правил для человека, т. е. извлечённые знания должны быть понятны человеку, причём важно
не только получить правильный ответ, но также воспроизвести промежуточные
рассуждения, приведшие к получению именно этого ответа. Это бывает необходимо при автоматической верификации извлекаемых знаний.
2. Требования к точности описания нейронной сети, использованной для
извлечения знаний.
3. Требования к точности решения основной задачи, требующей извлечения знаний.
4. Требования масштабируемости метода извлечения знаний, т. е. метод
должен быть применим для сетей с большим числом входных сигналов и
нейронов.
5.Отсутствие жёстких ограничений на архитектуру сети, алгоритмы обучения, а также решаемые сетью задачи.
Среди существующих методов извлечения знаний из нейронных сетей
можно выделить два основных направления. Первый подход основан на извлечении знаний из нейронной сети посредством анализа её структуры и параметров. При этом элементарные правила «ЕСЛИ … ТО…» формируются отдельно
для каждого нейрона, исходя из его уровня активации и весов синапсов. При
этом необходимо логически интерпретировать выход нейрона [2, 3].
Второй подход основан на формировании правил «ЕСЛИ … ТО…», исходя из совокупности пар сигналов вход-выход. При этом отпадает необходимость в учёте ограничения на структуру сети, а в ряде методов можно вообще
не учитывать промежуточные сигналы между нейронами, используя только
входные и выходные сигналы сети в целом. В принципе, при втором подходе
можно обойтись просто обучающей выборкой, однако, хорошо обученная
нейронная сеть, благодаря своим обобщающим свойствам, играет роль фильтра,
устраняя шумы в исходных данных.
К основным проблемам, с которыми сталкивается исследователь в процессе извлечения знаний из нейронных сетей можно отнести:
1. Обработку сигналов непрерывного типа, которые нужно преобразовывать в дискретные величины.
2. Необходимость в целенаправленном упрощении сети.
3. Проверку различных статистических гипотез, в том числе для примеров обучающей выборки.
4. Оптимизацию множества извлечённых правил с учётом перспективы
дальнейшего их применения.
5. Проблему извлечения «распределённого» по нейронной сети знания об
алгоритме решения задачи.
Анализируя рассмотренные выше подходы к извлечению знаний из
нейронных сетей, можно заключить, что для методов второй группы проблемы
связанные с необходимостью в упрощении сети не характерны, в то время как
при работе с методами первой группы исследователь сталкивается со всеми
вышеперечисленными проблемами. Кроме того, в ряде случаев для методов
второй группы можно пренебречь и проверкой статистических гипотез. Это
связано с тем, что во многих случаях обучающие выборки не имеют нормального распределения и для их обработки применимы лишь методы непараметрической статистики. В таких случаях при формировании интервалов входных
переменных приходится прибегать к помощи экспертов [4].
Выводы
1. Можно выделить два основных подхода к извлечению знаний из
нейронных сетей – это анализ топологии сети и её контрастирование и анализ
поведения сети в терминах отображения вход-выход и активации нейронов.
2. Среди основных проблем, связанных с извлечением знаний из нейронных сетей, на сегодняшний день наименее развиты вопросы перевода знаний
сети на «человеческий» язык и извлечение распределённых по сети знаний.
ЛИТЕРАТУРА
1. Andrews R., Diederich J., Tickle A.B. A Survey and Critique of Techniques for Extracting
Rules from Trained Artificial Neural Networks / Knowledge Based Systems, 1995, №8. pp.373-389.
2. Царегородцев В.Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и
упрощаемых искусственных нейронных сетей // Материалы XII Международной конференции по нейрокибернетике. - Ростов-на-Дону. Изд-во СКНЦ ВШ. 1999.- 323с. - С.245249.
3. Medler D.A., McCaughan D.B., Dawson M.R.W., Willson L. When Local int't Enough: Extracting Distributed Rules from Networks / Proc. 1999 IJCNN, Washington, DC, USA, 1999.
р.р. 234-241.
4. Мурашко Ф. Г. Извлечение знаний из баз данных при помощи нейронной сети и нечёткого интерпретатора  Ф. Г. Мурашко, И.В. Шевченко, С.Ю. Лабзов  Новые технологии.
2008 №4 (22), с. 41-45.