На правах рукописи Лавыгина Анна Владимировна АЛГОРИТМЫ И ПРОГРАММНЫЕ СРЕДСТВА НАСТРОЙКИ
реклама
На правах рукописи Лавыгина Анна Владимировна АЛГОРИТМЫ И ПРОГРАММНЫЕ СРЕДСТВА НАСТРОЙКИ ПАРАМЕТРОВ НЕЧЕТКИХ МОДЕЛЕЙ НА ОСНОВЕ ГИБРИДНЫХ МЕТОДОВ Специальность 05.13.18 Математическое моделирование, численные методы и комплексы программ АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук Томск – 2010 Работа выполнена в Томском государственном университете систем управления и радиоэлектроники (ТУСУР) Научный руководитель – доктор технических наук Ходашинский Илья Александрович Официальные оппоненты: доктор технических наук профессор Мицель Артур Александрович (ТУСУР) кандидат технических наук доцент Цой Юрий Робертович (Томский государственный политехнический университет) Ведущая организация – Новосибирский государственный технический университет Защита состоится 4 марта 2010 г. в 15 час. 15 мин. на заседании диссертационного совета Д. 212.268.02 при ТУСУР по адресу: 634050, г. Томск, пр. Ленина, 40, ком. 203. С диссертацией можно ознакомиться в научной библиотеке ТУСУР по адресу: г. Томск, ул. Вершинина, 74. Автореферат разослан 3 февраля 2010 г. Ученый секретарь диссертационного совета Р.В. Мещеряков 3 ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы При моделировании сложных систем исследователи сталкиваются с неточным или неполным описанием изучаемого объекта. Решением такой проблемы является нечеткое моделирование. Технология нечеткого моделирования применяется при невозможности построения аналитической модели изучаемого объекта, либо слишком большой сложности такой модели, либо отсутствии достаточного опыта для построения экспертных систем, либо недостаточности экспериментальных данных для статистического моделирования. Нечеткие модели находят широкое применение в таких проблемных областях как распознавание образов, прогнозирование и моделирование, управление и принятие решений. Они встроены в огромное количество промышленных изделий, начиная с роботов и систем управления электропоездами, и заканчивая такими потребительскими товарами, как фото- и видеокамеры, кондиционеры стиральные машины и др. К преимуществам нечетких моделей относятся невысокая стоимость разработки, интуитивно понятная логика функционирования, гибкость. Базовая концепция нечеткого моделирования заключается в использовании степени принадлежности, которая является эффективным средством описания поведения плохо формализованных объектов, систем и процессов. Построение нечетких моделей возможно на основе наблюдаемых данных, а также с использованием априорного знания и опыта, которые могут быть неточными и иметь неколичественный характер. Основополагающие результаты в области нечеткого моделирования получили А.Н. Аверкин, И.З. Батыршин, Л.С. Берштейн, С.М. Ковалев, Л.Г. Комарцова, Ю.И. Кудинов, А.О. Недосекин, Ф.Ф. Пащенко, В.Б.Тарасов, А.В. Язенин, Н.Г. Ярушкина, P. Angelov, R. Babuska, A. Bastian, J.C. Bezdek, J. Casillas, J.L. Castro, O. Cordon, D. Dubois, D. Filev, J. González, S. Guillaume, F. Herrera, H. Ishibuchi, U. Kaymak, B. Kosko, R. Krishnapuram, R. Kruse, E.H. Mamdani, J. M. Mendel, S. Oh, W. Pedrycz, H. Prade, M. Sugeno, T. Takagi, H. Tanaka, I. B. Turksen, R.R. Yager, T.Yasukawa, L.-X.Wang, L. Zadeh. Однако анализ литературных источников показал, что при разработке нечетких моделей не приводятся убедительные доказательства выбора структуры и параметров таких моделей, а 4 представленные результаты по нечеткому моделированию зачастую имеют характер лабораторных исследований. Отсутствуют пакеты программ с достаточными средствами настройки нечетких моделей на основе наблюдаемых данных. Цель работы Целью диссертационной работы является разработка и исследование гибридных алгоритмов настройки параметров нечетких моделей, обеспечивающих повышение качества решений при умеренном количестве ресурсов, и программного комплекса нечеткого моделирования, позволяющего производить настройку модели на основе наблюдаемых данных. Для достижения поставленной цели необходимо решить следующие задачи: 1) исследование существующих методов настройки нечетких моделей; 2) реализация гибридных алгоритмов настройки параметров нечетких моделей на базе метаэвристик и методов, основанных на производных; 3) проведение исследований разработанных алгоритмов на контрольных примерах; 4) разработка программного комплекса настройки нечетких моделей на основе предложенных алгоритмов. Объект и предмет исследования Объектом исследования является процесс настройки параметров нечетких моделей. Предметом исследования является комплекс алгоритмов и программ идентификации параметров антецедентов и консеквентов правил. Методы исследования В диссертационной работе применялись методы искусственного интеллекта, теории нечетких множеств, теории вероятности и математической статистики, линейной алгебры, структурного и объектно-ориентированного программирования. Достоверность результатов Степень достоверности результатов обеспечивается строгостью применения математических методов, результатами проведенных численных экспериментов, которые сопоставлены с данными, полученными другими авторами. 5 Научная новизна Научной новизной обладают следующие результаты диссертационной работы: 1. Разработан двухэтапный алгоритм настройки параметров нечеткой модели; на первом этапе параметры функций принадлежности настраиваются генетическим алгоритмом, а параметры консеквентов – методом наименьших квадратов; на втором этапе параметры функций принадлежности и консеквенты настраиваются градиентным методом или алгоритмом фильтрации Калмана. Такой алгоритм исключает недостаток методов, основанных на производных, и недостаток генетического алгоритма. 2. Впервые для настройки параметров нечетких моделей разработан гибридный алгоритм, в котором алгоритм имитации отжига генерирует множество начальных решений для грубой настройки параметров нечеткой модели генетическим алгоритмом. Точная настройка производится градиентным методом или алгоритмом фильтрации Калмана. 3. Впервые использован градиентный метод и фильтр Калмана в качестве оператора мутации генетического алгоритма для настройки параметров нечетких моделей. При этом часть особей популяции изменяются с использованием градиентного метода или фильтра Калмана, остальные мутируют обычным образом. После настройки антецедентов осуществляется настройка консеквентов методом наименьших квадратов. 4. Разработан алгоритм формирования базы нечетких правил на основе субъективного разделения данных и процедуры диффузии, который в отличие от известных учитывает свойства таблицы наблюдений и требования полного покрытия лингвистическими термами области определения входной переменной. Теоретическая значимость Теоретическая значимость работы заключается в развитии технологии построения нечетких моделей. Предложенные алгоритмы могут быть применены для решения задач оптимизации с непрерывно меняющимися параметрами. Практическая ценность Обоснованность предложенных алгоритмов подтверждена использованием их для решения практических задач. Программная система нечеткой аппроксимации атмосферных температурных полей внедрена в Институте оптики атмосферы имени В.Е.Зуева СО РАН. Результаты исследований использованы в следующих проектах: 1) проект РФФИ № 06-08-00248 «Основанное на данных нечеткое моделирование технических систем» (2006 – 2007 гг.) 6 2) проект РФФИ № 09-07-99008 «Исследование и разработка технологии идентификации нечетких моделей на базе метаэвристик и методов, основанных на производных» (2009 – 2010 гг.); 3) проект «Основанные на метаэвристиках и производных гибридные алгоритмы идентификации нечетких моделей и программно-инструментальный комплекс нечеткого моделирования» программы «Участник молодежного научно-инновационного конкурса» (У.М.Н.И.К.). Разработанные алгоритмы построения нечетких моделей на основе таблиц наблюдений используются при проведении лабораторных работ по дисциплине «Базы знаний» на кафедре автоматизации обработки информации Томского государственного университета систем управления и радиоэлектроники. Часть программно-инструментальных средств передана в отраслевой фонд алгоритмов и программ Министерства образования Российской Федерации (номера государственной регистрации 50200602165, 50200800872). Предложенные алгоритмы и программный комплекс при небольших доработках могут быть применены и для решения задач оптимизации с непрерывно меняющимися параметрами. Алгоритмы, разработанные в рамках программной системы нечеткой аппроксимации атмосферных температурных полей, универсальны и могут быть применены не только к базам атмосферных температурных полей, но и к другим данным формата netCDF. Основные защищаемые положения 1. Разработанные гибридные алгоритмы настройки параметров нечетких моделей позволяют уменьшить ошибку вывода на порядок по сравнению с использованием методов по отдельности и в несколько раз по сравнению с алгоритмами, предлагаемыми другими авторами. 2. Алгоритм формирования базы нечетких правил на основе субъективного разделения данных и процедуры диффузии генерирует только корректно заданные параметры нечетких моделей и позволяет уменьшить время настройки нечетких моделей по сравнению со случайным формированием базы правил. 3. Программный комплекс, позволяющий настраивать нечеткие модели, как на основе наблюдаемых данных, так и на основе знаний эксперта, в отличие от известных систем нечеткого моделирования, ориентированных только на знание эксперта. Апробация работы Основные положения работы докладывались и обсуждались на Томском IEEE семинаре "Интеллектуальные системы моделирования, проектирования и управления", на семинарах кафедр АОИ и АСУ 7 ТУСУР, на научных и научно-технических конференциях, в том числе на 3-й Всероссийской конференции молодых ученых, г. Томск, 2006 г., Международной конференции «Workshop on INTAS programmes supporting young scientists, their followup and European dimension of further prospective for young scientists», г. Томск, 2007 г., XLV и XLVI Международных научных конференциях «Студент и научнотехнический прогресс», г. Новосибирск, (2007, 2008 гг.), Всероссийской научно-технической конференции «Научная сессия ТУСУР», г. Томск, 2007, 2008, 2009 гг., Всероссийской конференции по вычислительной математике КВМ–2009, г. Новосибирск, 2009 г. Доклады на конференциях Научная сессия ТУСУР в 2007 и 2008 гг. были награждены дипломами третьей и первой степени соответственно. Публикации по теме работы По теме диссертации опубликовано 19 печатных работ, из них две – в периодических изданиях, рекомендованных ВАК России для публикации научных работ, получено два свидетельства об официальной регистрации подсистем разработанного программного комплекса в ОФАП, одно учебно-методическое пособие. Личный вклад автора Постановка задачи, а также подготовка материалов к печати велась совместно с научным руководителем. Основные научные результаты получены автором самостоятельно. Автором самостоятельно разработан комплекс программ настройки нечетких моделей. Структура и объем работы Диссертационная работа состоит из введения, пяти глав и заключения. Объем работы составляет 180 страниц. Список литературы содержит 108 наименований. КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается актуальность темы исследования, сформулирована цель работы, изложены полученные автором основные результаты проведенных исследований, показана их научная новизна, теоретическая и практическая значимость, отражены основные положения, выносимые на защиту В первой главе производится обзор проблемы исследования. Отображение вход-выход в нечеткой модели представлено как множество нечетких «ЕСЛИ-ТО» правил. Каждое правило состоит из двух частей: условной и заключительной. Антецедент (условная часть) содержит утверждение относительно значений входных переменных, в 8 консеквенте (заключительной части) указывается значение, которое принимает выходная переменная. Правила нечеткой модели типа синглтон имеют следующий вид: правило i: ЕСЛИ x1 = А1i И x2 = А2i И … И xm = Аmi ТО y = ri , где Aji – лингвистический терм, которым оценивается переменная xj , а выход y оценивается действительным числом ri. Модель осуществляет отображение F : m , заменяя оператор нечеткой конъюнкции произведением, а оператор агрегации нечетких правил – сложением. Отображение F для модели типа синглтон определяется формулой: n F ( x) A1i ( x1) A2i ( x2 ) ... Am i( xm ) ri i 1 n , A1i ( x1) A2i ( x2 ) ... Am i( xm ) i 1 где x [ x1 ,..., xm ] , n – количество правил нечеткой модели, m – количество входных переменных в модели, A ji – функция T m принадлежности нечеткой области Aji. Нечеткое моделирование включает два основных этапа: идентификацию структуры и настройку параметров нечеткой модели. Идентификация структуры – определение таких характеристик нечеткой модели, как число нечетких правил, количество лингвистических термов, на которое разбиты входные и выходные переменные. Настройка параметров – это определение неизвестных параметров антецедентов и консеквентов нечетких правил путем оптимизации работы нечеткой модели по заданному критерию. Для настройки параметров нечетких моделей используются две группы методов. Первая группа – классические методы оптимизации, основанные на производных: метод наименьших квадратов, градиентный метод, фильтр Калмана. Эти методы обладают высокой скоростью сходимости, но они имеют тенденцию сходиться к локальным оптимумам. Трудности применения классических методов оптимизации, в частности проблема локального экстремума и «проклятие размерности», заставляют обратиться ко второй группе методов – метаэвристических, таких как алгоритмы муравьиной колонии, роящихся частиц, имитации отжига, генетические алгоритмы. Но это методы грубой настройки, требующие больших временных ресурсов. Кроме того, применение метаэвристик не гарантирует нахождения оптимального решения и, как правило, связано с эмпирической настройкой параметров используемых алгоритмов. 9 Использование гибридных алгоритмов позволит объединить преимущества метаэвристических методов с преимуществами методов, основанных на производных. Такое объединение повысит качество решений при умеренном количестве ресурсов и за приемлемое время. Во второй главе приводятся разработанные алгоритмы настройки нечетких моделей. В работе предлагается следующий алгоритм настройки нечетких моделей: Алгоритм настройки нечетких моделей Шаг 1. Задание количества термов лингвистических переменных. Шаг 2. Инициализация параметров нечеткой модели. Подшаг 2.1 Задание параметров антецедентов правил с помощью субъективного разделения данных. Подшаг 2.2 Инициализация консеквентов правил на основе модифицированной процедуры диффузии. Шаг 3. Настройка параметров нечеткой модели одним из метаэвристических, основанных на производных или гибридных алгоритмов. Шаг 4. Если среднеквадратичная ошибка нечеткой модели больше заданной, то увеличение количества термов, переход на шаг 2, иначе выход из алгоритма. Инициализация параметров модели производится на основе субъективного разделения данных и процедуры диффузии. Нечеткие правила и функции принадлежности должны покрывать весь универсум, на котором они определены. Переход от одной функции принадлежности к другой не содержит разрывов, иначе поверхность вывода также будет содержать разрывы. В общем случае алгоритм настройки параметров состоит из следующей последовательности шагов. Алгоритм настройки параметров нечеткой модели Шаг 1. Задание начальных параметров нечеткой модели и параметров выбранного алгоритма. Шаг 2. Генерация решения выбранным алгоритмом настройки. Шаг 3. Оценка решения с помощью нечеткой модели. Шаг 4. Проверка условия останова. Если условие выполняется, то переход на шаг 5, иначе переход на шаг 2. Шаг 5. Вывод решения – набора параметров нечеткой модели, выход из алгоритма. В работе были использованы следующие методы: основанные на производных — градиентный метод, фильтр Калмана, метод 10 наименьших квадратов, и метаэвристические — генетический алгоритм и алгоритм имитации отжига. Генетический алгоритм работает с популяцией особей, каждая особь соответствует отдельному решению задачи. В случае настройки параметров антецедентов правил каждый ген хромосомы кодирует один параметр нечеткой модели. В качестве целевой функции выступает ошибка нечеткой модели. Предложено несколько способов формирования текущей популяции: полная замена старой популяции новой, полученной в результате применения операторов скрещивания и мутации; частичная замена, когда формируется «расширенная» популяция, в которую помещаются хромосомы как нового, так и старого поколения; помещение в новую популяцию лучших хромосом из старого поколения и лучших хромосом из нового поколения в отношении 3:7; помещение в новую популяцию лучших хромосом из старого поколения и худших хромосом из нового поколения в отношении 3:7. Описаны условия включения особи в популяцию в зависимости от вида функций принадлежности, параметры которых необходимо настраивать. Определен специфичный оператор мутации. Алгоритм имитации отжига использует упорядоченный случайный поиск, основываясь на аналогии с процессом охлаждения металла. Параметры функций принадлежности, полученные в результате субъективного разделения данных, формируют текущее решение, которое, при его изменении случайным образом, переходит в рабочее. Рабочее решение может опять вернуться в текущее, либо перейти в лучшее при условии уменьшения ошибки нечеткой модели. Рабочее решение может быть принято в качестве текущего, даже если его ошибка превышает ошибку текущего, в том случае, когда выполняется критерий допуска. При высокой температуре плохие решения принимаются чаще, чем отбрасываются. При снижении температуры вероятность принятия худшего решения уменьшается. Градиентный метод в практике обучения нечетких правил используется давно. Суть метода заключается в том, что последующее приближение функции получается из предыдущего движением в направлении, противоположном направлению градиента целевой функции. При настройке параметров нечетких моделей целевой функцией является среднеквадратичная ошибка, а вектор параметров определен на множестве параметров антецедентов и консеквентов правил. Постановка задачи настройки параметров нечетких моделей на основе фильтра Калмана приведена ниже. Состояние системы задается вектором значений параметров функций принадлежности. 11 Вычисляемой переменной, определенным образом связанной с состоянием системы, является выход нечеткой модели. Два последовательно определенных вектора состояния связаны рекуррентным уравнением (модель процесса). Определенным уравнением связаны вектор измерений и вектор состояний (модель измерения). Процессом для системы является движение по пространству решений задачи, шумы процесса и измерения определяются неточностью в определении нахождения решения в пространстве и неточностью в измерении координат решения, соответственно. Сходимость алгоритма и точность определения параметров нечеткой модели зависят от выбора значений матриц ковариаций шума процесса и шума измерения. Метод наименьших квадратов используется в работе для настройки параметров консеквентов. Здесь минимизируется сумма квадратов отклонений значений, полученных в результате нечеткого вывода, от наблюдаемых данных. Разработаны гибридные алгоритмы на базе основанных на производных (градиентный метод, фильтр Калмана, метод наименьших квадратов) и метаэвристических (генетический алгоритм и алгоритм имитации отжига) методов, направленные на объединение преимуществ этих двух групп. В работе предлагается три способа гибридизации. Первый способ – двухэтапная настройка параметров модели (рис. 1). На первом этапе параметры функций принадлежности настраиваются генетическим алгоритмом, а консеквенты – методом наименьших квадратов. На втором этапе параметры функций принадлежности и консеквенты настраиваются градиентным методом или алгоритмом фильтрации Калмана. II этап I этап ГА Параметры ФП ГМ ФК МНК Консеквенты Параметры ФП Консеквенты Рис. 1. Схема первого способа гибридизации (ГА – генетический алгоритм, МНК – метод наименьших квадратов, ГМ – градиентный метод, ФК – фильтр Калмана, ФП – функция принадлежности) 12 Такой подход исключает недостаток основанных на производных методов – неспособность проходить локальные минимумы, и недостаток генетического алгоритма – не всегда точное попадание в глобальный оптимум. Таким образом, используя на начальных этапах генетический алгоритм, вычисляется начальное приближение, локализованное в области экстремума, на заключительном этапе уточняется положение экстремума градиентным методом или фильтром Калмана. Второй способ. Применение градиентного метода или фильтра Калмана в качестве оператора мутации генетического алгоритма или совместно с ним. При этом часть особей популяции изменяются с использованием градиентного метода (фильтра Калмана), остальные мутируют обычным образом. После настройки антецедентов – настройка консеквентов методом наименьших квадратов. Третий способ – трехэтапная настройка параметров модели. Предлагается изменить первый способ гибридизации следующим образом: использовать алгоритм имитации отжига для формирования начальной популяции особей генетического алгоритма (рис. 2). Таким образом, сначала алгоритмом имитации отжига генерируется некоторое множество решений задачи, из которых формируется начальная популяция в генетическом алгоритме. После генетического алгоритма и метода наименьших квадратов настройка производится градиентным методом или алгоритмом фильтрации Калмана. АИО Особь 1 Особь 2 … Особь popul_size ГА МНК ГМ ФК Рис. 2. Схема третьего способа гибридизации (АИО – алгоритм имитации отжига, ГА – генетический алгоритм, МНК – метод наименьших квадратов, ГМ – градиентный метод, ФК – фильтр Калмана) В третьей главе рассматриваются вопросы проектирования и реализации программного комплекса настройки нечетких моделей на основе метаэвристических, основанных на производных и гибридных методов, приведена структурная схема программного комплекса, произведено описание входящих в комплекс классов и модулей и схема их взаимодействия. Программный комплекс выполняет следующие функции: 1) формирование базы нечетких правил, 2) настройка параметров антецедентов и консеквентов правил, 13 3) реализация нечеткого вывода, 4) представление результатов вывода. Основное требование – наличие описания поведения объекта, заданное в виде таблицы наблюдений. На рис. 3. представлена функциональная схема программного комплекса. Взаимодействие между классом нечеткой модели и классами, соответствующих методам настройки осуществляется с помощью дополнительного класса «Идентификация». Такой способ организации взаимодействия позволяет получить универсальные классы для нечеткой модели и методов настройки модели и упрощающая процесс добавления нового метода в программный комплекс. Вынесение модуля пользовательского интерфейса за пределы блока моделирования и расчетов, а также оформление блока моделирования и расчетов в виде dll-библиотеки позволяет включить разработанную систему классов в конкретную программную систему для построения нечеткой модели изучаемого объекта. Блок моделирования и расчетов Класс «Нечеткая модель» Класс «Генетический алгоритм» Класс «Алгоритм имитации отжига» Класс «Фильтр Калмана» Класс «Градиентный метод» Класс «Идентифика ция» Модуль интерфейса пользователя Пользователь Рис. 3. Функциональная структура программного комплекса настройки параметров нечетких моделей В четвертой главе содержится описание проведенных экспериментов над нечеткими моделями и алгоритмами настройки. 14 гибрид3 0,00049 гибрид2 0,00044 гибрид1 0,00056 ГМ 0,00559 МНК 0,00508 0,005 ФК 0,00208 0,010 АИО 0,00320 0,015 ГА 0,00262 0,020 начальная 0,02189 Для выявления оптимальных параметров алгоритма настройки модели было проведено исследование влияния параметров разработанных алгоритмов на ошибку нечеткой модели. Суть эксперимента заключалась в аппроксимации при помощи нечеткой модели следующих тестовых функций: 1) f ( x1 , x2 ) sin(2 x1 / )sin(2 x2 / ), x1 , x2 [5, 5] ; 2) f ( x1 , x2 ) x1 sin( x2 ), x1 , x2 [ / 2, / 2] ; 3) f ( x1 , x2 ) x1 x2 5, x1 , x2 , f ( x1 , x2 ) [0, 5] . Эти функции выбраны потому, что представляют различные типы: функции с несколькими экстремумами, гладкие функции и кусочно-линейные. На основе тестовых функций строились таблицы наблюдений, состоящие из 121 строки, и на основе таблиц наблюдений проводилось обучение нечетких моделей. Начальное решение одинаково для всех экспериментов: параметры функций принадлежности получены с помощью субъективного разделения пространства данных, параметры консеквентов получены с применением процедуры диффузии. В результате проведенных опытов выработаны рекомендации по использованию параметров рассматриваемых методов для решения задачи настройки параметров нечетких моделей. На рис. 4−6 представлены результаты работы разработанных алгоритмов для каждой из тестовых функций. В левом столбце гистограмм представлена ошибка начального решения, остальные столбцы соответствуют усредненным значениям среднеквадратичной ошибки нечеткой модели для каждого из алгоритмов 0,000 1 Рис. 4. Результаты эксперимента для функции f ( x1, x2 ) sin( 2 x1 / ) sin( 2 x2 / ), x1, x2 [5,5] 0,000 гибрид3 6,40E-05 гибрид3 0,00472 гибрид2 0,00451 МНК 0,00516 ГМ 0,00510 ФК 0,00571 гибрид1 0,00474 0,005 АИО 0,01669 0,010 ГА 0,00577 0,015 1 Рис. 5. Результаты эксперимента для функции f ( x1, x2 ) x1 sin( x2 ), x1, x2 [ / 2, / 2] начальная 0,01669 0,020 гибрид2 5,94E-06 гибрид1 7,27E-05 МНК 0,00175 0,002 ГМ 0,00156 0,004 ФК 9,80E-04 0,006 АИО 0,00141 0,008 ГА 0,00086 0,010 начальная 0,01065 15 0,000 1 Рис. 6. Результаты эксперимента для функции f ( x1, x2 ) x1 x2 5, x1, x2 , f ( x1, x2 ) [0,5] Анализ экспериментов с гибридными алгоритмами, позволил сделать следующие выводы: гибридные алгоритмы на основе метаэвристик и методов, основанных на производных, обеспечивают лучший результат по сравнению с использованием методов по отдельности; второй способ гибридизации (использование метода, основанного на производных, совместно с оператором мутации) приводит к наименьшим ошибкам вывода; это объясняется тем, в результате такой мутации получается особь с ошибкой, меньшей, чем до мутации, и генетический алгоритм работает с решениями из областей локальных минимумов; совместное применение двух метаэвристических методов дает результат хуже, чем применение метаэвристики совместно с методом, основанным на производных; это объясняется тем, что основанные на производных методы лучше справляются с задачей нахождения локального оптимума после сужения области поиска. 16 Эксперименты с аппроксимацией поверхностей, зашумленных аддитивным нормально распределенным шумом, показали, что ошибка нечеткого вывода возрастает линейно с ростом дисперсии шума. Для сравнения разработанных гибридных алгоритмов с существующими подходами построения нечетких моделей было проведено исследование результатов аппроксимации следующих нелинейных функций: а) б) в) г) sin 125 /( x 1,5) f ( x) 1 10 exp 100 ( x 0, 7) 2 , x [0, 1] ; x 0,1 f ( x1 , x2 ) (1 x12 x21,5 ) 2 , x1 , x2 [1, 5] ; f ( x1 , x2 ) sin(2 x1 / )sin(2 x2 / ), f ( x1 , x2 , x3 ) 1 x 0,5 1 1 2 1,5 3 x x , x1 , x2 [5, 5] ; x1 , x2 , x3 [1, 5] . Значения среднеквадратичной ошибки аппроксимации, получаемой разработанными алгоритмами и аналогами для этих функций представлены в табл. 1. Сравнивая полученные результаты, можно сделать вывод, что предлагаемые в работе гибридные алгоритмы в большинстве рассмотренных случаев позволяют достичь меньших ошибок по сравнению с рассмотренными аналогами. Таблица 1 Значения среднеквадратичной ошибки аппроксимации функций а)г) при настройке разработанными гибридными алгоритмами и алгоритмами других авторов тестовая количество среднеквадратичная алгоритм функция правил ошибка S. Mitaim и B. Kosko 12 1,426 D. Lisin and M.A. Gennert 12 0,247 а первый гибридный алгоритм 12 0,045 второй гибридный алгоритм 12 0,013 третий гибридный алгоритм 12 0,027 9 0,146 16 0,051 I. Rojas и др 25 0,026 36 0,017 M. Sugeno и T. Yasukawa 6 0,079 б K. Nozaki и др 25 0,0085 You-Wei Teng и др 4 0,016 Z.-J.Lee 3 0,0028 H Wang. и др. 3 0,0052 G. Tsekouras и др. 6 0,0108 17 тестовая функция алгоритм первый гибридный алгоритм б второй гибридный алгоритм третий гибридный алгоритм в г Z.-J.Lee первый гибридный алгоритм второй гибридный алгоритм третий гибридный алгоритм M. Sh.Aliyari первый гибридный алгоритм второй гибридный алгоритм третий гибридный алгоритм Продолжение таблицы 1 количество среднеквадратичная правил ошибка 9 0,0075 16 0,0027 25 0,0013 9 0,0065 16 0,0021 25 0,0007 9 0,0068 16 0,0023 25 0,0016 25 менее 0,001 25 0,00055 25 0,00044 25 0,00049 9 0,00243 27 0,00206 27 0,00081 27 0,00177 В пятой главе рассмотрены алгоритмы построения нечеткого аппроксиматора атмосферных температурных полей: алгоритмы работы с файлами данных формата netCDF, механизмы обучения и проверки нечеткого аппроксиматора. Выделим две основных фазы построения нечетких аппроксиматоров: обучение и проверка правильности построенного аппроксиматора. Обучение подразумевает определение структуры и настройку параметров нечеткого аппроксиматора. Таблица наблюдений строится на основе информации из хранилища данных атмосферных температурных полей NCEP (пространственная сетка 2.5 ох2.5о, высотная сетка 17 уровней 10-1000 миллибар), которая построена на стандарте хранения и работы с научными данными netCDF (network Common Data Form). Для определения параметров нечеткой модели используются предложенные методы. На вход аппроксиматора поступают следующие данные: координаты точки прогнозирования (b*, l*), в которой необходимо определить значение температуры; координаты узлов пространственной сетки 44 вместе с известной температурой в этих 18 узлах (b i , l j , t i , j ) (рис. 7). Выбор такой сетки обусловлен критерием компактности базы правил. b i +2 широта b i+1 b*, l* bi b i-1 b i-2 lj-2 lj-1 lj lj+1 долгота lj+2 Рис.7. Входные данные аппроксиматора в виде фрагмента пространственной сетки По данным пространственной сетки формируется обучающая и тестовая выборки. Тестовая выборка содержит две строки: (b i - 1 , l j , t i 1,j ) и (b i , l j - 1 , t i , j - 1 ) . На обучающей выборке формируется нечеткая модель, которая содержит следующие четырнадцать правил: 1: ЕСЛИ b = «около b i + 1 » И l = «около l j - 2 » Т О t i + 1 , j - 2 ; 2: ЕСЛИ b = «около b i + 1 » И l = «около l j - 1 » Т О t i + 1 , j - 1 ; 3: ЕСЛИ b = «около b i + 1 » И l = «около l j » Т О t i + 1 , j ; 4: ЕСЛИ b = «около b i + 1 » И l = «около l j + 1 » Т О t i + 1 , j + 1 ; 5: ЕСЛИ b = «около b i » И l = «около l j - 2 » Т О t i , j - 2 ; 6: ЕСЛИ b = «около b i » И l = «около l j » Т О t i , j ; 7: ЕСЛИ b = «около b i » И l = «около l j + 1 » Т О t i , j + 1 ; 8: ЕСЛИ b = «около b i - 1 » И l = «около l j - 2 » Т О t i - 1 , j - 2 ; 9: ЕСЛИ b = «около b i - 1 » И l = «около l j - 1 » Т О t i - 1 , j - 1 ; 10: ЕСЛИ b = «около b i - 1 » И l = «около l j + 1 » Т О t i - 1 , j + 1 ; 11: ЕСЛИ b = «около b i - 2 » И l = «около l j - 2 » Т О t i - 2 , j - 2 ; 12: ЕСЛИ b = «около b i - 2 » И l = «около l j - 1 » Т О t i - 2 , j - 1 ; 13: ЕСЛИ b = «около b i - 2 » И l = «около l j » Т О t i - 2 , j ; 14: ЕСЛИ b = «около b i - 2 » И l = «около l j + 1 » Т О t i - 2 , j + 1 ; где b и l – входные переменные (широта и долгота, соответственно), t – выходная переменная (температура); «около b i » или «около l j » – функции принадлежности, определенные на переменных широты и долготы, соответственно. После формирования структуры аппроксиматора необходимо идентифицировать параметры функций принадлежности и параметры 19 консеквентов. Идентификация параметров производилась с помощью разработанных гибридных методов. Эксперимент проводился на пространственной сетке 55 (рис. 7), контрольной была точка (b i , l j , t i , j ) . Тестовая выборка состояла из четырех точек: (b i , l j - 1 , t i , j - 1 ) , (b i + 1 , l j , t i + 1 , j ) , (b i , l j + 1 , t i , j + 1 ) , (b i - 1 , l j , t i - 1 , j ) . Остальные двадцать точек использовались в качестве обучающих, на их основе строилась база из двадцати правил. Произведены серии экспериментов по проверке качества аппроксимации в различных климатических поясах. В качестве тестовых климатических зон были выбраны следующие зоны: экваториальная зона – 5˚с.ш.; зона умеренных широт – 40˚с.ш. и полярных широт – 80˚с.ш. Для каждой точки проводилась аппроксимация по всем имеющимся уровням давления (рис. 8). Рис.8. Зависимость ошибки от давления Анализ результатов аппроксимации в различных климатических зонах показал, что ошибка аппроксимации при помощи разработанной системы не превышает 0,25К. Такой результат является приемлемым для проведения численных расчетов (ошибка представления профиля температуры в различных задачах атмосферной оптики не должна быть выше 0,5К в тропосфере и 1К в стратосфере). Заключение. Работа направлена на решение актуальной проблемы разработки технологии построения нечетких моделей на основе наблюдаемых данных, имеющей важное значение для решения задач аппроксимации, классификации, моделирования и управления. 20 Приводится обобщение основных результатов диссертационной работы, которые состоят в следующем: 1. Разработан и исследован алгоритм формирования базы нечетких правил на основе субъективного разделения данных и процедуры диффузии. Нечеткие правила и функции принадлежности покрывают весь универсум, на котором они определены. Переход от одной функции принадлежности к другой не содержит разрывов. 2. Разработаны алгоритмы настройки параметров на основе градиентного метода, фильтра Калмана, генетического алгоритма, метода наименьших квадратов и алгоритма имитации отжига. Сходимость алгоритма зависит от правильности выбора параметров метода, которым осуществляется настройка. После проведения ряда экспериментов, сформированы рекомендации по выбору параметров разработанных алгоритмов. 3. Разработаны гибридные алгоритмы на основе классических (градиентный метод, фильтр Калмана, метод наименьших квадратов) и метаэвристических (генетический алгоритм и алгоритм имитации отжига) методов. В результате экспериментов получено, что такое объединение повышает качество решений по сравнению с использованием методов по отдельности. Разработанные алгоритмы позволяют уменьшить ошибку аппроксимации по сравнению с алгоритмами, предлагаемыми другими авторами. 4. Разработан программный комплекс, который, в отличие от известных систем нечеткого моделирования Fuzzy Logic Toolbox, CubiCalc, fuzzyTech, ориентированных на знания эксперта, позволяет формировать нечеткие модели, как на основе знаний эксперта, так и на основе наблюдаемых данных. Разработанная система классов может быть встроена в конкретную программную систему для построения нечеткой модели изучаемого объекта. 5. Разработана и реализована программная система, позволяющая аппроксимировать данные температурных полей при помощи нечетких моделей. Система включает в себя средства настройки нечетких моделей и интерфейс для доступа к данным формата netCDF. Разработанные в рамках системы алгоритмы универсальны и могут быть применены не только к базам атмосферных температурных полей, но и к другим данным формата netCDF. 21 Список публикаций по теме работы 1. Ходашинский И.А., Лавыгина А.В. Применение генетического алгоритма для обучения нечетких систем типа синглтон // Обозрение прикладной и промышленной математики. – 2007. – т. 14, вып. 6. – С. 1143–1144 (список ВАК). 2. Ходашинский И.А., Дудин П.А., Лавыгина А.В. Биоинспирированные методы параметрической идентификации нечетких моделей // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2007. – С.81–92 (список ВАК). 3. Ходашинский И.А., Лавыгина А.В. Оценивание величин как основа построения имитационно-лингвистических систем // Сборник статей, посвященных 40-летнему юбилею со дня образования кафедры автоматизации обработки информации. – Томск: Томск. гос. ун-т управления и радиоэлектроники. – 2005. – С. 215–220. 4. Лавыгина А.В. Формирование нечетких правил по данным наблюдений // Фундаментальные проблемы новых технологий в 3-м тысячелетии: Материалы 3-й Всероссийской конференции молодых ученых. Томск: изд-во Института оптики атмосферы СО РАН. – 2006. –С. 682-684. 5. Лавыгина А.В. Применение генетических алгоритмов для параметрической идентификации нечетких моделей // Материалы XLV Международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии, 2007. – С. 195–196. 6. Лавыгина А.В. Структурная идентификация нечетких моделей типа ноль с использованием генетического алгоритма // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2007» — Томск, 2007. – C. 175–177. 7. Бредихин М.Ю., Лавыгина А.В., Никитин Е.В., Ходашинский И.А., Хон В.Б. Программная система параметрической идентификации нечетких моделей типа Мамдани, основанная на генетическом алгоритме // Журнал «Компьютерные учебные программы и инновации». – М: ГОСКООРЦЕНТР, МФЮА, РУИ. – 2007. – N 7. – С. 162–163. 8. Ходашинский И.А., Лавыгина А.В. Идентификация нечетких моделей: проект и реализация // Труды Второй научно-методической конференции «Групповое проектное обучение» Т.2. — Томск: Томск. гос. ун-т управл. и радиоэлектроники, 2007. – С. 78–80. 9. Лавыгина А.В. Фильтр Калмана в задаче настройки антецедентов правил нечетких моделей / Материалы XLVI Международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии. Новосиб. гос. университет. Новосибирск, 2008. – С. 200–201. 10. Головкина М.А, Лавыгина А.В. Влияние типа функций принадлежности на ошибку вывода нечетких моделей при настройке генетическим алгоритмом // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. Томск, 2008 г.: В пяти частях. Ч.2. – Томск. В-Спектр, 2008. – С. 72–75. 11. Лавыгина А.В. Генетический алгоритм и основанные на производной методы в оптимизации нечетких моделей // Материалы докладов 22 Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. Томск, 2008 г.: В пяти частях. Ч.2. – Томск. В-Спектр, 2008. – С. 81–84. 12. Лавыгина А.В., Осадченко Д.А. Применение алгоритма фильтрации Калмана для параметрической идентификации нечетких моделей типа синглтон // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. Томск, 2008 г.: В пяти частях. Ч.2. – Томск. В-Спектр, 2008. – С. 86–89. 13. Ходашинский И.А., Лавыгина А.В. Применение генетического алгоритма и фильтра Калмана для идентификации нечетких моделей // Математические методы в технике и технологиях – ММТТ-21: сб. трудов XXI Международ. Науч.конф. в 10 т. Т.2. / под общ.ред. В.С. Балакирева. Саратов: Сарат. гос. техн.ун-т, 2008. – С. 204–207. 14. Лавыгина А.В., Осадченко Д.А., Ходашинский И.А. Программа параметрической идентификации нечетких моделей типа синглтон на основе фильтра Калмана // Компьютерные учебные программы и инновации – 2008. – № 7. – С. 94. 15. Ходашинский И.А., Дудин П.А., Лавыгина А.В. Гибридные методы оптимизации параметров нечетких моделей // Труды Международной научнотехнической конференции «Интеллектуальные системы» (IEEE AIS`08) Т.2. – М.: Физматлит, 2008. – С. 105–110. 16. Лавыгина А.В. Особенности использования генетического алгоритма и фильтра Калмана в задаче настройки параметров нечетких моделей // Перспективы развития телекоммуникационных систем и информационные технологии: труды международной конференции – СПб.: Изд-во Политехн. унта, 2008. – С. 242–246. 17. Ходашинский И.А., Гнездилова В.Ю., Дудин П.А., Лавыгина А.В. Основанные на производных и метаэвристические методы идентификации параметров нечетких моделей // Труды VIII международной конференции "Идентификация систем и задачи управления" SICPRO '08. Москва, 26-30 января 2009 г. Институт проблем управления им. В.А. Трапезникова РАН. М: Институт проблем управления им. В.А. Трапезникова РАН, 2009. – С. 501-529 18. Эпштейн Д.В., Лавыгина А.В. Нечеткий аппроксиматор атмосферных температурных полей // Материалы докладов Всероссийской научнотехнической конференции студентов, аспирантов и молодых ученых. Томск, 2009 г.: В пяти частях. Ч.2. —Томск. В-Спектр, 2009. – С. 99–101. 19. Лавыгина А.В. Ходашинский И.А. Нечеткие системы: учебнометодическое пособие к лабораторным работам по дисциплине «Базы знаний» / А.В. Лавыгина, И.А. Ходашинский. – Томск. Томск. гос. ун-т систем управления и радиоэлектроники, 2009. – 44 с. Диссертант выражает искреннюю благодарность за ценные указания и поддержку научному руководителю д.т.н. Ходашинскому И.А., профессору кафедры АСУ, д.т.н. Катаеву М.Ю., аспиранту каф. АОИ Дудину П.А., выпускнику каф. АОИ Эпштейну Д.В и студентке каф. АОИ Осадченко Д.А.
