Ефимов Антон Сергеевич МЕТОДЫ СТРУКТУРНО

На правах рукописи
Ефимов Антон Сергеевич
МЕТОДЫ СТРУКТУРНО-ПАРАМЕТРИЧЕСКОГО СИНТЕЗА
АДАПТИВНЫХ НЕЧЁТКИХ СИСТЕМ НА ОСНОВЕ
ЭМПИРИЧЕСКИХ ДАННЫХ
Специальность 05.13.01 – «Системный анализ, управление и обработка информации (в науке и промышленности)» по техническим наукам
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Нижний Новгород – 2011
Работа выполнена на кафедре математического обеспечения ЭВМ Федерального
государственного бюджетного образовательного учреждения высшего профессионального образования «Нижегородский государственный университет им.
Н.И. Лобачевского»
Научный руководитель:
кандидат технических наук, доцент
Карпенко Сергей Николаевич
Официальные оппоненты: доктор технических наук, профессор
Милов Владимир Ростиславович
кандидат технических наук
Бухнин Алексей Викторович
Ведущая организация:
Объединённый институт ядерных исследований
(ОИЯИ, г. Дубна)
Защита диссертации состоится «22» декабря 2011 года в ____ часов в ауд. 1258 на
заседании диссертационного совета Д212.165.05 при Нижегородском государственном техническом университете им. Р.Е. Алексеева по адресу: 603600, г. Нижний Новгород, ул. Минина, 24.
С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. Р.Е. Алексеева
Автореферат разослан «____» ноября 2011 года.
Ученый секретарь диссертационного совета
кандидат технических наук
А.С. Суркова
2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. Технология нечеткого логического вывода
нашла широкое применение для решения задач машинного обучения, или обучения по прецедентам, основанных на обнаружении закономерностей в эмпирических данных, идентификации неизвестных зависимостей. Выгодные преимущества нечетких продукционных систем обусловлены тем, что, с одной стороны, они
являются универсальными аппроксиматорами, а с другой – позволяют формализовать неизвестную зависимость в виде базы правил типа «если-то» с понятным
человеку механизмом нечеткого логического вывода.
Основные трудности при использовании нечетких продукционных систем
для решения задач машинного обучения (задач распознавания образов, классификации, восстановления неизвестных зависимостей, прогнозирования) обусловлены необходимостью проведения их структурной и параметрической идентификации. Традиционно исходный набор нечетких продукционных правил формулируется в процессе длительных собеседований с экспертами и может оказаться неполным, неточным или противоречивым. Экспертам также свойственна субъективность в выборе параметров функций принадлежности (ФП) термов лингвистических переменных (ЛП) в высказываниях нечетких правил, а также существенные трудности при идентификации систем с большим количеством входов. Затем
полученная начальная система настраивается (параметрически оптимизируется) в
процессе обучения по прецедентам, определяя суть адаптивных нечетких систем.
При этом особый интерес многих исследователей вызывают адаптивные нечеткие
системы, имеющие автоматические процедуры извлечения знаний в процессе
анализа имеющихся эмпирических данных, полученных в процессе наблюдений,
и исключающие участие экспертов в процессе идентификации.
Исследованиям в этой области посвящены работы ученых С. Осовского,
В.В. Борисова, В.В. Круглова, А. Пегата, Ж.-С. Янга (J.-S. Jang), Ф. Херреры (F.
Herrera), М. Гупты (M. Gupta), Ч. Карра (Ch. Karr), М. Лозано (M. Lozano), Ж. Касиласа (J. Casillas), Ченг-Ян Лина (Cheng-Jian Lin), Е. Мамдани (E. Mamdani), М.
Сугено (M. Sugeno), К. Танаки (K. Tanaka), Л. Ванга (L. Wang) и др. К настоящему
моменту не существует какого-либо одного общепризнанного метода идентификации и оптимизации нечетких систем, поэтому актуальной задачей является разработка и поиск новых, более эффективных методов, что особенно важно для частичной или полной автоматизации решения сложных профессиональных задач в
различных прикладных областях человеческой деятельности.
Так в силу повсеместной информатизации перспективной областью применения адаптивных нечетких систем является решение одной из фундаментальных
проблем медицины, заключающейся в повышении эффективности и безопасности
терапии с помощью лекарственных средств различных заболеваний посредством
точной оценки границ диапазона индивидуальных эффективных доз на основе накопленных эмпирических данных, отражающих опыт проведения терапии и, как
правило, характеризующихся разнородностью и неполнотой (в частности, наличием пропусков). Возникающие при этом задачи оценки границ диапазона индивидуальных эффективных доз, оценки исходов терапии можно представить как
3
задачи обучения по прецедентам, эффективность решения которых с помощью
адаптивных нечетких систем дополнительно обеспечивается автоматическим вербальным учетом влияния многих признаков по сравнению с традиционно применяемыми расчетными методами определения индивидуальных доз, учитывающими влияние весьма ограниченного количества признаков и зачастую приводящими к передозировкам лекарственными препаратами.
Целью диссертационной работы является разработка методов структурнопараметрического синтеза адаптивных нечетких систем на основе эмпирических
данных с учётом их возможной разнородности и наличия пропусков, а также
оценка эффективности разработанных методов при решении практических задач,
в частности, задачи оценки индивидуальных лекарственных доз.
В соответствии с целью в диссертации поставлены следующие задачи:
1. Предложить методы структурно-параметрической идентификации и параметрической оптимизации адаптивных нечетких систем на основе эмпирических данных без участия экспертов. Методы должны учитывать специфику доступных эмпирических данных, обусловленную их разнородностью (наличием количественных и категориальных признаков) и наличием пропусков.
2. Разработать алгоритм автоматического отбора информативных признаков синтезируемых адаптивных нечетких систем с целью уменьшения их структурной сложности.
3. Создать программную систему, реализующую предложенные методы и
алгоритмы. Оценить их эффективность при решении прикладных задач.
4. Разработать метод оценки индивидуальных лекарственных доз, сводящийся к решению комбинации задач машинного обучения с помощью предложенных методов синтеза адаптивных нечетких систем, и оценить его эффективность.
Методы исследования. Работа базируется на методах мягких вычислений
(нечеткая логика, искусственные нейронные сети, генетические и иммунные алгоритмы и их гибридные модификации), кластеризации эмпирических данных,
математической статистики, баз данных и объектно-ориентированного программирования.
Научная новизна работы состоит в следующем:
1. Разработан метод структурно-параметрической идентификации нечеткой системы TSK0 на основе эмпирических данных. Метод основан на модификации алгоритма кластеризации эмпирических данных в процессе конкурентного
обучения сети Кохонена. В отличие от известных методов, разработанный метод
обеспечивает обработку пропущенных значений признаков в элементах обучающей выборки.
2. Разработан алгоритм параметрической оптимизации нечеткой системы
TSK0. Алгоритм основан на объединении преимуществ иммунного алгоритма
клональной селекции и метода роя частиц. В отличие от известных алгоритмов, в
разработанном алгоритме применяется усовершенствованная стратегия воспроизводства кандидатов на оптимальное решение с помощью гибридного иммунного
4
оператора гипермутации и введенного оператора улучшения аффинитета популяции. Предложена параллельная реализация разработанного алгоритма.
3. Предложен алгоритм автоматического отбора информативных признаков синтезируемых нечетких систем с целью снижения их структурной сложности. Алгоритм основан на ранжировании признаков по убыванию значений коэффициентов их относительной значимости. В отличие от известных алгоритмов,
разработанный алгоритм предполагает вычисление коэффициентов относительной значимости признаков на основе оценок обобщающей способности вспомогательных систем TSK0, синтезируемых с помощью разработанных методов.
4. Разработан метод оценки индивидуальных лекарственных доз по значениям индивидуальных признаков пациента. Показано, что оценка индивидуальных лекарственных доз сводится к поэтапному решению задач обучения по прецедентам (восстановления неизвестных зависимостей и классификации) с помощью разработанной методологии синтеза адаптивных нечетких систем TSK0. В
отличие от известных подходов, разработанный метод обеспечивает более высокую точность оценки величины индивидуальной эффективной дозы.
Практическая значимость и ценность работы заключается в создании
программной системы для решения задач машинного обучения с помощью нечеткой системы TSK0, синтезируемой из эмпирических данных с использованием
разработанных методов, а также для оценки индивидуальных лекарственных доз
при лечении различных заболеваний.
Апробация работы. Основные положения и результаты диссертационной
работы докладывались и обсуждались на итоговой научной конференции учебнонаучного инновационного комплекса «Модели, методы и программные средства»
(Нижний Новгород, 2007 г.), конференциях «Технологии Microsoft в теории и
практике программирования» (Нижний Новгород, 2006, 2007, 2008, 2009 гг.),
Всероссийском конгрессе «Современные технологии в эндокринологии (тиреоидология, нейроэндокринология, эндокринная хирургия)» (Москва, 2009 г.), Всероссийской научно-практической конференции с международным участием «Высокотехнологичные методы диагностики и лечения заболеваний сердца, крови и
эндокринных органов» (Санкт-Петербург, 2010 г.), а также на семинарах кафедры
математического обеспечения ЭВМ и кафедры информатики и автоматизации научных исследований факультета ВМК ННГУ.
Реализованный в рамках прикладной программной системы метод оценки
индивидуальных лекарственных доз прошел апробацию и внедрен в практическую деятельность радиоизотопной лаборатории МЛПУ «Городская больница №
13» г. Н. Новгорода (имеется акт о внедрении), что позволило повысить эффективность и безопасность радиойодтерапии (РЙТ) болезни Грейвса (БГ).
Публикации. По теме диссертации опубликовано 12 печатных работ, из
них 3 статьи в ведущих рецензируемых журналах из списка ВАК РФ. Получен 1
патент РФ на изобретение. Список публикаций приведен в конце автореферата.
Структура и объем работы. Диссертационная работа состоит из введения,
четырех глав, заключения, списка литературы и приложения. Общий объем рабо5
ты составляет 149 страниц, включая 26 рисунков и 13 таблиц. Список литературы
включает 139 наименований.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы исследования, дана общая характеристика работы, сформулированы её цель и задачи, определяются новизна и
практическая значимость работы.
В главе 1 «Адаптивные нечеткие продукционные системы» дано представление о нечетких продукционных системах как об эффективном средстве решения задач обучения по прецедентам.
В разделе 1.1 дана постановка задачи обучения по прецедентам. Пусть задано множество объектов (наблюдений) X , множество допустимых ответов Y и
существует функция f * : x ∈ X → y ∈ Y , значения которой y (t ) = f * ( x(t )) известны на конечном подмножестве объектов { x(t )} ⊂ X , t = 1, ..., N . Совокупность пар
«объект-ответ», называющихся прецедентами, составляет обучающую выборку
DN = { x(t ), y (t ) } , t = 1, ..., N . Цель обучения по прецедентам (идентификации не-
известной зависимости f * ) состоит в построении функции f : x ∈ X → y ∈ Y ,
наилучшим образом приближающей f * на всем множестве X . Функция f зависит также от вектора параметров w : f ( x, w), w ∈W .
Если Y = {Y1 , ..., YM } , то имеется задача классификации на M классов. Если
Y = \ , то имеется общая задача восстановления неизвестной зависимости.
Каждый элемент множества объектов X характеризуется значениями конечного набора признаков x1 , ..., xn , являющихся результатом измерения некоторых характеристик объекта. Вектор x(t ) = x1 (t ), ..., xn (t ) будем называть признаковым описанием объекта x(t ) ∈ X .
Схему построения функции f ( x, w0 ) на основе эмпирических данных можно представить в виде предварительного этапа и этапа обучения. На предварительном этапе осуществляется обработка доступных эмпирических данных, формирование обучающей и тестовой выборок: DN = { x(t ), y (t ) } , t = 1, ..., N и
DT = { x(t ), y (t ) } , t = 1, ..., T . Этап обучения включает в себя три шага:
• структурная идентификация: определение структуры функции f и пространства параметров W ;
• параметрическая идентификация и оптимизация: поиск функции
f ( x, w0 ) , минимизирующей функционал эмпирического риска w0 = arg min J ( w),
w∈W
N
1
∑ L( y(t ), f ( x(t ), w)), L( y(t ), f ( x(t ), w)) – функция потерь, характеN t =1
ризующая величину ошибки для элемента x(t ) . При решении задач классификации
будем
использовать
бинарную
функцию
потерь
где J ( w) =
6
L( y (t ), f ) = [ f ( x(t ), w)) ≠ y (t )] (в данном случае J ( w) – частота ошибок классификации на выборке DN ). При решении задач восстановления неизвестных зависимостей
будем
использовать
квадратичную
функцию
потерь
2
L( y (t ), f ) = ( f ( x(t ), w)) − y (t )) (в данном случае J ( w) – средняя квадратичная
ошибка на выборке DN );
• верификация: анализ качества построенной зависимости с помощью эмпирических методов оценки ее обобщающей способности на тестовой выборке.
В разделе 1.2 описаны основные компоненты нечетких продукционных
систем и алгоритмы нечеткого логического вывода.
В разделе 1.3 представлена структура адаптивной нечеткой продукционной
системы, имеющей автоматические процедуры генерации базы правил по имеющимся эмпирическим данным без участия экспертов и способной обучаться на
примерах с целью собственной настройки для повышения качества работы.
В разделе 1.4 приведен обзор современных методов структурнопараметрической идентификации адаптивных нечетких систем, проанализированы их преимущества и недостатки.
В разделе 1.5 проанализированы современные методы параметрической оптимизации адаптивных нечетких систем. Отмечается отсутствие какого-либо одного общепризнанного метода идентификации и оптимизации нечетких систем,
подчеркивается актуальность задачи разработки новых, более эффективных методов. Намечается перспективное направление разработки: использование вычислительно менее затратных методов кластеризации эмпирических данных для проведения структурной идентификации нечеткой системы вместе с эффективными
гибридными алгоритмами ее параметрической оптимизации, объединяющими
преимущества таких современных поисковых алгоритмов как иммунного алгоритма клональной селекции и метода роя частиц.
В разделе 1.6 представлены основные методы верификации адаптивных нечетких систем.
Глава 2 «Разработка гибридных методов структурно-параметрического
синтеза нечетких систем» посвящена предложенным в работе методам синтеза
нечеткой системы TSK0 в процессе её идентификации и параметрической оптимизации.
В разделе 2.1 обосновывается выбор нечеткой системы TSK0, основанной
на базе нечетких продукционных правил вида
ЕСЛИ ( x1 есть A1k ) И ...И ( xn есть Ank ), ТО ( y = b0k ), k = 1, ... , K ,
где K – количество продукционных правил в базе правил, Aik (i = 1, ... , n) – термы
⎛ ( x − c )2 ⎞
входных ЛП xi с гауссовыми ФП μik ( xi ) = exp ⎜ − i 2ik ⎟ , cik и aik – параметры
2aik ⎠
⎝
гауссовой функции, y – выходная переменная, b0k – константы. В качестве метода фаззификации используется синглетон-фаззификация, в качестве t-нормы процедуры агрегирования используется оператор Ларсена T = μ A ⋅ μ B .
7
Формально рассмотренная нечеткая система представляет зависимость
f : X × W → Y , y ( x ) = f ( x, w), где x ∈ X ⊂ \ n – вектор значений входных переменных, y ∈ Y ⊂ \ – значение выходной переменной, w∈W ⊂ \ K (2 n+1) – вектор
параметров системы. Пространство параметров системы составляют параметры
используемых гауссовых ФП термов ЛП и константы в заключениях правил базы
нечетких продукционных правил:
W = WP ∪ WC , WP = {(cik , aik )} ⊂ \ 2 nK , WC = {b0 k } ⊂ \ K , i = 1, ... , n, k = 1, ... , K .
В разделе 2.2 описывается этап предварительной обработки эмпирических
данных: представление бинарных и категориальных входных переменных в виде
количественных с закодированными значениями, процедура нормализации значений входных переменных по обучающей выборке с помощью минимаксного метода с целью приведения их к безразмерному виду с диапазоном возможных значений [0, 1].
В разделе 2.3 представлен метод структурно-параметрической идентификации нечеткой системы TSK0, основанный на модифицированной процедуре кластеризации эмпирических данных в процессе конкурентного обучения сети Кохонена, предусматривающей одновременную обработку пропущенных значений
входных переменных элементов обучающей выборки.
Суть модификации состоит в использовании в качестве меры близости элементов в процессе кластеризации специальной метрики, учитывающей типы используемых входных переменных и возможное наличие пропусков их значений у
поданного на вход сети элемента x(t ) :
n n
d ( x(t ), ck ) = H k ∑ hi ( xi (t ) − сik )2 ,
∑ nk i=1
k =1
где hi = 0 , если 1) значение xi (t ) пропущено либо 2) значение xi (t ) не пропущено
и xi (t ) ≠ cik и входная переменная xi соответствует исходной категориальной переменной; hi = 1 – в противном случае, ck , k = 1, ..., H – вектора весов связей нейронов выходного слоя сети, nk – общее количество выигрышей нейрона выходного слоя с индексом k с начала обучения. Использование данной метрики подразумевает динамически изменяемую в процессе обучения структуру сети Кохонена: для очередного входного элемента с пропусками из входного слоя сети изымаются нейроны, соответствующие неизвестным значениям входных переменных.
Также из сети изымаются все связи исключенных нейронов входного слоя. Для
адекватного выявления сетью структуры входных данных в процедуру кластеризации также вводится механизм «справедливости» – масштабирование количеством побед нейрона с начала обучения. На каждом шаге обучения нейронпобедитель получает право уточнить веса своих связей в направлении предъявленного входного элемента: cw = cw + α w ( x(t ) − cw ), а его ближайший конкурент – в
противоположном направлении: cr = cr − α r ( x(t ) − cr ) .
8
Далее описывается специальный эвристический алгоритм инициализации
начальной конфигурации кластеров по имеющейся обучающей выборке.
В результате процедуры кластеризации будет сформировано K ≤ H кластеров: избыточные кластеры, координаты центров которых в пространстве нормализованных входных переменных оказались вне области допустимых значений,
автоматически исключаются из рассмотрения. Каждый полученный кластер будем ассоциировать с одним правилом базы правил идентифицируемой системы
TSK0. Количество лингвистических переменных системы соответствует количеству входных переменных xi , i = 1, ..., n , универсы всех ЛП составляют [0, 1] в силу нормализованности значений входных переменных.
Параметры гауссовых ФП термов ЛП в простейших высказываниях антецедента каждого правила определяются в результате проектирования центра соответствующего кластера на координатные оси пространства входных переменных.
При этом компоненты вектора координат центра k − го кластера определяют значения параметров сik , i = 1, ..., n гауссовых ФП μ k термов Aik в простейших выAi
сказываниях ( xi есть Aik ) антецедента k − го правила. Значения параметров
aik , i = 1, ..., n гауссовых ФП термов ЛП определяются на основе эвристики блиn
жайшего соседа: aik =
∑ hi (сih − сik )2
i =1
, где ch – вектор координат центра кластера,
r
ближайшего к текущему кластеру с вектором координат ck , r = 1.5 – параметр перекрытия графиков ФП термов ЛП.
Параметры b0 k , k = 1, ..., K определяются как отношения суммы масштабированных значений выходной переменной и суммы степеней истинности антецедентов правила по всем элементам обучающей выборки:
N
b0 k =
∑ α k ( x(t )) ⋅ y (t )
t =1
N
∑ α k ( x(t ))
n
,
α k ( x(t )) = ∏ μik ( xi (t )), k = 1, ..., K .
i =1
t =1
В разделе 2.4 предложен гибридный параллельный алгоритм параметрической оптимизации начальной идентифицированной системы TSK0.
Задача параметрической оптимизации нечеткой продукционной системы
TSK0 y ( x) = f ( x, w) состоит в минимизации средней квадратичной ошибки системы на обучающей выборке DN = { x(t ), y (t ) } , t = 1, ..., N :
2
⎛ K ⎡n
⎞
⎤
⎛ ( xi (t ) − cik ) 2 ⎞
exp
−
⋅
b
⎟
⎜ ∑ ⎢∏
⎜
⎟ 0k ⎥
2aik2
1 N
1 N ⎜ k =1 ⎣ i =1
⎝
⎠
⎟
2
⎦
J ( w) = ∑ ( f ( x(t ), w)) − y (t )) = ∑ ⎜
− y (t ) ⎟ → min,
K ⎡ n
N t =1
N t =1
⎛ ( xi (t ) − cik ) 2 ⎞ ⎤
⎜
⎟
⎢∏ exp ⎜ −
⎟⎥
2
⎜ k∑
⎟
2
a
1
=
i
1
=
ik
⎝
⎠⎦
⎣
⎝
⎠
где w = (c11, a11 , ..., cn1 , an1 , b01 , ..., cik , aik , ..., b0 k , ..., c1K , a1K , ..., cnK , anK , b0 K ) –
9
вектор параметров системы, включающий параметры cik , aik гауссовых ФП термов ЛП xi , i = 1, ..., n и коэффициенты b0 k , k = 1, ... , K полиномов в заключениях
правил базы нечетких продукционных правил. На значения параметров aik наложены ограничения: aik > 0, i = 1, ... , n, k = 1, ... , K . На значения параметров cik наложены ограничения, обусловленные нормализованностью значений соответствующих входных переменных: 0 ≤ cik ≤ 1, i = 1, ... , n, k = 1, ... , K .
Для решения поставленной задачи предлагается гибридный алгоритм, основанный на классическом иммунном алгоритме клональной селекции с модифицированным оператором гипермутации на основе поисковой стратегии метода роя
частиц. Кроме того, в общую схему классического иммунного алгоритма клональной селекции добавлен оператор улучшения аффинитета популяции: вместо
клонирования и гипермутации всей популяции антител половина ее элементов с
большими значениями аффинитета выделяется в отдельную подпопуляцию, оптимизируемую методом роя частиц и в полном составе переходящую на следующую итерацию алгоритма. При этом на каждой итерации алгоритма затратные
вычислительные процедуры улучшения аффинитета популяции (шаги 6.3, 6.4 алгоритма на подпопуляции Pt SUB1 ∈ Pt ), клонирования и гипермутации антител
(шаги
8,
9
алгоритма
для
каждого
элемента
подпопуляции
SUB 2
SUB1
SUB 2
SUB1
SUB 2
Pt
∈ Pt , Pt
∪ Pt
= Pt , Pt
∩ Pt
= ∅ ) являются независимыми по данным, поэтому алгоритм естественным образом распараллеливается. На шаге 6 алгоритма создается отдельный вычислительный поток для выполнения шагов 6.3 и
6.4, а также отдельные потоки для выполнения шагов 8 и 9 для каждого антитела
подпопуляции Pt SUB 2 ∈ Pt размером P − R −1 . Таким образом, общее количество
дополнительно создаваемых вычислительных потоков в представленном ниже алгоритме составляет P − R = P − [ P / 2] , где P – количество антител в популяции.
1) Задание параметров алгоритма:
ƒ количество антител в популяции ( P ),
ƒ минимальное/максимальное количество антител-клонов, производимых оператором клонирования ( A, B ),
ƒ параметры, влияющие на величину мутации кодировок параметров
ФП термов и коэффициентов полиномов системы TSK0 ( β ant , βcons ),
ƒ максимальное количество итераций алгоритма ( N IA ),
ƒ эмпирический коэффициент инерции для метода роя частиц ( ω ),
ƒ коэффициент, регулирующий влияние фактора памяти частиц для метода роя частиц ( c1 ),
ƒ коэффициент, регулирующий влияние фактора сотрудничества частиц
роя для метода роя частиц ( c2 ),
ƒ максимальное количество итераций метода роя частиц ( N PSO ),
ƒ максимальная допустимая погрешность антитела/модуля изменения
аффинитета лучшего антитела за 5 последних итераций алгоритма( ε ).
10
2) Кодирование вектора параметров нечеткой системы TSK0, полученной в
результате проведения идентификации, в антитело A1 .
3) Итерация t = 0 , формирование исходной популяции из P антител:
Pt = { A1 , ..., AP } . Антитело A1 соответствует закодированному на шаге 2
алгоритма вектору параметров начальной нечеткой системы TSK0. Кодировки остальных антител { A2 , ..., AP } формируются путем псевдослучайной вариации элементов кодировки антитела A1 по формулам:
ƒ для элементов, соответствующих параметрам aik , i = 1, ..., n, k = 1, ..., K
гауссовых ФП термов ЛП:
aik = 23 ⋅ rand ()⋅ | U ( xi ) | +ai* ,
здесь и далее rand () – псевдослучайное число в диапазоне [0, 1],
| U ( xi ) | – длина универса лингвистической переменной xi , ai* – минимальное значение параметра aik гауссовых ФП термов ЛП xi начальной нечеткой системы TSK0;
ƒ для элементов, соответствующих параметрам cik , i = 1, ..., n, k = 1, ..., K
гауссовых ФП термов ЛП:
cik = rand ()⋅ | U ( xi ) | +U xLi ,
где U xLi – левая граница универса ЛП xi ;
ƒ для
элементов, соответствующих
b0 k , k = 1, ..., K в заключениях правил:
коэффициентам
полиномов
b0 k = rand ()⋅ | U ( y ) | +U yL ,
где U yL – левая граница диапазона допустимых значений выходной
переменной y по обучающей выборке DN , | U ( y ) | – длина диапазона
допустимых значений выходной переменной y по выборке DN .
4) Вычисление аффинитета каждого антитела популяции Pt = { A1 , ..., AP } .
В качестве функции аффинитета антител (максимизируемой целевой
функции) будем рассматривать функцию
1
1
F ( As ) = F ( ws ) =
=
,
1 + J ( ws )
1 N
1+
( f ( x(t ), ws )) − y(t ))2
N t∑
=1
где s = 1, ..., P, функционал эмпирического риска J ( ws ) представляет собой среднюю квадратичную ошибку системы TSK0, вектор параметров
ws которой закодирован антителом As , на обучающей выборке.
При этом для вычисления выходного значения системы f ( x(t ), ws )) для
элемента обучающей выборки с пропусками осуществляется редукция
ее базы правил путем исключения из всех правил простейших нечетких
высказываний по каждой ЛП, четкое значение которой пропущено.
11
5) Оператор селекции: выбрать все антитела текущей популяции Pt для последующих манипуляций.
6) Оператор улучшения аффинитета популяции:
6.1. Упорядочить антитела популяции Pt по убыванию значений аффинитета: Pt* = A1* , ..., AP* , F ( A1* ) ≥ ... ≥ F ( AP* ) ;
6.2. Разбить популяцию Pt* на две подпопуляции примерно равного
размера с большими и меньшими значениями аффинитетов антител:
Pt SUB1 = A1* , ..., AR* ⊂ Pt* , Pt SUB 2 = AR* +1 , ..., AP* ⊂ Pt* , R = int( P / 2),
здесь и далее int – операция взятия целой части вещественного
числа;
6.3. Представить каждое антитело Aq* , q = 1, ..., R подпопуляции Pt SUB1 в
виде частицы с начальным вектором координат xq (0) = wq* , где wq* –
декодированный из антитела Aq* ∈ Pt SUB1 вектор параметров системы, и начальной скоростью υ q (0) = 0 и оптимизировать полученное
множество частиц методом роя частиц:
6.3.1. Итерация r = 0 ;
6.3.2. Do
6.3.3. Рассчитать вектор скорости каждой частицы роя и ее новое положение в пространстве поиска по формулам:
υ q ( r + 1) = ω ⋅ υ q ( r ) + c1 ⋅ rand () ⋅ ( pq ( r ) − xq ( r )) + c2 ⋅ rand () ⋅ ( pg ( r ) − xq ( r )),
xq ( r + 1) = xq ( r ) + υ q ( r + 1),
где υ q ( r ) – вектор скорости q − й частицы на итерации r , xq ( r ) –
вектор координат положения q − й частицы на итерации r , ω –
эмпирический коэффициент инерции, c1 – коэффициент, регулирующий влияние фактора памяти частицы, c2 – коэффициент, регулирующий влияние фактора сотрудничества частиц в популяции, pq ( r ) – вектор координат лучшего положения q − й частицы
с начала поиска ( pq (0) = xq (0), q = 1, ..., R ), pg ( r ) – вектор координат лучшего положения частицы во всем рое с начала поиска (на
начальной итерации – с нулевыми компонентами);
6.3.4. r = r + 1 ;
6.3.5. Обновить pq (r ), q = 1, ..., R ;
6.3.6. Обновить pg ( r ) ;
6.3.7. While ((r < N PSO ) & ( F ( pg (r )) − F ( pg (max( r − 5, 0))) < ε )) : критерием остановки поиска является достижение заданного количества
итераций N PSO либо достижение роем состояния равновесия.
12
6.4. Заменить все антитела подпопуляции Pt SUB1 на антитела с кодировками xq ( r ), q = 1, ..., R , соответствующими векторам координат частиц оптимизированного роя, вычислить их аффинитет.
7) Оператор клонирования:
7.1. Для каждого антитела подпопуляции Pt SUB 2 ⊂ Pt создать некоторое
количество клонов – антител с полностью идентичной кодировкой.
Количество клонов для каждого антитела пропорционально его
значению аффинитета и находится в заданном диапазоне [ A, B ] :
nci = int(a ⋅ i + b),
B− A
A ⋅ ( P − R − 1) − B
где a =
, b=
, i = 1, ..., P − R −1 – индекс антиP−R−2
P−R−2
тела в подпопуляции Pt SUB 2 ;
7.2. Для каждого антитела подпопуляции Pt SUB 2 объединить все его клоны в подпопуляцию Pti , i = 1, ..., P − R −1 .
8) Оператор гипермутации:
каждого
антитела
каждой
подпопуляции
клонов
8.1. Для
i
Pt , i = 1, ..., P − R −1 модифицировать кодировки оптимизируемых
параметров по формулам:
aik = aik + α ant ⋅ (−1 + 2 ⋅ rand ()),
cik = cik + α ant ⋅ (−1 + 2 ⋅ rand ()),
b0 k = b0 k + α cons ⋅ (−1 + 2 ⋅ rand ()),
где α ant и α cons – факторы мутации, являющиеся обратно пропорциональными значению аффинитета F ( w) соответствующего антитела, чтобы антитела с большими значениями аффинитета мутировали в меньшей степени:
1 − F ( w)
1 − F ( w)
α ant =
e
, α cons =
e
.
β ant
βcons
8.2. Оптимизировать каждую подпопуляцию мутировавших клонов
Pti , i = 1, ..., P − R −1 методом роя частиц аналогично шагам 6.3-6.4;
8.3. Заменить каждое антитело подпопуляции Pt SUB 2 ⊂ Pt на антитело из
оптимизированной подпопуляции его мутировавших клонов с
большим значением аффинитета.
9) Обновление текущей популяции Pt путем замены всех ее антител на антитела популяции, получаемой в результате объединения оптимизированных на шагах 6 и 8 подпопуляций Pt SUB1 и Pt SUB 2 : Pt = Pt SUB1 ∪ Pt SUB 2 .
10) Оператор супрессии. Применяется для устранения «близких» кандидатов на решение. Для всевозможных пар антител обновленной популяции
Ah ∈ Pt , A j ∈ Pt , h ≠ j , h = 1, ..., P, j = 1, ..., P если расстояние между их декодированными векторами параметров wh и w j по метрике из раздела
13
n
2.3 d * ( wh , w j ) = ∑ hi ( wih − wij )2 меньше заданного значения ε , то удалить
i =1
из популяции Pt антитело с меньшим значением аффинитета. В результате общее количество антител текущей популяции Pt становится равным P* ≤ P .
11) Поддержание разнообразия антител в популяции: отобрать из текущей
популяции Pt 10% антител с наименьшими значениями аффинитета и
заменить их антителами с псевдослучайными кодировками, сформированными по формулам шага 3 настоящего алгоритма. Кроме того, дополнить полученную популяцию антителами количеством ( P − P* ) также с псевдослучайными кодировками. Вычислить аффинитет вновь добавленных антител. В результате количество антител текущей популяции Pt восстанавливается до оригинального значения P .
12) t = t + 1.
13) Проверка критериев останова алгоритма. Если хотя бы один из следующих критериев выполнен, то закончить работу, иначе – переход на
шаг 4:
ƒ достигнуто максимальное количество итераций алгоритма: t = N IA ;
ƒ погрешность антитела с наибольшим значением аффинитета в популяции Pt стала меньше заданного значения ε : (1 − F ( As* )) < ε , где
s* = arg max F ( As ), As ∈ Pt ;
s =1,..., P
ƒ изменение максимального значения аффинитета среди антител популяции за 5 последних итераций меньше заданного значения ε .
По окончании работы алгоритма из полученной популяции антител Pt выбирается антитело с максимальным значением аффинитета, вектор-код которого
определяет вектор параметров оптимизированной нечеткой системы TSK0.
Далее осуществляется точная настройка оптимизированной нечеткой системы TSK0 в процессе обучения эквивалентной пятислойной нейронечеткой сети
с использованием градиентного алгоритма. Верификация уточненной системы
осуществляется с помощью метода перекрестной проверки.
В разделе 2.5 предложен эвристический алгоритм решения задачи отбора
информативных признаков синтезируемой нечеткой системы, состоящий из трех
последовательных шагов:
1. Вычисление коэффициентов относительной значимости признаков. На
основе полного набора признаков {x1, ..., xl } и полной выборки эмпирических
данных Dˆ = { xˆ (t ), yˆ (t ) } , t = 1, ..., S с использованием представленного в работе
S
метода идентификации (раздел 2.3) и параметрической оптимизации (раздел 2.4)
синтезируется нечеткая система TSK0 y = f 0 ( x1 , ..., xl , w0 ) . Затем синтезируется
набор нечетких систем TSK0, получаемых в результате редукции базы нечетких
продукционных правил системы f 0 посредством исключения из неё ЛП x1, ..., xl
14
соответственно: { f1 ( x2 , ..., xl , w1 ), f 2 ( x1 , x3 , ..., xl , w2 ), ..., fl ( x1 , ..., xl −1 , wl )} . В качестве коэффициента относительной значимости каждого признака примем:
imp( xi ) = G20 − G2i , i = 1, ..., l ,
где G20 и G2i – значения оценок обобщающей способности, вычисляемых методом
перекрестной проверки для систем f 0 и fi соответственно. Таким образом, суть
рассчитанных коэффициентов относительной значимости признаков состоит в
том, насколько исключение из базы нечетких правил системы, построенной на
полном наборе доступных признаков, соответствующей оцениваемому признаку
ЛП изменяет значение оценки обобщающей способности системы.
2. Ранжирование признаков по убыванию значений рассчитанных коэффициентов их относительной значимости:
x1, x2 , ..., xl , imp( x1 ) ≥ imp ( x2 ) ≥ ... ≥ imp( xl ).
Затем для всевозможных пар признаков рассчитываются коэффициенты ранговой
корреляции Спирмена rSpearman ( xi , x j ), i = 1, ..., l , j = 1, ..., i, i ≠ j , и для каждой пары сильно коррелирующих признаков ( rSpearman ( xi* , x j* ) > 0.8 и выполнен двусторонний тест значимости: p < 0.05 ) из полного набора признаков исключается
признак с меньшим значением коэффициента относительной значимости. В результате на данном шаге набор признаков сокращается до x1, x2 , ..., xm , m ≤ l .
3. Выбор набора признаков, нечеткая система TSK0 для которого обеспечивает лучшее значение оценки обобщающей способности. На данном шаге осуществляется построение последовательности нечетких систем с инкрементальными наборами признаков в соответствии с последовательностью x1, x2 , ..., xm :
f1 ( x1 , w1 ), f 2 ( x1 , x2 , w2 ), ..., f m ( x1 , x2 , ..., xm , wm ) .
Первая система f1 основана на использовании только одного признака с наибольшим значением коэффициента относительной значимости, вторая система f 2
– на основе двух признаков с наибольшими значениями коэффициентов относительной значимости и т.д. Данные нечеткие системы синтезируются с использованием представленного в работе метода идентификации (раздел 2.3) и параметрической оптимизации (раздел 2.4) на основе усеченной выборки эмпирических
данных в соответствии с актуальным набором признаков. Для каждой системы
f k , k = 1, ..., m оценивается обобщающая способность с помощью метода перекрестной проверки: G2k , k = 1, ..., m. Затем осуществляется окончательный выбор набора информативных признаков, построенная система для которого обеспечивает
лучшее значение оценки обобщающей способности:
x1 , x2 , ..., xn , n ≤ m ≤ l , G2n = min{G21 , ..., G2m } .
В главе 3 «Оценка эффективности разработанных методов и алгоритмов при решении практических задач» излагаются результаты проведенных
15
вычислительных экспериментов при решении избранных задач классификации и
медицинской диагностики.
В разделе 3.1 представлена общая структура разработанной программной
системы FKNOD для платформы .NET Framework v2.0, реализующей предложенные гибридные методы структурно-параметрического синтеза адаптивных нечетких систем.
В разделах 3.2 – 3.4 приведен сравнительный анализ эффективности разработанных методов при решении задачи классификации ирисов Фишера, задачи
диагностики заболеваний сердца и задачи диагностики сахарного диабета 1 . Для
решения данных и последующих задач использовались следующие подобранные
эмпирически значения параметров разработанных методов:
• метод идентификация нечеткой системы: α w = 0.06 , α r = 0.02 ,
• метод параметрической оптимизации нечеткой системы: P = 100 , A = 2 ,
B = 5 , β ant = β cons = 10 , N IA = 50 , ω = 0.8 , c1 = c2 = 1.5 , N PSO = 50 , ε = 0.00001.
Значения параметра H (максимального количества правил) метода идентификации системы выбиралось для каждой задачи отдельно. Точность решения задач оценивалась с помощью метода перекрестной проверки (V=10) и составила:
• 97.3% для задачи классификации ирисов Фишера (сгенерированная база
нечетких правил в среднем содержала 5 правил, H = 15 ),
• 83.2% для задачи диагностики заболеваний сердца (18 правил, H = 30 ),
• 77.1% для задачи диагностики сахарного диабета (17 правил, H = 20 ).
Результаты верификации построенных систем подтвердили их адекватность: по сравнению с подавляющим большинством рассмотренных известных
методов система обеспечила большую точность решения задач либо повторила
точность отдельных известных методов.
В разделе 3.5 представлены результаты решения задачи оценки результатов
РЙТ БГ с помощью показателей вариабельности сердечного ритма. Данная задача
была поставлена специалистами МЛПУ «Городская больница №13» г. Нижнего
Новгорода. Подготовленная база эмпирических данных содержала 112 записей
без пропусков и 4 входных количественных признака. В качестве выходной переменной рассматривался исход РЙТ БГ.
В процессе отбора информативных признаков был определен их оптимальный набор, состоящий из двух признаков: средней частоты сердечных сокращений и высокой частоты спектра. Таким образом, предложенный способ отбора
информативных признаков позволил автоматически сократить количество параметров адаптивной нечеткой системы для решения данной задачи в 1.8 раза: с
9 ⋅ K до 5 ⋅ K , где K – количество правил в базе правил после окончания шага
структурной идентификации системы.
При этом точность решения данной задачи составила 83.9%, сгенерированная база нечетких правил в среднем содержала K = 8 правил. Усредненная в процессе перекрестной проверки (V=10) диагностическая чувствительность системы
составила 75.4%, специфичность – 91.5%, эффективность – 83.4%.
1
Asuncion A., Newman D. J. UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science, 2007. URL: http://www.ics.uci.edu/~mlearn/MLRepository.html.
16
Глава 4 «Применение методов синтеза адаптивных нечетких систем
для оценки индивидуальных лекарственных доз» посвящена алгоритмическому описанию предложенного в работе универсального метода оценки индивидуальных лекарственных доз с помощью разработанной методологии структурнопараметрического синтеза адаптивных нечетких систем и исследованию его эффективности для оценки индивидуальных доз радиойода при РЙТ БГ.
В разделе 4.1 дается общее представление о РЙТ БГ.
В разделе 4.2 проведен анализ известных методов дозиметрического планирования РЙТ БГ.
В разделе 4.3 описана используемая в работе база данных эмпирического
материала, собранного специалистами МЛПУ «Городская больница №13» г.
Нижнего Новгорода в течение четырех лет (2005 – 2009 гг.) применения РЙТ БГ.
Общее количество пролеченных пациентов составило 621 человек, для каждого
пациента фиксировались значения 13-ти клинико-анамнеcтических и лабораторных показателей, лечебная доза радиойода 131I назначалась эмпирически. Под положительным исходом терапии понимается гипотиреоз или эутиреоз (св.Т4 ≤
19.05 пмоль/л) к 6-му месяцу после лечения, под отрицательным – гипертиреоз
(св.Т4 > 19.05 пмоль/л) к 6-му месяцу после лечения.
В разделе 4.4 представлен универсальный четырехэтапный метод оценки
индивидуальных лекарственных доз, сводящийся к решению комбинации задач
восстановления неизвестных зависимостей и классификации с помощью адаптивных нечетких систем TSK0, синтезируемых посредством разработанных в главе 2
методов:
1. Автоматический отбор признаков, оказывающих существенное влияние на исход терапии (положительный или отрицательный) по полному набору
показателей больного {xˆ1 , ..., xˆl } и назначаемой величины дозы ( x̂l +1 ). Данный этап
реализуется с помощью предложенного в разделе 2.5 метода.
2. Оценка границ диапазона рекомендуемых доз для конкретного пациента.
Для оценки левой границы диапазона решается задача восстановления неизвестной зависимости (входные переменные: x1 , ..., xn – признаки, отобранные на этапе
1, выходная переменная: y – доза лекарственного средства, ионизирующей радиации) на основе эмпирического материала с прецедентами, соответствующими
случаям отрицательного исхода терапии. Для оценки правой границы решается
подобная задача на основе эмпирического материала по положительным исходам
терапии. В результате однократно строятся адаптивные нечеткие системы
y2 ( x) = f 2 ( x1, ..., xn , w2 ) и y3 = f3 ( x1, ..., xn , w3 ) , признаковое описание пациента
x* = ( x1* , ..., xn* ) поступает на вход построенных систем, и на выходе получаются
оценки границ диапазона рекомендуемых доз y2 ( x* ) = LГР и y3 ( x* ) = RГР .
3. Разработка классификатора исходов терапии для любого пациента при
любой заданной дозе. Состоит в решении задачи классификации посредством однократного
построения
адаптивной
нечеткой
системы
y4 ( x) = f 4 ( x1, ..., xn , xn+1, w4 ) , где xn+1 – доза, y – исход терапии. Признаковое опи17
сание x* = ( x1* , ..., xn* ) пациента и значение любой назначаемой дозы xn*+1 поступают на вход данной системы, на выходе выдается исход терапии и оценка уверенности в нем c( x* , xn*+1 ) ∈ [0,1] .
4. Уточнение границ диапазона рекомендуемых доз [ LГР , RГР ] для конкретного пациента. Левая граница уточняется до среднеэффективной индивидуальной дозы (обеспечивающей уверенность в положительном исходе терапии 0.5),
правая граница уточняется до значения дозы, приводящей к успеху терапии с уверенностью 0.9 (либо максимально достижимой меньшей уверенностью). В качестве рекомендуемой дозы объявляется доза, соответствующая правой границе
уточненного диапазона.
Кроме того, построенная на третьем этапе адаптивная нечеткая система
y4 ( x) = f 4 ( x1, ..., xn , xn+1, w4 ) позволяет построить кривую эффективности индивидуальных доз для конкретного пациента – зависимость уверенности в положительном исходе терапии от назначаемой дозы: y4 ( x* ) = f 4 ( x1* , ..., xn* , xn+1 , w4 ),
xn+1 ∈ [0, x MAX ] , x MAX – максимально допустимая доза.
В разделе 4.5 представлены результаты исследования эффективности предложенного метода оценки индивидуальных лекарственных доз на примере проведения РЙТ БГ. По согласованию с врачами задача решалась раздельно для двух
групп пациентов: первую группу составили 289 пациентов с малым объемом щитовидной железы (ЩЖ): VЩЖ ≤ 25мл., вторую группу – 332 пациента с VЩЖ >
25мл.
В процессе отбора информативных признаков на шаге 1 предложенного метода оценки доз было определено 11 предикторов исхода РЙТ БГ для пациентов с
малым объемом ЩЖ и 10 предикторов исхода РЙТ БГ для пациентов с большим
объемом ЩЖ. Наибольшее влияние на исход РЙТ для группы пациентов с VЩЖ ≤
25мл. оказывают: лечебная активность 131I, объем ЩЖ и процент захвата тестовой
дозы 131I через 24 часа. Данный результат в полной мере согласуется с набором
признаков, используемых в известных эмпирических формулах расчета эффективных доз 131I. Учет трех данных признаков позволяет построить классификатор
исходов РЙТ БГ с точностью 83.5%. Учет влияния остальных менее значимых
признаков в совокупности позволяет повысить точность системы до 95.4%. Для
группы пациентов с большим объемом ЩЖ учет трех признаков с наибольшими
значениями коэффициентов значимости (лечебной активности 131I, объема ЩЖ и
процента захвата тестовой дозы 131I через 2 часа) позволяет построить классификатор исходов РЙТ БГ с точностью 74.1%. Учет влияния остальных менее значимых признаков в совокупности позволяет повысить точность системы до 90.2%.
При этом сгенерированная база нечетких правил в среднем по итерациям перекрестной проверки (V=10) содержала K = 24 и K = 27 правил соответственно для
обеих рассматриваемых групп пациентов при задаваемом H = 30 .
Высокие значения точностей классификаторов исходов РЙТ БГ, с помощью
которых определяется окончательное значение индивидуальной рекомендуемой
дозы 131I на шаге 4 метода, позволяют рассчитывать на сокращение количества
случаев неудач при проведении РЙТ БГ с помощью предложенного метода на 118
5% по сравнению с использованием известных расчетных методов определения
индивидуальных доз.
На контрольной выборке из 25 пациентов был проведен сравнительный
анализ величин индивидуальных доз 131I, назначенных с помощью представленного в работе метода, и величин рекомендуемых доз, определяемых с помощью известных расчетных методов. Успешный исход РЙТ БГ был зафиксирован у 24 пациентов из 25, таким образом, эффективность терапии с помощью представленного в работе метода составила 96%. Общий расход радиойода составил 8020.9 МБк,
что на 42.2% меньше общего расхода радиойода при использовании метода стандартных доз в 555 МБк и на 6-22.6% меньше общего расхода радиойода при использовании известных расчетных методов. При этом представленный в работе
метод сокращал неоправданно завышенную расчетную дозу у большинства пациентов с положительным исходом РЙТ БГ (не менее чем у 16 пациентов из 24 в зависимости от сравниваемого расчетного метода).
С целью оценки эффективности представленного в работе метода идентификации нечеткой системы TSK0 при наличии пропусков в данных был проведен
вычислительный эксперимент по использованию модификаций данного метода,
основанных на предварительном исключении элементов обучающей выборки с
пропусками, заполнении пропусков средними по выборке значениями и восстановлении пропусков с помощью реализации EM-алгоритма – AutoClass. Представленный в работе метод продемонстрировал большую точность синтезируемых классификаторов исходов РЙТ БГ (не менее чем на 7.8%, рис. 1), незначительно уступив в условном времени выполнения лишь тривиальным методам восстановления/исключения пропусков.
100
90
80
70
60
50
40
30
20
10
0
Исключение
пропусков
Средние по
выборке
EM-алгоритм
Предложенн
ый алгоритм
Усредненная точность
модели (в %)
68
72
85
92.8
Усредненное время
идентификации модели (в
сек.)
5.5
9.8
84.4
12.4
Рис. 1. Сравнение модификаций представленного метода идентификации нечеткой системы TSK0 при наличии пропусков в эмпирических данных
На примере данной задачи также экспериментально показана эффективность параллельной реализации представленного в работе гибридного иммунного
алгоритма параметрической оптимизации нечеткой системы TSK0 (рис. 2). Разработанный алгоритм обеспечил достижение большей на 1.3-4.5% точности классификатора исходов РЙТ БГ по сравнению с использованием рассмотренных из19
вестных методов, в том числе и при использовании нечеткой системы Мамдани.
Эффективность параллельной реализации алгоритма проявилась на вычислительной системе с 8 логическими процессорами, где при большей усредненной точности системы усредненное условное время работы алгоритма ее параметрической
оптимизации (274 сек.) оказалось меньше времени работы, затраченного методом
сопряженных градиентов (328 сек.), методом BFGS (295 сек.), методом обучения
нейронечеткой сети с помощью градиентного метода на основе алгоритма обратного распространения ошибки (372 сек.) и генетическим алгоритмом (692 сек.).
Сопряженных градиентов
100
Квазиньютоновский (BFGS)
95
91.5
Точность (в %)
90
88.3
89.5
88.4
92.8 92.7 92.8 92.8
Обратное распр. ошибки
88.9
Генетический алгоритм
Гибрид. иммунный алгоритм, 1 cpu
85
Гибрид. иммунный алгоритм, 2 cpu
80
Гибрид. иммунный алгоритм, 4 cpu
75
Гибрид. иммунный алгоритм, 8 cpu
Мамдани, обратное распр. ошибки
70
Рис. 2. Точность классификатора исходов РЙТ БГ при использовании различных
методов параметрической оптимизации нечеткой системы TSK0
В заключении изложены основные научные и практические результаты
диссертационной работы.
В приложении содержится копия документа, подтверждающего внедрение
результатов диссертационной работы.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
Главным результатом диссертационной работы является разработка эффективных методов структурно-параметрического синтеза адаптивной нечеткой продукционной системы TSK0 на основе эмпирических данных для решения задач
машинного обучения и, в частности, для использования в предложенном методе
оценки индивидуальных лекарственных доз, сводящемся к решению комбинации
задач восстановления неизвестных зависимостей и классификации. В работе получены следующие основные научные и практические результаты, выносимые на
защиту:
1. Метод структурно-параметрической идентификации адаптивной нечеткой системы TSK0, основанный на модифицированной процедуре кластеризации
20
эмпирических данных в процессе конкурентного обучения сети Кохонена и обеспечивающий обработку пропущенных значений признаков в элементах обучающей выборки. Дополнительным преимуществом метода является отсутствие требования наличия априорной информации о структуре базы нечетких продукционных правил (за исключением верхней оценки их количества).
2. Гибридный параллельный алгоритм параметрической оптимизации нечеткой системы TSK0, основанный на усовершенствованной стратегии воспроизводства кандидатов на оптимальное решение и объединяющий преимущества иммунного алгоритма клональной селекции и метода роя частиц.
3. Алгоритм автоматического отбора информативных признаков синтезируемых систем TSK0 с целью снижения их структурной сложности.
4. Метод оценки индивидуальных лекарственных доз по значениям индивидуальных признаков пациента, состоящий в поэтапном решении задач обучения
по прецедентам с помощью разработанной методологии синтеза адаптивных нечетких систем TSK0.
5. Программная система FKNOD, реализующая предложенные методы и
алгоритмы.
6. Результаты оценки эффективности разработанных методов и алгоритмов
при решении прикладных задач классификации и медицинской диагностики, задачи оценки индивидуальных доз радиойода при проведении РЙТ БГ.
ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ
Публикации в изданиях, рекомендованных ВАК РФ
1. Ефимов, А. С. Решение задачи кластеризации методом конкурентного обучения при неполных статистических данных / А. С. Ефимов // Вестник Нижегородского университета им. Н.И. Лобачевского. Информационные технологии. –
2010. – № 1. – С. 220-225.
2. Ефимов, А. С. Об одном гибридном иммунном алгоритме параметрической
оптимизации нечетких систем TSK 0-порядка / А. С. Ефимов // Вестник Нижегородского университета им. Н.И. Лобачевского. Информационные технологии. –
2010. – № 2(1). – С. 164-170.
3. Предикторы исходов радиойодтерапии болезни Грейвса / Г. В. Шестакова,
А. С. Ефимов, Л. Г. Стронгин и др. // Клиническая и экспериментальная тиреоидология. – 2010. – Т. 6 – № 3. – С. 48-53.
Публикации в прочих изданиях
4. Ефимов, А. С. FLIS – система нечеткого вывода / А. С. Ефимов, О. А. Морёнов // Технологии Microsoft в теории и практике программирования: материалы
конф. – Н.Новгород: изд. Нижегородского госуниверситета, 2006. – С. 225-226.
5. Ефимов, А. С. Структурная и параметрическая идентификация и оптимизация нечетких сетей специального вида с целью извлечения знаний / А. С. Ефимов
// Труды итоговой научной конференции учебно-научного инновационного ком21
плекса «Модели, методы и программные средства». – Н.Новгород: изд. Нижегородского госуниверситета, 2007. – С. 157-160.
6. Ефимов, А. С. Об одном подходе к извлечению нечетких знаний из статистических данных / А. С. Ефимов // Технологии Microsoft в теории и практике
программирования: материалы конф. – Н.Новгород: изд. Нижегородского госуниверситета, 2007. – С. 87-90.
7. Ефимов, А. С. Применение гибридных систем искусственного интеллекта
для решения задач медицинской диагностики / А. С. Ефимов, О. А. Морёнов //
Технологии Microsoft в теории и практике программирования: материалы конф. –
Н.Новгород: изд. Нижегородского госуниверситета, 2007. – С. 189-191.
8. Ефимов, А. С. Гибридные системы искусственного интеллекта как диагностический метод в эндокринологии / А. С. Ефимов, О. А. Морёнов // Технологии
Microsoft в теории и практике программирования: материалы конф. – Н.Новгород:
изд. Нижегородского госуниверситета, 2008. – С. 141-143.
9. Ефимов, А. С. Сравнение точностей двух методов извлечения знаний при
решении избранных задач классификации / А. С. Ефимов, О. А. Морёнов // Технологии Microsoft в теории и практике программирования: материалы конф. –
Н.Новгород: изд. Нижегородского госуниверситета, 2008. – С. 143-146.
10. Ефимов, А. С. Гибридный иммунный алгоритм оптимизации нечетких систем TSK 0-порядка / А. С. Ефимов // Технологии Microsoft в теории и практике
программирования: материалы конф. – Н. Новгород : изд. Нижегородского госуниверситета, 2009. – С. 143-150.
11. Динамика функции щитовидной железы при лечении радиойодом болезни
Грейвса / Г. В. Шестакова, А. С. Ефимов, Н. А. Сидорова и др. // Всероссийский
конгресс «Современные технологии в эндокринологии (тиреоидология, нейроэндокринология, эндокринная хирургия)»: сборник тезисов. – М., 2009. – С. 71.
12. Шестакова, Г. В. Оптимизация лечения йодом-131 диффузного токсического зоба / Г. В. Шестакова, А. С. Ефимов // Всероссийская научно-практическая
конференция с международным участием «Высокотехнологичные методы диагностики и лечения заболеваний сердца, крови и эндокринных органов»: сборник
тезисов. – СПб., 2010. – С. 253.
Патенты на изобретения
1. Пат. 2417736 Российская Федерация, МПК A 61 B 5/00. Способ определения индивидуальной дозы радиоактивного йода-131 при лечении больных диффузным токсическим зобом / Г. В. Шестакова, А. С. Ефимов, С. Н. Карпенко и др.;
заявл. 16.10.2009 ; опубл. 10.05.2011, бюл. ФИПС. – 2011. – № 13. – 11 c.
22