Многокритериальная оптимизация на основе нейросетевой

ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
А.П. КАРПЕНКО, Д.Т. МУХЛИСУЛЛИНА,
В.А. ОВЧИННИКОВ
Московский государственный технический университет им. Н.Э. Баумана
[email protected], [email protected], [email protected]
МНОГОКРИТЕРИАЛЬНАЯ ОПТИМИЗАЦИЯ НА ОСНОВЕ
НЕЙРОСЕТЕВОЙ АППРОКСИМАЦИИ ФУНКЦИИ
ПРЕДПОЧТЕНИЯ ЛИЦА, ПРИНИМАЮЩЕГО РЕШЕНИЕ
Рассматривается прямой адаптивный метод многокритериальной оптимизации на основе нейросетевой аппроксимации функции предпочтения лица, принимающего решение. Приводятся результаты исследования
эффективности метода при решении 2- и 3-критериальных тестовых задач. Программно метод реализован в виде дополнительного модуля программного комплекса PRADIS, предназначенного для анализа динамики
систем различной физической природы. Практическая апробация метода
выполнена при решении двухкритериальной задачи оптимизации механической подсистемы двигателя внутреннего сгорания.
Введение
Рассмотрим задачу непрерывной многокритериальной оптимизации
(МКО-задачу), которую условно можно записать в виде
min Ф( X )  Ф( X * ) ,
(1)
X DX
где D X – ограниченное и замкнутое множество допустимых значений
вектора варьируемых параметров
X  Rn ,
Ф( X )  (ф1 ( X ), ф2 ( X ),...,фm ( X ))T
X ), ф2 ( X ),...,фm ( X ))T – векторный критерий оптимальности.
Используем классификацию методов решения МКО-задачи, основанную на содержании и форме использования дополнительной информации
о предпочтениях лица, принимающего решения (ЛПР) [1]. В соответствии
с этой классификацией выделяются следующие классы методов: методы

Работа частично поддержана аналитической ведомственной целевой программой «Развитие потенциала высшей школы (2009 – 2010 годы)», проект
2.1.2/1509.
УДК 004.032.26(06) Нейронные сети
153
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
зондирования; априорные методы; апостериорные методы; адаптивные
методы.
Каждая итерация адаптивных методов включает в себя фазу анализа,
выполняемую ЛПР, и фазу расчетов, выполняемую программной системой многокритериальной оптимизации (МКО-системой). По характеру
информации, получаемой МКО-системой от ЛПР на фазе анализа, выделим три класса адаптивных методов [2]: методы, в которых ЛПР непосредственно назначает веса частных критериев оптимальности; методы, в
которых ЛПР накладывает ограничения на значения частных критериев
оптимальности; методы, в которых ЛПР выполняет только оценку
(например, в терминах «лучше», «хуже», «одинаково») предлагаемых
МКО-системой альтернатив.
В работе рассматриваются последние методы, которые называются
прямыми адаптивными методами и основаны на предположении существования «функции предпочтений ЛПР»  (X ) , которая определена на
множестве D X и выполняет его отображение в пространство действительных чисел R , т.е.  : DX  R [3]. При этом формально МКО-задача
сводится к задаче выбора вектора X *  DX такого, что
max  ( X )   ( X * ) .
X D X
(2)
1. Постановка задачи и общая схема метода
Обозначим операцию скалярной свертки частных критериев  ( X , ) ,
где   D – вектор вещественных неотрицательных весовых множителей;
D  {i | i  0, i  1, i [1: m]} -

множество допустимых значений этого вектора. Вообще говоря, в качестве свертки  ( X , ) может использоваться аддитивная свертка, мультипликативная свертка, свертка Джоффриона и другие свертки [2]. В работе
в качестве этой свертки используется аддитивная свертка.
При каждом фиксированном векторе  решение задачи (1) сводится к решению задачи глобальной условной оптимизации (ОКО-задачи)
(3)
min  ( X , )   ( X * , ).
X D X
УДК 004.032.26(06) Нейронные сети
154
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
В силу ограниченности и замкнутости множества D X решение этой задачи существует.
Если при каждом   D решение задачи (3) единственно, то условие (2) ставит в соответствие каждому из векторов   D единственный
вектор X * и соответствующие значения частных критериев оптимальности фi ( X * )  фi* , i  [1 : m] . Это обстоятельство позволяет полагать, что
функция предпочтений  (X ) определена не на множестве D X , а на
множестве D , т.е.  : D  R . В результате МКО-задача сводится к
задаче выбора вектора *  D такого, что
max  ()   (* ) .
(4)
D
Поскольку обычно m  n , переход от задачи (2) к задаче (4) важен с точки зрения уменьшения вычислительных затрат.
Величина  в работе полагается лингвистической переменной со зна

чениями от ”Очень-очень плохо” (   1 ) до ”Отлично” (   9 ). Таким
образом, задача (4) представляет собой задачу отыскания вектора
*  D , обеспечивающего максимальное значение дискретной функции

 () :
max ()   (* ).
D
Общая схема рассматриваемого метода является итерационной и состоит из следующих основных этапов.
Этап «разгона» метода. МКО-система некоторым образом (например,
случайно) последовательно генерирует k векторов 1 ,  2 ,...,  k и для
каждого из этих векторов выполняет следующие действия:
1) решает ОКО-задачу
(5)
min  ( X , i )   ( X i* , i ) ;
X D X
2) предъявляет ЛПР найденное решение X i* , а также соответствующие
значение всех частных критериев оптимальности
Ф1 ( X i* ), Ф2 ( X i* ),..., Фm ( X i* ).;
УДК 004.032.26(06) Нейронные сети
155
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
3) ЛПР оценивает эти данные и вводит в систему соответствующее

значение своей функции предпочтений  (  i ) .
Первый этап. На основе всех имеющихся в МКО-системе значений
1,  2 ,...,  k вектора  и соответствующих оценок функции предпочтений  (1 ), ( 2 ),...,  ( k ) , МКО-система выполняет следующие действия:
~
1) строит функцию  1 (  ) , аппроксимирующую функцию  () ;
~
2) отыскивает максимум функции  1 (  ) – решает задачу
~
~
max  1 ()   (*1 ) ;
D
3) с найденным вектором *1 решает ОКО-задачу вида (5) – находит
вектор параметров и соответствующие значения частных критериев оптимальности, а затем предъявляет их ЛПР.
ЛПР оценивает указанные данные и вводит в систему соответствующее значение своей функции предпочтений  (*1 ) .
Второй этап. На основе всех имеющихся в системе значений
1 ,  2 ,..., k , *1 вектора  и соответствующих оценок функции предпочтений  (1 ), ( 2 ),..., ( k ), (*1 ) , МКО-система выполняет аппрок~
симацию функции  () – строит функцию  2 ( ) и т.д. по схеме первого этапа до тех пор, пока ЛПР не примет решение о прекращении вычислений.
В работе [3] рассмотрены методы построения аппроксимирующей
~
функции  ( ) на основе симплекс-планов, а также на основе регрессионных планов второго порядка. В данной работе рассматривается использование для этой цели нейронных сетей.
2. Исследование эффективности метода
Все рассмотренные в данном разделе исследования выполнены в среде
MatLab 7.0. Интерактивное взаимодействие с ЛПР реализовано с помощью специально написанной программы с графическим интерфейсом.
Для построения и обучения нейронных сетей использовались функции
УДК 004.032.26(06) Нейронные сети
156
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
пакета Neural Network Toolbox, а для решения ОКО-задачи глобальной
оптимизации – функция пакета Optimization Toolbox, реализующая метод
последовательного квадратичного программирования SQP (Sequential
Quadratic Programming), в комбинации с методом мультистарта (из 100
случайных начальных точек).
Выполнено исследование погрешности нейросетевой аппроксимации
функции предпочтений ЛПР, а также исследование эффективности рассматриваемого метода в целом.
1. Исследование погрешности аппроксимации выполнено для двух задач 2-критериальной и одной задачи 3-критериальной оптимизации:
- задача 1 (выпуклый фронт Парето)
ф1 ( X )  ( x1  5)2  x22  10 ; ф2 ( X )  x12  ( x2  5)2  20 ;
DX  { X | 0  xi  5, i  1,2} ;
- задача 2 (невыпуклый фронт Парето)


x1
x
ф1 ( X )   x1 ; ф2 ( X )   g ( X )1 
 1 sin10x1  ;


g( X ) g( X )


g ( X )  1  9 x2 ; DX  {X | 0  xi  1, i  1,2} ;
- задача 3 (выпуклый фронт Парето)
ф1( X )  ( x1  5)2  x22  x32  10 ; ф2 ( X )  x12  ( x2  5)2  x32  20 ;
ф3 ( X )  x12  x22  ( x3  5)2  5 ; DX  {X | 0  xi  5, i  1,2,3} .
В качестве погрешности аппроксимации использовалась макси~
мальная абсолютная ошибка max ei  max  i  i , где i – номер итераi
i
ции. Исследовался многослойный персептрон (MLP) и нейронная сеть с
радиальными базисными функциями (RBF).
Исследование показало, что для первой задачи MLP-сеть всего с
двумя нейронами в скрытом слое обеспечивает удовлетворительную погрешность аппроксимации (менее 0.53); при числе нейронов в скрытом
слое, превышающем 5, имеет место известный эффект переобучения сети.
RBF-сеть для той же задачи дает несколько большую погрешность аппроксимации (~0.6), однако при этом на каждой итерации увеличивается
количество нейронов в сети.
Аналогично, для второй задачи MLP-сеть с 5 нейронами в скрытом слое обеспечивает приемлемую погрешность аппроксимации (не превышающую 0.17). При этом RBF–сеть дает ошибку аппроксимации, примерно в 4 раз превышающую минимальную ошибку MLP–сети.
УДК 004.032.26(06) Нейронные сети
157
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Для задачи 3 удовлетворительную точность аппроксимации (менее 0.32) также обеспечивает MLP-сеть с 5 нейронами в скрытом слое.
При этом RBF-сеть демонстрирует плохие экстраполяционные свойства.
2. Исследование эффективности метода выполнено для трех
указанных выше МКО-задач при использовании MLP- и RBF-сетей.
Для задачи 1 и MLP-сети с 5 нейронами в скрытом слое один из
результатов исследования иллюстрируют рис. 1 и 2, которые получены
при k  3 (три начальных случайных вектора   (1, 2  1  1 ) ).
Рис. 1. Нейросетевая аппроксимация функции предпочтений: задача 1;
MLP-сеть с 5 нейронами в скрытом слое; итерация 4
УДК 004.032.26(06) Нейронные сети
158
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Рис. 2. Нейросетевая аппроксимация функции предпочтений: задача 1;
MLP-сеть с 5 нейронами в скрытом слое; итерация 5
Рис. 3. Нейросетевая аппроксимация функции предпочтений: задача 3;
MLP-сеть с 3 нейронами в скрытом слое; итерация 8
УДК 004.032.26(06) Нейронные сети
159
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Исследование показывает, что для задачи 1 нейросетевая аппроксимация функции предпочтений ЛПР позволяет быстро найти решение МКОзадачи с приемлемой точностью (в рассмотренном примере всего за 5
итераций, включая k  3 «разгонных» итерации).
Аналогичные результаты получены для задачи 2.
Для задачи 3 MLP-сеть с тремя нейронами в скрытом слое позволяет
найти решение задачи за 8 итераций (включая k  7 «разгонных» итераций со случайными векторами   (1 , 2 , 3  1  1  2 ) ). Рис. 3 демонстрирует один из результатов исследования этой задачи.
3. Практическая апробация метода
Рассмотренный адаптивный метод многокритериальной оптимизации
интегрирован в программный комплекс анализа динамики систем различной физической природы – PRADIS [4]. Реализация метода выполнена на
языке Python комплекса PRADIS с использованием библиотеки FANN,
реализующей нейронные сети.
Заметим, что функция предпочтений ЛПР заранее неизвестна и может
быть приближенно сформирована только в процессе диалога ЛПР с МКОсистемой, ЛПР в процессе диалога может переоценить результаты предыдущих решений, эти оценки могут быть противоречивы. Поэтому разработанное программное обеспечение предоставляет ЛПР механизм просмотра и корректировки предыдущих результатов, например, ЛПР может
понизить или повысить введенные ранее оценки, «откатиться» на заданное количество итераций и пр.
Практическая апробация метода выполнена на задаче многокритериальной оптимизации двигателя внутреннего сгорания (ДВС). С этой целью средствами комплекса PRADIS разработана параметризованная трехмерная модель механической подсистемы ДВС [5]. Модель может быть
использована для исследования работы одно-, двух- и четырехцилиндрового восьмиклапанного рядного автомобильного двигателя внутреннего
сгорания с верхним расположением газораспределительного механизма.
В качестве варьируемых параметров X задачи рассматривается ход поршня S и диаметр цилиндра D с ограничениями 0.06  S  0.15 [м],
0.06  D  0.15 [м]. Следовательно, множество допустимых значений вектора
варьируемых параметров DX  {X | 0.06  S  0.15,0.06  D  0.15} . Критериями оптимальности являются достижение максимального крутящего момента ф1 ( X ) [Нм] и увеличение реакции в шатунном подшипнике ф2 ( X ) [H].
УДК 004.032.26(06) Нейронные сети
160
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Для аппроксимации функции предпочтения ЛПР использовалась MLPсеть с 5-ю нейронами в скрытом слое. В качестве ЛПР выступал один из
авторов работы – эксперт в области ДВС. Итерационный процесс иллюстрирует рис. 4, на котором точка 11 соответствует решению задачи
S *  0.118 [м], D*  0.123 [м], ф1*  143.92 [Нм], ф2*  3049.20 [Н]. Заметим, что точки 1-11 на рис. 4 лежат на фронте Парето рассматриваемой
МКО-задачи (с погрешностями, обусловленными погрешностями вычислений).
Выводы
Разработан адаптивный метод решения МКО – задачи, основанный на
нейросетевой аппроксимации функции предпочтений ЛПР. Выполнено
исследование эффективности метода, показавшее перспективность его
развития. Метод реализован в качестве дополнительного модуля программного комплекса PRADIS. Практическая апробация метода и разработанного программного обеспечения выполнены при решении задачи
многокритериальной оптимизации ДВС.
Рис. 4. Результаты итераций в пространстве критериев: задача двухкритериальной
УДК 004.032.26(06) Нейронные сети
161
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
оптимизации ДВС; MLP-сеть с 5-ю нейронами в скрытом слое
В развитии работы предполагается сравнить эффективность нейросетевой аппроксимации функции предпочтений с эффективностью аппроксимации этой функции симплекс-планами, регрессионными планами второго порядка, а также нечеткими функциями. Кроме того, планируется
сравнить эффективность рассматриваемого метода с эффективностью
других адаптивных методов (например, метода, реализованного в известной МКО-системе NIMBUS [1]), провести практическую апробацию метода на МКО – задаче с тремя и более критериями.
Список литературы
1. Карпенко А.П., Федорук В.Г. Обзор программных систем многокритериальной оптимизации. Отечественные системы //Информационные
технологии, 2008, №1, с. 15-22.
2. Лотов А.В. Введение в экономико-математическое моделирование.
– М.: Наука, 1984. – 392 с.
3. Адаптивные методы решения задачи многокритериальной оптимизации, использующие аппроксимацию функции предпочтений лица, принимающего решения [Электронный ресурс]/ авт. Карпенко А.П., Федорук
В.Г. – Электрон. журн. – М.: Электронное научное техническое издание
«Наука и образование», 2008 - Режим доступа:
http://technomag.edu.ru/doc/101804.html, свободный.
4. PRADIS – анализ динамики систем различной физической природы
[Электронный
ресурс].
Режим
доступа:
http://www.laduga.ru/pradis/pradis.shtml, свободный.
5. Разработка математической модели двигателя внутреннего сгорания с использованием программного комплекса PRADIS [Электронный
ресурс]/ авт. Карпенко А.П., Мухлисуллина Д.Т., Овчинников В.А. –
Электрон. журн. – М.: Электронное научное техническое издание «Наука
и образование», 2009 - Режим доступа:
http://technomag.edu.ru/doc/120505.html, свободный.
УДК 004.032.26(06) Нейронные сети
162