90401_prezentaciya_chast

Оптимизация - поиск наилучшего решения (от лат. optimum –
наилучшее)
Фундамент методов оптимизации:
• Математическая теория (дифференциальное исчисление, многомерный
анализ, линейная алгебра, векторы и др.).
• Теория алгоритмов и вычислительных (численных) методов.
• Вычислительная техника и программирование.
Области применения методов оптимизации
• Проектирование, конструирование и производство технических
объектов различного характера.
• Решение экономических задач на основе макро- и
микроэкономических моделей, задач логистики и управления
материальными ресурсами.
• Планирование и обработка результатов научных экспериментов.
• Автоматическое управление сложными системами.
Стратегия оптимизационного исследования:
• Что оптимизировать?
• Как оптимизировать?
Основные компоненты оптимизационной модели:
• Критерий оптимизации
• Параметры оптимизации
• Ограничения
Требования к оптимизационной модели:
• Адекватность - соответствие полученных с использованием модели
решений задачи оптимизации реальному улучшению естественного
процесса, объекта при выбранном уровне детализации его описания.
• Точность - степень соответствия вычисляемых характеристик (функций),
входящих в компоненты модели, реальным характеристикам
оптимизируемого процесса или объекта.
• Экономичность - возможность проведения оптимизации в наименьшие
сроки, с запросом возможно меньших ресурсов.
• Простота - свойство модели, обеспечивающее наиболее простую, по
возможности линейную связь параметров оптимизации с оценочной
функцией и функциями ограничений.
Критерий оптимизации (оптимальности) - некоторое
правило, по которому один вариант решения сравнивается с другим,
исходя из необходимости достижения заданной цели.
Возможные подходы к решению сложных проблем
оптимизации:
• Многокритериальный подход
• Выбор единственного критерия, остальные факторы учитываются с
помощью ограничений
Пример построения критерия оптимизации при
проектировании оптических систем
F
- вектор
оптимизируемых функций: содержит безразмерные
величины f , однозначно связанные с характеристиками ui качества
i
оптической системы и зависящие от параметров оптимизации X.
Выбор f i осуществляется с таким расчетом, что в процессе оптимизации
их необходимо приблизить к нулевым значениям
ui ( X)  ui
f i ( X) 
 ui
где ui , ui ,  ui - текущее, заданное значения и масштаб какой-либо
характеристики
  F 2  F T F  min
2
Критерий оптимизации:
Параметры оптимизации - независимые переменные, которые
используются для уменьшения значений оценочной функции
Выбор переменных обусловлен соблюдением требований к
оптимизационной модели
Пример
Какой параметр формы сферической поверхности предпочтительней:
радиус или кривизна?
Связь параметров оптимизации X и конструктивных параметров P:
XLP
L - матрица связи
Природа ограничений:
• математические ограничения;
• физические;
• экономические;
• эксплуатационные;
• конструктивные;
• технологические.
Типы ограничений
• Ограничения-равенства – это ограничения, суть которых состоит в
том, что некоторая функция от параметров оптимизации должна
принимать точно определенное значение.
• Ограничения-неравенства - это ограничения, суть которых
заключается в том, что некоторая функция от параметров оптимизации
должна принимать значения в заданном интервале.
• Ограничения принадлежности параметров оптимизации
определенному подмножеству.
Способы задания ограничений
Ограничения-равенства:
ei ( X)  0, i  1, s,
vi ( X)  vi
ei ( X) 
 vi
Ограничения-неравенства:
min
max
• прямые ограничения на параметры оптимизации xi  xi  xi
• функциональные ограничения bk ( X)  0,
k  1, p,
wi ( X)  wi
bi ( X) 
 wi
Типы оптимизируемых систем
• Детерминированные, функционирование которых строго определено
в настоящем и будущем.
• Вероятностные, поведение которых описывается с помощью аппарата
теории вероятности.
• Игровые, которые осуществляют разумный выбор своего поведения в
будущем на основе оценки ситуаций и предполагаемых способов
действий по принятым критериям, а также исходя из неформальных
соображений.
Особенности оптимизационных моделей
Детерминированная модель отражает поведение системы с позиции
полной определенности в настоящем и будущем. Детерминированный
подход используют для достижения наивысшего качества в процессе
проектирования технических изделий, при оптимизации планирования
перевозок, материально - технического снабжения.
Вероятностная модель учитывает влияние случайных факторов на
поведение системы и, следовательно, оценивает будущее с позиции
вероятности тех или иных событий
Игровая модель дает возможность получить максимальный выигрыш в
конфликтных ситуациях, в которых каждая из конфликтующих сторон
придерживается своих взглядов, стремится получить информацию о
намерениях ”противника” и, возможно, извлечь выгоду из его ошибок,
действует сообразно складывающейся обстановке
Универсальность методов оптимизации
Построение оптимизационной модели - проблема объектно-ориентированная.
Это означает, что оно:
•основывается на глубоком изучении свойств процесса или объекта,
подлежащих улучшению;
•формализации с учетом свойств оптимизируемого объекта;
• осуществляется специалистом в конкретной предметной области.
При формализации широко используются эвристические подходы (от греческого
heurisko - отыскиваю, открываю), опирающиеся на совокупность интеллекта,
знаний, опыта и интуиции.
Реализация методов оптимизации является процедурой в значительной степени
объектно-инвариантной, поскольку опирается на свойства модели вне
зависимости от ее происхождения.
«Проба» функций
«Проба» - алгоритм, позволяющий получить значения критерия
оптимизации, функций-ограничений и, возможно, их производных для
любого набора параметров из области определения.
В «пробе» осуществляются элементы анализа конкретной
оптимизируемой системы:
X  F( X)
Если «пробу функций» реализовать в виде сменного программного
модуля, то сама программа, решающая проблему оптимизации, станет
пригодной для улучшения не одного объекта или процесса, а целого их
множества. Переход от одной задачи к другой будет осуществляться
лишь подключением нового сменного программного модуля.
Постановка задачи математического
программирования
Проблема оптимизации детерминированных систем формулируется в виде
задачи математического программирования
найти величины переменных (параметров оптимизации) x1 , x2 ,..., xn из
n
n-мерного множества S евклидова пространства
, для которых
вещественная скалярная функция  ( x1 , x2 ,..., xn ) принимает
минимальное значение при условии соблюдения следующих
ограничений:
c1 ( x1 , x2 ,..., xn )  0
c ( x , x ,..., x )  0
n
 2 1 2
...

cm ( x1 , x2 ,..., xn )  0

c1 ( x1 , x2 ,..., xn )  0
c2 ( x1 , x2 ,..., xn )  0

...
c ( x , x ,..., x )  0
n
 p 1 2
Матричная запись задачи математического
программирования (МП)
 ( X)  min
, X S 
n
,
C( X)  0
C( X)  0
 ( X)  min означает, что требуется найти значения параметров
оптимизации, которые доставляют минимум оценочной функции.
Записи C( X)  0 и C( X)  0 , в которых слева и справа от операндов
находятся соответственно векторы функций и нулевые векторы,
означают, что соотношения, определяемые операндами, должны
поэлементно выполняться для всех составляющих векторов.
Допустимое множество
Произвольный набор переменных X  S 
пространстве параметров оптимизации.
n
задает точку, или элемент в
Эта точка является допустимой, если для нее соблюдаются все
ограничения задачи МП. В противном случае точка будет недопустимой.
Множество допустимых точек образует допустимое множество, или
допустимую область задачи.
Будем рассматривать в качестве решения задачи МП точку локального
минимума в допустимой области, характерную тем, что значение в ней
оценочной функции связано определенными соотношениями со
значениями оценочной функции в соседних допустимых точках.
Определение локального минимума
Пусть X * - допустимая точка, а - ( X*,  ) допустимое множество из ее  -
окрестности (под ( X*,  ) можно понимать n-мерный гипершар радиуса  ).
Точку X * будем называть точкой сильного локального минимума, если
существует число   0 такое, что  ( X)   ( X*) для всех X ( X*,  ), X  X *.
Точку X * будем называть точкой слабого локального минимума, если существует
число   0 такое, что  ( X)   ( X*) для всех
X ( X*,  ) , и при этом X *
не удовлетворяет условиям сильного локального минимума.
Сильные, слабые локальные минимумы.
Глобальный минимум
Классификация задач математического
программирования и соответствующих им методов
оптимизации
1. По наличию или отсутствию ограничений
• Задачи безусловной оптимизации (дословно можно прочитать как
задачи оптимизации «без условий»), когда ограничения отсутствуют.
• Задачи условной оптимизации, когда в наличии имеется хотя бы одно
ограничение.
Классификация задач математического
программирования и соответствующих им
методов оптимизации (продолжение)
2. По линейности или нелинейности функций
• Задачи линейного программирования (ЛП) - оценочная функция и
функции ограничений в задаче МП линейны.
• Задачи нелинейного программирования (НЛП) - хотя бы одна из
функций является нелинейной
Разновидностью задачи НЛП является задача квадратичного
программирования, когда оценочная функция квадратичная, а
ограничения линейные.
Квадратичной называется функция вида:
1
2
 (X)  0  R T X  XT HX
Классификация задач математического
программирования и соответствующих им
методов оптимизации (продолжение)
3. По специальному виду оценочной функции
По данному признаку можно выделить много типов задач. Наиболее
часто называют:
• задачу с сепарабельной целевой функцией:
n
 ( X)   fi ( xi )
i 1
• задачу о наименьших квадратах:
n
 ( X)   f i 2 ( X)
i 1
Классификация задач математического
программирования и соответствующих им методов
оптимизации (продолжение)
4. По размерности задачи (числу параметров оптимизации)
• задачи малой размерности;
• задачи большой размерности.
5. По дискретности или непрерывности переменных
• задачи дискретной оптимизации
Их разновидностью являются задачи целочисленного программирования,
в которых переменные могут быть только целыми
• задачи непрерывной оптимизации
Способы решения оптимизационных задач
• классические методы дифференциального и вариационного
исчисления;
• анализ вариантов;
• использование графического способа:
1. выбор области изменения переменных, которая бы позволяла
произвести визуализацию допустимого множества;
2. отображение линий, вдоль которых функции ограниченийравенств ограничений-неравенств равны нулю, чтобы найти
графически допустимое множество;
3. отображение нескольких линий уровня оценочной функции –
кривых, вдоль которых функция имеет постоянное значение,
чтобы определить характер изменения оценочной функции
внутри допустимой области;
4. нахождение оптимальной точки внутри допустимой области.
Пример использования графического способа
Задача НЛП:
 ( X )  x12  x22  x1 x2  min
0.3x1  x2  2  0
 x12  2 x2  2  0
Пример использования графического способа
(продолжение)
• определение области
изменения переменных для
графического построения
• построение линий нулевого
уровня функций ограничений
Пример использования графического способа
(продолжение)
• изменение масштаба (если требуется)
• отображение линий уровня оценочной функции
Пример использования графического способа
(продолжение)
• нахождение оптимальной точки
Использование численных методов
Суть использования численных методов заключается в построении
итерационного алгоритма для поиска минимума оценочной функции с
учетом ограничений.
(0)
Данный алгоритм требует задания исходного приближения X , которое
называется стартовой точкой оптимизации. Начиная с нее, строится
(1)
( 2)
(k)
последовательность точек X , X ,..., X , которая с ростом k должна
сходиться к решению задачи МП – точке X *. При этом в одних алгоритмах
X( j ) должны всегда удовлетворять ограничениям задачи, в других – могут
попадать в недопустимую область.
Каждая итерация - шаг оптимизации состоит из типовых этапов
Структура шага оптимизации
Этап 1. Анализ изменения оценочной функции и, возможно, функций
( k1)
ограничений в окрестности исходной точки X
данного шага с
номером k.
Этап 2. Выбор направления изменения параметров оптимизации.
Этап опирается на результаты предыдущего и позволяет построить
на шаге направление, или траекторию локального спуска – вектор
(реже - направленную кривую), перемещение вдоль которого позволяет
уменьшить значение оценочной функции. Направление локального
спуска должно гарантировать локальное убывание или невозрастание
оценочной функции в окрестности исходной точки шага для
обеспечения сходимости процесса оптимизации.
Численные методы, обеспечивающие определение траектории
спуска, называют методами спуска.
Структура шага оптимизации (продолжение)
К вопросу о терминологии: пример функции с овражным рельефом
Структура шага оптимизации (продолжение)
Этап 3. Определение длины шага вдоль выбранного направления
При выбранной траектории локального спуска положение точки на ней
определяется единственным скалярным параметром - длиной шага.
Изменяя длину шага (осуществляя ее одномерный поиск) можно добиться
(k )
нахождения такой точки X0 на траектории, которая бы обеспечила
оптимальное убывание оценочной функции при заданной трудоемкости
поиска.
Этап 4. Уточнение положения точки, полученной на предыдущем этапе, с
целью коррекции нарушенных ограничений.
Используется только при контроле нелинейных ограничений. В
результате выполнения этапа 4 значение оценочной функции может
увеличиться по сравнению с этапом 3, но должно быть меньше или равно
значению в точке X( k 1).
Этап 5. Проверка условий останова
Графическое отображение шага оптимизации
Условия оптимальности
• Необходимее условия:
Если известно, что точка X * является точкой локального минимума,
то в ней необходимо должны соблюдаться условия, которые так и
называются - необходимыми.
Несоблюдение необходимых условий для произвольной точки
пространства параметров оптимизации позволяет утверждать, что эта
точка заведомо не является оптимальной.
• Достаточные условия:
Проверка достаточных условий осуществляется для точек
пространства X * , в отношении которых не известно точно,
соответствуют ли они локальному минимуму. Если эти условия
соблюдаются в , то этого достаточно для утверждения того, что эта
точка – локальный минимум
Условия оптимальности в задачах без
ограничений (случай одной переменной)
 ( x)  min
Случай одной переменной:
Необходимые условия:
 '( x* )  0
 ''( x* )  0
Достаточные условия:
 '( x* )  0
 ''( x* )  0
Условия оптимальности в задачах без ограничений
(многомерный случай)
 ( X)  min
Необходимые условия минимума в задаче без ограничений:
G ( X* )  0
H ( X* )  0
  ( X) 
  2 ( X)
 2 ( X) 
...


 g1 ( X)   x1 

x

x

x

x
h
...
h
 11

1
1
1
n
1n






G ( X)   ...
H( X)   ... ... ...    ...
...
... 
   ... 
 2

 g ( X)    ( X) 


2
h
...
h
n

 

nn 
 n1
   ( X) ...   ( X) 
 x  ,
 x x
n


xn xn 
 n 1
Условные обозначения
G ( X)  0 - слева от операнда равенства располагается вектор, это
означает, что все его составляющие равны 0 (также равна 0 норма
вектора)
H( X)  0 - слева от операнда располагается квадратная матрица. Такая
запись означает, что матрица должна быть положительно
полуопределенной
Сведения из матричной алгебры:
Положительно полуопределенной матрицей называется такая
квадратная матрица, у которой все собственные числа больше или равны
нулю; по другому определению, это матрица, для которой все значения
T
квадратичной формы X HX при любых X неотрицательны.
Принципы доказательства необходимых условий
1
2
 (X*  X)   (X*)   XTG(X*)   2 XTH(X*  X) X
где 0    1 , X- вектор размерности n. Принимаем   0
Доказательство необходимого условия первого порядка проводится
методом от противного. Предполагается: G (X*)  0 .
Тогда, существует такой вектор X , перемещение вдоль которого от X*
позволит уменьшить оценочную функцию. Этот вектор удовлетворяет
условию:
XTG ( X*)  0
т. е. угол между векторами X и G ( X*) является тупым.
Для доказательства необходимого условия второго порядка
используется соотношение G (X*)  0 . Тогда
1
2
 (X *  X)   (X*)   2 XT H(X *  X) X
Вновь используется метод от противного.
Условия оптимальности в задачах без ограничений
(многомерный случай)
Достаточные условия минимума в задаче без ограничений:
G ( X* )  0
H ( X* )  0
Точка пространства параметров оптимизации, для которой G ( X*)  0 ,
называется стационарной.
Общий подход к рассмотрению условий
оптимальности в задачах с ограничениями
• Необходимо описать допустимое множество ( X* ,  ) , задав правила
перемещения к его точкам из допустимой точки , или, как говорят,
правила построения возможных направлений.
• Следует рассмотреть специфические соотношения между значениями
оценочной функции в X* и иных точках ( X* ,  ) , чтобы убедиться в
свойствах необходимости или достаточности предложенных условий.
Условия оптимальности в задачах с линейными
ограничениями-равенствами
 ( X)  min
AX  B
Матрица A системы линейных уравнений, входящих в задачу МП, имеет
полный строковый ранг, m строк и n столбцов, причем m  n .
Поиск возможных направлений
Выберем произвольную точку из допустимого множества. Тогда в
точках X* и должны соблюдаться ограничения задачи:
AX*  B
AX1  B
A X0
где вектор X  X1  X * является возможным направлением
Любой вектор X , удовлетворяющий данному условию, является
возможным направлением.
Условия оптимальности в задачах с линейными
ограничениями-равенствами (продолжение)
Множество возможных направлений образует линейное
подпространство в n-мерном евклидовом пространстве n , характерным
свойством которого является ортогональность нормалям всех
ограничений-равенств.
Построим в этом подпространстве базис – линейно независимую систему
векторов Z1 , Z 2 , ... , Zn-m . Эти базисные векторы удобно составить в одну
матрицу Z, имеющую m срок и (n-m) столбцов:
Z  (Z1 | Z 2 | ...| Zn-m )
nm
X  Z X   xi Zi
i 1
где вектор X образован из коэффициентов линейной комбинации
векторов Zi .
Условия оптимальности в задачах с линейными
ограничениями-равенствами (продолжение)
 (X*   X)   (X*   Z X)   (X* )   (Z X)T G(X*) 
1 2
 (Z X)T H(X*   Z X)(Z X)   (X* )   XT ZTG(X*) 
2
1 2 T T
 X Z H(X*   Z X)Z X
2
G( X)  ZTG( X)
- спроектированный градиент;
H( X)  ZT H( X)Z - спроектированная матрица Гессе
1
2
 (X*   Z X)   (X* )   G T (X* ) X   2 XT H(X*   Z X) X
Сравним с разложением без ограничений:
1
 (X *  X)   (X*)   G T (X*) X   2 XT H(X *  X) X
2
Условия оптимальности в задачах с линейными
ограничениями-равенствами (продолжение)
Необходимые условия минимума задачи математического
программирования с линейными ограничениями-равенствами:
AX*  B
G( X*)  0, или ZTG( X*)  0
H(X*)  0, или ZT H(X*)Z  0
T
Из условия Z G (X*)  0 вытекает G ( X*)  AT Λ * , где Λ * - вектор из m
чисел, которые называются множителями Лагранжа
Интерпретация условия оптимальности первого
порядка
Вектор градиента в точке локального
минимума можно представить в виде
линейной комбинации нормалей к
ограничениям.
Пусть N i векторы нормалей к
ограничениям AT  (N1 | N 2 | ...| Nm )
G ( X*)  A Λ *
T

m
G ( X*)   i*N i
i 1
где через i* обозначены элементы
вектора Λ * .
Понятие функции Лагранжа
Функция Лагранжа конструируется в виде линейной комбинации
оценочной функции и функций ограничений-равенств (в данной задаче
C( X)  AX  B ):
L( X, Λ)   ( X)  ΛT (AX  B)
Функция Лагранжа обладает тем интересным свойством, что ее
стационарная точка удовлетворяет условиям оптимальности нулевого и
первого порядка задачи с ограничениями:
G ( X)  A T Λ  0

( AX  B)  0
Условия оптимальности в задачах с линейными
ограничениями-равенствами (продолжение)
Достаточные условия минимума задачи математического
программирования с линейными ограничениями-равенствами:
AX*  B
G ( X*)  AT Λ *
ZTH(X*)Z  0
Последовательность проверки достаточных условий:
• проверяют условие нулевого порядка;
• если условие нулевого порядка соблюдено, то вычисляют градиент
оценочной функции G(X*) и находят множители Λ * ,
T
удовлетворяющие системе уравнений G ( X*)  A Λ * (обычно
недоопределенной);
• если условие первого порядка соблюдено, то при m  n строят
матрицу Z, вычисляют матрицу Гессе и проверяют на положительность
T
собственные числа матрицы Z H(X*)Z .
Условия оптимальности в задачах с линейными
ограничениями-неравенствами
 ( X)  min
AX  B
любое соотношение между числами m и n .
Классификация ограничений:
• нарушенные
• ненарушенные:  активные
 пассивные
Классификация ограничений-неравенств
Возможные направления:
• удерживающие (тип a)
• неудерживающие (тип b )
Активные ограничения
AX  B
AT  (N1 | N 2 | ...| Nt )
Удерживающее направление:
NkT P  0
(ортогонально нормали)
Неудерживающее направление:
NkT P  0
(острый угол с нормалью)
Все удерживающие и неудерживающие направления:
A X0
Необходимые условия для удерживающих
направлений
A X0
G ( X*)  A T Λ *
Z T H ( X*) Z  0
Дополнительные требования с учетом неудерживающих направлений:
A X0
XTG ( X*)  0
удовлетворяются при
(Фаркаш, Минковский)
Λ*  0
Условия оптимальности в задачах с линейными
ограничениями-неравенствами (продолжение)
Необходимые условия минимума задачи математического
программирования с линейными ограничениями-неравенствами:
AX*  B, причем AX*  B
G( X*)  AT Λ*, Λ*  0
ZT H(X*)Z  0
Функция Лагранжа:
L( X, Λ)   ( X)  ΛT (AX  B)
Геометрическая интерпретация необходимых
условий
Интерпретация множителей Лагранжа
Пусть направление X - неудерживающее по отношению к k-му активному
ограничению и удерживающее ко всем остальным
XTG ( X*)  k*NTk X
Из разложения оценочной функции в ряд Тейлора:
d ( )

 k* NTk X
где  - длина шага; d ( ) представляет собой скорость изменения

целевой функции
Из разложения функции ck ( X) в ряд Тейлора:
dc ( )
d ( )
 k* k


В первом приближении: скорость изменения оценочной функции вдоль
направления, неудерживающего по отношению к -му активному
ограничению и удерживающего
ко всем остальным, пропорциональна
k* .
множителю Лагранжа
Нулевые множители Лагранжа
Нулевой множитель не дает информации об истинном знаке изменения
оценочной функции
Пример  ( x1 , x2 )  x12  x22  min
x2  0
В точке X*  (0 0)T:
 2x   0 
0 0
2 0 
G   1     ; A  (0 1);      *  *  0; H  

2
x
0
0
1
0

2
   


 2  
Z  (1 0)T
 2 0 1 
Тогда: Z T HZ  (1 0) 
20


 0 2  0 
Геометрическая интерпретация задачи с нулевым
множителем Лагранжа
Условия оптимальности в задачах с линейными
ограничениями-неравенствами (продолжение)
Достаточные условия минимума задачи математического
программирования с линейными ограничениями-неравенствами:
AX*  B, причем AX*  B
G( X*)  AT Λ*, Λ*  0
ZT H(X*)Z  0
Условия оптимальности в задачах с нелинейными
ограничениями-равенствами
 ( X)  min
C( X)  0
Возможные направления
Любое возможное направление определяется с помощью векторной
функции скалярного аргумента U( ),   0 , которая называется
допустимой дугой.
U(0)  X *
Условие сохранения нулевого значения функции ограничения:
dci [U( )]
 0, i  1,2,..., m
d
dci [U( )]
dU( )
 (ci [U(0)])T
 (ci ( X*))T X, i  1,2,..., m
d
d
A( X*) X  0
Вектор X , касающийся допустимой дуги, называется допустимым
направлением в точке X*
Условия регулярности
Условия оптимальности в задачах с нелинейными
ограничениями-равенствами (продолжение)
X  Z(X*) X
Z(X*) - базис подпространства векторов, ортогональных строкам A(X*)
(нормалям к ограничениям)
Необходимые условия минимума задачи математического
программирования с нелинейными ограничениями-равенствами:
C( X*)  0
G( X*)  AT ( X*) Λ *
ZT (X*)W(X*, *)Z( X*)  0
где через W(X*, Λ*) обозначена матрица Гессе функции Лагранжа:
L( X, Λ)   ( X)  ΛTC( X)
Условия оптимальности в задачах с нелинейными
ограничениями-равенствами (продолжение)
Достаточные условия минимума задачи математического
программирования с нелинейными ограничениями-равенствами:
C( X*)  0
G( X*)  AT ( X*) Λ *
ZT (X*)W(X*, *)Z( X*)  0
Условия оптимальности в задачах с нелинейными
ограничениями-неравенствами
 ( X)  min
C( X)  0
Необходимые условия минимума задачи математического
программирования с нелинейными ограничениями-неравенствами:
C( X*)  0, причем С( X*)  0
G( X*)  AT ( X*) Λ*, Λ*  0
ZT (X*)W(X*, *)Z( X*)  0
Условия оптимальности в задачах с нелинейными
ограничениями-неравенствами (продолжение)
Достаточные условия минимума задачи математического
программирования с нелинейными ограничениями-неравенствами:
C( X*)  0, причем С( X*)  0
G( X*)  AT ( X*) Λ*, Λ*  0
ZT (X*)W(X*, *)Z( X*)  0
Условия оптимальности в задачах с нелинейными
ограничениями (общий случай)
 ( X)  min
C( X)  0
C( X)  0
Функция Лагранжа:
T
 Λ1   C( X) 
T
T
L( X, Λ1 , Λ 2 )   ( X)  Λ1 C( X)  Λ 2 C( X)   ( X)    

 Λ 2   C( X) 
C( X) 
T
  ( X)  Λ 

C
(
X
)


Условия оптимальности в задачах с нелинейными
ограничениями (общий случай)
Необходимые условия минимума задачи МП (общий случай)
C( X*)  0
C( X*)  0, причем С( X*)  0
 Λ1* 
T
G ( X*)  A ( X*)  *  , Λ*2  0
Λ 
 2
ZT (X*)W(X*, *)Z( X*)  0
Достаточные условия минимума задачи МП (общий случай)
C( X*)  0
C( X*)  0, причем С( X*)  0
 Λ1* 
T
G ( X*)  A ( X*)  *  , Λ*2  0
Λ 
 2
ZT (X*)W(X*, *)Z( X*)  0
Общая схема реализации методов безусловной
оптимизации
( k1)
• исследование функций в окрестности исходной точки шага X .
X(0) - результат синтеза:
 пробные вычисления функций
 вычисления производных
(k )
• вычисление X конкретным методом локального спуска;
• определение длины шага :
X  X( k 1)   X( k ) ,   0 или
X  X( k 1)  X( k ) ( ),   0
Задача одномерного поиска:  ( *)   (0)
• проверка выполнения условий окончания поиска;
• переход к следующему шагу или окончание процесса
Условия окончания поиска
Абсолютный критерий
G( X*)  1
G(X*) 2  g12 (X*)  g22 (X*)  ...  gn2 (X*)
или
G ( X*)

 max gi ( X*)
i
Относительные критерии
X( k )  X( k 1)
X
( k 1)

 2
 ( X( k 1) )   ( X( k ) )
 3
( k 1)
 (X )  
Классификация методов безусловной оптимизации
• методы нулевого порядка
(прямого поиска)
• методы первого порядка
• методы второго порядка
Возможно вычисление производных по приближенной разностной
формуле, например:
 ( x1 , x2 ,..., xi ,..., xn )  ( x1 , x2 ,..., xi  hi ,..., xn )   ( x1 , x2 ,..., xi ,..., xn )

xi
hi
Погрешности разностной формулы:
• методическая
• округления
Критерии сравнения эффективности методов
безусловной минимизации
Критерии эффективности:
• теоретические
• практические
Теоретические критерии:
• порядок сходимости, под которым понимают максимальное число r,
для которого:
X( k 1)  X *
0  lim
k 
X
(k )
 X*

 
  1 - последовательность сходится линейно
  2 - последовательность сходится квадратично
• асимптотический параметр ошибки
  lim
k 
X( k 1)  X *
X( k )  X *
  0 - последовательность сходится сверхлинейно. 0    1
При   1 - теоретически сходимость может быть очень плохой
Критерии сравнения эффективности методов
безусловной минимизации (продолжение)
Практические критерии
• время решения задач;
• количество вычислений оценочной функции и ее производных;
• число шагов локального спуска до достижения заданных условий
сходимости.
Требования к сравнению методов:
• один и тот же компьютер;
•
•
•
•
одна и та же платформа;
одинаковая техника программирования;
одинаковая стартовая точка;
тождественные условия сходимости и т.п.
Одномерная минимизация
 ( )  min
 0
 ( ) - унимодальная функция
Функция  ( ) называется унимодальной на отрезке[ н , к ] , если на
этом отрезке она имеет минимум в точке * и если для любых
1 ,  2  [ н , к ] , удовлетворяющих неравенству 1   2 , справедливо:
если  2   *, то  (1 )   ( 2 )

 если 1   *, то  (1 )   ( 2 )
Стратегия поиска длины шага при одномерной
минимизации
• пассивный поиск
Стратегия пассивного поиска предусматривает наличие правила, по
которому все точки  i , i  1,..., N могут быть заранее определены вне
зависимости от функции  ( ) .
• последовательный поиск
Стратегия последовательного поиска исходит из того, что величина
 k вычисляется путем анализа информации о всех предшествующих
точках, то есть о значениях  i ,  ( i ), i  1,..., k  1 .
Этапы поиска длины шага при одномерной
минимизации
1. Нахождение отрезка [ н , к ] , на котором локализована точка
минимума (то есть, известно что *   н ,  к  ), но точное ее положение не
определено. Такой отрезок называется начальным промежутком (или
интервалом) неопределенности. Этап 1 теоретически присущ не всем
метода оптимизации
2. Уточнение положения точки минимума  ( ) .