Программа курса «Введение в оптимизацию»

Программа курса «Введение в оптимизацию»
Часть I. Общая конечномерная задача оптимизации и связанные с нею понятия
1. Постановка задачи (целевая функция, допустимое множество, допустимые точки).
2. Понятия «решения»: точки глобального и локального экстремума; допустимые и
квазидопустимые последовательности; минимизирующие (максимизирующие)
последовательности; корректно поставленные (устойчивые) задачи; субоптимальные (  - оптимальные) точки.
3. Теорема Вейерштрасса и ее следствия.
4. Расстояние от точки до множества; наилучшее приближение (аппроксимация)
элементами данного множества и условия его существования; понятие проекции
точки на множество и условия ее существования.
5. Классификация основных конечномерных задач оптимизации: классические
задачи на безусловный и условный экстремум; выпуклые задачи (с определением
понятий выпуклого множества и выпуклых / вогнутых функций); задачи
линейного программирования; задачи нелинейного программирования; другие
типы задач математического программирования.
6. Модельные прим еры:
 Задача Штейнера
 Линейная и нелинейная модели оптимального распределения ресурсов
 Динамическая модель оптимального распределения ресурсов (как пример бесконечномерной задачи оптимизации)
 Безусловный и условный экстремум квадратичной формы (на R n и на сфере
Sr ), связь с собственными значениями формы.
7. Типичные классы функций:

Непрерывных на множестве ( C ( D , R m ) или C ( D ) )

Гладких ( C1 ( D , R m ) или C1 ( D ) ); формула Тейлора 1-го порядка

Дважды гладких ( C2 ( D , R m ) или C2 ( D ) ); формула Тейлора 2-го порядка

Пояснение понятий в случае замкнутого множества D.
8. Негладкие (не дифференцируемые) функции. Производная по направлению.
Случай гладкой функции. Направления спуска и подъема функции в точке (в
линейном приближении); направления наискорейшего спуска и подъема.
Часть II. Аппарат и условия экстремума в задачах оптимизации
1. Введение в выпуклый анализ
а. Комбинации векторов – линейные, нетривиальные, неотрицательные (позитивные), выпуклые.
б. Выпуклые множества; описание через выпуклые комбинации точек; операции, сохраняющие выпуклость. Овыпукление множеств (выпуклые оболочки
и их замыкания).
в. Выпуклые функции; неравенство Иенсена; операции, сохраняющие выпуклость; критерии выпуклости гладких и дважды гладких функций; понятие
субдифференциала негладкой выпуклой функции, надграфик функции, связь
выпуклых функций с выпуклыми множествами; вогнутые функции: связь с
выпуклыми функциями и множествами.
г. Выпуклые задачи оптимизации – совпадение локального экстремума с глобальным и выпуклость множества экстремальных точек; обратно-выпуклые
(«антивыпуклые») задачи и многоэкстремальность.
д. Минимизация на выпуклом множестве: конус допустимых направлений к
множеству в точке ( con (D  x ) ); необходимое условие локального минимума
негладкой функции (через производную по направлению); следствие для
гладкой целевой функции; множество опорных (нормалей) к допустимому
множеству в точке ( ND (x) ) и геометрическая интерпретация. Необходимые и
достаточные условия глобального минимума в случае выпуклой целевой
функции (как гладкой, так и негладкой).
2. Принцип Лагранжа в гладких задачах математического программирования
 Задача:
f0 ( x )  min ; fi ( x )  0 , i  1, k , g ( x )  0 ( g  R m ) .
 Функция Лагранжа:

k
L (x ,  ) 
 i fi ( x )    , g ( x )  ,
i0
где   ( ,  )  ( 0 , . . . ,  k ,  ) - набор множителей Лагранжа.
 Множество активных индексов в точке x :
I (x )  1  i  k : fi ( x)  0   { 0 } .
 Принцип Лагранжа: если
x - точка локального минимума, то существует
набор   (  ,  )  0 такой, что
(а)   0 , ifi ( x )  0 , i  1, k ,
(б) L x ( x ,  )  0 .
 Пусть  ( x ) - множество наборов множителей Лагранжа для точки x . Точка
x называется стационарной, если  ( x )   . Точка x - нормальная стационарная точка, если  0  0     ( x ) (тогда можно полагать  0  1   ).
 Нормировка (стандартная):
      1. Вообще (N) – условие нор-
мировки, если из (N) следует, что   0 .
Задачи и упражнения
1. Исследовать на безусловный экстремум квадратичную форму Q (x)  x TAx , матрица которой имеет вид:
 2  1
а. A  
1
1
4
 3
б. A  

 4  5
4
 3
в. A  

 4  6
 2 4
г. A  

4 8 
1 2 0 
д. A  2 4 5
0 5 6
0
 1 1

е. A   1  1
0 
 0
0  2
1
0
ж. A  
3

0
0 3 0
2 0 5
0 4 0

5 0 6
Связать ответы к задачам со свойством знакоопределенности соответствующих
квадратичных форм.
2. Исследовать на (условный) экстремум квадратичные формы предыдущей задачи на
сфере Sr  Sr (0) радиуса r  0 соответствующего пространства.
Примечание: использовать, что
min Q (x)  r 2 min Q ( x)  r 2 min  r 2 Q (x (min ))
Sr
S1
и аналогичное равенство для max Q (x ) , где x (min ) и x (max ) - нормированные
Sr
векторы, соответствующие min и max .
3. Исследовать «знак» квадратичной формы Q(x) на указанных подпространствах L
(множествах решений однородной линейной системы):
а. Q (x)  x12  2x1x 2  x 22 ,
б. Q (x)  4x12  2x1x 2  x 22 ,
x1  x 2  0 ;
x1  x 2  0 ;
в. Q (x )  x12  x 22  x 32  4x1x 3  2x1x 2 , x1  x 2  x 3  0 , x1  x 2  x 3  0 ;
г. Q (x )  x12  x 22  x 32  4x1x 3  2x1x 2 , x1  x 2  x 3  0 , x1  x 2  x 3  0 ;
д. Q ( x )  x12  x 32  4x1x 2  6x 2 x 3 , x1  x 2  x 3  0 .