программа - Кафедра математических основ управления

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ
(ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ)
УТВЕРЖДЕНО
Проректор по учебной
и методической работе
Д. А. Зубцов
2015 г.
ПРОГРАММА
по дисциплине:
по направлению:
факультет:
кафедра:
курс:
семестры:
Трудоёмкость:
Методы оптимизации
03.03.01 «Прикладные математика и физика»
Ф УП М
математических основ управления
3
5, 6
базовая часть – 0 зач. ед.
вариативная часть – 6 зач. ед.
по выбору студента – 2 зач. ед.
лекции – 68 часов
Экзамен – 5, 6 семестр
практические (семинарские)
занятия – 68 часа
Диф. зачет – нет
лабораторные занятия – нет
Самостоятельная работа – 0 часов
ВСЕГО ЧАСОВ – 136
Программу составили:
д. ф.-м. н., профессор В. Г. Жадан, к.ф.-м.н., доцент А. Г. Бирюков,
к. ф.-м. н., доцент Р. В. Константинов, к.ф.-м.н. О. С. Федько,
ассистент Ю. В. Дорн
Программа принята на заседании
кафедры математических основ управления
24 апреля 2015 года
Заведующий кафедрой
С. А. Гуз
Часть I. Элементы теории
Постановка задач оптимизации. Локальный и глобальный экстремумы. Классификация экстремальных задач. Примеры.
2. Выпуклые множества. Пересечение и линейная комбинация выпуклых множеств, их свойства. Конус, выпуклый конус. Аффинное множество, две формы представления аффинного множества.
Выпуклая, неотрицательная и аффинная комбинации точек. Выпуклая, коническая и аффинная оболочки множеств. Их связь с
комбинациями точек.
3. Относительная внутренность и относительная граница множества.
Свойства относительной внутренности выпуклого множества.
4. Отделимость множеств. Свойства отделимости выпуклых множеств. Опорная гиперплоскость. Существование опорной гиперплоскости. Проекция точки на множество. Свойства проекций.
5. Сопряженное множество. Второе сопряженное множество. Их
свойства. Сопряженный конус и сопряженное линейное подпространство. Конус, двойственный к сумме конусов, и конус, сопряженный к пересечению конусов.
6. Многогранные множества, полиэдры. Множество, сопряженное к
многогранному множеству.
7. Системы линейных равенств и неравенств. Теоремы об альтернативах. Лемма Фаркаша. Линейные матричные неравенства.
8. Выпуклые, строго выпуклые и сильно выпуклые функции. Определения, примеры, свойства. Множество уровня выпуклой и
сильно выпуклой функции. Эпиграф функции, свойства эпиграфа
выпуклой функции.
9. Непрерывность и дифференцируемость по направлению выпуклой функции. Дифференциальные критерии выпуклой (сильно
выпуклой) функции.
10. Субдифференциал функции. Существование и свойства субдифференциала. Теорема о субдифференциале суммы выпуклых
функций.
11. Индикаторная функция множества. Субдифференциал индикаторной функции выпуклого множества. Субдифференциал выпуклой функции на выпуклом множестве. Опорная функция
множества.
12. Сопряженные и полярные функции, их свойства. Неравенства
Юнга–Фенхеля и Минковского–Малера. Примеры сопряженных и
полярных функций.
1.
2
13. Теорема Вейерштрасса и её следствия. Выпуклая задача минимизации. Теорема о глобальном экстремуме. Условия оптимальности выпуклых задач минимизации в терминах субдифференциалов.
14. Касательное направление, касательный конус. Конус возможных
направлений. Их свойства. Теорема о необходимом условии экстремума в терминах производных по касательному направлению.
Необходимое и достаточное условия экстремума для выпуклой
задачи в терминах производных по направлению.
15. Необходимое и достаточное условия экстремума дифференцируемой функции на выпуклом множестве. Вариационное неравенство. Необходимые и достаточные условия экстремума для задачи
безусловной минимизации (БМ).
16. Необходимые и достаточные условия оптимальности для задач
математического программирования. Условия Каруша–Куна–
Таккера. Достаточные условия второго порядка. Условия регулярности ограничений. Необходимые и достаточные условия оптимальности для выпуклой задачи математического программирования. Регулярная и нерегулярная задачи математического
программирования.
17. Функция Лагранжа для задач математического программирования
и ее свойства. Седловая точка функции Лагранжа.
18. Теория двойственности для задач математического программирования. Задача линейного программирования и двойственная к
ней. Собственные и несобственные задачи математического программирования. Двойственность для несобственных задач линейного программирования.
Часть 2. Численные методы
1.
2.
3.
Понятие о численных методах оптимизации. Сходимость и условия остановки численных методов.
Унимодальные функции одной переменной. Методы одномерной
минимизации (метод дихотомии, метод золотого сечения, метод
Фибоначчи).
Численные методы решения задачи БМ. Способы выбора шага в
методах. Наискорейший спуск. Правило Армихо, правило Голдстейна. Градиентный метод и метод Ньютона решения задачи БМ.
Свойства их сходимости. Квазиньютоновские методы.
3
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Сопряженные направления. Метод сопряженных градиентов для
минимизации квадратичных функций. Метод сопряженных градиентов для решения общей задачи БМ.
Задача линейного программирования (ЛП). Общая, каноническая
и другие формы задачи ЛП. Угловые точки в задаче ЛП. Алгебраический критерий угловой точки.
Симплекс-метод решения задачи ЛП. Табличная форма СМ. Модифицированный СМ решения задачи ЛП. Двухфазный симплексметод. М-задача.
Методы решения задач с простыми ограничениями. Метод проекции градиента. Метод условного градиента.
Метод возможных направлений и метод линеаризации. Различные
варианты вспомогательных задач для выбора возможных направлений.
Общая схема метода штрафных функций. Метод внешних штрафных функций. Метод внутренних штрафных функций (барьерных
функций). Свойства сходимости методов штрафных функций.
Методы параметризации целевых функций (метод внешних центров). Метод внешних центров для задач выпуклого программирования.
Модифицированные функции Лагранжа для задач с ограничениями типа равенства. Их обобщение на задачи с неравенствами. Методы последовательного квадратичного программирования.
Мультипликативно-барьерные методы для задач ЛП. Аффинномасштабирующий метод и метод Кармаркара для задачи ЛП.
Прямо-двойственный метод центрального пути для ЛП и КП.
Задачи многокритериальной оптимизации. Понятие оптимальности в многокритериальной оптимизации. Оптимальные по Слейтеру и Парето решения задач многокритериальной оптимизации.
Модификация метода внешних центров для задач многокритериальной оптимизации.
Методы глобальной оптимизации. Построение нижних аппроксимаций для липшицевых функций. Метод секущих и метод покрытий.
Литература
1.
2.
Сухарев А.Г., Тимохов А.В., Федоров В.В. Курс методов оптимизации. –
М.: Наука, 2008.
Васильев Ф.П. Численные методы решения экстремальных задач. – М.:
Наука, 2011.
4
3.
4.
5.
6.
7.
8.
Жадан В.Г. Методы оптимизации. Часть I. Введение в выпуклый анализ
и теорию оптимизации. – М.: МФТИ, 2014.
Бирюков А.Г. Методы оптимизации. Условия оптимальности в экстремальных задачах. – М.: МФТИ, 2010.
Измайлов А.Ф., Солодов М.В. Численные методы оптимизации. – М.:
Физматлит, 2003.
Жадан В.Г. Численные методы линейного и нелинейного программирования. Вспомогательные функции в условной оптимизации. – М.: ВЦ
РАН, 2002.
Галеев Э.М., Тихомиров В.М. Оптимизация. Теория. Примеры. Задачи. –
М.: Эдиториал УРСС, 2000.
Нестеров Ю.Е. Введение в выпуклую оптимизацию. – М.: МЦНМО,
2010.
Дополнительная литература
9. Поляк Б.Т. Введение в оптимизацию. – М.: Наука, 1983.
10. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. –
М.: Наука, 1978.
11. Евтушенко Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. – М.: Наука, 1982.
12. Ашманов С.А., Тимохов А.В. Теория оптимизации в задачах и упражнениях. – М.: Наука, 1991.
ЗАДАНИЕ № 1
1. Используя геометрические интерпретации, решить следующие экстремальные задачи:
а ) extr ( x12  3x22 ) при условии 3 | x1 |  | x2 |  1,   0,
б ) extr (| x1 |  3 | x2 | ) при условии 3 x12  x22  1,   0,
в ) extr ( x12  3x22 ) при условии 3 | x1 |  | x2 |  1,   0,
г ) extr (| x1 |  3 | x2 | ) при условии 3 x12  x22  1,   0.
Указать, какие из решений этих задач являются локальными, глобальными, строгими, острыми.
2. Доказать, что выпуклая оболочка открытого множества из
Rn является открытым множеством, а выпуклая оболочка
5
замкнутого множества может быть множеством незамкнутым.
3. Пусть A  R n  выпуклое замкнутое множество, точка
a  A. Доказать, что для нормального конуса ко множеству
А в точке a вида:
N ( A, a)  { p  R n : p  x  p a x  A} справедливо равенство N ( A, a)  ( Г ( А, а))*.
Показать, что конус N ( A, a )  0, если и только если
a A.
4. Пусть p  R n , p  0. Для любого числа b  R n найти Р* ,
где Р  {x  R n : p T x  b}.
5. Пусть K  Rn  выпуклый замкнутый конус, х  R n . Доказать, что х   К ( х)   К *  N ( K , 0).
n
6. Доказать, что функция f ( x)  ln(  e xi ) выпукла на R n . Буi 1
дет ли она строго выпуклой?
7. а) Решить задачу: extr (1  x  2 y  3z ) xy 2 z 3 .
б) Найти экстремумы неявно заданной функции двух переменных z  f ( x, y ), если
F ( x, y, z )  x 2  3 y 2  6 z 2  2 xy  4 yz  2 x  3z  4  0.
8.Вычислить опорную функцию множеств:
а) Conv{x1 , x2 }, где х1 , х2  R n .
б) Conv{x1 ,..., xm }, где х1 ,..., хm  R n .
в) {х  R n : x  x0  R}, x0  R n , R  0.
г) {x  R n : x T Mx  x T x0  R}, M  R nn ; M  0  симметричная матрица, R > 0.
6
9. 1)
Показать, что конусом, сопряженным к конусу

G  z  R n : aiT z  0, i  1, m ; aiT z  0, i  m  1,
,
является конус
m


G   P  R n : P    i ai   i ai ; i  0, i  1, m  .

i 1
i  m 1

2) Найти G, G, G для


G  x  R 2 : x1  1  x2  1  1 .
10. Пусть а  R n , a  0, R  0. Вычислить f A ( x) выпуклой
функции f : R n  R1 по выпуклому множеству А  R n , если
а) f ( x )  x , A={x  R n : x T a  0},
б) f ( x )  а Т х , A={x  R n : x  R},
в) f ( x )  max( a T x,0), A={x  R n : x  a  a }.
11. а) Пусть даны матрицы
A  R n n , U  R n m , V  R n m , 1  m  n ,
det A  0, det( Em  V T A1U )  0.
Доказать, что
( A  U V T )1  A1  A1U ( Em  V T A1U )1V T A1.
Рассмотреть частные случаи:
1) A  En ; 2) m  1; 3) A  En , m  1.
Здесь Em и En  единичные матрицы
порядка
m
и
n
соответственно. Для всех случаев найти ( A  UV T ) 1, где
число   0.
б) Пусть даны матрицы A  R nn и B  R nn ,
det A  0, det( En  BA1 )  0.
Доказать, что
7
 A  B 1  A1  A1( En  BA1)1 BA1  A1  ( A  B)1 BA1.
Рассмотреть частный случай, когда A  En .
ЗАДАНИЕ № 2
1.
Между точками A и B , расположенными на
одинаковой высоте от земли, подвешена гибкая тяжелая нить с
постоянной линейной плотностью  кг/м. Расстояние между
точками A и B равно . Найти такую длину нити L , чтобы
натяжение нити в точках подвеса A и B было минимальным.
Уравнение точек линии в декартовой прямоугольной системе
координат xy , начало которой находится в точке A , ось x
проходит через точки A и B , ось y параллельна ускорению


свободного падения, имеет вид y  a  ch
x /2

 ch  , где
a
2a 
a
– параметр, зависящий от длины нити L .
2.
Определить
расстояние
между
множествами
G1  R2 и G2  R2 , а также уравнения двух разделяющих
гиперплоскостей, одна из которых является опорной ко
множеству G1 , другая – ко множеству G2 в точках, для
которых расстояние минимально:



G1  x  R 2 : x12  2 x22  8 , G2   x  R 2 :

3.
x2 

4
, x1  0  .
x1

Вычисления провести с относительной точностью 103.
Показать, что экстремальная задача регулярна: min f ( x ) ,
aiT x  bi , i  1, m ,
aiT x  bi , i  m  1, , x  R n .
8
4.
Решить задачу
extr ( x2  x12 ), x  G , где


G  x  R 2 : 3 | x1|  3 | x2|  2 ,
для чего найти точки x* , где f ( x )  T  ( x ) и  f ( x )  T  ( x ) ,
и выяснить, какие из них являются точками локального и
глобального, строгого и острого экстремума.
5.
Решить задачу БМ:
min( x  a   c x  b ),
x  R n ,   0, b  0.
6.
Решить задачу
extr 2 x1  x2  x3 , x  R 3 , если
2  xi  3, i  1,3.
Показать, что в точках решения выполнено необходимое и достаточное условие экстремума.
7. Найти экстремумы в следующей задаче:
extr (2 x 2  xy  y 2 ), если y 
a
 1, a  0.
x
8. Решить задачу
extr (2 x1 x2  x3 ), если
x3  0; x1  2 x2  x3  0; x12  x22  x32  6
9. Построить задачу, двойственную к следующей:
min( x  a) ( x  a), x  G,
n
G  {x  R n :  i xi2  1, i  0, i  1, n, c  x  b, a  G, G  }.
i 1
9
10. Найти функции, сопряженные к функциям:
а) f ( x )  c  x 
1 
x Ax, x  R n , A  R nn , A  0,
2
б) f ( x )  1  ( x  a ) ( x  a ), x  R n .
11. Для задачи min ( x 2  y 2 ) , где 2 x 2  y 2  4, x  2 y  0,
найти седловую точку, решая задачу «в лоб», а именно:
а) считая множители Лагранжа параметрами, найти x (1,  2 ) ,
y (1,  2 ) из решения задачи min L( x, y, 1, 2 );
x, y  R 2 ;
б) найти 1, 2 из решения задачи
max L( x(1 , 2 ),
y(1, 2 ), 1, 2 ) и x(1, 2 ), y(1, 2 ),
1  0, 2  0;
в) сравнить решения x , y , 1 , 2 с решением, полученным
из условия оптимальности ККТ.
12. В выпуклой задаче
min ( x  3) 2  y  2  , ( xy )  G,




G  ( xy )  R 2 : x  2 y  10
а) найти множество стационарных точек:




S   x, y,  : 0  L( x, y, ), ( x  2 y  10)  0,  ,   0.
xy




б) решить двойственную задачу: max (), где   0,
 ( )  inf L( x, y,  ) по x, y  R 2 .
в) найти седловую точку x , y , * функции Лагранжа.
ЗА ДАН И Е № 3
1. Найти стационарные точки и точки экстремума функции
10
f ( x)  x14  2 x24  x12  4 x1x2  4 x22 .
Сделать по одному шагу методом наискорейшего спуска
(НС) из начальных точек
x0  (1, 4; 1, 4), x0  (1, 4; 1, 4) .
Оценить значение коэффициента скорости сходимости в
методе НС для итерационных процессов, для которых


x0  G  x  R 2 : xi  xi  0, 2, i  1, 2 ,
x – точки локальных минимумов, к которым сходится метод
НС из указанных точек x0 . Найти предельное значение
коэффициента скорости сходимости.
2. Для решения задачи min ( x 2  4 x) при условии 2  x  4 с
-точностью методами дихотомии, золотого сечения и
Фибоначчи найти число вычислений функции для  = 10–7и
 = 10–10.
3. Какую скорость сходимости к точке минимума имеет метод
Ньютона при минимизации функций f ( x ), x  R n , если
а) f ( x) 
1 п
2p
 i xi , i  0 , p 1, 2,
2 p i 1
б) f ( x) 
1 T
1 n
2p
x Ax 
 i xi , i  0,
2
2 p i 1
;
где A  AT  0; р 1, 2,
Сделать для задачи а) один шаг метода Ньютона с регулировкой шага и выбором длины шага из условия одномерной минимизации. Что можно сказать о скорости сходимости метода
Ньютона с регулировкой шага и выбором длины шага из условия одномерной минимизации для задачи б)?
4. Пусть векторы ai  R n , i  1, n – линейно независимы,
A  AT . Построим систему векторов hi  R n :
11
h1  a1;
hk  ak

k 1 aT Ahi
 kT
i 1 hi Ahi
hi , k  2, n ,
при этом система ai  R n , i  1, n, такова, что hiT Ahi  0, i  1, n.
hi  R n , i  1, n ,
Доказать, что векторы
сопряжены
относительно матрицы A , а также справедливо соотношение
n hhT
A1   i i .
T
i 1 hi Ahi
(*)
Используя формулу (*), решить систему линейных
уравнений (**) предварительно ее симметризовав, для
ai  ei  (0,...1...,0)T , i  1,3:
i
3x1  x2  x3  5,
x1  2 x2  2 x3  1,
()
 x1  x2  2 x3  2.
5. Показать, что в методе сопряженных градиентов для квадратичной функции f ( x) на каждом k-м шаге при k  2 в точке xk
реализуется минимум функции f ( x) на аффинном множестве
L  {x  Rn : x  xk 1  f ( xk 1 )  pk 1, ,   R1},
где pk  f ( xk 1)  k pk 1  направление убывания f ( x).
6. Определить скорость сходимости метода Ньютона и метода
наискорейшего спуска и окрестность, из которой эти методы
сходятся к оптимальному решению следующей задачи:

min e x x , x  Rn .
Замечание. При решении задачи замену переменных r  x
не использовать.
7. Найти минимум функции методом Ньютона и методом
сопряженных градиентов, где
12
f ( x)  x12  2 x22  2 x32  2 x1x2  4 x2 x3  2 x1x3  2 x1  2 x2  2 x3 , x  R3 ,
x0  (0, 0,1).
8. Найти
min( x1  1)2  2( x2  2)2  3( x3  3)2 , x  R3 ,
при
условиях:
методом
 x1  2 x2  x3  4 ; x1  2 x2  2 x3  0
множителей Лагранжа. Построить для данной задачи
двойственную и решить ее. Сравнить решения этих задач.
9. Для задачи min f ( x), xG, где f  достаточно гладкая
функция, сформулировать необходимые условия экстремума,
если


n
2) G  x  R : Aх  b, b  R m , m  n, rangA  m;
3) G  x  R n : xT Ax  1, A  AT .
Рассмотреть случаи A  0 и A  0;
4) G  x  R n : x  0.
1) G  x  R n : a  x  b ;
Сформулировать для указанных задач достаточные условия
экстремума первого порядка, второго порядка, достаточные
условия острого экстремума. Сформулировать для задачи
математического
программирования
необходимые
и
достаточные условия оптимальности первого и второго
порядков.
10. Дана система линейных уравнений
 ( x)  Ax  b  0, x  R n , b  R m , A  R nm , rangA  min(m, n).
Что можно сказать о множестве решений
G  {x  Rn : Ax  b} при m  n, m  n, m  n ?
1
 ( x)  ( x) и рассмотрим задачу
2
БМ: Найти min f ( x), x  R n . Когда существует решение этой
задачи G * ? Когда f ( x* )  0 при x*  G ? Построить схемы
Возьмем функцию f ( x ) 
метода Ньютона, наискорейшего спуска и метода сопряженных
13
градиентов для задачи БМ. Если G * не единственно, то как
можно найти численно все точки х*  G * ?
ЗАДАНИЕ № 4
1. Для задачи ЛП
max
 x1  x2  2 x3  x4  ,
x1  2 x2  x3  x4  5,
x1  x2  x3  2 x4  1,
xi  0, i  1, 4,
построить двойственную задачу, решить её, после чего решить
прямую задачу.
2. Найти решение задачи
max  x1  x2  ,
2 x1  x2  3 , x1  p  5 , x1  0, x2  0,
зависящее от параметров p и  .
3. Следующую задачу линейного программирования решить
табличным симплекс-методом 1 :
max (4 x1  5 x2  9 x3  11x4 ),
7 x1  5 x2  3x3  2 x4  120,
x1  x2  x3  x4  A,
3x1  5 x2  10 x3  15 x4  20 B, xi  0,
i  1, 4 , A  [15, 30], B  [3, 10].
Найти решение соответствующей двойственной задачи.
Указание. Конкретные значения параметров A и B получить
у своего преподавателя.
8 2
4. Пусть матрица A  
 . Методом внешних штрафных
4 1
1
2
функций решить задачу 1: min xT Ax, при условии
14
2 x1  3x2  5, x  R 2 . Методом внутренних штрафных функций
1
решить задачу 2: min xT Ax при условии 3x1  5x2  8, x  R 2 .
2
5. Решить методом точных внешних штрафных функций
задачу: найти
min(c1x1  c2 x2  c3 x3 ), где x  R 3 и
а) ( x1  a1 )2  2( x2  a2 )2  3( x3  a3 )2  b, b  0;
б) значение параметров ai , ci , b, i  1,3 ,
взять у своего преподавателя.
6. Методом условного градиента решить задачу: найти
max ( x12  2 x22 )
при условиях
x2  x1  2;
3x1  x2  8;
 x1  3x2  8; x1  0; x2  0. Начальная точка x0 = (1, 0). Длина
шага a вдоль направления h определяется из условия
одномерной максимизации.
7. Методом
проекции
градиента
решить
задачу
max (2 x12  x22 )
при
условиях: x1  x2  2;
 x1  2 x2  3; 2 x1  x2  2. Начальная точка x0  (0,1).
8. Методом возможных направлений решить следующую
задачу: min(
1
 x2 ) при условиях: x1  3x2  5,
x1
x22  x1  0.
Начальная точка x0  (0,1).
9. Методом модифицированных функций Лагранжа решить
задачи:
1) min( x  a ) ( x  a ), если Ax  b, x  R n , A  R mn , m  n,
rangA  m, Aa  b;
15
2) min  x1  a1   2( x2  a2 )2  3( x3  a3 ) 2  ,


2
где
x  R3
и
c1x1  c2 x2  c3x3  b, значения параметров ai , ci , b, i  1,3, взять
у своего преподавателя.
Найти предельное значение множителя Лагранжа  k .
Оценить
коэффициенты
скорости
сходимости
последовательностей xk , k , k  1, 2,
Указание. При необходимости воспользоваться формулами
из задачи № 11, задание № 1.
10. Методом параметризации целевой функции решить задачу
min( x1  x2  2 x3 ) при условии x1  x2  2 x3  3, xi  0, i  1, 3.
11. Найти барьерно-проективным методом расстояние от
начала координат до выпуклой оболочки точек
zi  R 2 ,
1 
 0
 1
i  1, 3 : z1    , z2    , z3    .
 0
1 
 1
Указание. Свести задачу к задаче условной минимизации
на симплексе.
Подписано в печать 10.07.2015. Формат 60  84
1
16
. Усл. печ. л. 1,0. Тираж 160 экз.
Заказ №
Федеральное государственное автономное образовательное учреждение высшего
профессионального образования «Московский физико-технический институт
(государственный университет)»
Отдел оперативной полиграфии «Физтех-полиграф»
141700, Московская обл., г. Долгопрудный, Институтский пер., 9
E-mail: [email protected]