БАКАЛАВР
* МАГИСТР
Под редакцией Ф. П. Васильева
МЕТОДЫ
ОПТИМИЗАЦИИ
УЧЕБНИК
и ПРАКТИКУМ
ИОВ
ГОСУДАРСТВЕННЫЙ
на
М. В. ЛОМОНОСОВА
УМО ВО рекомендует
ИЩИ
МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ имени М. В. ЛОМОНОСОВА
МЕТОДЫ!
ОПТИМИЗАЦИИ
УЧЕБНИК И ПРАКТИКУМ
ДЛЯ БАКАЛАВРИАТА И МАГИСТРАТУРЫ
Под редакцией профессора,
доктора физико-математических наук Ф. П. Васильева
Рекомендовано Учебно-методическим отделом
высшего образования в качестве учебника для студентов
высших учебных заведений, обучающихся по естественнонаучным
направлениям и специальностям
Книга доступна в электронной библиотечной системе
ыЫюо-опИпе.ги
Москва = Юрайт = 2016
УДК 51-3(075.8)
ББК 22.1я73
М54
Ответственный редактор:
Васильев Федор Павлович — профессор, доктор физико-математических наук,
профессор кафедры оптимального управления факультета вычислительной математики и кибернетики Московского государственного университета имени М. В. Ломоносова.
Авторы:
Потапов Михаил Михайлович — профессор, доктор физико-математических наук,
профессор кафедры оптимального управления факультета вычислительной матема-
тики и кибернетики Московского государственного университета имени М. В. Ломоносова;
Будак Борис Александрович — кандидат физико-математических наук, преподаватель кафедры оптимального управления факультета вычислительной математики
икибернетики Московского государственного университета имени М. В. Ломоносова;
Артемьева Людмила Анатольевна — кандидат физико-математических наук, преподаватель кафедры оптимального управления факультета вычислительной математики и кибернетики Московского государственного университета имени М. В. Ломо-
носова.
Рецензенты:
Арутюнов А. В. — доктор физико-математических наук, профессор, заведующий
кафедрой нелинейного анализа и оптимизации факультета физико-математических
и естественных наук Российского университета дружбы народов;
Киуржанский А. Б. — академик Российской академии наук, доктор физико-матема-
тических наук, заслуженный профессор Московского государственного университета,
имени М. В. Ломоносова.
М54
Методы оптимизации : учебник и практикум для бакалавриата и магистратуры /
под ред. Ф. П. Васильева. — М. : Издательство Юрайт, 2016. — 375 с. — Серия : Бакалавр и магистр. Академический курс.
15ВМ 978-5-9916-6157-7
В учебнике излагаются наиболее известные и часто используемые на практике
методы поиска экстремума (максимума, минимума) функций конечного числа переменных, объясняются идейные, эвристические соображения, лежащие в основе каждого метода, исследуется их сходимость, обсуждаются вычислительные аспекты,
области применимости методов, их достоинства и недостатки. Рассмотрены также
методы решения задач оптимального управления процессами, описываемыми системами обыкновенных дифференциальных уравнений. Основной текст книги соответствует типовой программе для бакалавров. Выделенный звездочками дополнительный текст рассчитан на обучающихся в магистратуре и читателей, заинтересованных
в углубленном изучении предмета. Учебник содержит достаточно большое количество разобранных примеров и упражнений для самостоятельной работы студентов.
Соответствует актуальным требованиям Федерального государственного образовательного стандарта высшего образования.
Для бакалавров и магистров технических вузов.
УДК 51-3(075.8)
ББК 22.1я73
Сары а" Сриу
Все права защищены. Никакая часть данной книги не может быть воспроизведена
в какой бы то ни было форме без письменного разрешения владельцев авторских прав.
Правовую поддержку издательства обеспечивает юридическая компания «Дельфи».
© Коллектив авторов, 2015
15ВМ 978-5-9916-6157-7
© ООО «Издательство Юрайт», 2016
Оглавление
Обозначения..........
ии
ниии ини ово низине они зови вови они отв онивовивениее 1
Предисловие .....„..
иене иен они он ионов нии ниве ион ив виа
н вов вов иво оивоннво нь. 1
Глава 1. Введение в оптимизацию. Классический метод... еиинььниьии. №9
1.1. Постановка задачи
15
1.1.1. Задача минимизации
1.1.2. Задача максимизации
1.2. Теоремы Вейерштрасса...................илииилилиилииииилилиилиниилинииитиилиттиниитининнииониттинитиинитнининни
1.2.1. Классическая теорема
1.2.2. Обобщенная теорема Вейерштрасса
15
20
22
22
25
1.2.3. Теорема Вейерштрасса для некомпактных множеств .............. ление, 30
1.3. Задачи безусловной оптимизации. Классический метод
1.3.1. Описание метода
1.3.2. Примеры
1.4. Задачи на условный экстремум. Правило множителей Лагранжа.................. 40
1.4.1. Постановка задачи. Необходимое условие оптимальности
на выпуклом множестве
40
1.4.2. Правило множителей Лагранжа в задачах с ограничениями
типа равенств
43
1.4.3. Правило множителей Лагранжа в общем случае ................ лилии, 45
1.4.4. Достаточные условия оптимальности
47
1.4.5. Примеры
. . . .ели ли и и они ти итни нио ит ин и
1.4.6. Экономический смысл множителей Лагранжеа..................... ини
1.5. Метод штрафных функций..............
1.5.1. Описание метода
50
60
лилии иилиинитииинигнитииининиииииииотиииинитионининий 61
61
1.5.2. Сходимость метода...............лииньиилиильиилиииииьиилииининииоиионивинни
1.5.3. Недостатки и достоинства метода . . . . .
лилии
64
69
1.6. Обоснование правила множителей Лагранжа......................лииинниин
70
1.7. Вспомогательные предложения
73
1.7.1. Формулы конечных приращений
..........
73
1.7.2. Леммы о числовых последовательностях ..................лилилиилилиининиилининииоиинииние 75
Упражнения
76
Глава 2. Линейное программирование ......... „иене неее
ии они они они вонь ив. В
2.1. Постановка задачи
81
2.1.1. Общая задача линейного программирования...................лииииииинлииниинние 81
2.1.2. Примеры
83
2.1.3. Каноническая задача
85
2.1.4. Основная задача
86
2.2. Геометрическая интерпретация задачи линейного программирования ....... 87
2.3. Угловые точки в канонической задаче...............
91
2.4. Симплекс-метод
94
2.4.1. Приведенная задача
94
2.4.2. Описание симплекс-метода...................лиииииииииииииииииниилиитииниттитиионитииниитиинии 97
2.4.3. Примеры
107
2.4.4. Конечность метода в невырожденной задаче.................... иене
109
2.5.* Антициклин
2.5.1. Пример
112
112
2.5.2. Лексикографическое упорядочение векторов..................лилиииилиииниииние 114
2.5.3. Лексикографический антициклин
116
2.5.4. Симплекс-метод в канонической задаче максимизации...................... 121
2.6. Поиск начальной угловой точки
122
2.7. Теорема Вейерштрасса в линейном программировании ................елинлиннинние, 126
2.8. Теоремы двойственности.................илииииниииииииииининииинигиииинииниииииинитнигнионизииинитиитниниия 127
Упражнения ..............лиилилииилиинииолиинииииииинитииииинниоиииниишинииоитиинииониио
Глава 3. Элементы выпуклого анализа.......
еее
137
они низине . 140
3.1. Выпуклые Ффункции................иииилииииииниининнинни
3.1.1. Понятие выпуклой функции .....
140
140
3.1.2. Критерии выпуклости.
3.1.3. Свойства точек минимума выпуклых функций................. ленин
143
146
3.1.4. Другие свойства выпуклых функций
148
3.2. Сильно выпуклые функции
151
3.2.1. Понятие сильно выпуклой функции
151
3.2.2. Критерии сильной выпуклости
153
3.3. Метрическая проекция
157
3.4. Теорема Куна — Таккера
164
3.5. Теорема Куна — Таккера для многогранного множества ..................ееилииние, 171
3.6.* Двойственные задачи. Примеры
174
Упражнения
183
Глава 4. Методы минимизации фФункций......
„еее иене оное ни они они зонинь 186
4.1. Методы минимизации функций одной переменной..................... линии
186
4.1.1. Метод деления отрезка пополам .................иьньилининьиниининитьииииниининьининииинние 187
4.1.2. Метод золотого сечения
4.1.3. Метод ломаных..............
188
лилии,
4.1.4. Метод покрытия...
4.1.5. Метод касательных
4.2. Градиентный метод
190
194
198
198
4.2.1. Описание процесса. Выбор шага, проблемы старта и остановки...... 198
4.2.2. Сходимость метода скорейшего спуска для сильно выпуклых
функций
202
4.2.3. Траектория процесса. Непрерывный аналог градиентного метода.....205
4.3. Метод проекции градиента
4.3.1. Описание процесса. Варианты выбора шага...................
4.3.2. Сходимость метода для сильно выпуклых функций
208
4.4. Метод условного градиента...................льнни..
211
4.4.1. Идея линейной аппроксимации и варианты ее реализации............... 211
4.4.2.
4.5. Метод
4.5.1.
4.5.2.
Сходимость метода
214
Ньютона
216
Описание процесса. Варианты выбора шага.....................ииииилииллииинии 216
Сходимость классического метода Ньютона для сильно
выпуклых функций
217
4.5.3. Сходимость метода Ньютона с переменным шагом для сильно
выпуклых функций
220
4.6.* Метод переменной метрики
223
4.6.1. Описание процесса. С-проекция
223
4.6.2. Сходимость метода переменной метрики для выпуклых функций ....227
4.6.3. Непрерывный вариант метода переменной метрики............................ 230
4.7.* Квазиньютоновские методы
233
4.8. Метод покоординатного спуска
245
4.8.1. Основная версия метода для задач без ограничений............................ 245
4.8.2. Другие варианты метода покоординатного спуска
4.9. Метод покрытия для функции многих переменных................. лишении,
4.10.* Метод модифицированных функций Лагранжа ................... лилии,
4.11.* Экстраградиентный метод
4.11.1. Описание процесса
4.11.2. Сходимость экстраградиентного метода...................ллиииолиилииолинлииинининь
Упражнения
Глава 5. Принцип максимума Понтрягина...........чеениньььи
5.1. Постановка задачи оптимального управления.....................льиииилиииииоиитиииниие
5.1.1. Примеры постановок задач оптимального управления.......................
5.1.2. Допустимые управления
5.1.3. Задача Коши
5.1.4. Постановка задачи
5.2. Принцип максимума в задаче оптимального управления
со свободным правым
5.2.1. Формулировка
5.2.2. Краевая задача
5.2.3. Доказательство
266
269
270
274
концом
принципа максимума
принципа максимума
..
принципа максимума Понтрягина.................... ели
277
277
278
283
5.3.* Принцип максимума (общий случай) ..............лиллииииииииииионининиинни
5.3.1. Формулировка принципа максимума в общем случае.........................
5.3.2. Краевая задача принципа максимума в общем случае .........................
5.3.3. Общие граничные условия
5.4.* Примеры
5.5.* Принцип максимума и классическое вариационное исчисление ..............
287
287
289
291
293
305
Упражнения
309
Глава 6. Динамическое программирование ......... „еее ииеиеианоннине ..... 313
6.1. Принцип оптимальности
313
6.2. Схема Беллмана
315
6.2.1. Разностная аппроксимация задачи оптимального управления ........ 315
6.2.2. Уравнение Беллмана
316
6.2.3. Вычислительная схема ............ ии
6.2.4. Синтезирующая функция...................
319
321
6.2.5. Оценка погрешности
322
6.2.6. Построение минимизирующих последовательностей.......................... 324
6.2.7. Приложение к задачам конечномерной оптимизации ........................ 325
6.2.8. Замечания к схеме Беллмана
326
6.3.* Проблема синтеза для систем с непрерывным временем ............................. 327
6.3.1. Задача Коши — Беллмана
6.3.2. Примеры
6.3.3. Приближенный метод
6.3.4. Оценка погрешности
6.4.* Контрпримеры
. . . ли и нит нил и нлит ни лтин илнио лин и вни
6.5.* Применение метода динамического программирования к задачам
дискретной оптимизации .....
342
Упражнения
Практикум
..... ини и ники окон
328
331
334
337
.339
346
ни низов оноживниее
оное ни низов они ние нь ни... 349
Литература .......
„че ееьиннь ео ини он ово н новин ово вов ови вв ово вв оп оов зови зов оовон оно
363
Ответы к упражнениям
...... „чении
низки оно оно оживонив «ееенин кин... 366
Предметный указатель........
еее еии киски они оно онивеиенивое зоне нии нии нь»...
372
Обозначения
В — числовая ось
[4.6]
(а; 6)
(а; 6]
В" —
= хЕВ : а<х<Б} — отрезок
={хЕВ : а<х<Б} — интервал
={хЕ В:а<х< в}, [а; 5) ={хЕ В: а<х<Б} — полуинтервалы
п-мерное линейное пространство векторов-столбцов х с координа-
тами м, 1=1,... п
хГ=(^1...,х”) — вектор-строка, полученная транспонированием вектора-столбца х
1
п
р
.
1 [= Р }. 1 <р< о, [д|. = пах
1=1
— нормы вектора х в В”
<1<п
Е" — п-мерное евклидово пространство, представляющее собой проп
странство В" ‚ оснащенное скалярным произведением (х, у) = У хи!
2=1
= ЫЬ = 1
п
= [$
1
22
|]
— евклидова норма вектора
{е\, ..., е} — ортонормированный базис пространства Ё", где е; = (0, ...,
0, 1, 0, ..., 0)Г — вектор-столбец, 1-я координата которого равна единице,
а остальные равны нулю, 1 =
а:
-. @л
А=|
...
.„.
|=
а т, 1
ца размера
р
1, ..., И
а
1= 1, ... Т; 1 = 1, ..5 п} =|...
Я тп
т
|= (А,,
5 Ав)
—
матри-
а
х п с элементами
а; р где а; = (а;1,
и
а; и)
—
1-я строка
матрицы
А, А; = (а1; -., ат;)Т — 7-й столбец матрицы А
АТ=|
Чл
...
-..
@та
-. |= (@1,..ат)=|
ап
--.
@тл
АГ
...
|— матрица размера и Хх т, полу-
АЛ
ченная транспонированием матрицы А размера т х п
е
Т, =(е,,..,е„)=|
т
... | — единичная матрица п-го порядка со столбцами
т
еп
е1, ..., еп
еёА — определитель квадратной матрицы А
А-{! — обратная матрица для квадратной матрицы А с 4е(А = 0
гапКА — ранг матрицы А
Ш
Ах = ((Ах)\, ..., (Ах)т)Т, где (Ах) = Уга;х/, 1 = 1, .., т, — произведение
1
матрицы размера т х и на вектор хе Ё"
[А|= тах [Аж|"— норма (операторная норма) матрицы А размера т х п
еп <1
АВ — произведение матрицы А = {а;} размера т х и на матрицу В= {6,}
размера п х 4, его результатом является матрица С = {с;} размера т х 4
п
с элементами с; = У азбь, 1=1,...т,]=1,... 4
=
— неотрицательно определенная симметричная
А >0
матрица, т.е.
(Ах, х) > 0 для всех хе Ё"
А > 0 — положительно
определенная
симметричная
матрица,
т.е.
(Ах,
х) > 0 для всех хе № х+#0
А < 0 — неположительно определенная матрица, т.е. (-А) > 0
А < 0 — отрицательно определенная матрица, т.е. (-А) > 0
х= (^1, ..., т)Т > 0 — неотрицательный вектор, т.е. л* > 0 для всех 1 = 1, ..., И
х= (^\, ..., тт > 0 — положительный вектор, т.е. м > 0 для всех # = 1, ..., п
х= (21... МТ
(И... уп)Т — вектор х не меньше вектора у, т.е. х-у> 0
х= (21... МТ
(11 .., ”)Т — вектор х больше вектора у, т.е. х-у> 0
Епт = {хе Е": х>0} — неотрицательный ортант пространства Е”
х, =(х1,.., хт)Г, где х{ = тах{0; х'}, 1 = 1, ..., п, — проекция вектора х
на неотрицательный ортант пространства Е”
х = (^1, ..., МТ > 0 — лексикографически положительный вектор, т.е.
х 2 0 и первая ненулевая координата этого вектора положительна
х= (1, ...,
т > (11, .., ”)Т — вектор х лексикографически больше вектора и, т.е. х-у> 0
х. =1ех ия;
— лексикографический минимум множества векторов {х,
1Е
1Е М}, т.е. для каждого номера {Е М либо х; > х., либо х; = х»
Г
5=5(,В)=
Г
=
(Г,
...)
Г,)т,
|
Г;
— симплекс-таблица угловой точки о с базисом В, где
=
(Ух,
Ул,
..
У),
1= 1,
...)
Г
А
=
(До,
А,,
...)
А,)
гг
5=
А
>0 — лексикографически положительная симплекс-таблица, т.е.
Г; > 0 для всех 1 = 1, ... Г
Г,
5! = А
Г.
> 50 = А. |
симплекс-таблица 5, лексикографически больше
1
2
симплекс-таблицы 55, т.е. А, > Д›
Х — замыкание множества Х
ГрХ — граничные точки множества Х
1ЕХ — внутренние точки множества Х
ЧиоХ — размерность множества Х
Хо У- объединение двух множеств Хи У
Хо У-— пересечение двух множеств Хи
Х + У— сумма двух множеств Хи У
У
Х \ У- разность двух множеств Хи У
©Х — произведение числа © на множество Х
Хх У
прямое (декартово) произведение двух множеств Хи У
0 — пустое множество
р(х,Х)= шЕ [х - Ч — расстояние от точки х до множества Х
у
О(и,=) ={хеЕ":|х-ч|<=}
— =-окрестность точки и, представляющая
собой открытый шар радиуса & > 0 с центром в
5(, В) ={хеЕЕ":|х-ч|<
Е} — замкнутый
в точке о
точке о
шар
радиуса
К с центром
[4 — ортогональное дополнение подпространства Г. < Ё"
Рху(2) — проекция точки 2 Е Ё" на множество Х
Р$(2) — С-проекция точки 2Е Ё" на множество Х
К) >> пап, хЕ Х, — краткая символическая запись задачи минимизации
функции /(х) на множестве Х
= шЕ /(С^) — точная нижняя грань функции /(х) на множестве Х
ХЕ
Х. ={хЕХ: | (х)= }, > ©} — множество точек минимума функции /(х)
наХ
(<) —> тах, хЕ Х — краткая символическая запись задачи максимизации функции /(х) на множестве Х
Г" =зир/(х) — точная верхняя грань функции /(х) на множестве Х
хЕХ
Х* ={хЕХ: / (<) = Г" <+з} — множество точек максимума функции /(х)
наХ
д/(х
9
- (=
1:(х) — частная производная функции /(х) = Кл,..., х")
в точке х по переменной 4%, # = 1, ..., п
Род= [2®...29.
д/(х)
1 ’””
9°}(х
ви т.
эта4/(х)— градиент функции /(х) в точке х
дд”
(а) =/
(<) — частная
производная
второго порядка
по переменным 24, 5) функции /(х) = /(х!, ..., х") в точке х, 1,] = 1, ... п
Г’(х) — вторая производная функции /(х) в точке х, она является ква-
92/(х)Ъ
дратной матрицей п-го порядка с элементами —^——-
.
дах, ®/=
41 (х)_ 1,
ае
т
(ие)
Е
(о)
—
производная
функции
1,.
‚п
/(х)
в точке
по направлению е, |е| = 1
(=
во
Я
ко- 49
— первая производная функции х(Ё) по времени #
— вторая производная функции х(6) по времени Е
[т х, — предел последовательности {х,} = (%1, Хо, ... Жь ...)
[ит х, — верхний предел последовательности {х,}
—<о
х
[п х, — нижний предел последовательности {х,}
>
т /(х) — предел функции /(х) прих
а
х>а
т / (<) — верхний предел функции /(х) прих > а
х>а
Нп / (<) — нижний предел функции /(х) при х > а
х—>а
Ка+0)=
Ши 7х)
функции
/(х)
одной
переменной
х
при стремлении х к точке а справа
Ка-0)= Ши 7%) — предел функции
/(х)
одной
переменной
х
х>а+
—
предел
х>а-
при стремлении х к точке а слева
О(Е) — величина, определенная в окрестности точки # = 0 и такая, что
ОС
ие ) <С при всех достаточно малых & где С — некоторая неотрицательная
постоянная
0(Е) — величина, определенная в окрестности точки & = 0
и такая, что
|о) _=0
0
[
С(Х) — пространство непрерывных на замкнутом ограниченном множе-
стве Х функций /(х) с нормой |/И
== тах уи
СКХ) — пространство непрерывно , лифференцируемых на множестве Х
функций
С2(Х) — пространство дважды непрерывно дифференцируемых на множестве Х функций
СЬ(Х) — пространство непрерывно дифференцируемых на множестве
Х функций, градиент Р(х) которых удовлетворяет условию Липшица на Х
О(ЕГ.) — множество функций, удовлетворяющих на множестве Х условию Липшица
Н=НС, и,
[= Кх, у, 6
49=.4(х,^)
с
&,
Т,
—
константой Ё
у, ау) — функция Гамильтона — Понтрягина
а) — малый Лагранжиан
функция Лагранжа в общей форме
Г = [(х, ^)) — функция Лагранжа в нормальной форме
М = М(х, ^.) — модифицированная функция Лагранжа
\ — квантор общности
Э — квантор существования
Е — знак принадлежности
с — знак строгого включения одного множества в другое
с — знак нестрогого включения одного множества в другое
Че
=
—
знак
определения,
используется
при
введении
объектов
Предисловие
Первые задачи геометрического содержания, связанные с отысканием
наименьших и наибольших величин, появились еще в древние времена.
Развитие промышленности
в ХУП-ХУШ
вв. привело к необходимости
исследования более сложных задач на экстремум и к появлению вариационного исчисления. Однако лишь в ХХ в. при огромном размахе производства и осознании ограниченности ресурсов Земли во весь рост встала
задача оптимального использования энергии, материалов, рабочего времени, большую актуальность приобрели вопросы наилучшего в том или
ином смысле управления различными процессами физики, техники, экономики и др.
Сюда относятся, например, задача организации производства с целью
получения максимальной прибыли при заданных затратах ресурсов, задача
оптимальной организации перевозок при ограниченном количестве транспортных средств, задача минимизации издержек (отходов) производства,
задача оптимального размещения объектов производства, оптимального
использования посевной площади, оптимального управления запасами,
оптимальной организации работы пунктов массового обслуживания,
выбора оптимальных сроков сезонного производства, задача управления
системой гидростанций и водохранилищ с целью получения максимального количества электроэнергии, задача о космическом перелете из одной
точки пространства в другую наибыстрейшим образом или с наименьшими
затратами энергии, задача о быстрейшем нагреве или остывании металла
до заданного температурного режима, задача о наилучшем гашении вибраций и многие другие задачи.
На математическом языке такие задачи, называемые задачами оптимизации, могут быть сформулированы как задачи отыскания экстремума
(минимума
или
максимума)
некоторой
функции
(функционала) /(х)
на заданном множестве Х из некоторого пространства. Функцию /(^х) принято называть целевой функцией, а ее аргумент х часто называют параметром управления или допустимой точкой, множество Х — допустимым
множеством. Значение целевой функции /(х) выражает собой качество
(цену) допустимой точки х. Требование принадлежности точки х множе-
ству Х выражает собой наличие некоторых ограничений, вытекающих,
например, из законов сохранения энергии, ограниченности имеющихся
ресурсов, возможностей технической реализации управления, нежелательности каких-либо запрещенных (аварийных) состояний и т.п.
Сразу же заметим, что на практике формулировка задач оптимизации,
составление целевой функции /(х) и множества Х являются сложной проблемой, требующей больших знаний в предметной области, материальных
11
затрат по сбору и анализу информации, постановке необходимых экспериментов и т.п. Обсуждение возникающих здесь вопросов является предметом особой области знаний, называемой математическим моделированием,
и выводит нас за рамки настоящего учебного пособия. Чтобы читатель
имел некоторое представление об этой сложной работе по формулировке
задач оптимизации, в гл. 2 будут приведены примеры линейных задач
оптимизации.
В общем случае, говоря о задаче оптимизации, мы будем подразумевать,
что известны целевая функция /(х), допустимое множество Х и цель, т.е.
ищется ли минимум или максимум функции. Далее возникает проблема:
как искать экстремум функции /(х) на множестве Х? Если множество Х
содержит небольшое число точек, то задачу оптимизации можно решить
относительно просто: достаточно вычислить значения целевой функции
в этих точках и, сравнивая их по величине, простым перебором найти экстремальное (минимальное или максимальное) значение и указать точку,
где этот экстремум достигается. Однако если число точек в Х велико
и даже, возможно, бесконечно, то такой метод простого перебора не под
силу современным вычислительным средствам. Как искать экстремум
в такой ситуации? Ясно, что нужны специальные методы оптимизации,
нужна теория таких методов, нужна наука.
Читатель отчасти уже знаком с классическим методом оптимизации, основанном на дифференциальном исчислении, который излагается
в основных курсах по математическому анализу. В настоящее время теория оптимизации обогатилась фундаментальными результатами, полученными по таким направлениям, как линейное программирование, выпуклое
программирование, динамическое программирование, стохастическое программирование, дискретная оптимизация, теория оптимального управления процессами, описываемыми дифференциальными уравнениями, и др.
Потребности практики способствовали бурному развитию методов решения задач оптимизации. Появление современных вычислительных средств,
компьютеров сделало возможным эффективное решение многих важных
прикладных задач оптимизации, которые ранее из-за своей сложности
казались недоступными, появились пакеты программ оптимизации.
В настоящем учебнике излагаются элементы теории оптимизации,
а также основы наиболее часто используемых на практике методов приближенного решения задач оптимизации и краткая характеристика этих
методов. Усилия авторов были направлены на поиск наиболее экономных
схем изложения, упрощение доказательств, чтобы сделать материал более
доступным, не снижая уровня строгости.
Руководствуясь этими методическими соображениями, авторы вынесли
в первую главу метод штрафных функций, для изложения
и понимания
которого, по сути, достаточно знания свойств непрерывных функций многих переменных из классического математического анализа. Это дало нам
возможность в первой же главе с помощью аппарата штрафных функций
дать простое доказательство важнейшего в теории оптимизации правила
множителей
Лагранжа.
Во второй
главе дается элементарное
изложе-
ние основ линейного программирования с привлечением минимального
12
математического аппарата, опираясь лишь на самые первичные понятия
из линейной
алгебры, такие как матрица, определитель, линейная зави-
симость и независимость векторов, ранг матрицы, произведение матриц,
обратная матрица, не предполагая знания довольно сложной теории выпуклых многогранных множеств. И в последующих главах авторы старались уделить методическим аспектам большое внимание, стремясь полнее
и проще излагать основные факты теории и методов оптимизации.
К сожалению, ограниченный объем книги не позволяет уделить внимание таким важным разделам теории и методов оптимизации, как дискретная оптимизация, стохастическая оптимизация, вопросам устойчивости
вычислительных алгоритмов, методам решения неустойчивых задач, задач
большой размерности и др.
Материал книги для своего понимания требует лишь знания основ
математического анализа, линейной алгебры, элементов теории обыкновенных дифференциальных уравнений в объеме стандартных курсов бакалавриата и магистратуры технических вузов. В книге выделены основной
и дополнительный тексты. Основной текст описывает материал действующей типовой программы «бакалавр-магистр». Дополнительный текст, слу-
жащий для более углубленного усвоения материала и предназначенный
магистрам, в оглавлении и в заголовках внутри книги помечен символом *.
О содержании книги можно судить по оглавлению. В книге значительное место занимает иллюстративный материал, примеры задач с разбором
решений. В конце каждой главы приведены вопросы и упражнения теоретического характера, а в конце учебника отдельным блоком представлен
практикум — задачи для самостоятельной работы студентов.
При составлении заданий практикума к гл. 1, 2 мы пользовались упражнениями из задачника [5], к гл. 5, 6 идеи заданий заимствованы из книги [15].
При работе над книгой авторы опирались на свой опыт работы со студентами на факультете ВМК
МГУ имени М. В. Ломоносова. В книге широко
использованы материалы монографии Ф. П. Васильева [12], касающиеся
конечномерных задач и методов их решения, а также задач оптимального
управления процессами, описываемыми обыкновенными дифференциальными уравнениями. Эту книгу можно считать продолжением настоящего
учебника.
По рассматриваемой в учебнике проблематике имеется обширная литература. Список литературы в конце учебника отражает лишь некоторые
источники, которые были непосредственно использованы при написании
книги или близко примыкают к ней, расширяя и дополняя ее содержание.
Авторы выражают глубокую благодарность А. В. Тимохову за материалы, которые были существенно использованы при составлении заданий по практикуму к гл. 1—3, а также В. Ю. Королеву за полезные советы
по содержанию книги.
В результате освоения дисциплины у студента должны формироваться
следующие профессиональные компетенции:
знать
х классификацию задач оптимизации (задачи безусловной и условной
оптимизации; классическую задачу на условный экстремум; задачи матема13
тического, выпуклого, линейного программирования; задачи оптимального
управления);
. основные положения теории оптимизации (теория необходимых
и достаточных условий оптимальности для конечномерных задач, правило
множителей Лагранжа, теория двойственности задач линейного програм-
мирования, принцип максимума Понтрягина в оптимальном управлении
и др.);
. элементы выпуклого анализа как основы современной теории оптимизации;
. классификацию численных методов оптимизации (конечношаговые
и бесконечношаговые методы, методы условной и безусловной оптимизации, методы нулевого, первого и второго порядков);
понятийный аппарат численных методов оптимизации (итерация
метода, начальная точка, направление убывания, критерий останова, сходимость метода);
уметь
» аналитически решать простейшие нелинейные задачи оптимизации,
используя теорию необходимых и достаточных условий оптимальности;
» аналитически решать простейшие задачи линейного программирования, используя симплекс-метод;
» строить прикладные модели, сводящиеся к задачам оптимизации;
» анализировать характеристики прикладной задачи оптимизации
(целевую функцию, допустимое множество) на предмет ее отнесения
к конкретному классу задач;
. выбирать адекватный численный метод решения прикладной задачи
оптимизации (с последующим обращением к соответствующим библиотекам компьютерных программ);
владеть
навыками решения задач оптимизации;
* материалом дисциплины на уровне, позволяющем формулировать,
исследовать и решать прикладные задачи оптимизации.
Авторы будут признательны читателям за советы и критические замечания по содержанию книги.
Глава 1
ВВЕДЕНИЕ В ОПТИМИЗАЦИЮ.
КЛАССИЧЕСКИЙ МЕТОД
1.1. Постановка задачи
1.1.1. Задача минимизации
Перед тем как начать изложение теории оптимизации, введем некоторые обозначения и напомним определения из линейной алгебры и математического анализа [9, 22, 29, 31]. Через В" будем обозначать п-мерное
вещественное линейное пространство, состоящее из вектор-столбцов
хп
у"
2п
с действительными координатами ^^, у 21, 1 = 1, ..., п; сумма х + у двух вектор-столбцов и произведение ох вектор-столбца х на действительное число
о в В” определяются обычным образом:
+
х+у=|
ал
..
хп
+
| ох=
у"
охп
Вектор-столбец
0
0=
0
называется нулевым. Вектор-строку, полученную транспонированием вектор-столбца х, обозначим через х' = (^!,..,х”). Там, где не могут возник-
нуть недоразумения, вектор-столбец из В” или соответствующую ему вектор-строку для краткости мы часто будем называть просто вектором или
точкой, а знак транспонирования «т» будем опускать.
п
Если в В" ввести скалярное произведение двух векторов (х, у) = У, Ту",
#1
х, УЕВ", то В” превращается в п-мерное евклидово пространство, которое
будем обозначать через ЕЁ”. Если (х, у) =0, то векторы х и у называются
ортогональными. Это скалярное произведение порождает норму (длину)
вектора в Ё", которую вычисляют по формуле
15
и
= балл
02
|
1=1
Величину
меди -и- [и]
п
.
. |2
ый
1=
называют евклидовым расстоянием между точками х, уе РЁ".
Для любых трех точек х, у, 2Е Ё" справедливо неравенство
«уж 2|+|2-9,
называемое
скалярное
неравенством
произведение,
писать (х, У) п,
[<
треугольника.
норма,
[5-Е
Когда
расстояние
важно
взяты
подчеркнуть,
именно
в Е”, мы
что
будем
.
В Ё" справедливо неравенство Коши — Буняковского
(ж, у) <[х||удля Ух,уе Е",
причем неравенство превращается в равенство тогда и только тогда, когда
векторы х, у коллинеарны, т.е. х = 0 при некотором 4.
Иногда мы будем пользоваться и другими нормами векторов из К”,
такими как
ы- ($
ИР УР
Изр<>, М. = вах.
<31<п
1=1
Как известно, в конечномерных пространствах все нормы эквивалентны. Это значит, что если || |1 — две нормы в В", то существуют
такие положительные числа т и т», что т!|х|! < [хп < т>|х |гдля любого
ХЕ В". Отсюда следует, что если последовательность {х»} сходится к точке
х в какой-либо норме |||, т.е. |х, - х| > 0 при # -> <, то эта последовательность будет сходиться к х и в любой другой норме |||, в частности
[+-х].= пах
=х —› 0, что равносильно покоординатной сходимости.
515п
В основном мы будем работать в евклидовом пространстве ЕЁ". Перейдем
к постановке задач оптимизации.
Пусть Х — некоторое известное множество из п-мерного евклидова пространства Е”, а /(х) = /(х',..., хп) — функция, определенная на этом множестве. Кратко задачу оптимизации будем записывать следующим образом:
ИКх)> тш,
ХЕХ.
(1.1)
Поясним, что подразумевается под задачей (1.1). Начнем
с того, что
напомним некоторые определения из классического математического анализа [22, 29].
Определение 1.1. Точку х., е Х будем называть точкой минимума функции
(<) на множестве Х, если }(х.) < /(х) для всех хе Х; величину /(х.) назовем
наименьшим значением /(х) на Х и обозначим пи ИК) = 1+ = (м). МножеХЕ
ство всех точек минимума функции /(х) на Х будем обозначать через Х..
16
В зависимости от свойств множества Х и функции /(х) множество Х,
может содержать одну, несколько и даже бесконечно много точек, а также
возможны случаи, когда множество Х, пусто. Поясним это на примерах.
Пример
1.1
Пусть
И®=
2]
1+1]
2
=(х!,...хп)Е Е".
’
График этой функции при п = 1 изображен на рис. 1.1.
у
Рис. 1.1
На множестве Х, = Е" минимальное значение этой функции равно нулю:
[.= 1 (0)=0, множество Х. точек минимума состоит из единственной точки х. =0.
На множестве Х. ={хеЕЕ": [*|> 1} функция /(х) не имеет минимального значения,
так как /(х) > 0 при всех хЕ Х,, причем на последовательности х, Ё = 1, 2, ..., функция стремится к нулю: [т Ла) =0, но равенство /(х) = 0 невозможно ни в одной
—>со
точке хе Х,, так что Х». =9.
Пример 1.2
Пусть
Га) =
т
если х * 0,
ХЕ РЁ.
1, если х =0;
График этой функции при и
= 1 изображен на рис. 1.2.
у
Рис. 1.2
На множествах Х\ = Е или Х., ={хе Е": |х| > 1} функция /(х) принимает строго
положительные значения, множество точек ее минимума пусто.
17
Если Х = Хде В: |х| < 1/2}, то /.=1, Хн={х=0}.
Если Х=Х,={хЕ
Е: |х| < 2}, то № =
с центром в точке х = 0 (при п
Хь= {Е Х, : |х| = 2} — п-мерная сфера
= 1 Х,. — это две точки х.=2 их. = -2).
Если Х=Х,=({хЕ Е: |х|< 1}, то }.=1, Х.= {хе Хх
Пример
|= об =0)}.
1.3
Пусть
лом
$т?|
п
— | прих>0,
0 прих =0.
График этой функции изображен на рис. 1.3.
у
1
А и
711
32
>
1
”.
2
Рис. 1.3
На множестве
Х =Х, = {х:1<х<
2} {.=0, Х,\.
= {х. = 1}.
Если Х=Х. =1х: деж
‚ то /.=0, Х.. состоит из трех точек х;\ =1 х =>. ж=1.
Если
Х =Х. = {х: 0< 1}, то {, = 0,
= пе хуха
п
тени.
СОА
Пусть /(х) = шх, Х = {хЕ Е! 0<х<
1}.
Здесь Х. = ©, для последовательности х, =
Е =1,2, ..., имеем [ша Л») =-э
—со
(рис. 1.4).
А
у
1
Рис. 1.4
18
> х
Определение 1.2. Функция /(х) называется ограниченной снизу на мно-
жестве Х, если существует такое число Му, что /(х)> Му для всех хе Х.
Функция /(л) не ограничена снизу на Х, если существует последовательность {л,} е Х, для которой [ит (= —=.
—>со
В примерах 1.1—1.3 функции ограничены снизу на рассматриваемых
множествах. В примере функция не ограничена снизу, хотя и принимает
конечные значения во всех точках из Х.
В тех случаях, когда Х. = ©, естественным обобщением понятия наименьшего значения функции на множестве является понятие точной нижней грани функции.
Определение 1.3. Пусть функция /(х) ограничена снизу на множестве Х. Тогда число /, называют точной нижней гранью или инфимумом
Ко) на Х, если
1) /. < }(х) при всеххеЕ Х;
2) для любого сколь угодно малого числа
> 0 найдется точка х, Е Х
такая, что /(х.) < ++ =.
Точную нижнюю грань /(х) на Х будем обозначать через ше Г) = |.
хе
Если функция /(х) не ограничена снизу на Х, то в качестве точной нижней
грани /(х) на Х принимается } = —.
В примерах 1.1 и 1.2 }.= 0, а множество Х. может быть пустым или непустым в зависимости от множества Х; в примере 1.4 / = —о, Х. = ©.
Если Х. = ©, то, очевидно, точная нижняя грань /(х) на Х совпадает с наи-
меньшим значением этой функции на Х, т.е. Ш Г) = пит (<). В этом слуХЕ
ХЕ
чае говорят, что функция /(х) достигает своей точной нижней грани в каж-
дой из точек х+ Е Х,. Подчеркнем, что ше (ог) = ]., всегда существует [22, 23],
хе
причем если (х) ограничена снизу на Х числом Му, то »> Му> —о, и + = —°,
если /(х) не ограничена снизу Х. Заметим, что если функция достигает некоторой своей нижней грани, то эта нижняя грань необходимо будет и точной
нижней гранью функции, поэтому в дальнейшем в тексте мы в некоторых
случаях для краткости будем говорить «функция достигает своей нижней
грани».
После введенных определений можем уточнить постановку задачи (1.1).
Здесь обычно различают задачи двух типов. К первому типу относят задачи,
в которых требуется определить величину /. = Ш 1 (2) — точную нижнюю
ХЕ
грань функции /(х)) на множестве Х. В таких задачах возможно, что Х, = ©.
В задачах второго типа ищется не только величина /, но и какая-либо
точка х+ Е Х., в которой достигается точная нижняя грань, — здесь уже подразумевается, что Х. * ©. Если множество Х. состоит более чем из одной
точки, то здесь возможны уточнения постановки задачи (1.1). Например,
нужно искать точку х. Е Х., которая ближе всего расположена к заданной
точке 44.
Возможна и более широкая постановка задачи минимизации второго
типа, когда ищутся не только точки минимума в смысле определения 1.1,
но и точки так называемого локального минимума.
19
Определение 1.4. Точка х. Е Х называется точкой локального минимума
функции /(х) на множестве Х
со значением /}, = (х.), если существует такая
малая =-окрестность О(х», 8) = {хЕ Е": |[х-х.|< 8} точки х., что (х») < (х)
для всех хе Хп О(х., 8). Если при некотором & > 0 равенство /(х».) = (х)
дляхЕ
Хп
О(х., =) возможно только при х
= х», то х„ называют точкой
строгого локального минимума.
Для функции, график которой изображен на рис. 1.5, точки хд, хо, х4
являются точками строгого локального минимума, а в точках х, удовлетворяющих неравенствам х5 < х < дб и
<Х < хо, реализуется нестрогий
локальный минимум. Других точек локального минимума у данной функ-
ции нет.
у
Рис. 1.5
Точки локального минимума, в которых минимум достигается в смысле
определения 1.1, в литературе часто называют точками глобального минимума или точками абсолютного минимума функции К(х) на множестве Х.
Для функции, изображенной на рис. 1.5, Х, = {хо} ‹ [хз; х| — точки глобального минимума.
1.1.2. Задача максимизации
Перейдем
кратко
будем
к обсуждению
записывать
постановки
задачи
максимизации,
которую
так:
Кх) > тах, хЕ Х.
(1.2)
Для пояснения постановки задачи (1.2), как и в случае задачи минимизации (1.1), нам понадобятся некоторые определения.
Определение 1.5. Точку х*Е Х будем называть точкой максимума
функции /(х) на множестве Х, если /(х") > Кх) для всех хе Х; величину
(х") назовем наибольшим или максимальным значением /(х) на Х и обо-
значим тах 1(&)= | (х’)= Г". Множество всех точек максимума /(х) на Х
ХЕ
будем обозначать через Х*.
Определение 1.6. Функция /(х) называется ограниченной сверху
на множестве Х, если существует такое число Му, что /(х) < М, для всех
хЕ Хх. Функция /(х) не ограничена сверху на Х, если найдется последовательность {х,} е Х такая, что [ил Лу) = +°. Если функция ограничена на Х
—>оо
и сверху, и снизу, то она называется ограниченной на Х.
20
Определение 1.7. Пусть функция /(х) ограничена сверху на множестве Х. Тогда число }* называется точной верхней гранью или супремумом
(х) на Х, если:
1) /* > /(х) при всех хе Х;
2) для любого сколь угодно малого числа
> 0 найдется точка х.Е Х
такая, что (х.) > /* - =.
Точную верхнюю грань /(лх) на Х будем обозначать через зир /(х)= /*.
ХЕХ
Если функция /(^х) не ограничена сверху на Х, то в качестве точной верх-
ней грани /(х) на Х принимается }* = +=.
Если Х* # ©, то, очевидно, точная верхняя грань /(х) на Х совпадает
с максимальным
значением этой функции
на Х, т.е. зир./. (2) = тах 1@&).
хЕХ
ХЕ
В этом случае говорят, что функция /(х) на Х достигает своей точной верхней грани в точке х" Е Х*. Подчеркнем, что зир /(х) = }* всегда существует
хЕХ
[22, 29], причем если /(х) ограничена сверху на Х числом М/, то }* < М, <
< +=, и [* = +=, если К(х) не ограничена сверху на Х. Выражение тах Их)
ХЕ
не всегда имеет смысл. Справедливы соображения, аналогичные высказанным ранее: если функция достигает какой-то своей верхней грани, то эта
верхняя грань необходимо будет точной верхней гранью.
Для иллюстрации сказанного обратимся к функциям /(х) и множествам Х из примеров 1.1—1.4, но задачи минимизации в них заменим задачами максимизации.
В примере 1.1 для обоих множеств Х, = Е", Х, = {|х| > 1} максимальное
значение функции /(х) равно {* = 1, Х* = {|х| = 1} — я-мерная сфера радиуса 1 с центром х = 0 (при п =
из неравенства
1- }(х)=1-
1 это две точки х" = 1 их" =-1), что следует
2
НЫЙ
_
1+
4-0 о
12
ХЕЁ",
которое при |х| = 1 обращается в равенство Кл) = 1 = }*.
В примере 1.2 на множестве Х = Х, = {|х| > 1} максимальное значение равно /*=1, множество Х* = {|х| = 1}; для остальных множеств /* = +о°,
Х*= 9.
В примере 1.3 на множестве Х =
[0; +°э) имеем /" = 1, Х* =
_ 2
2241’
#=0, ,..
В примере 1.4 }* = 0, Х*= {х =
В задачах максимизации
1}.
(1.2) также
можно
различать
задачи двух
типов: в задаче первого типа ищется величина }", а в задачах второго типа
ищутся /" и какая-либо точка максимума х" такая, что /(х”) = }*.
Задачи (1.1), (1.2) тесно связаны между собой равенством
ир/(а) =- 4/4),
(13)
ХЕХ
21
из которого следует, что всякая задача максимизации функции /(х) на Х
равносильна
задаче
минимизации
&(х)>шш,
ХЕХ,
Че
&(х)=- К(х).
(1.4)
Отсюда ясно, что методы, разработанные для решения задач минимизации, нетрудно переформулировать и использовать для решения задач
максимизации. Поэтому в дальнейшем мы в основном будем исследовать
задачу минимизации (1.1).
Сказанное относится и к задачам поиска точек локального максимума
функции /(х) на множестве Х.
Определение 1.8. хе Х называется точкой локального максимума функции /(х) на множестве Х со значением }* = /(х“), если существует такая
малая &-окрестность О(х", =)=(х Е Е :|х-^|< =} точки х*, что /(х") > (х)
для всеххе
Хп
дляхЕ
О(х*, =) возможно только при х = х", то х" называют точкой
Хоп
О(х", =). Если при некотором & >
0 равенство (х) = /(х*)
строгого локального максимума.
Точки локального максимума, в которых максимум достигается
в смысле определения 1.5, часто называют точками глобального максимума
или точками абсолютного максимума функции /(х) на множестве Х.
Для функции, график которой изображен на рис. 1.5, точки д, жз, хт,
10 являются точками строгого локального максимума, а в точках х, удовлетворяющих неравенствам л5 < х < хьи 48 < Хх < ху, реализуется нестрогий
локальный максимум; хз, х7 — точки глобального максимума. Других точек
локального максимума у нее нет. Обращаем внимание читателя на то, что
все точки х из интервалов (5, х6) и (хз, Хэ) одновременно являются как
точками локального минимума, так и точками локального максимума.
Множество всех точек локального минимума или максимума функции
на множестве Х принято называть точками локального экстремума функции на этом множестве или, проще, точками экстремума. Если мы хотим
найти все точки экстремума (как минимума, так и максимума), то, объединяя постановки задач (1.1), (1.2), кратко будем писать
(х) > ет, хЕ Х.
Функцию /(^) в задачах (1.1), (1.2) часто называют целевой функцией,
множество Х — допустимым множеством, точки х Е Х — допустимыми
точками.
1.2. Теоремы Вейерштрасса
1.2.1. Классическая теорема
Как мы видели в простейших примерах 1.1—1.4, функция /(х) может
быть ограниченной или неограниченной сверху или снизу на множестве Х,
множество точек ее экстремума может быть пустым или непустым. Приведем теорему Вейерштрасса из классического математического анализа,
в которой даются достаточные условия на целевую функцию /(л) и допустимое множество Х, гарантирующие конечность точной нижней и точной
верхней граней и непустоту множества точек экстремума /(х) на Х. Сна22
чала напомним некоторые определения и факты из математического ана-
лиза [20, 22, 29],
Определение
1.9 Пусть {х,} = (х1, ^›, ..., Хь ...) — некоторая последо-
вательность точек из Е”. Последовательность {х,} называется ограниченной, если существует такое число М > 0, что |х,| < М для всех # = 1, 2, ....
Последовательность {х,} называется неограниченной, если существует ее
подпоследовательность {х,} такая, что т [+ | = +. Точка о называется
предельной точкой последовательности {х,}, если существует ее подпоследовательность {%ь, }, сходящаяся к
09.
Согласно теореме Больцано — Вейерштрасса [20, 22, 29] всякая ограниченная последовательность {х»} Е Е" имеет хотя бы одну предельную точку.
Определение
1.10. Множество Х с Ё" называется ограниченным, если
существует число М >
0 такое, что |х|| < М
для всех хе Х. Множество Х
называется неограниченным, если существует последовательность {х,} Е Х
такая, что Ши [ху | = +5.
Ес
Определение 1.11. Точка о Е ЕЁ" называется предельной точкой множе-
ства Х, если любая ее &-окрестность О(о, =) = {хе Е" : |х-и| <=} содержит
точку ш Е Х, отличную ото (и +9).
Из этого определения следует, что точка о будет предельной точкой
множества Х тогда и только тогда, когда существует последовательность
{ре
Хх,
9
=1, 2, ..., сходящаяся к точке 9. Предельная точка множе-
ства Х может как принадлежать Х, так и не принадлежать ему.
Определение 1.12. Точка о называется внутренней точкой множества Х,
если существует ее =-окрестность О(о, =) = {хе Е: |[х-и| < =}, которая
целиком принадлежит множеству Х. Если найдется -окрестность точки 9,
которая не содержит ни одной точки из Х, то 9 назовем внешней точкой
множества Х. Если любая &-окрестность точки о содержит как точки из Х,
так и точки, не принадлежащие Х, то о называется граничной точкой мно-
жества Х. Наконец, возможно, что точка о принадлежит множеству Х,
но существует =-окрестность этой точки, не содержащая никакой другой
точки этого множества. Такая точка о называется изолированной точкой
множества Х.
Совокупность всех внутренних точек множества Х будем обозначать
через Е Х, совокупность всех граничных точек — через ГрХ.
Уточним, что изолированная точка о множества Х является его граничной точкой, причем она является предельной точкой единственной
последовательности элементов множества Х, а именно {х, = 5}, Ё = 1, 2, ....
Внутренние точки множества и его граничные точки, не являющиеся изолированными, будут предельными точками множества Х, а внешние и изолированные точки множества Х не являются его предельными точками.
Определение 1.13. Множество Х с Е" называется замкнутым, если оно
содержит все свои предельные точки.
Из вышесказанного вытекает, что замкнутое множество является объединением всех своих внутренних и граничных (включая изолированные)
точек. В частности, множество, состоящее только из изолированных точек,
является замкнутым.
23
Определение
1.14. Множество Х с ЕЁ" такое, что каждая последова-
тельность {х,} Е Х обладает хотя бы одной предельной в смысле определения 1.11 точкой, лежащей в Х, называется компактным.
Из теоремы Больцано — Вейерштрасса и определений 1.9—1.12 следует,
что в Е* компактными являются все замкнутые ограниченные множества
и только они (т.е любое компактное множество из Е" ограничено и содержит все свои предельные точки).
Примерами компактных множеств в пространстве Ё” являются следующие:
.
п-мерный шар радиуса К с центром в точке ху Е Е”
Х=[х = (21, хт)т Е Е": |х-ж|
= [(х1 21)? +...+ (т - хе]? < К};
. п-мерная сфера Х = {хе Е: |х-ж| = В};
Е": а, м<Ь,
1=1,..., п}, где а,
а; <6,1=1,..., п — заданные числа;
» отрезок
Х = [м, 0] = {хЕ РЕ: х=х,= аи + (1-9),
*
п-мерный параллелепипед Х = {хе
0<а< 1}, соеди-
няющий точки и, оЕ ЕЁ";
. множество Х = {хЕ ЕР: |х|(|х| - 1)(<| - 2) < 0}, являющееся объединением кольца 1 < |х| < 2 и изолированной точки 0.
Примерами некомпактных множеств являются следующие замкнутые,
но неограниченные множества:
.
все пространство Х = РЁ”;
.
.
неотрицательный ортант Х = Е” ={хЕЁ": х1>0,.., хп > 0};
гиперплоскость Х = {хЕ Ё": (с, х) =\}, где у — заданное число, се РЁ",
Че!
ст 0 — заданный вектор, который называют нормальным вектором гиперплоскости;
* полупространство Х = {хе Ё": (с, х) <\} или Х = {хе Е": (с, д) >};
* прямая Х = {хЕ М: х=дл(Ь =
+ В, —> < Е < +53}, проходящая через
точку л, с направляющим вектором 4 Е Е", 4* 0;
. луч Х={хЕ №: х=х(®
=м+ 4, Е> 0}.
Открытый луч Х = {хе Е": х=х(® =
+1, > 0} и открытый п-мерный
шар Х = {хЕ Е: |х-ж|< В} также являются некомпактными множествами.
Определение 1.15. Пусть функция /(х) определена на множестве Х с Р".
Говорят, что функция /(х) непрерывна в точке х Е Х, если для любой
последовательности {х,} Е Х, сходящейся к точке х, справедливо равенство
[т Г(жь)= 1 (х). Функцию /(х) называют непрерывной на множестве Х,
—оо
если она непрерывна в каждой точке этого множества.
Приведем
формулировку
теоремы
Вейерштрасса
для непрерывных
функций в том виде, как она дается в обычных курсах математического
анализа [20, 22, 29].
Теорема 1.1. Пусть Х — компактное множество
из Е", функция К(х)
определена и непрерывна на Х. Тогда
Л=Ш 1х) >,
Х. ={хЕХ:/(х) =} #6;
Г" =зир /(х) < +,
ХЕХ
24
Х“={хЕХ:/(х)=
|} #6.
1.2.2. Обобщенная теорема Вейерштрасса
Теорема 1.1 дает достаточные условия разрешимости одновременно как
задачи минимизации (1.1), так и задачи максимизации (1.2).
Между тем на простейших примерах 1.1—1.4 мы видели, что эти задачи
не всегда разрешимы одновременно. Это обстоятельство наводит на мысль
о том, что условия теоремы 1.1, гарантирующие одновременную разрешимость задач (1.1), (1.2), по-видимому, являются слишком жесткими. Вни-
мательный анализ теоремы 1.1 показывает, что условие непрерывности
целевой функции /(х) можно существенно ослабить. Оказывается, для разрешимости задачи минимизации достаточно полунепрерывности снизу
функции /(х), для задачи максимизации — ее полунепрерывности сверху.
Дадим строгое определение этих понятий. Предварительно введем понятие
нижнего и верхнего пределов последовательности.
Определение
1.16. Число
а называется
нижним
(верхним)
пределом
ограниченной снизу (сверху) числовой последовательности {а,}, если:
1) существует хотя бы одна подпоследовательность {аь,}, сходящаяся
ка;
2) все предельные точки последовательности {а,} не меньше (не больше)
числа а, т.е. число а является наименьшей (наибольшей) предельной точкой последовательности {а,}.
Нижний и верхний пределы будем обозначать Шт а, и т а, соответо
ственно.
>>
Иначе говоря, а — нижний (верхний) предел последовательности {а},
если для любого & > 0:
1) существует номер М такой, что а, > а- = (а, <а+2) для всех Ё > М;
2) для любого номера т найдется номер Аи > т такой, что а,, <а+Е
(а, 2а-:).
В том случае, когда {а,} не ограничена снизу (сверху), то по определе-
нию принимают
[1 а,=
(т а, = +о°); в частности, если шт а,= —=°, то
—›оо
Г
шп а} = —еэ; (если Шт а} = +еэ, то Ш
> со
>
ар = +).
>
Например:
—_
.
если а,= (-1)%, Ё =1,2,.., то Шв а, =-1, Пт а, =
.
если а,= (-1)1, Ё = 1,2, ..., то Ша а, = ©, [т п ар = +55;
=
>
Е—оо
* если а,= [1 + (-Г)#А, Е =1, 2, ..., то Ша а, о
т п ар = +5;
5
° если а,
=, Ё=1,2, ..,то Ша а, = Ша а, =0.
>
Важно заметить, что нижний
>>
и верхний пределы
(конечные или бес-
конечные), в отличие от обычного предела, у любой последовательности
всегда существуют. Для того чтобы последовательность {а,} имела обычный
предел, необходимо и достаточно, чтобы п а, = [Ш па,=а; тогда [ит па,=
Ге
Определение 1.17. Пусть функция /(х) определена на множестве Х с Р”".
Говорят, что функция /(х) полунепрерывна снизу (сверху) в точке х Е Х,
25
если для любой последовательности {х,} Е Х, сходящейся к точке х, имеет
место соотношение Пш {(х,)> }(х)
—со
т Га,)< К(х)). Функцию /(х) назы>>
вают полунепрерывной снизу (сверху) на множестве Х, если она полунепрерывна снизу (сверху) в каждой точке этого множества.
На рис. 1.6 изображены графики функций, не непрерывных, но полуне-
прерывных снизу в точке а, на рис. 1.7 — не непрерывных, но полунепрерывных сверху в точке а. Функция, график которой изображен на рис. 1.8,
не является в точке а ни полунепрерывной снизу, ни полунепрерывной
сверху.
у
у
Рис. 1.6
у
у
о
.
|
+
.
Рис. 1.7
у
.
т
а
.
х
Рис. 1.8
Предлагаем читателю доказать, что функция /(х) полунепрерывна
снизу (сверху) в точке х Е Х тогда и только тогда, когда для любого
> 0
существует д > 0 такое, что для всех уЕ Х таких, что |у-х| < 5, справедливо неравенство (и) > (х) - (Ки) < Кх) + =). Нетрудно убедиться, что
функция непрерывна в точке х тогда и только тогда, когда она в этой точке
полунепрерывна и снизу, и сверху.
26
Пример 1.5
Пусть Х= (хе Е: |х|< 1} — п-мерный единичный шар; /(х) = |х| при 0 <|[х|<1
и (0) = а. Тогда при а < 0 функция /(х) будет полунепрерывна снизу на Х, приа>0 —
полунепрерывна сверху на Х; при а = 0 — непрерывна на Х.
О
Пусть Х =
(-°; +°),
. п
$ш—,
х
=]
х>0,
-х, х<0,
а, х=0.
Тогда при а < -1 эта функция будет полунепрерывной снизу на Х, приа> 1 —
полунепрерывной сверху, при [а| < 1 вточке х = 0 эта функция не будет полунепрерывной ни снизу, ни сверху.
Установим связь между свойством полунепрерывности снизу функции
и замкнутостью множеств
М(с) = {хЕ Х: Кх) < с}, с = соп8,
называемых множествами Лебега функции /(х) на множестве Х.
Лемма 1.1. Пусть Х — замкнутое множество из Е”. Тогда для того чтобы
функция /(х) была полунепрерывна снизу на Х, необходимо и достаточно,
чтобы множество Лебега М(с) было замкнутым при всех с (пустое множество считается замкнутым по определению). В частности, если (х) полунепрерывна снизу на Х, то множество Х. точек минимума /(х) на Х замкнуто.
Доказательство
Необходимость. Пусть /(х) полунепрерывна снизу на Х. Возьмем произвольное число с, будем полагать, что М(с) + ©. Рассмотрим какую-либо
предельную точку и множества М(с). Тогда существует последовательность
{х,} Е М(с), сходящаяся к и. В силу замкнутости Х точка ш Е Х. Из того, что
Их, <с, Е =1,2, ..., с учетом полунепрерывности снизу /(х) в точке и имеем
(и) < Ша 1 (х,) < с, т.е. № Е М(©). Замкнутость М(с) доказана. В частности,
>
множество Х. = {хе Х:/(х) <
= Ши 1 (0)} замкнуто.
Достаточность. Пусть для некоторой функции /(х) множество М(с)
замкнуто при любом с. Возьмем произвольные
> 0, х Е Х и
последовательность {ху} е Х, сходящуюся к точке х. Пусть шп {(х,)=а= Ша Х(хь).
>
то
Тогда
/(х,
)<а+Е, те. х, ЕМ(а+®) для всех достаточно больших номеАт
т
ров А. Но множество М(а + =) замкнуто по условию, а точка х является
пределом для {ь, }. Следовательно, х Е М(а + ®), т.е. /(х) < а + :. В силу
произвольности & > 0 отсюда имеем /(х)<а= Ша /(х,). №
Ее
Ниже мы приведем несколько расширенную формулировку теоремы
Вейерштрасса для полунепрерывных функций, используя понятия минимизирующей или максимизирующей последовательностей. Дело в том, что
27
на практике точно определить координаты точки экстремума удается лишь
в редких случаях, если даже их существование гарантировано строгими
утверждениями типа теоремы 1.1. Ниже мы увидим, что все итерационные методы оптимизации, по сути, представляют из себя описание правил
построения минимизирующей и максимизирующей последовательностей.
Определение 1.18. Последовательность {х,} Е Х называется минимизирующей (максимизирующей) для функции /(х) на множестве Х, если
Низ Ук)
= ни Усд=Д
—><о
(т оч) =вир
9 =”)
ХЕ
—›со
хЕХ
Из определения и существования нижней (верхней) грани функции
К) на множестве Х следует, что хотя бы одна минимизирующая (макси-
мизирующая) последовательность гарантированно существует. В самом
деле, если }. = —°, то найдется последовательность {х,} Е Х такая, что
[т ЛО) = —° = +. Если }»> —°°, то согласно определению 1.3 нижней грани
—>со
для любого номера А > 0 существует точка х„, для которой
12...
АЛЬ
Отсюда следует, что
т Л,
= |. Аналогично, опираясь на определе-
—оо
ние 1.7 верхней грани, можно
построить максимизирующую
последова-
тельность.
Определение 1.19. Скажем, что последовательность {х,} сходится
к непустому множеству Х, если [т р(х,, Х)=0, где р(и, Х)= ше [и-х| —
ео
ХЕ
расстояние от точки иЕ Ё" до множества Х.
Лемма 1.2. Пусть Х — произвольное непустое множество из Ё”,
р(и, Х) = ше |и-х| — расстояние от точки и Е Ё" до множества Х. Тогда
ХЕ
справедливо
неравенство
|р(и, Х)-р(е, Х]<|ш-|
УиоЕЕ".
(1.5)
Доказательство
Прежде всего из соотношений р(и,ш)=|и-#]>0 и р(иХ)<и-и]|
(шЕ Х) следует, что функция р(и, Х) неотрицательна и конечна во всех
точках ие Е". Возьмем произвольное число & > 0. По определению нижней
грани для любых и, ОЕ
Ё" найдутся точки и, 9, Е Х
р(и, Х) < р(и, и.) <р(и, Х)+в,
такие, что
р(о,Х)<р(, 5.) <р(о, Х)+е=.
Из этих неравенств с помощью неравенства треугольника р(и, о,) < р(и, о) +
+ р(о, о.) и того, что р(и, Х) < р(и, и,), имеем
р(и, Х)-р(о, Х) < р(и, о.) -р(о, о, )+= < р(и, о) +:.
Аналогично
получается
неравенство
р(и, Х)-р(о, Х)
> р(и,и,)-=-р(, и.) >-р(и,о)-е.
28
Объединяя последние два неравенства, имеем |р(и, Х) - р(о, Х) <
<р(и, о) + в. Отсюда, переходя к пределу при & —> +0, получаем требуемое
неравенство. №
Из неравенства (1.5) следует, что [и р(о,, Х) =р(о, Х) для любой после—>со
довательности {0,}, сходящейся к точке и, т.е. функция р(и, Х) непрерывна
по и в любой точке ое ЕЁ".
Теперь мы можем сформулировать и доказать расширенную теорему
Вейерштрасса.
Теорема 1.2. Пусть Х — компактное множество из Е", а функция /(х)
определена и полунепрерывна снизу (сверху) на Х. Тогда
д= Ед >- (Г =зар/
(а) < +),
хеХ
множество Х. ={хеЕХ:/(х)= /.} (Х* ={хЕХ:/(х)= [*}) непусто, компактно и любая минимизирующая (максимизирующая) последовательность
сходится к Х, (Х*).
Доказательство
Рассмотрим вариант теоремы, касающийся задачи минимизации. Как
было показано выше, гарантированно существует хотя бы одна минимизирующая последовательность {х,}, т.е. хьЕ Х, Ё = 1,2, ..., [т Ха»)= +. Рас—>со
смотрим любую из них. Так как Х — компактное множество, то {х‚} имеет
хотя бы одну предельную точку и все ее предельные точки принадлежат Х.
Возьмем любую предельную точку х. этой последовательности. Тогда
существует подпоследовательность {х,„}, сходящаяся к точке х.. Пользуясь свойством нижней грани /. и полунепрерывностью снизу функции
(х) в точке х., имеем /, < }(х.)< Ш /(жь,)= Пт Джь)
= №, те. }(х.) =.
оо
>>
Отсюда следует, что } > —©°, Х, * @, а любая предельная точка любой мини-
мизирующей последовательности лежит в Х..
Докажем, что Х. компактно. Возьмем любую последовательность {о}} Е Х..
Так как {0,} Е Х — компактному множеству, то существует ее подпоследовательность {0, }, сходящаяся к некоторой точке » Е Х. Но {9,} — минимизирующая последовательность, так как }(9,)= /*, Е = 1,2, .... По доказанному
выше тогда 5, Е Х,, значит, Х, — компактно.
Наконец, покажем, что любая минимизирующая последовательность
{х,} сходится к Х». Так как р(хь, Х.) = ре
Шт р(хь,Х.)>0.
5
Пусть
р(х,,х)>0,Ё=1,2, ..., то ясно, что
Шт р(хь,Х.)= Вт р(хь ,Х.)=а < +.
Ес
тео
В силу ком-
пактности Х из {хв„} можно выбрать подпоследовательность, сходящуюся
к некоторой точке х.. Не умаляя общности, можем считать, что сама последовательность {х,,} сходится к х, (чтобы не переходить к тройной индексации). Согласно лемме 1.2 функция р(х, Х.) непрерывна по переменной х,
поэтому Пт р(х, ,Х.)=р(х», Х.) = а. Однако по доказанному ранее х, е Х..
Тогда а=р(х., Х.) = 0. Это значит, что Ши р(х,, Х.) = [т р(х,, Х.) =0. Слеоо
—
довательно, предел [т р(х,, Х») существует и равен нулю.
—>оо
23
Вариант этой теоремы, относящийся к задаче максимизации /(х) на Х,
доказывается аналогично и опирается на соотношения (1.3), (1.4). Теорема 1.2 доказана. №
В теореме 1.2 сформулированы достаточные условия, гарантирующие,
что в задачах (1.1), (1.2) нижняя и верхняя грани целевой функции /(х)
на допустимом множестве Х достигаются хотя бы в одной точке. Разумеется, отдельные утверждения этой теоремы остаются справедливыми
и при нарушении некоторых ее условий, о чем свидетельствуют примеры 1.1—1.4. В частности, в примере 1.1 функция / =.
1+]
непре-
рывна на множестве Х, = РЁ", но это множество не является компактным
(оно замкнуто, но не ограничено). Тем не менее здесь /. =0, Х. ={х =0}* ©,
т.е. часть утверждений теоремы 1.2 справедлива, однако существуют минимизирующие последовательности
11 ... 11
х® (+:
#=12,..,
х@ =(,Ё,..В),Ё=12,..,
первая из которых сходится к Х,, а вторая — нет.
1.2.3. Теорема Вейерштрасса для некомпактных множеств
Заметим, что в теоремах 1.1, 1.2 условие компактности множества Х
является довольно жестким. Приведем две теоремы, которые также будем
называть теоремами Вейерштрасса, но в которых компактность множества Х не предполагается, зато функция /(х), кроме полунепрерывности
на Х, удовлетворяет некоторым дополнительным требованиям.
Теорема 1.3. Пусть Х — непустое замкнутое множество из Е", функция
(2) полунепрерывна снизу (сверху) на Х и для некоторой точки о Е Х
мно-
жество Лебега
М) ={хеХ: /(х)
< 1(0)} (Мо) ={хе Х: /(х)>
1 (0)})
ограничено. Тогда }, > —° (}* < +=), множество Х. (Х") непусто, компактно
и содержится в множестве М(о) (М!()), любая минимизирующая (максимизирующая) последовательность {х,}, принадлежащая множеству М(о)
(М/(о)), сходится к множеству Х..
Доказательство
Рассмотрим вариант этой теоремы, касающийся задачи минимизации.
По определению множества М(о) имеем: /(х) > (о) при всех хе Х \ М(о)
и Кл) < Ко) при всех хе М(о). Это значит, что на Х \ М(о) функция /(х)
не может достигать своей нижней грани на Х и для доказательства теоремы
достаточно рассмотреть функцию /(х) на множестве М(о).
По лемме 1.1 множество М(0) замкнуто, из его замкнутости и ограни-
ченности следует его компактность. Применяя к эквивалентной исходной
задаче минимизации
(2) > пш, хе М(и)
теорему 1.2, получим все утверждения теоремы, относящиеся к задаче минимизации функции /(х) на множестве Х. Подчеркнем, что в этой теоре30
ме утверждается сходимость к Х. только тех минимизирующих последовательностей {х,}, которые принадлежат М(о). В случае }(о)> ]. условие
{х,} Е М)
можно не оговаривать, так для любой минимизирующей после-
довательности {х,} найдется номер А такой, что /(х,) < Ко) для всех # >),
т.е. »Е М(о) при > К. Если же /(и) = , то Х. = М(5), и в этом случае могут существовать минимизирующие последовательности, которые не принадлежат М(о) и не сходятся к Х.. Для обоснования этого факта достаточно
вернуться к примеру 1.1 и положить 9 = 0. Тогда, очевидно, М(о) = {0}, последовательность х, = (®, А, ..., №), Е =1,2, ..., будет минимизирующей, не содержащейся в М(о) и не сходящейся к Х..
Вариант теоремы 1.3, касающийся задачи максимизации функции /(х)
на множестве Х, доказывается и комментируется аналогично, с опорой
на соотношения (1.3), (1.4), связывающие задачи минимизации и максимизации. №
Теорема 1.4. Пусть Х — непустое замкнутое множество из Е", функция
(2) полунепрерывна снизу (сверху) на Х
и для любой последовательности
{х,} Е Х такой, что [шт [+] = +=, справедливо равенство
—> оо
та (ось) = +
(ип Лак) =—=).
Тогда |» > —ео ( |" < +), множество Х. (Х*) непусто, компактно и любая
минимизирующая (максимизирующая) последовательность {х,} сходится
кХ, (Х*).
Доказательство
Рассмотрим вариант теоремы, касающийся задачи минимизации. Заметим, что если множество Х ограничено, то все утверждения теоремы следуют из теоремы 1.2. Поэтому пусть Х неограничено, т.е. существует хотя
бы одна последовательность {0} е Х такая, что [и [+ | = +. Тогда согласно
условию теоремы [тт Ло, ) = +.
Возьмем какую-либо точку оЕ Х такую,
— со
что }(0)> /. (например, можно принять 9 = 9, при достаточно большом #),
и рассмотрим множество Лебега М(о) = {хЕ Х: Кл) < Ко)}. Допустим,
что множество М(о) неограничено, тогда существует последовательность
{и,} Е М(5) такая, что [т [, |+ =. В этом случае [шт 1 (ш,)= +, что проо
—>
тиворечит неравенству /(и,)< / (9) < +, вытекающему из включения
ш,Е М(и), Е =1, 2, .... Таким образом, множество М(о) ограничено. Отсюда
и из теоремы 1.3 следуют все утверждения теоремы 1.4.
Для задачи максимизации доказательство проводится аналогично. №
Еще одно обобщение теоремы Вейерштрасса можно найти в упражнении 1.17 к этой главе.
Следует заметить, что теоремы 1.1—1.4 Вейерштрасса неконструктивны:
они лишь утверждают, что величины /+ или /" конечны, а множества Х., Х*
непусты, но они не содержат в себе методы вычисления указанных величин, нахождения точек экстремума. Тем не менее ценность этих теорем
в том, что они гарантируют разрешимость задач оптимизации (1.1), (1.2).
Более того, они подсказывают, что одним из методов получения прибли31
женного решения этих задач является построение минимизирующих (максимизирующих) последовательностей. Конкретные способы этих построений будут рассмотрены в гл. 4.
1.3. Задачи безусловной оптимизации. Классический метод
1.3.1. Описание метода
Рассмотрим задачу поиска локального или глобального экстремума
гладкой функции многих переменных на всем пространстве Е”. Такую
задачу принято называть задачей на безусловный экстремум или задачей
безусловной оптимизации. В этом термине отражен тот факт, что на переменные х = (^1, ..., х") никакие дополнительные ограничения в такой задаче
не накладываются. Если необходимо искать только точки минимума или
точки максимума, то такую задачу называют задачей безусловной минимизации или безусловной максимизации соответственно.
Задачи безусловной оптимизации часто возникают при обработке
результатов экспериментов, измерений, наблюдений за какими-либо
физическими, экономическими процессами. Предположим, что наблюдаемый процесс характеризуется набором параметров х = (1, д2, ..., хп) Е Е",
а результатом является действительное число у. Пусть проведено т наблюдений и получены числа у, соответствующие параметрам х; = (х1,..., д ),
]=1, .., т. Точная зависимость между х и у нам неизвестна, но имеющийся
у нас опыт наблюдений дает нам основание предполагать, что эта зависимость описывается функцией вида у = Ф(х, а), зависящей от числовых параметров а = (а, .., а,). Тогда естественно попытаться подобрать параметры а
так, чтобы зависимость указанного вида наилучшим образом аппроксимировала результаты наблюдений и, ..., ут. В качестве меры точности наблюдений часто берут функцию
Ка)= 2х (у; „ау.
(1.6)
Наилучшим считается такое значение параметров а = (а, ..., а;) Е Е,
при котором функция /(х) принимает наименьшее значение на Е. Обработка результатов наблюдений на основе минимизации функции (1.6)
называется методом наименьших квадратов.
В качестве аппроксимирующей функции Ф(х, а) в формуле (1.6) нередко
берут линейную функцию (5 = п):
ф(х, а) = (а, х) =а1!+...+ад”.
(1.7)
Во многих экономико-математических моделях вводится понятие ироизводственной функции у = Ф(х, а), где у — объем производства, х = (х1, ...,
хп) — вектор используемых ресурсов. Наиболее известным примером производственной функции служит функция Кобба — Дугласа
у= АП@ал“ = Ася (2)... (ты,
+
32
АсопзЕ>0,
При построении такой функции для конкретного экономического объ-
екта числовые параметры а1, ..., а, оценивают по статистическим данным
о значениях уих = (^\, ..., ") за предыдущие периоды времени.
В качестве меры точности наблюдений вместо функции (1.6) могут быть
использованы и другие функции, например
пе-[$Е (и набероу | .рз или /(а)= шах
в у; -9(х»4)|.
(18)
Задачи минимизаций функций (1.6)—(1.8) по переменной а на множестве Е являются задачами безусловной оптимизации.
Кратко изложим классический метод поиска решения задач на безусловный экстремум, подразумевая под этим тот подход к ним, который основан
на дифференциальном исчислении функций многих переменных и обычно
излагается в учебниках по математическому анализу [22, 29].
Сначала напомним некоторые понятия и факты.
Определение 1.20. Пусть функция /(х) определена в некоторой малой
=-окрестности О(х, 5) = {0 Е
ЕР: |9 -х| < =} точки х. Говорят, что функция
(х) дифференицируема в точке х, если существует вектор /"(х) Е Е" такой,
что приращение функции можно представить в виде
АУ(х) = Л(х+й)- Л(х)=((х), В) чо, х) УВ
<,
(1.9)
где о(й, х) — величина, бесконечно малая более высокого порядка, чем |й |
что означает
тт
[о(,х]
х)
Шо о
=0. Вектор }”(х) называется первой производной
или градиентом функции } в точке х.
Условие (1.9) однозначно определяет градиент /"(х), причем
Ле)= А), „Л,
где Дж ==ие %)
т-..м.
(1.10)
Таким образом, если функция дифференцируема в точке х, то она необ-
ходимо обладает частными производными в этой точке. Обратное, однако,
неверно: наличие частных производных для функций многих переменных
(п> 2) не гарантирует дифференцируемость функции. Например, функция
ай, х?) = 1х?
имеет частные производные
1. 0,0) = Вт ‚Уи:
№):
хх“?
1, (0 0)=
х\”
Ах
ую
т |озьдотл
—5\0а
Ах
однако для этой функции не выполнено равенство (1.9) при й = (#1, й2),
р! = [2:
(0+11)(0+#1) =
-5И вон.
33
В этом примере частные производные в точке (0; 0) терпят разрыв.
Достаточным условием дифференцируемости функции }в точке х является
существование и непрерывность частных производных в этой точке [22, 29].
Если функция дифференцируема в каждой точке множества Х, то ее
часто называют гладкой на Х. Если производная /"(х) существует и непрерывна в каждой точкехе Х, то функцию /(х) называют непрерывно дифферениируемой на множестве Х. Напомним, что функция, дифференцируемая
в точке х, непрерывна в этой точке.
Определение 1.21. Пусть функция /(х) определена и дифференцируема
во всех точках некоторой &-окрестности точки х. Говорят, что функция /(х)
дважды дифференцируема в точке х, если существует матрица /”(х) размера и х п такая, что
(х+В)- Г) = "р
+ (В, х)
УВ:
<,
(1.11)
где Пт [=]ых =0. Матрица /”(х) называется второй производной, или
и Шо
гессианом, функции } в точке х.
Условие (1.11) однозначно определяет вторую производную }"(х), причем
ла (х)
1,2 (х)
...
Ли" (х)
а (х)
1.2.2 (х)
...
1.2
(Хх)
р
...
р
(х)
Л”(х)=
р
(х)
где //; ;(х)= и ©
(х)
- 28
я
—
= {1% › (<), 51=1..т},
- = [2]
(4.12)
— вторая частная производ-
ная функции /(х) по переменным х% х7. Известно [22, 29], что /”(х) — симметричная матрица.
Если функция /(х) дифференцируема в некоторой &-окрестности
точки х, а в самой точке х существует ее вторая производная, то справедлива формула Тейлора
Их+П)- Л(х)= (1 Ка, +в,
= [22%2)]
х)| _
ти
|?
об =)
Ув: #|<=, (1.13)
=0. Остаточный член в формуле Тейлора взят в форме
Пеано — этого нам будет достаточно в дальнейшем. Заметим попутно, что
другие формы остаточного члена, уточняющие его оценку, накладывают
на функцию /(х) более жесткие условия [22, 29].
Квадратичную форму
РО
ад тедььу= =У-, 99х17
переменной й =
(#1, ..., #") е Е" называют вторым дифференциалом функ-
ции } в точке х. Если функция дважды дифференцируема в каждой точке
34
множества Х, то ее часто называют дважды гладкой на Х. Если вторая производная }”(х) существует и непрерывна в каждой точке х Е Х, то функ-
цию /(^) называют дважды непрерывно дифференцируемой на множестве Х.
Определение 1.22. Пусть А = {а 1,1 =1, ..., п} — симметричная матрица
п
размера и х п, (АЙ,й)= У, а,"#7 — соответствующая
ы+
ей квадратичная
форма. Говорят, что матрица А положительно (неотрицательно) определена на Е" и обозначают А > 0 (А> 0), если
(АВ,В)>0 (АВ, В)>0) УВЕЕ",
В +0 (УВЕ Е").
Аналогично
матрица А отрицательно
(неположительно)
определена
на Р", т.е. А< 0 (А< 0), если
(АВ,В)<0 ((АЁ,Р)<0) УВЕ Е”, #0 (ЙЕ Е").
Перейдем к изложению необходимых и достаточных условий оптимальности в задачах на безусловный экстремум.
Теорема 1.5 (необходимое условие экстремума). Пусть х. — точка
локального экстремума
(минимума
или максимума)
функции Г(х) на Г",
а ((х) дифференцируема в точке х.. Тогда
(1.14)
Г(х.)=0.
Если /(х) дифференцируема в некоторой =-окрестности О(х., =) точки х.
и дважды дифферениируема в точке х., то [”(х.)> 0 в точке локального
минимума и }"(х.) < 0 в точке локального максимума.
Доказательство
Пусть для определенности х. — точка локального минимума функции /(^) на Е”. Это значит, что существует д-окрестность О(х., 5) точки х,
такая, что /(х)> /(х.) УхеО(х., 6). Отсюда и из формулы (1.9) при х =х.,
р =-#/”(х.), 0 <Е< &, где число & столь мало, что & | .Г’(х.)| < 6, имеем
0< ({^(х.),
- 6’ (х.))+о@®
=[Ре]
у
’
/
2
+0(0.
Разделим это неравенство на & > 0 и затем устремим # > +0. Получим
-| Г’(х.) 2> 0, что возможно только при выполнении равенства (1.14).
Далее, пусть /(х) дифференцируема в окрестности О(х.,=) и дважды
дифференцируема в точке х,. Зафиксируем произвольное Й Е Ё” и возь-
мем & > 0 столь малым, что &) |] <=. Тогда х = х. + ЕО(х»,=) и из формулы
(1.13) с учетом уже доказанного равенства (1.14) имеем
0< /(х.+)- ед =
Гаги, пу?)
9:0 <Е< В,
Разделив это неравенство на # и устремив &— +0, находим 0 < ({”(х.)й, й)
У ДЕ
Е". Согласно определению 1.22 это значит, что /”(х.)> 0. Так как
точка локального максимума функции /(х) является точкой локального
минимума функции (-/(х)), то, применяя уже доказанные утверждения
теоремы к функции (-/(х)), получим, что если х. — точка локального мак-
симума /(х) на Е", то }”(х.)=0, Г”(х.) < 0. №
35
Определение
1.23. Точка о, удовлетворяющая уравнению }^”(9) = 0,
называется стационарной точкой функции К(х).
Из теоремы 1.5 следует, что в задаче безусловной оптимизации только
стационарные точки могут быть точками экстремума дифференцируемой
на Е" функции. Однако стационарная точка не всегда является точкой экстремума. Более того, даже если в стационарной точке о выполняется условие /[”(о) > 0 (}"(о) < 0), то и это не значит, что точка о непременно является точкой локального минимума (максимума). Можно уверенно сказать
лишь одно: если функция /(х) дифференцируема на Е", то ее стационарные
точки, и только они, являются подозрительными на экстремум.
Пример
1.7
Пусть /(и) = 24-4, и=(ху)Е
Е?. Очевидно, и = (0; 0) — единственная стационарная точка функции {, в ней матрица /"(о) нулевая и является как неотрицательно,
так и неположительно определенной. Однако в любой =-окрестности точки 9 = 0 суще-
ствуют точки х = (&, 0) иу=
(0, =), в которых /(х) > /(0) =ОиКи) < (0) = 0, т.е. о=0
не является точкой экстремума.
Этот пример показывает, что условия экстремума, сформулированные
в теореме 1.5, являются лишь необходимыми, но в общем случае этих условий недостаточно для наличия экстремума. Тем не менее оказывается, что,
несколько усилив условия теоремы 1.5, можно получить условия, достаточные для наличия экстремума.
Теорема 1.6. Пусть функция (х) дифференцируема в окрестности О(о, &)
стационарной точки о этой функции и дважды дифференцируема в точке о.
Тогда если ["(и) > 0, то о — точка строгого локального минимума функции
(<), а если }"() < 0, то о — точка строгого локального максимума. Если квадратичная форма {< }"(о)р, #) принимает значения разных знаков, то в точке и
функция не имеет ни локального минимума, ни локального максимума.
Доказательство
Пусть в точке о выполнены условия }^() = 0, ["(о) > 0, но о не является
точкой строгого локального минимума. Тогда существует последовательность
{х,} такая, что х» = о, {х,} > о, Кх,) < Ко). Точки х, можно представить в виде
х, =9+Ы а, где а, = ы
&=|х, -в|->0 при Ё-—=.
Так как |4, | = 1, то, выбирая при необходимости подпоследовательность
согласно теореме Больцано — Вейерштрасса, можем считать, что {4} >> 4,
|4] = 1. Тогда, полагая в формуле (1.13) х = о, й = & 4
0> /(х,)- ов
имеем
Гоа, у+о@?), =...
Разделим это неравенство на { и устремим Ё -> ®. Получим
(1”(о)а, 4) <0, что противоречит условию /"(о) > 0. Следовательно, о —
точка строгого локального минимума функции /(х). Аналогично доказы-
вается, что если }”(и) = 0, }”(о) < 0, то о — точка строгого локального максимума.
36
Наконец, пусть /"(9) = 0 и существуют точки #1, Йо + 0 такие, что
Г’, №) < 0 <(У”(о)№ь, В).
(1.15)
Тогда согласно формуле (1.13)
Почт) од
2
тону"? 0
2
Почт еб тоьь+
92 0
при всех достаточно малых &. Это значит, что в рассматриваемом случае
(1.15) в любой окрестности точки 9 найдутся точки, в которых значения
функции /(х) могут быть как меньше, так и больше Ко). Следовательно,
о не является точкой локального экстремума этой функции. Теорема 1.6
доказана. №
Замечание
1.1. Для выяснения знакоопределенности
квадратичных
п
форм (АЙ, #) = У, ай? существуют различные алгебраические критерии
ь] =
[9, 31].
Определение 1.24. Главными минорами матрицы А называются определители
А р
= 4е!
а
-.
..
..
а
Ч
..|
151 <6<..<%
51,
Ё=1,...,П.
Ч,
Главными угловыми минорами называются определители А! 2 ьЁ=1,... И.
Для иллюстрации возможностей применения достаточных условий
экстремума мы будем использовать критерий Сильвестра: для того чтобы
выполнялось А > 0, необходимо и достаточно, чтобы все главные миноры
матрицы А были неотрицательны; для того чтобы выполнялось А > 0, необходимо и достаточно, чтобы все главные угловые миноры матрицы А были
положительны.
Кроме этого, сформулируем критерии знакоопределенности симметричной матрицы А в терминах собственных чисел этой матрицы. Напом-
ним, что собственным числом матрицы А называется решение ^, уравнения
4еЧА - ^[,| = 0, где Г, — единичная матрица размера и х и. Известно, что
если матрица А симметричная, то у нее существует и действительных собственных чисел /4, Л», ..., Л» (с учетом их кратности). Для того чтобы симметричная матрица А была неотрицательно (положительно) определена,
необходимо и достаточно, чтобы все собственные числа матрицы А были
неотрицательны (положительны). Квадратичная форма (Ай, й) знакопеременна тогда и только тогда, когда у матрицы А имеется хотя бы одно положительное и хотя бы одно отрицательное собственное число.
Итак, классический метод исследования дважды гладкой функции
(2х) на экстремум на всем пространстве Ё" опирается на теоремы 1.5 и 1.6
и заключается в следующем.
37
1. С помощью необходимого условия /"(х) = 0 ищутся все точки, подозрительные на экстремум.
2. Найденные стационарные точки проверяются на экстремум с помощью достаточных условий, т.е. проводится исследование знакоопределенности в них матрицы вторых производных /"(х).
В том случае, когда в стационарной точке о квадратичная форма
(Г”(о)Ё,Ё) не меняет знака при всех ЙЕ РЁ", но может равняться нулю
при некоторых й +
0, то для выяснения поведения функции в окрестности
точки о можно привлечь старшие производные и связанные с ними формы
более высокого порядка:
т
"=
_
ту отр
=
__ 9")
=",п)
1)"
где суммирование проводится по всем целым |, ..., 7„ таким, что 0 < 7, < т,
1=1,... И,
+7 +
... +7, = т. Однако на практике исследование характера
стационарных точек с помощью форм &"Хо), т > 3, почти не применяется
из-за его громоздкости.
Если описанным выше способом удается выявить все точки локального минимума (максимума) функции /(х), то для определения глобаль-
ного минимума (максимума) этой функции на всем пространстве Ё" нужно
сделать две вещи: перебрать все найденные точки и из них выбрать точку
(точки) с наименьшим (наибольшим) значением функции (если найденных точек конечное количество, то такая точка, одна или несколько, обязательно существует), затем проверить, может ли функция принимать значения, меньшие (большие), чем в этой точке. Если нет, то эта точка (точки)
и будет точкой глобального минимума (максимума).
1.3.2. Примеры
Рассмотрим примеры исследования функций на экстремум.
Пример
1.8
Пусть О
—с05 у, и= (х,у)Е Е2.
Для исследования этой функции на экстремум применим классический метод.
Из системы уравнений
Л (и) = вгад Ки) = (фи(х, у) =х, Их, у) = эт у) = (0,0)
моя и. =0
|
найдем стационарные точки и, = (х,= 0, у, = п), Ё = 0, +1, .... Вторая производная
и =1
в точке
и =0
Ли =сову
и, равна
„о
Л бы
о)
[1
ем)
Если Ё = 2т — четное число, то иы-| 0
о
с}
0
гро
по критерию
Сильвестра,
поскольку ее главные миноры равны 1. Значит, согласно теореме 1.6 все стационарные точки ии=
38
(0, 21т), т = 0, +1, ... будут точками строгого локального минимума.
Более того, поскольку /(и) > -1 для всех и из Е", то все эти точки являются точками
глобального минимума со значением /. = /(и›и)=-1.
Если же # = 2т + 1 — нечетное число, то }”(изт „-|
0
-—1
не знакоопределена
в силу того, что ее главные миноры равны 1 и -1. Поэтому точки и2т-+1 не являются
точками экстремума рассматриваемой функции.
Этот пример интересен тем, что функция /(и) имеет бесконечно много
локальных (точнее, глобальных) минимумов, но не имеет ни одного локального максимума.
О
О
Пусть в пространстве ЕЁ" даны р точек х; = (х!,...,х7),1=1,...р, и требуется найти
точку х Е ЕЁ", сумма квадратов расстояний от которой до этих данных точек минимальна.
2
Эта задача равносильна задаче минимизации функции / =Ук-х|
на Е".
=
Функцию /(х) удобнее представить в виде
2
12
12
Лк)
= РЫЕ -2р(х, хо) и+У[ | где хо ох = ль
Отсюда очевидно, что }”(х) = 2р(х -— ж) и хо — единственная стационарная
точка. Вторая производная /”(х) = 2р[,, где [, — единичная матрица размера п Х и.
Следовательно, ( [”(ху)й,й) =2 РНР >0 при всех йе Е", й + 0. Значит, по теореме 1.6
ху — точка строгого локального минимума.
Однако здесь можно сказать больше: ху — точка глобального минимума функции
(<) на Е". В самом деле, рассматриваемая функция такова, что ыт. /(х) = +. Тогда
по теореме 1.4 множество Х, точек глобального минимума /(^х) на Ё" непусто, а по теореме 1.5 любая точка х. из Х. является стационарной точкой. Поскольку здесь имеется единственная стационарная точка ж, то ху Е Х.. Следовательно,
Х.=ж}, Л=Лад=-р
+ х |=.
Заметим, что при исследовании этой несложной
задачи можно
было
обойтись и без привлечения теоремы 1.4, поскольку здесь /(х) — (хо) =
=р|х-ж|?>0
для всеххе Е". Яснотакже, что в этой задаче /* = зир /(х) = +,
ХЕЕП
т.е. задача максимизации функции /(^х) на Ё" не имеет решения.
О И аки
Решим задачу безусловной минимизации
Ки)
=х3+у3-Зху
ти,
и =
(х, у) Е Е?.
6х
Для рассматриваемой функции / (и) = (Зл? - Зу, Зу? - 3х), } “о-[%
Стационарными являются точки и = (1, 1), и. = (0, 0). Применение
Сильвестра дает следующие результаты: /”(щ)=
-3
6
-—3
м
критерия
>0, поэтому и! — точка
39
строгого локального минимума; квадратичная форма с матрицей /”(и.)-|
0
—3
-3 0
не является знакоопределенной, значит, и2 не является точкой экстремума. В этом
примере функция имеет один локальный минимум, но он не является глобальным;
здесь /. =—, минимизирующей последовательностью будет и, = (-, 0), # = 1, 2, ....
Нетрудно убедиться, что для этой функции /* =+.
ЗСО У А
Рассмотрим задачу безусловной минимизации
х^
Лит
3
чи >шт,
и=(ху)ЕЕ?.
0 }
-2х
Здесь /”(и) = (л3- 2, 443), го
0
12у2
оо
Стационарных точек две: 5 = (0, 0), м = (1, 0). В них / (1) = 0, Г “ви
ит
=
10
0
В)
В
Пользуясь теоремами 1.5, 1.6, мы не можем уверенно сказать, достигается ли в этих
точках какой-либо экстремум, и придется как-то учесть конкретные особенности рассматриваемой задачи. Для того чтобы распознать характер экстремума в точке #4,
вычислим значения целевой функции в точках и, = (=, и,=0), о. = (х.=0, у, ==)
при малых Е > 0. Имеем:
1
1
11
4
3
4
Ди) =-=4 -—3 ==?| -в-—|<0;
3)’
[(0,)==4>0.
те
Это значит, что в любой окрестности точки 14 = (0, 0) функция может принимать как положительные, так и отрицательные значения, т.е. точка и не является
точкой экстремума.
Чтобы понять, что творится в точке и, во-первых, заметим, что /" = зир / (м) = +е°,
иЕЕ?
и, во-вторых, обратимся к теоремам 1.3, 1.4 Вейерштрасса. Условия этих теорем в рас-
сматриваемой задаче выполнены, в чем легко убедиться, отдельно рассмотрев слага1
1
емые а” -32° и у функции /(и). Отсюда выводим: нижняя грань /. =
.
р К(и)> —еэ
ИЕЕ'
достигается в какой-то точке и,. Но согласно теореме 1.5 такая точка должна быть
стационарной. Из предыдущего вытекает, что такой точкой может быть лишь
и. =
=(10). Впрочем, это можно подтвердить и непосредственно:
2
Лад- Гану
тебя
нахо
=и- 0
[2+3
+5
+1 >0 МиЕР?.
1.4. Задачи на условный экстремум. Правило множителей Лагранжа
1.4.1. Постановка задачи.
Необходимое условие оптимальности на выпуклом множестве
В приложениях задачи на безусловный экстремум встречаются сравнительно редко. Дело в том, что в практических задачах переменные, как пра40
вило, не могут быть совершенно произвольными и должны удовлетворять
некоторым дополнительным условиям, выражающим, например, условия
неотрицательности тех или иных переменных, условия ограниченности
используемых ресурсов, ограничения на параметры конструкции системы,
условия нормировки и т.п. Иначе говоря, переменные х = (21, ..., д") должны
принадлежать некоторому заданному множеству Х Е ЕЁ”. Тогда чтобы подчеркнуть, что экстремум функции ищется при условии х Е Х # Е", часто
говорят о задаче на условный экстремум. В случае, когда ищутся только
точки минимума или точки максимума, говорят о задаче условной минимизации или условной максимизации соответственно.
В таких задачах мы также будем рассматривать точки локального минимума и максимума, но теперь будем их различать по тому, являются ли они
внутренними для множества Х или граничными.
Изолированную точку можно по определению считать как точкой строгого локального минимума, так и точкой строгого локального максимума.
В предыдущем параграфе мы рассмотрели задачу безусловной оптимизации, когда допустимое множество Х = Ё" состояло лишь из внутренних
точек. Если дважды дифференцируемая функция /(х) на множестве Х
имеет точку локального минимума (максимума) х., являющуюся внутренней точкой множества Х, то необходимо выполняются условия
Ее.) =0, Ё”(.)>0
(Ре. 50),
(1.16)
что доказывается точно так же, как в теореме 1.5. Однако, если х, — граничная точка множества Х, то эти условия, вообще говоря, не выполняются.
Например, элементарная функция /(х) = —х? на отрезке Х = {хЕ Ё!:1<х<2}
имеет глобальный минимум в точке х.. = 2, но }”(2) = -—4, [”(2) = -2. Как
очевидно, условия (1.16) не выполняются. Следовательно, необходимые
и достаточные условия экстремума в задаче
Ко)
> еж, хе Хя Е"
(1.17)
должны иметь другую форму, отличную от теоремы 1.5.
Сначала приведем необходимые условия оптимальности для задачи
(1.17), когда Х — выпуклое множество из Ё".
Определение 1.25. Множество Х называется выпуклым, если для любых
точек х, у Е Х точка х, =х + о(у —-х) = оу + (1 - ох принадлежит Х
при всех ©, 030 <1. Иначе говоря, множество Х выпукло, если отрезок
[х, у] = {х =х + о(у -х), 0<а< 1}, соединяющий любые две точки х, у
из множества Х, целиком лежит в Х.
Примерами выпуклых множеств в ЕЁ” являются рассмотренные ранее
п-мерный шар, п-мерный параллелепипед, гиперплоскость, полупростран-
ство, неотрицательный ортант, прямая, луч. Сфера {хе Е": |х| = Е} — невыпуклое множество.
Теорема 1.7. Пусть в задаче (1.17) множество Х выпукло, х, Е Х — точка
локального минимума (максимума) функции Г(х) на Х, пусть в этой точке
функция /(х) дифференцируема. Тогда необходимо выполняется неравенство
(Г’(х.), х-х,)>0
((Г’(м.),х-х.)<0)
УхЕХ.
(1.18)
Если х. Е ШЕХ, то неравенство (1.18) равносильно условию }’(х.)=0.
41
Доказательство
Пусть х. Е Х — точка локального минимума в задаче (1.17). Рассмотрим
произвольную точку х из Х, тогда в силу выпуклости множества Х точки
хи =. +0(х-х.), ЧЕ [0; 1], тоже в нем содержатся. Поэтому при любых
ОЕ [0; 0%], где оу > 0 — достаточно малое число, с учетом дифференцируемости функции /(лх) в точке х, имеем
0= {(х. +а(х-х,))1 (х.) = ок Ё"(х,),х-х.)
+ 0(0),
или
0< (у
х-хд +90
У\е (0; оц ].
Отсюда, переходя к пределу при © >> +0, получим условие (1.18).
Если
х.Е НИХ,
то для
любого
е Е
Е"
найдется
&% > 0 такое,
что
х=х. +ве Е Х при всех в, | | < &%. Полагая в формуле (1.18) х = х. +е, получим 8( /^(х.),е) > 0 при всех Е, | |< 8%, что возможно только при < {*(х.),е) = 0.
Пользуясь произволом в выборе е, можем взять е = }*(х.), что приводит
к равенству /*(х.) = 0.
Аналогично рассматривается случай, когда х. — точка локального максимума. №
Условие (1.18) имеет простой геометрический смысл. Как известно [22,
29], для гладкой функции производная по направлению единичной длины
е равна
И
д/(х.) _._ Г(х -в)1 (+)
нд
1
Полагая е = =
— х.), мы приходим к тому, что в точке экстремума
|х —х.
производная по направлению е неотрицательна, если х. — точка локального
минимума, и неположительна, если х. — точка локального максимума, что
означает невозможность убывания или соответственно возрастания функции по направлениям, ведущим из точки х. в множество Х.
Неравенство (1.18), как и условие стационарности /”(х.) = 0, в задачах
безусловной оптимизации может быть записано в виде системы уравнений,
из которой можно определить точки, подозрительные на экстремум. Поясним это на примере.
Пример
1.12
Рассмотрим задачу
1)
Че!
ег, хеЕХ=Ет ={х=(л1,..,хт)Е
Е": х1>0,..,х" > 0},
предполагая, что функция /(х) дифференцируема на Е”.
Сначала рассмотрим задачу поиска точек локального минимума. Покажем, что
тогда условие (1.18)
(Гид
42
7+
дей -8)>0
Ухе Е”
(1.19)
равносильно
системе
х.=(х!, х2,...,
Ре Ет, 1: (хь) =0,
1=1,..П,
с дополнительным требованием: если л! =0, то [и (х.)>0. Для обоснования этого
факта зафиксируем произвольный номер 1, 1 <1< и, и в неравенстве (1.19) положим
ХЕ
КРЫМ, МН,
хп),
где х! — произвольное неотрицательное число. Будем иметь
Дж)
2) >0
Ух >0.
Такое неравенство при д! >0 справедливо только в случае 1.1:(х.)=0, если же
х1 =0, то в точке минимума /; (х.) > 0.
Это означает, что точка х Е Ё" может быть подозрительной на минимум в этой
задаче, только если она является решением системы и уравнений с и неизвестными
ж'.(х)=0,
1=1,...п,
и дополнительным условием: х!> 0, 1 = 1, ..., п, и Г: (х)>0, если х!= 0. Аналогично
убеждаемся, что подозрительные на максимум точки удовлетворяют этой же системе
с дополнительным условием х!> 0,1 =
1, ..., п, и Г: (х)<0, если х!= 0.
В общем случае в задаче (1.17) для множества Х с гладкой границей
неравенство (1.18) также может быть записано в виде уравнений /*, (+) = 0,
1=1,..., И, если х. Е ШЕХ, или
системы, составленной из условий принад-
лежности х, границе множества Х и условий равенства нулю производных функции /(х) по некоторым касательным направлениям к границе
в точке х.. Однако полученные на этом пути системы, как правило, весьма
сложны и неудобны для практического использования.
1.4.2. Правило множителей Лагранжа
в задачах с ограничениями типа равенств
Для исследования задач на условный экстремум имеются другие,
более удобные методы, одним из которых является правило множителей
Лагранжа. Изложим это правило для следующей задачи:
/(х)—›ехт,
хЕХ,
Х={хе Ху: 8 (х)<0,]=1,..т;в,(х)=0, 1=т+1,..,т+$},
(1.20)
где Ху — заданное выпуклое множество из Е", функции /(х), 5х), ] = 1, ...,
т + 5, определены на Ху. Условия в(х) < 0, 1 = 1, ..., т, в задаче (1.20) принято называть ограничениями типа неравенств, условия &(х) = 0,
=т
+ 1, ...,
т + 5, — ограничениями типа равенств. Здесь не исключаются возможности,
когда отсутствуют ограничения типа неравенств (т = 0) или равенств (5 = 0).
Возможно также, когда отсутствуют ограничения обоих типов (т = $ = 0), т.е.
Х = Ху и задача (1.20) превращается в (1.17). Если т = $ = 0, Ху = Ё", то из за-
дачи (1.20) получим задачу безусловной оптимизации из параграфа 1.3.
Для описания правила множителей Лагранжа для задачи (1.20) введем
функцию
5&№=м№
+
2
ув)
(1.21)
43
переменных х = (1, ..., м”) Е Ху ^= (Ад, 4,
Ат) = (А, ЛЕ Е"*$+1, назы-
ваемую функцией Лагранжа задачи (1.20). Переменные Л4, А+, ..., Ат+; называются множителями Лагранжа. Будем говорить, что множитель Ау соответствует целевой функции /(х), множитель А» 1 << т + $, соответствует
ограничению из задачи (1.20), задаваемому функцией &(х).
Перейдем к формулировке необходимых условий экстремума для задачи
(1.20). Начнем с классической задачи на условный экстремум, традиционно
рассматриваемой в математическом анализе [22, 29] в разделе, посвященном неявным функциям:
(х) > ег, хе Х={хЕ РЁ: 51(х) =0,..., =. (х) = 0}.
(1.22)
Эта задача является частным случаем задачи (1.20) при т = 0, Ху =
Допустим, что систему уравнений
(1.23)
Е(х)=0,1=1,..,5
удалось
преобразовать
Е".
к виду
д = Фи (АР-Ь .., д”),
= ФОРУ,
5”),
(1.24)
выразив из (1.23) какие-то р переменных (для простоты обозначений мы
считаем, что это переменные ^\, ..., хр) через остальные. Тогда задачу (1.22)
на условный экстремум можно свести к задаче на безусловный экстремум
функции
ВАР, „дт) = Фи (Р+А,
д”), ..., Фра, ..., д"), ХР, ..., хп)
переменных (лР*1, ..., х") е Е"Р, и полученную задачу можно исследовать
по описанной в параграфе 1.3 схеме. Однако этот подход имеет ограниченное применение, так как явное выражение вида (1.23) одной группы пере-
менных через остальные удается получить лишь в редких случаях.
Сформулируем правило множителей Лагранжа для задачи (1.22). Справедлива следующая теорема.
Теорема 1.8. Пусть х. — точка локального экстремума (минимума или
максимума) функции (х) на множестве Х из задачи (1.21). Пусть функция
/(х) дифференцируема в точке х., функции в\(х), ..., в.(х) непрерывно дифференцируемы в некоторой окрестности точки х.. Тогда необходимо существуют число № и вектор А" = (№1,..., №) Е Е? такие, что
^
= (Аль... А«)=
^
9.6(х,^)
дж
или,
|—х.
(№›^")
= 0,
97), +5.
7=1
дв. Е; (х(х.)
_
в
дх!
короче,
№20,
(жи, №) = М.) + У Мах.) 50.
р
Если градиенты 21(х.), .... 5. (х.) линейно независимы, то № = 0.
44
(1.25)
(1.26)
Таким образом, в теореме 1.8 утверждается, что всякая точка локального экстремума х, задачи (1.22) необходимо удовлетворяет равенству
4, (х,^.) =0 при некотором подходящим
образом выбранном нетривиаль-
ном наборе множителей ^^". В этой теореме использованы лишь первые производные функций /(х), &(х), поэтому условия (1.25), (1.26) принято называть необходимыми условиями экстремума первого порядка задачи (1.22).
Из теоремы 1.8 следует, что подозрительными на локальный экстремум
(минимум или максимум) могут быть лишь точки х. Е ЕЁ”, для которых
существуют множители Лагранжа А, такие, что пара (х», ^.) является решением системы
Ж/д + У уу
0
(Хх) =0,1=1..5
А=(,^)=0.
(1.27)
=
Эта система состоит из п + $ скалярных уравнений с п + $
+ 1 неизвест-
ным
(м,
= (М,
А) =(1,
мт, М,
А.А).
Нетрудно видеть, что если набор (х, ^) — решение системы (1.27), то
набор (х, -^) тоже будет ее решением. Более того, набор (х, а^.) при любом
0 * 0 также будет решением этой системы. Это значит, что условие А, * 0
можно заменить каким-либо условием нормировки и к системе (1.27) добавить, например, уравнение
АР = 22 +1 = $22 =1.
(1.28)
150 7
сп
В результате мы получим систему (1.27), (1.28) п + $ + 1 уравнений
+ $ + 1 неизвестным. При любом фиксированном способе нормировки,
гарантирующем условие /
= 0, из системы (1.27) мы получим одно и то же
множество точек х., подозрительных на локальный экстремум. На практике вместо условия (1.28) часто рассматривают систему (1.27), поочередно добавляя к ней условия м =1 и Мм =
= (Л4, ... Л) = 0.
1.4.3. Правило множителей Лагранжа в общем случае
Теперь сформулируем правило множителей Лагранжа для общей задачи
(1.20). Функция Лагранжа в этой задаче имеет тот же вид (1.21).
Теорема 1.9. Пусть Ху — выпуклое множество, х, Е Х — точка локального
минимума (максимума) задачи (1.20), функции Кх), =1(х), ..., 2т+‹(х) непрерывно дифференцируемы в некоторой окрестности точки
х.. Тогда необхо-
димо существуют множители Лагранжа А" = (№4, №1, .. Ан) такие, что
№ #0, № >0 (№50), №1>0,.., А", >0;
(2 (х,. №), х-м.)>0
УхЕХу,;
Ав (х.)=0, 1=1-ьт.
(1.29)
(1.30)
(1.31)
Равенства (1.31) называют условиями дополняющей нежесткости или,
короче, условием дополнительности.
45
Замечание 1.2. Если х. — внутренняя точка Ху (например, если Ху = Е”),
то неравенство (1.30) равносильно условию
жи) = № Ре.)+ р Ех.) =0.
—
(1.32)
т-+$
=
Замечание 1.3. В сформулированной теореме, в отличие от теоремы 1.8,
появились условия на знаки множителей Лагранжа №, Л. ..., Аш. Это случилось, во-первых, потому, что в общей задаче (1.20) на условный экстре-
мум появились ограничения типа неравенств, записанные в виде 5х) < 0,
1=1,..., т. Ничто не мешало написать какие-то из этих ограничений в виде
й(х) > 0, но тогда пришлось бы внести в формулировку теоремы несколько
измененное правило знаков на множители Лагранжа. Однако эти изменения не носят принципиального характера, так как любые ограничения вида
й(х) > 0 можно записать в виде #(х) = —й(х) < 0. Во-вторых, в теореме 1.9
правило выбора знаков множителя Лу дает нам возможность различать
задачи минимизации и максимизации и в то же время позволяет единообразно изучать задачи на экстремум.
Кстати, уже в формулировке теоремы
1.7 мы могли записать условия
экстремума (1.18) в виде (№./”(х.), х- м.) > 0 У хе
Х, где № > 0в
задаче
минимизации, /4 < 0 в задаче максимизации, но в теореме 1.7 особой необ-
ходимости в введении множителя № еще не было. Можно также отметить,
что указанная выше связь (1.3), (1.4) между задачами минимизации и максимизации подчеркивает естественность приведенного в теореме 1.9 пра-
вила выбора знака №4.
Заметим,
что теорема
1.9 охватывает
утверждения
теорем
1.7, 1.8.
В самом деле, если в задаче (1.20) отсутствуют ограничения типа равенств
и неравенств ($ = т = 0), т.е. Х = Ху, то условия (1.29)—(1.32) превращаются в утверждения теоремы 1.7. Если Ху = Е" и отсутствуют ограничения
типа неравенств (т = 0), то из условий (1.29)—(1.32) следуют утверждения
(1.25), (1.26) теоремы 1.8.
Доказательство теоремы 1.9 будет приведено ниже в параграфе 1.6 после
изложения метода штрафных функций.
Из теоремы 1.9 следует, что подозрительными на экстремум могут быть
лишь точки х Е Х, для которых существуют множители Лагранжа /, такие,
что пара (х, А) является решением системы
ХЕХь,
(2 (х,^),у-х)>0
Ав (х)=0,8,(х)<0,
а, (х)=0,
УуЕХ,,
}=1,..,т,
(1.33)
1=т+Ъ..,т+$,
А = (№,
А,
Ат) 0, № >0,..., Лт > 0,
причем № > 0 в случае точки локального минимума, № < 0 в случае точки локального максимума. Нетрудно заметить, что если (х, А) — решение
системы (1.33), то (х,0^.) при любом 4 > 0 также будет решением этой системы. Это значит, что условие /
46
# 0 в системе (1.33) можно заменить, как
и в системе (1.27), условием нормировки (1.28) или исследовать систему
(1.33), последовательно полагая в ней /\4 = 1 в случае локального минимума, №4 = -1 в случае локального максимума; отдельно выделить случай
№= 0, (№4, ..., Аш) # 0. Решение системы (1.33) часто называют критической
точкой задачи (1.20).
Подчеркнем, что, приступая к решению задачи на экстремум с помощью
теоремы 1.9, прежде всего надо проверить, записана ли постановка задачи
в каноническом виде (1.20), правильно записать функцию Лагранжа (1.21)
и далее разобраться со знаками множителей Лагранжа.
1.4.4. Достаточные условия оптимальности
Определив
решения
системы
(1.33) с учетом
условий
нормировки,
получим множество точек, подозрительных на экстремум в задаче (1.20),
и соответствующие им множители Лагранжа. Для выяснения того, будет
ли в найденной точке х. в действительности реализовываться локальный
минимум или максимум, нужно провести дополнительное исследование
свойств целевой функции в окрестности точки х. с учетом ограничений,
задающих множество Х. Здесь может быть полезна информация, вытекающая из теорем 1.2—1.4 Вейерштрасса, из геометрических, физических,
экономических и тому подобных соображений. Для анализа характера экс-
тремума критической точки можно использовать достаточные условия экстремума, основанные на знакоопределенности второй производной функции Лагранжа. Приведем одно из таких условий (теорема 1.10), для его
формулировки нам понадобится следующее определение.
Определение 1.26. Ограничение типа неравенства 5х) < 0 назовем
активным в точке х., если в,(х.)=0. Множество всех активных ограничений далее будем обозначать через Г(х.) = {7:13 }<т, &;(х.)=0}.
Теорема 1.10. Пусть в задаче (1.20) множество Ху выпукло, функции Кх),
&1(х), ... 8и+5(х) дифференцируемы в некоторой окрестности точки х. Е Х
и дважды дифференцируемы в этой точке, набор (х., №") = (х., (№,^“)) является решением системы (1.33), причем № >0 (№ <0), и кроме того,
(к М, В) > 0
(1.34)
для всех й Е Е", й + 0, удовлетворяющих условиям
№ (Л), В) < 0,
(в; (хь),й)<0
(в (ж.),й)=0,
У ЛЕ
Г(хь),
1=т+1,..,т+5.
(1.35)
(1.36)
(1.37)
Тогда в точке х. реализуется строгий локальный минимум (максимум)
функции /(х) на множестве Х.
Сразу же заметим, что теорема 1.10 является обобщением теоремы 1.6,
выражающей достаточные условия строгого локального экстремума в задачах безусловной оптимизации.
Доказательство
Если х. — изолированная точка множества Х, то по определению х. будет
точкой строгого локального экстремума. Поэтому далее будем предпола47
гать, что х. не является изолированной точкой множества Х. Допустим, что
№20, выполнено условие (1.34), но точка х, не является точкой строгого
локального минимума. Тогда найдется последовательность {х,} е Ху такая,
что
Жь*х.,
8; (хь) 30,
1=1,. ,т, 8; (х,)=0, 1=т+Ъ,..,т+5,
Ла)
< Дм),
=12,...,
(1.38)
ит Жь =...
—оо
Точки
х, можем
представить
Х, = Х» +,
в виде
М -Х»
где й, [=]
Е,
=
— 0 при
-> <=.
—Х»
Так как |й,| = 1,2 =1, 2, ..., то, выбирая при необходимости подпоследовательность согласно теореме Больцано — Вейерштрасса [22, 29], можем
считать, что {й,} —> й, |й.| = 1. С учетом условий (1.38) и дифференцируемости функций Д(х), &(х) в точке х. имеем
0> У(жь)—
(ки) = (ее), в, + ов,;
0> 8; (х,)- 8; (х.) = (в (хь), В) +0,
), Е Г(х);
0=Е;(х,)ау) = (в (х.), в) +0),
1=т+1..,т+$,й=Ъ2,....
Разделив эти соотношения на &, > 0 и устремив # -> <, получим
(’(х.),
1) 0, (ву (хь), вы) 30, Е Т(х.),
1=т+Ъ..,т+$5,
(ву(хь),
Вы) =0,
|№.| =1.
Отсюда и из условия Л4 > 0 следует, что й, — решение системы (1.35)—
(1.37), причем Й, = 0. Тогда согласно условию (1.34)
(27 (хи Мы,
вь) > 0.
С другой стороны, учитывая условия (1.38), неравенства № >20, ^' >0,
1=1, ..,т, условия (1.31) и &;(х.)=0,1=т+1, ..., т + $, а также тот факт,
что /(х,)
< 1 (хо), Ё = 1,2, ..., имеем
(хь М)= Уж) + Ха
я
т
У лжи
Ао (хь) < № (х.) =
]=т+
т-+5
—
= Лох.)+ ХА.) + . У Авиа) = 6(х., №), Е=\2,....
=
)=т+
Отсюда с помощью формулы Тейлора (1.13) с учетом неравенства (1.30)
находим
0> (ян) (= (6х, М, ке
+0(х, -х.
ева
Разделив это неравенство на 2Е и
вв)
+0
в=1,2,...
устремив # -> °°, получим
(7 (хо, Мы,
вы) < 0,
48
Кб яж.) жь-х.)+
что противоречит условию (1.34). Следовательно, х. — точка строгого локального минимума задачи (1.20).
Аналогично доказывается, что если № < 0, неравенство (1.34) выполнено
при условиях (1.35)—(1.37), то х. — точка строгого локального максимума
задачи (1.20). №
Замечание 1.4. Подчеркнем, что приведенные в теореме 1.10 условия,
когда в подозрительной на экстремум точке х. реализуется строгий локальный минимум или максимум, являются достаточными, но не необходимыми.
В ней предполагается, что проведен предварительный анализ множителей
Лагранжа Л" = (№,^“) точки х., подозрительной на экстремум, и найден
«хороший» набор множителей, у которых компонента № имеет определенный знак или, возможно, №5 =0, и выполняются условия (1.34)—(1.38).
Такой анализ необходим, так как не всякое решение (х»,/^) системы (1.33)
обладает «хорошими», т.е. удовлетворяющими (1.34)—(1.38) свойствами.
Более того, может оказаться так, что «хорошие» множители не существуют,
и теорема 1.10 попросту не работает, неприменима. Этот факт будет проиллюстрирован в приводимых ниже примерах 1.13, 1.14, 1.17, 1.18.
Отдельно остановимся на случае «хорошего» набора (№,^”“), соответствующего точке х., когда Ад =0. Тогда по теореме 1.10 точка х. является
как точкой строгого локального минимума, так и точкой строгого локального максимума, т.е. одновременно выполняются неравенства /(х.)< }(х)
и /(х.)> 1(х) для всех хЕХ ПО, (х.), где 0,(х.) = {хе Е": |х-х. <=} —
=-окрестность точки д». С первого взгляда может показаться, что так
не бывает. Увы, бывает! Но в одном единственном случае, когда таких точек х
нет, т.е. множество Х О, (х») = {х»} состоит из единственной точки х.. Иначе
говоря, х» — изолированная точка множества Х (см. ниже пример 1.19).
Так как задача (1.22) является частным случаем задачи (1.20) при т = 0,
Ху = РЁ”, то теорема 1.10 применима и к задаче (1.22). При этом ее формулировка может быть несколько упрощена. Поскольку в задаче (1.22)
ограничения типа неравенств отсутствуют, то [(х.) =@ и условие (1.36)
теряет смысл. Кроме того, Ху = Ё", поэтому неравенство (1.30) может быть
заменено условием (1.26). Это значит, что систему (1.33) можно заменить системой (1.27). Наконец, покажем, что требование (1.35) можно без
ущерба исключить.
Допустим, что в задаче (1.22) неравенство (1.34) справедливо для всех
й, удовлетворяющих условиям (1.35), (1.37) при № > 0. По доказанному это
значит, что х, — точка строгого локального минимума. Убедимся, что тогда
при т = 0, Ху = Ё" неравенство (1.34) будет справедливо и в том случае,
когда Ад < 0, т.е. когда ({”(х.), #) > 0. Возьмем вектор а = -й, для него выполнены соотношения
а+0, (5,(х.), а) =(в,(х.),-й)=—(8.(х.),й)=0,
(жа) =
(ж.),-В) =
1=1,..., 5,
(ке), В) >20.
По сделанному допущению для такого вектора а верно(.7” (х., "а, а) > 0.
Но тогда
7 (хе, М, ВУ = (2 (х», (а), (-а)) =(5” (х, №)а, а) > 0.
49
Это значит, что при т = 0, Ху = Е" неравенство (1.34) остается справед-
ливым для всех й, удовлетворяющих условиям (1.35), (1.37), независимо
от знака множителя А. Следовательно, условие (1.35) в формулировке теоремы 1.10 для случая задачи (1.22) может быть опущено.
Таким образом, переформулируя теорему 1.10 применительно к задаче
(1.22), получаем следующую теорему.
Теорема 1.11. Пусть в задаче (1.22) функции Кх), &1(х), ..., в;(х) дифференцируемы в некоторой окрестности точки х, Е Х и дважды дифференцируемы в этой точке, набор (х., №") = (хо, м, М,... №) является решением
системы (1.27), причем № 20 (№ <0) и, кроме того,
(0% (хм), ву > 0
(1.39)
для всех йе ЕЁ", й + 0, удовлетворяющих условиям
(в(ж),Ву=0,
1=%.,5.
(1.40)
Тогда в точке х. реализуется строгий локальный минимум (максимум)
в задаче (1.22).
1.4.5. Примеры
Для иллюстрации теорем 1.7—1.11 рассмотрим несколько примеров.
УВ
Пусть на я-мерной единичной сфере Х = {хе ЕЁ": |х|? = 1} требуется найти точку,
сумма квадратов расстояний от которой до р заданных точек 21, х», ..., х, была бы
минимальной или максимальной. Иначе говоря, нужно решить задачу
Р
Гед=Ук-х
> екы, хеХ={ке Е": вк) =
-1=0}.
1=1
Аналогичная задача в случае Х = Е" была рассмотрена в примере 1.9. Действуя,
как и тогда, представим целевую функцию в виде
=
/(х)= РЫР -2р(х,х)+ Хы
Р
= ре - р
12
+, =
Применим к этой задаче теорему 1.8. Составим функцию
ах, М) =
(2) + а
Лагранжа:
1, хе Е", = (АЛЕ Е?.
Система (1.27) здесь имеет вид
2х)
= 2х
-ж)+2Ах =0, [5 =1, №,^)=0.
(1.41)
Если № = 0, то А # 0, поэтому из первого уравнения следует х = 0. Но тогда усло-
вие |х|? = 1 не выполнено. Стало быть, Ад 0, и, считая, что х * 0, из системы (1.41)
находим две точки, подозрительные на экстремум, и соответствующие им множители Лагранжа:
ско
нь
Жо]
№
ое,
[ео
50
#0, А) = [ж]+1).
а42
(1.43)
Пример 1.14
Найдем условные экстремумы в задаче
(и) =3(а3 + у3) >ежг,
и=(х,у)ЕХ={иЕЕ?:
(и) =1-х-4у=0]}.
Составим функцию Лагранжа этой задачи:
(и, ^) = 9 (х, у, №,^) =3№ (23 + у3)+^(1-х-4у), ие Е?,^=(№,^)ЕЕ?.
Система (1.27) здесь имеет вид
2х, у, А, ^)=9№мх2 -^=0,
2, (ху, №,^)= 9%
42—44, =0, (№,^)=0, х+4у=1.
При № = 0 эта система не имеет решения, поэтому можем принять м =1 и м =
= -1. У системы будет две пары решений:
(и, М) = (2%, У, М, М): щ-(*
=
=
=1,^, =:
(мо, 2) = (хо,
уз, №, №2: из - (©
=-1, У2 2
№=1,^. =3.
(и, Аз) = (м, Ул, о, Аз): и =
Ту
9
=-1 23 =—1
(из, А) = (хо, уз, М, Ра): и - (©
7
7
49
=
9
=
7
=
7
9
=-^. --9.
49
Таким образом, подозрительными на экстремум будут только точки и, и. Для
того чтобы воспользоваться достаточными условиями, выпишем вторую производную функции Лагранжа:
д”
ии
(
и,
^)
=
2
у (х, У,
(х, у, №,^)
2
„(х,
у,
№,^)
2
(х,
№,^)
=
18№х
у, №,^)
0
0
18 № у
1
и систему (1.37) для вектора й = (& } учитывая, что 8”(и) -| :}
(ви), в) =-в 41, =0.
Любое ее решение имеет вид й -|
2" (и, МВ, В) -(
-
Согласно теореме
минимума; и =(-+
=
, } {Е
Н[
—
(40 и (из, АЙ,й В)
—&
7
,
0
_36
(-—°, +). Поэтому для таких й
} [|
—4Е)
| , |
=362? >0 УЕ +0;
[№
,
12
1.11 отсюда имеем: и (=
252
= 29“
2
7 12>0 УЕЁ#0
,
— точка строгого локального
12
7|- точка строгого локального максимума.
Еще раз отметим, что условия теоремы 1.11 не являются необходимыми. В этом
примере точке строгого локального минимума и! помимо «хорошего» набора А. соответствует и набор А, не отвечающий условиям теоремы (в нем № = -1):
(би (ш, Аз)й,) (2
52
[
|
"|=
<0 Е #0.
Для выяснения характера возможного экстремума в этих точках привлечем теорему 1.11. Вторая производная функции Лагранжа равна
2х (х,
^) =2„(х,
№,
№=2(р№
+ЛАГ,,
где [, — единичная матрица размера п Х и. С учетом соотношений (1.42), (1.43) соответственно имеем
Ви оь м, м) = р хо;
бк (оо, М №) =-2 № ю [7,.
Отсюда следует
о
о
мь МВ, В) = 2
жо| >0, 92 >О,МВ с Е", В +0;
ь ОВ, В) = р?
>0, УЖ <0,Уй с Е”, +0.
В частности, эти неравенства выполняются
условию (1.37):
(&’(о;), й)
=
о,
Г
при всех Й + 0, удовлетворяющим
= 0,
1 = 1, 2.
Согласно теореме 1.11 это означает, что точка 9, является точкой строгого локального минимума, 0 — точкой строгого локального максимума. Попутно отметим, что
если бы мы попытались узнать характер экстремума в точках 91, 02, используя мно-
жители Лагранжа Л, А› из соотношений (1.42), (1.43) при № < Оби № > 0
соответ-
ственно, мы убедились бы, что условия теоремы 1.11 не выполнены.
Можно высказать более сильное утверждение: точки 51 и 9 являются точками
строгого глобального минимума и максимума функции /(х) на множестве Х соответственно. Для его обоснования нужно обратиться к теореме 1.2 Вейерштрасса,
согласно которой функция /(х) на множестве Х достигает своих точной нижней
и точной верхней граней, причем эти точки глобального экстремума, конечно же,
являются решениями системы (1.41), которая при 2 * 0 имеет всего два решения
91 и 9. Следовательно, одна из этих точек является точкой глобального минимума,
другая — точкой глобального максимума. Вычислив и сравнив значения /(1), /(ч2),
нетрудно убедиться, что 9! — точка глобального минимума, 92 —точка глобального
максимума со значениями
Перед =р- $ +;
Ле= Г =р+2 Ха +.
Так как при хо >= 0 у функции /(х) других точек экстремума на Х нет, то /(ч1) <(х)
Ухе Х, х=а, и (л) < Ки2) Ухе Х, хвои», те. экстремумы строгие.
Осталось рассмотреть случай ху = 0. Тогда системе (1.41) удовлетворяют все точки
ХЕ Х, им соответствует один и тот же набор множителей Лагранжа №4 * 0, ^ = -рАз:
Это значит, что при № = 0 нам не удалось извлечь из теоремы 1.8 никакой полезной
информации — все точки единичной сферы как были, так и остались подозрительными на экстремум. К тому же здесь для всех Й из Е" будет (.42”. (х, Ай, й) =0. Однако
чтобы разобраться в сложившейся ситуации, достаточно вычислить значение функр
ции /(х) при х= 0, хе
Е". Получим /(х)=р+ У
=
=с015ё У хе
Х. Таким обра-
зом, при ху = 0 задача становится тривиальной: все точки х Е Х являются точками
абсолютного минимума (или максимума).
51
Аналогичные соображения можно высказать и про точку и и набор А.
Подчеркнем существенность того момента, что условие (5%, (и-, А*)В, В) > 0 должно
выполняться лишь для тех й, которые удовлетворяют условиям (5; (и), #) =0: матрица
4” (из, Ад) знакопеременная, неравенство {2% (из, ^4)#, й) > 0 не могло выполняться
при всех ЙЕ Е”.
Остается заметить, что для последовательностей и, = (1 — 4%, Ё), и,= (1+4%, ) Е Х
имеем /(и,) —> —, /(0,) —> +=° при # —> °о. Это значит, что в рассматриваемой задаче
Д.= шЕ Ки) =-е,
Г" =зир / (и) =+°,
ие
так что глобальный
минимум
и максимум
ИЕХ
не достигаются.
В этом примере тот же результат нетрудно получить другим путем. А именно,
можно было из условия #(и) =х+4у - 1 = 0 получитьх = 1 - 4у, затем перейти к эквивалентной задаче на безусловный экстремум а(и) = (1 - 4у, и) = 3[(1 - 4у)3+ уз] >
—ех{т, уЕ РЁ! и применить к ней классический метод, изложенный в параграфе 1.3.
ИЕ
Рассмотрим задачу
Ки) =х >ех, и= (хуЕ
Х=(иЕ
Р: (и) =3-у2=0}.
(1.44)
Функция Лагранжа этой задачи
(и, ^)= 2 (х, у, №, ^)=№мх+ (3 у2), и=(х,у)Е Е?, А =(№,^№)ЕЕ?.
Система (1.27) имеет вид
2(х,у, №, ^)= № +3Ах? =0, бу(х, у, №,^)=-2у =0,
3 —у? =0, ^=(№,^)=0.
Из этой системы находим единственную точку и. = (0,0), подозрительную на экстремум. Ей соответствуют наборы множителей Лагранжа вида Л" = (№ =0,^), ЛЕ Ё!,
А = 0.
Для выяснения характера экстремума точки и. попробуем применить теорему 1.11.
Уравнению (=“(.), й) = (0,#) =0 удовлетворяют любые йе Е?. Однако на Е? матрица
5%ши)
(и, №) =
оо
0)
не является знакоопределенной ни при каком А, теорема 1.11 здесь не работает. Тем
не менее несложно догадаться, что в задаче (1.44) и, — точка строгого глобального минимума. В самом деле, с учетом равенства х3-— у2= 0 имеем /(и)=х=(у2)3 > 0 = { (м.) = Х
при всех и = (х, у) + 0. Верхняя грань здесь }* = +.
Пример
1.16
Исследуем на условный экстремум задачу
1х) =
-аР > ехы,
хеХ={хеЕ": [< 1},
(1.45)
где а — заданная точка из Е”.
В простейшем случае, когда а = 0, очевидно, функция /(х) достигает своей нижней грани /. =0 на Х в точке х =а = 0, своей верхней грани /" =1 — в точках хе Х
таких, что |х| = 1. Пусть а # 0. Для поиска точек экстремума в этом случае воспользуемся теоремой 1.9. Введем функцию Лагранжа
2(х,^) = мк -аР +
1), =, №) Е?,^>0.
53
Первая и вторая производные этой функции равны
2%(х,^)= 2% (х-а)+2х;
где Г, — единичная матрица размера п х
(+
= ма, А
2” (х,^) = 2(№%+^)Г,,
и. Система (1.33) здесь имеет вид
=
<=
(О, ^)=0,^>0.
Нетрудно показать, что если (х, №, ^) — решение системы (1.46), то м
из системы (1.46) вытекает
а
= 4
-(> :) <
2
;] | с
0. Тогда
41)
2
2
(1.46)
0, ^=(№,^), № =0, ^>0.
(1.48)
№+
№
Из соотношений (1.48) следует, что либо ^, = 0, либо
вом
из
этих
случаев
о+А
|0] =1. ^>0.
В пер-
имеем
х=а, [а|<1, ^=(№,0), №0,
(1.49)
во втором —
№О
=,1
м
МТ
х=+,а
"НГ
Ал #0,А>0.
1.50
50)
Все это можно подытожить следующим образом. Если |а | > 1, то система (1.47)—
(1.48) имеет два набора решений
(ж,^)= 2-1 Г „АА= м а|- 5 №>0;
се
[рр
на
| № <0,
а если |а|| < 1, то — три набора решений
(х,М)= [= Г „А.А= м а]-5
(х,^2)=
=
| А»
(м, Аз) =(х=а,
Таким образом,
точки д! = т Г ‚№
А=
мА
№ <0;
лов)
=0), №
№
<0;
#0.
в задаче (1.45) подозрительными на экстремум являются лишь
=
а
хз = а. Для дальнейших исследований будем пользоваться
теоремой 1.10.
Если |а| > 1, то точка х, м
а
и ее множители Лагранжа № > 0, А = %([а|-1)>0
таковы, что 7” (ху, 1) = 20 +1, =2% [@1, > 0; для точки х› = А и ее множитеа
лей Лагранжа №<0,^ =-№([а|+1)> 0 имеем 42”. (х›, Ло) = 20% +), =-2>% а, > 0.
а
Отсюда и из теоремы 1.10 следует, что точка х\ П
а
минимума,
а точка
х. = Ш
а
а
54
—
точка
строгого
— точка строгого локального
локального
максимума.
Если 0 <|[а|< 1, то для точки х. = В с наборами множителей Лагранжа №4 < 0,
а
^=-м%(а|+ 1) > 0 находим 47”. (хо, Л) = 20 +^)Г, =-2^ а, > 0, т.е. она является
точкой строгого локального максимума. Точка х. = а в этом случае, очевидно, является точкой строгого глобального минимума, равного нулю. Остается разобраться
с точкой х\ и
с множителями Лагранжа № < 0, ^ = о ([а| - 1). Для нее получаем
а
2” (жь ма) = 24+ ЛГ, =
41, <0, и теорема 1.10 нам помочь не может.
При [а| = 1 точка х, совпадает с точкой хз, а в случае |а|| < 1 оказывается, что
в ней при п >
1 не реализуется ни локальный максимум, ни локальный минимум,
так как в любой ее окрестности найдутся точки шара Х = {хе Е: |х|< 1}, в которых
значения функции /(х) будут как меньше /(х/), так и больше /(х!). Точнее говоря,
при |[а|| < 1 внутренние точки шара Х, = {хЕ Е: [х-а|<1- |а|} (рис. 1.9) принадлежат шару Х, и в них /(л) < К(х!), а в точках вне шара Х\, но принадлежащих Х,
будет /(лх) > /(х!). При п = 1 точка х, будет точкой строгого локального максимума.
х-_@_
'
а]
Рис. 1.9
Остается заметить, что согласно теореме 1.1 Вейерштрасса в задаче (1.45) нижняя
и верхняя грани достигаются хотя бы в одной точке, а в силу теоремы 1.9 таковыми
могут являться лишь точки 41, Хо, хз. Отсюда и из проделанного исследования вытекает, что перечисленные точки являются точками строгого глобального экстремума.
Этот пример отражает один любопытный момент: свойства задачи поиска
экстремумов зависят не только от функции и множества, но и от размерности пространства, в котором она поставлена.
Пример
1.17
Исследуем на условный экстремум задачу
Ки) =х2+ у? > ех, и = (ху) Е Х=и= (ху Е Х, 8) =х+у-2 530},
(1.51)
где Хо = {и = (хуЕ РЕ? :х> 1, у>0}.
Для этой задачи функция Лагранжа имеет вид
(и, ^) = 9 (х, у, М, А) =№(х2+у2)+(х+у-2), (х,у)Е Ху, А=(,^)=0, ^>0.
Ее градиент и вторая производная имеют вид
_
4 (и, ^)=@2№\х+^,2щу+^),
о
азеь-[
(2%
о
0
> 2.
0
Согласно теореме 1.9 точки экстремума в задаче (1.51) являются решением системы (1.33), которая здесь запишется в виде
(2 (и, Мои) = Ом
х+А) (и
-х)+ (2% у+^)(&-у)>0
Чи=(0,%)Е Ху;
(1.52)
55
№х+у-2)=0, ^=(№,^)=0, ^>0.
(1.53)
В неравенстве (1.52), как и в примере 1.12, будем различать два случая: ие Ш Ху
ииЕ ГрХ.. В результате система (1.52), (1.53) распадается на следующие подсистемы:
х>Ь у>0, 22° (и,^)=(2№%х+^,2му+^)= (0,0),
1.54
(1.54)
А(х+у-2)=0, (,^)=0, ^>0,
(№,^)=0, А,> 0,
(1.55)
у=0, 2. (и, Л) =2%х+%=0, (х+у-2)=0, (№,^)+0, ^>0.
= (1.56)
х=Ь
Мх+у-2)=0,
4 (и, ^)=2му+^=0,
Во всех подсистемах вариант № = 0 влечет за собой ^. = 0, что противоречит условию А =(№,^)+0. Поэтому в системах (1.54)—(1.56) № = 0. Нетрудно убедиться, что
система (1.54) не имеет решения. Система (1.55) имеет два семейства решений: и =
= (х=1Т,у=0), #0, ^=0; >= (х=Т,у=1), <
0, А =-2%> 0. Система (1.56) имеет
одно семейство решений: из = (х=2, у=0), № < 0, ^ = -4№% > 0.
Таким образом, в рассматриваемой задаче подозрительными на экстремум являются три точки: и = (1, 0), и. = (1, 1), из = (2, 0). Для выяснения характера экстремума в этих точках попробуем применить теорему 1.10. Точка и, = (1, 0) имеет «хоро-
ший» набор множителей Лагранжа А =(№ =1,^=0). Тогда (.7” (ш,Л)й,й) = АР >0
при всех йе РЕ2, й + 0, в частности, это верно и для й, удовлетворяющим условиям
(1.35)—(1.37). Стало быть, и — точка строгого локального минимума. В точках и и из
т
2
теорема 1.10 не работает, так как № < 0 и (.5* (и;, ^)й,й) =-28[
< 0 при всех йе Р?,
= 0,1 = 2, 3. Поэтому придется привлекать иные соображения. Значения целевой
функции в точках 14, №2, из таковы:
Хил) =1<Хи.) =2<Диз) =4.
(1.57)
Согласно теореме Вейерштрасса 1.1, на компактном множестве Х рассматриваемая целевая функция (и) = х? + у? достигает своей точной нижней и точной верхней
граней хотя бы в одной точке, и эти точки необходимо являются решением системы
(1.52), (1.53). Отсюда и из соотношений (1.57) следует, что и = (1, 0) — точка глобального минимума (что уже показано ранее), из = (2, 0) — точка глобального максимума.
Для выяснения характера экстремума в точке и. = (1, 1) рассмотрим две последо1
1
1
вательности: 9; =| =
вательности
у, =1-- М, =| д, =!
Ё
принадлежат
множеству
Пед!)
Х
2
у, =1-- | Ё=1,2, .... Эти последоЁ
и сходятся
к точке
и,
причем
<Ли) < Пак).
Следовательно, точка и. = (1, 1) не является точкой экстремума.
Пример
1.18
Исследуем на условный экстремум задачу
= х?+12+22 еж,
и=(х,у,2)ЕХ,
Х ={иЕ Хо, &1(и)
= ху =0, 52(и) =? — у? =0},
(1.58)
где Ху = {и = (х, у, 2) Е ЕЗ:2> 1}.
Воспользуемся теоремой 1.9. Функция Лагранжа для этой задачи имеет вид
(и, №) = №0 (<? +92 +22)
+ ху+Ао(х? -у?),
и=(х,у,2)Е ХА = (№, ЛА, Ао) Е3.
56
Ее градиент равен
2, (и, ^)= (5. (и, ^), 6, (и, К), 6. (и,)=
= (2№х
ее
вторая
производная
+ му
имеет
+ 2х,
2% у
+ №мМх
(1.59)
22),
вид
2(№% +^2)
5, (и,
- 2^.у,
^)=
м
м
2(№
0
0
- ^2)
0
0
2%
Точки экстремума в этой задаче в силу теоремы 1.9 являются решением системы
(1.33), которая принимает вид
(2 (и, К), о-и)
= 61 (и, (и, -х)+
2 (и, К) (о, -У)+
6. (и, Хз -2)>0
Уо=(0,02,3)Е Ху;
ху=0, х2 - у? =0, д=(№\,А,^2)#0.
(1.60)
(1.61)
В неравенстве (1.60), как и в примерах 1.12, 1.17, будем различать случаи
иЕ ШЕХу
= {и= (>, у, 2) :2> ЦииЕе
ГрХу = {и= (х,у,2):2= 1}.
Тогда система (1.60), (1.61) распадется на две подсистемы: если и Е ШЁХу, то
2 (и,
и если ие
= 2мх+му+ 2х, 209+ мх- 2,22) = (0,0,0),
—
ху=0, х2- у? =0, 2>1, А=(Ащ,А,^2)=0;
1.62
(1.62)
ГрХу, то
5. (и,\)=2№%х+м49+2х=0, 4, (и,\)=2м%у+мх-2\у=0,
ху=0, х2 - у? =0, 2=Ь А=(\,
№, ^2) #0,
163)
причем частная производная 4*(и,/)= 2%]
=2/, должна быть неотрицательна,
если и = (х, у, 1) — точка локального минимума, и неположительна, если и = (х,
у, 1) — точка локального максимума.
Уравнения ди = 0,22 - у? = 0 из этих подсистем приводят нас к равенствам х = 0, у = 0,
поэтому из системы (1.62) следует, что подозрительными на экстремум будут точки
и!= (0,0, 2), 2 > 1 с соответствующими им семействами наборов множителей Лагранжа
№=0, (№, ^-) = 0. Из системы (1.63) находим подозрительную точку и = (0, 0, 1), соответствующими ей множителями Лагранжа будет любой набор А, = (№4, №,^2) = 0.
Если для выяснения характера экстремума точек #1, и› мы попробуем применить
теорему 1.10, то обнаружим, что у точки и! нет «хороших» множителей Лагранжа, удовлетворяющих условиям (1.34)—(1.37). У точки и> «хорошими» множителями явля-
ются, например, множители А =^" = (№5,0,0) с любым № >0 и 4* (из,^") = 22513 >0,
так что и> — точка строгого локального минимума.
Остается заметить, что полное решение рассматриваемой задачи (1.58) проще
было получить, вовсе не привлекая теоремы 1.9, 1.10. Дело в том, что множество Х
здесь состоит только из точек и = (0, 0, 2), 2 > 1 и, по сути, задача сводится к задаче
поиска экстремума функции одной переменной р(2) = 22 на множестве 2 > 1. Отсюда
следует, что в задаче (1.58) в точке и. = (0, 0, 1) достигается глобальный минимум
[. =1 других точек экстремума нет; }* = +.
Пример
1.19
Рассмотрим задачу на условный экстремум
и) =х—>ехх,
иЕХ={и=(худЕ
Е?: 5 1 (и) = х?+ у? -1=0,5.(и)=х3+у3-1=0}.
2
57
Функция Лагранжа этой задачи имеет вид
(и, ^)= лох + 4 (х2 + у? -1)+^.(х3 + 93-1), и=(х,у)Е
Е? = (№, А, Ао) ЕЗ.
Ее градиент и вторая производная равны
2 (и, №) = 0 +2х +32, 2
„ок [2+6
аеоь
о
у+3^5у2),
0
ви]
Для решения этой задачи воспользуемся теоремой 1.11. Записывая систему (1.27),
имеем
№
+ 2х
+ЗА2^?
= 0,
2му+
ЗА2у?
= 0,
(1.64)
х2 + у? =1, хз +3 =1, А=(№,м,А2)=0.
Есть два решения
этой системы.
Первое их них — точка и! = (0, 1), ей соответ-
ствуют множители Лагранжа А = (№ =0, №, А), где 2. + ЗА. = 0. Среди них есть «хорошие» множители, удовлетворяющие условиям (1.39), (1.40), например можно рассмотреть набор А" = (№ =0,^. =3,^. =-2). В самом деле, для решений системы (1.40)
(в1(ш),
В) = 24, =0, (65(и),В) = ЗА, =0, й= (в,
в») +0
имеем
сады
о
[вв
Отсюда и из теоремы 1.11 следует, что точка и = (0; 1) является одновременно
как точкой строгого локального минимума, так и строгого локального максимума
со значением целевой функции (и) = 0, что в силу замечания 1.4 возможно только
в случае, когда и! — изолированная точка множества Х.
Аналогично доказывается, что второе решение системы (1.64) и, = (1, 0) с соот-
ветствующими ему множителями Лагранжа А. = (№, №, №2), где Ло + 2%, + ЗА. = 0 при
А=М" =(№ =0,^, =3, А. =-2) является изолированной точкой экстремума функции
(и) со значением (и) = 1.
ТАУ
ВХ
Рассмотрим задачу на условный экстремум
1(х)=(Ах, х)>ехы,
хеХ={хе Е":
= 1},
(1.65)
где А — симметричная матрица размера и Х и.
Составим функцию Лагранжа:
2(х,^)
= (Ах, х)+ а), хе Е", = (А, ЛЕ Е?.
Ее градиент равен .^” (х,^)=2%.Ах- 2х.
Система (1.27) в этом примере имеет вид
ЖАхАх =0,|х|=1, Ал) #0.
(1.66)
Нетрудно видеть, что случай № = 0 здесь невозможен, поэтому в (1.66) остается
принять № = +1. Достаточно рассмотреть вариант № = 1, это приведет нас к системе
Аха, [хр =1,
(1.67)
которая представляет собой подробно исследованную в линейной алгебре [9, 31]
задачу на собственные векторы и собственные значения матрицы А. Как известно,
любой
Пусть
симметричной
они
мат
упорядочены
ицы
все п собственных
в порядке
значений
А 1 ...- А п действительны.
возрастания:
№1 <, 5..5)
(1.68)
ах,, .., м, — соответствующие им нормированные собственные векторы. Пары
(м, №), -.„ (х„, А) будут представлять собой все решения системы (1.67), поэтому
точки д|, ..., х„, и только они, являются подозрительными на экстремум задачи (1.65).
К ней применима теорема 1.1 Вейерштрасса, согласно которой функция /(х) на множестве Х достигает конечных верхней и нижней граней хотя бы в одной точке, причем в силу теоремы 1.8 все эти точки в паре со своими множителями Лагранжа являются решением системы (1.67). Заметим, что
2
.
а)
= (Ах,
ж;) = (Ах,
ж;) = А,
|;
= 1,
1= 1, .... П.
Отсюда и из соотношений (1.68) вытекает
Ла) =М < (а) =^» <... /(х,)=А.
Это значит, что точка х! является точкой глобального минимума задачи (1.65),
х, — точкой ее глобального максимума. В этом примере удалось обойтись без применения достаточных условий оптимальности.
Отметим, что в последнем примере нами фактически доказано следующее утверждение: для всех х таких, что |х| = 1, справедливо А. <(Ах,х)<Л,,
ИЛИ
а
(Ах, х) <, |мР УхЕЕ".
(1.69)
Левое неравенство (1.69) означает, что матрица А положительно (неот-
рицательно) определена тогда и только тогда, когда А. > 0 (Л. > 0).
Замечание
1.5. В примерах
1.15, 1.18, 1.19 мы встретились с задачами,
в которых подозрительными на экстремум оказались точки, у которых
все или некоторые множители Лагранжа А. = (№,^)=0 имели компоненты
№ = 0. Обращаем внимание читателя на то, что необходимое условие экстремума (теоремы 1.8, 1.9) при № = 0 вовсе не содержит какую-либо информацию о целевой функции. Так, например, система (1.27) в задаче (1.22)
при № = 0 имеет вид
Хлуву (а) =0, &(х)=0,
1=...5
ЛЕО.
^,) #0. = (4.70)
=
В задаче (1.20) система (1.33) при № = 0 превращается в систему
ХЕХ,,
т+5
Е ы
>0УуЕХу;^,8;(х)=0, &;(х)<0,1=1,..., т, | 7)
8;(х)=0, у=т-+\..,т+$;
Приходится
&(х),
задающие
^= (№, Ат)#0, №20,...^и>0.
признать, что если множество Ху и функции &1(х), ...,
множество
Х, обладают
специфическими
свойствами
(1.70), (1.71), то компоненты х всякого решения (х,^.) систем (1.27), (1.33)
при № = 0, А = (№4, ..., Ат) # 0 автоматически становятся подозрительными
на экстремум, какой бы ни была целевая функция /(х).
Задачи (1.20), (1.22), в которых системы (1.70), (1.71) имеют решение,
часто называют анормальными задачами. Любопытно заметить, что в анормальной задаче (1.22) условие (1.70) имеет простой геометрический смысл
и означает, что в точке х Е Х градиенты &1(х), ..., &.(х) линейно зависимы.
Читатель, желающий углубиться в теорию анормальных и иных задач,
ознакомиться с более тонкими необходимыми и достаточными условиями
оптимальности, найдет много интересного в специальной литературе (см.,
например, [2, 12]).
Заметим, что с помощью изложенных выше необходимых и достаточных условий экстремума лишь в редких задачах удается найти и полностью проанализировать все точки экстремума. Поэтому может создаться
впечатление, что эти условия имеют лишь теоретическое значение. Однако
это не так. Как мы увидим ниже, многочисленные методы оптимизации
в той или иной степени представляют собой итерационные процессы, под-
сказанные условиями экстремума и предназначенные для решения систем
уравнений и неравенств, составляющих суть этих условий. Нередко даже
беглый теоретический анализ условий оптимальности позволяет получить
немало полезной информации
о свойствах решений
конкретной задачи,
которая может быть использована при конструировании и реализации численных методов.
1.4.6. Экономический смысл множителей Лагранжа
Как правило, множители Лагранжа имеют вполне определенную интерпретацию, связанную с содержательным смыслом исходной оптимизационной задачи. Следуя работе [36], приведем одну из возможных интерпретаций, в которой множители Лагранжа играют роль цен на ресурсы.
Предположим, что на некотором предприятии изготавливается п
видов продукции и пусть 47, ] = 1, 2, ..., п, — в принципе возможные количества выпуска продукции ]-го вида. Пусть /(х) — функция, значениями
которой является прибыль от реализации произведенной продукции
х = (21, 42, ..., хп). Пусть в процессе производства используются т видов
сырья и на изготовление продукта х расходуется &;(х) единиц сырья 1-го
типа, 1 = 1, 2, ..., т. Предположим, что в распоряжении предприятия имеется
Ы единиц сырья 1-го вида, и предприятие с целью извлечения максимальной выгоды может как докупать на рынке недостающее для производства
сырье, так и продавать его излишки, незадействованные в производстве.
Пусть р,> 0,1 =
1, 2, .., т, — рыночная
цена единицы
сырья 1-го типа,
ай = (#1, 12, ..., йт) е Е" — вектор, координатами которого являются объемы 1-го сырья /*, запланированные предприятием к покупке или продаже. Будем считать, что положительные значения (##> 0) соответствуют
покупке сырья, а отрицательные (й#< 0) — его продаже. В данных условиях,
разумеется, учитывающих далеко не все экономические факторы, задача
максимизации прибыли предприятия может быть сформулирована в виде
/(х)-(ф, В) >> шах,
7 > 0, 1=1,..,п, &;(х)
< +,
1=1,..,т,
(1.12)
гдер = (р, р», ... Ри) — вектор действующих рыночных цен на ресурсы, а (х,
р) Е Е"*т — принятый предприятием план выпуска продукции и покупки-
продажи сырья. Запишем задачу (1.72) в общей форме (1.20), в которой
отсутствуют ограничения типа равенств:
Е(х,й) =-/(х)+(р, й) — пит, (х,В)Е Ху,
С, (х,В) =в,(х)-
<,
1=1,..,т,
(1.73)
Ху = {(х, В) Е Е"+т: х/ > 0, 1=1,..., п}.
Предположим, что функции /(х) и &(х), 1 = 1, ..., т, моделирующие соответственно доходность производства и расход ресурсов, являются непрерывно дифференцируемыми по х. Тогда для оптимального решения (х., й,)
задачи (1.73) справедливы
все утверждения
теоремы
1.9. Предположим
дополнительно, что отличен от нуля множитель Лагранжа № > 0, отвечающий за доходность экономической деятельности предприятия. Это позво-
ляет после соответствующей перенормировки считать, что Ад =1 и использовать теорему 1.9 с классической функцией Лагранжа, в которой № = 1:
(ев, №) = Е(х,в)+У (В),
АЕ,
Аи).
1=1
Утверждение (1.30) этой теоремы примет вид
(же
№ь, №"), (х, В) (хе, в)
инт 20,
(х,В)Е Хо.
(1.74)
Поскольку в неравенстве (1.74) вариации по й ведутся по всему пространству Е”, то, зафиксировав х = х., из (1.74) можно извлечь равенство
нулю частной производной функции Лагранжа по й, аналогичное соотношению (1.32) из замечания 1.2:
т
(же, Вы, Ак) = Е/(х, В) + УМС
#=1
(х,
В) =0.
(1.75)
Зависимость й в рассматриваемом нами случае линейная, так что покоординатная запись уравнения (1.75) оказывается совсем простой:
р-№;=0,
1=12,..,т,
и означает, что оптимальные
значения л; множителей
совпадают
ценами р; на ресурсы.
с действующими
Лагранжа
В ТОЧНОСТИ
1.5. Метод штрафных функций
1.5.1. Описание метода
Метод штрафных функций является одним из наиболее простых
и широко применяемых методов решения задач минимизации. Основная
идея метода заключается в сведении исходной задачи
Ко) > шп, хе Х
(1.76)
к последовательности задач минимизации
Ф‚(х) > шп, хЕ Ху, Ё = 1, 2,...,
(1.77)
61
где Ф‚,(х) — некоторая вспомогательная функция, а множество Ху содержит Х. При этом функция Ф,(х) подбирается так, чтобы она с ростом номера А мало отличалась от исходной функции /(х) на множестве Х и быстро возрастала на множестве Ху \ Х. Можно ожидать, что быстрый рост
функции Ф„(лх) вне Х приведет к тому, что при больших # нижняя грань
этой функции на Ху будет достигаться в точках множества Х или близких
ко множеству Х, и решение задачи (1.77) будет приближаться к решению
задачи (1.76). Кроме того, как увидим ниже, имеется достаточно широкий
произвол в выборе функций Ф,(х) и множества Ху для задач (1.77), и можно надеяться на то, что задачи (1.77) удастся составить более простыми
по сравнению с исходной задачей (1.76) и допускающими применение не-
сложных методов
Определение
определенных и
ство Х, называют
минимизации.
1.27. Последовательность функций {Р,(х)}, Ё = 1, 2, ...,
неотрицательных на множестве Ху, содержащем множеиипрафом или штрафной функцией множества Х на мно-
жестве Ху, если
БР.)
шт
Р.(х)=
№
0, ХЕХ,
+55, ХЕХ, \Х.
Из этого определения очевидно, что при больших номерах & за нарушение условия х Е Х приходится «платить» большой штраф, в то время как
при любом фиксированном х Е Х штрафная функция представляет собой
бесконечно малую величину при # -> <=.
Для любого множества Х с ЕЁ" можно указать сколько угодно различных
штрафных функций. Например, если {А,} — какая-либо положительная
последовательность, тт А, = +, ТО МОЖНО ВЗЯТЬ
—со
РИх) = Ава, Х), хе №=Х,Ё=1,2, ...
где р(х,Х) = шЕ [х - Ч — расстояние от точки х до множества Х, или
УЕ
Р.
=
0,
хЕХ,
| дк, хех,
#=1,2,...,
где Хх — какая-либо точка из Х. Приведем другие примеры штрафных функций, когда в (1.77) множество Х имеет вид
Х={хЕ Е": хЕХу,
8, (х) < 0,1=1,...т;&(х)=01=т+1,..,т+$},
(1.78)
где Ху — заданное непустое множество из Ё" (не исключен случай Ху= Е"),
функции К(х), &(х), 1 = 1, ..., т + $, определены на Ху. В качестве штрафной
функции этого множества можно взять
т
т-+$
ВА) = АьР(х), Ра) = 1=У (тажвка);0)Р+ 1=т+У ДЕТ,
хеХу, (1.79)
где А,> 0, А = 1, 2, ..., [шп А, =+°, ар> 1 — фиксированное число.
—>оо
Если ввести обозначения
&1(х)=
62
тах{=;(х); 0}, 1=1,..., т,
12:(х) 1=т+1,..,т+$,
1.80
(1.80)
то функцию (1.79) кратко можно записать в виде
Ри(х) = А.Р(х),
т+5
Р(х)= у (ВЁ(х))Р,
хЕХо.
(1.81)
1=
Функцию
Р(х) мы также будем называть штрафной
функцией
мно-
жества (1.78), подразумевая при этом, что после умножения на А, > 0,
т А, =+°°, она превратится в штрафную функцию в смысле определе—>оо
ния 1.27. Величины А, из формулы (1.81) будем называть штрафными
коэффициентами. Заметим, что существуют и другие штрафные функции
множества (1.78). Например, можно взять
Вик) = У АНН),
ХЕХ, #212...
(1.82)
1=1
где р;>
1, Ан> 0, [а Ан; = +, 1=1,..., т + 5; здесь каждое ограничение
из множества (1.78) имеет свой штрафной коэффициент. Весьма широкий
класс штрафных функций множества (1.78) дает следующая конструкция:
т+5
Ва) = у Анф; (Е (х)), хеХу,
где ф/(=) — произвольная
функция,
&=1,2,...,
определенная
при & >
0, такая, что
ФХ0) = 0, Ф(2) > 0 при &> 0,1=1, ..., т + $. При необходимости можно
выбрать функции ф_2) так, чтобы штрафная функция Р,(х) обладала различными полезными свойствами, такими как, например, непрерывность,
гладкость, выпуклость, простота вычисления значений функции и нужных
производных и т.п.
Возможны и другие конструкции штрафных функций множества (1.78).
Приведем еще два конкретных примера штрафной функции:
т+5
вс-[1+
Аь
Уго
-Ъ
р>Ь
1=1..,т+5;
1=
Вх) = Ар [$ ездльвк)+
У ехр(А, Е? >
ХЕХ,
1=т+1
где А,> 0, # = 1,2, ..., [ил А, = +.
—)оо
Допустим, что некоторое множество Ху, содержащее Х, а также штрафная функция {Р‚(х)} множества Х на Ху уже выбраны. Предполагая, что
функция /(х) определена на Ху, введем функции
Ф,(х) = Кх) + РИх, хЕ ХьЁ=1, 2, ...
(1.83)
и рассмотрим последовательность задач (1.77) с функциями (1.83). Будем
считать, что
Ф.=Ш ФЕ) >,
#=1,2,...
(1.84)
0
Если здесь при каждом # = 1, 2, ... нижняя грань достигается, то условия
Ф,(х,)=Ф,»,
Мь ЕХу,
(1.85)
63
определяют последовательность {х,}. Однако точно определить х, из условий (1.85) удается лишь в редких случаях. Кроме того, нижняя грань в формуле (1.84) при некоторых или даже всех А = 1, 2, ... может и не достигаться.
Поэтому будем считать, что при каждом / = 1, 2, ...с помощью какого-либо
метода минимизации найдена точка х‚, определяемая условиями
м,
ЕХу,
Ф,(х,)<Фь
+8»,
(1.86)
где {=,} — некоторая заданная последовательность, &,> 0, А = 1, 2, ..., [ит =, =0
—<о
(если х, удовлетворяет условиям (1.85), то в условиях (1.86) допускается возможность &, = 0). Отметим, что, вообще говоря, не исключен случай
№
Е
Х.
Таким образом, метод штрафных функций описан.
Подчеркнем, что дальнейшее изложение не зависит от того, каким именно
методом будет найдена точка х, из условий (1.86). Описанию и исследованию конкретных методов решения задач типа (1.86) будет посвящена гл. 4
настоящей книги, здесь же мы ограничимся предположением, что имеется
достаточно эффективный метод определения такой точки х,.
1.5.2. Сходимость метода
Так как [т Р,(х) = +
прихе
Ху \ Х, то можно ожидать, что для широ-
—>со
кого класса задач (1.76) последовательность {х,}, определяемая условиями
(1.86), будет приближаться к множеству Х и будут справедливы равенства
шт Г
=, —оо
ШарьХ.)=0.
>
(1.87)
Прежде чем переходить к теоремам сходимости метода штрафных функций, рассмотрим несколько примеров.
Пример
1.21
Пусть требуется решить задачу
= х? +ху+у? >шш,
иЕХ={и=(ху)Е
Е х+у-2=0}.
В качестве штрафной функции возьмем Р/(и) = #(х+у- 2)? и положим
Ф/‚(и) = +ху+у2+
Е (х+у-2)2, иЕ Хь= Е?
Ё=1,2,....
Функция Ф‚(и) при каждом фиксированном # = 1, 2, ... достигает своей нижней
грани на Р? в точке и, = (хь, у,), которая определяется уравнениями
М
тЫ
+
же,
+2
+и,-2)=0;
+2 (м. +у,-2)=0.
Отсюда получаем
При А > ©° будем иметь и, —> и. = (1,1), ФКи,) > 3. Нетрудно видеть, что и. — решение исходной задачи. В самом деле,
64
2
Отсюда при иЕ Х
УиЕЕ?.
=:качи
(и) =(х+у} аузаенит [Е
имеем }(и)>3= {(и.)= }. = Шт Ф,(и,). Таким образом, в рас— оо
смотренном примере метод штрафных функций сходится.
Пример
1.22
Рассмотрим задачу
= хе-* =0}.
хеЕХ={хЕЕ!: &(х)
Их)=е* > шш,
Здесь Х ={0}=Х., /. =1. Возьмем штрафную функцию Ри(х) = Ёе?(х) = х?е-х
и положим
Ф/‚(х) =е*+ ем,
хе Ху=Е!.
Так как Ф/(х) > 0 при всеххе Ё\, Нт Ф,(х)=0, то Ф,. = Ш Ф,(х) =0. В качестве
д— +
Е
точки хх, удовлетворяющей условиям (1.86) при =, =е*+ Ё2е-2, здесь можно взять
ЖЕЁЕ=1,2,.... Получим [т Лаь)=0< 1. =1, [т р(х,, Х.) = +. Этот пример пока— оо
— оо
зывает, что метод штрафных функций не всегда сходится.
ОХ
Попробуем применить метод штрафных функций к задаче
(и) =(х-1*-у>тш,
иЕХ=и=(х,у,2)ЕХ,=ЕЗ:
Е1(и)=
у? <0,
в(и)=-2<0,
зи) =? - уг<0
Нетрудно видеть, что здесь / =1, Х. =Х ={и= (0, 0, 2): 2> 0}. Возьмем штрафную
функцию В,(х) = [ЕЁ (и)+(83(и))? +(83 (и)?], тогда
Ф,(х)=(х-1)2 -у-+ у? +Ё(тах{-2; 0}? +А(тах{х? - у2;0})?,
;
Очевидно, что при всех и из Ё3 Фи (и) > шучу?)
иеХ, = ЕЗ,Ё =1,2,....
1
=,
причем если взять
УЕЕ
точку ие
то Фиш) =.
Следовательно, Фи
> >,
в=1,2,
...,
и точка и, удовлетворяет условию (1.86) при Е, = 0. Однако имеем
мова)
.
(1
0
.
мые
поэтому [и
_.:
еж
_:
1
(1
4.
1/2
Щ_ л2
+(2Е-2)
1
“8
2
1/2
‚=12,...,
р(м», Х.) =1, т.е. метод штрафов не сходится. В этой задаче функции (и),
—со
1 (и), 2 (и),
достигается.
3 ез(и) являются полиномами, множество Х выпукло, нижняя грань Ф,.Е
Приведем пример задачи, в которой возможен случай Ф,„ = —о, Ё = 1,2, ....
Пример 1.24
Пусть
хЕХ={хеЕХ, =Е!: Е (х)=[|<0}.
(к) =-х? > ши,
Здесь /. =0, Х. =Х ={0}. Возьмем штрафную функцию Р/(х) = #|х|, тогда ясно,
что Фи(х) = —2+#[х,Фь = и Ф,(х) =—°,Ё =1,2, ..., и условие (1.86) теряет смысл.
ХЕ.
В то же время если в этой задаче взять, например, Р»(х) = (Ё + 1)|хР, то имеем
Ф,(х) = -я2 + (Е + 1)я2, Ф,, =0> —, причем нижняя грань достигается в точке х, = 0,
Ё=1,2,.... Можно взять Р,(х) =Ё|х, Ф/(х) = —л2 + А, тогда Ф,, = т
1
грань достигается в точках х, =+——,
2
В обоих случаях [т Ла) =
эта нижняя
й =1,2,....
[т р(х,, Х.) =0, метод штрафов сходится.
—со
—>оо
Итак, приведенные примеры показали, что попытки применять метод
штрафов могут приводить к различным результатам. Тем не менее можно
заметить, что некоторые соотношения выполнены во всех примерах. Сформулируем и докажем соответствующее утверждение.
Теорема 1.12. Пусть функции Кх), =(х), 1 = 1, ..., т + $, определены
на множестве Ху, функция Ф/(х) имеет вид (1.81), (1.83) и для нее выполнено условие (1.84), последовательность {х,} определена условиями (1.86).
Тогда
№ /(%,)< Нт Ф,(х,) = Ша Ф,. < Д.
оо
Ес
(1.88)
Ё—>оо
Если, кроме того, }-* = Е (х)> —е, то
0
т-+$
Пл 8%) 50,
Е=1,2,...;
=О(АЕ
Рошр) = У (Егор)
1=1..т;
Шт в (жь)=0,
{=т+1..тч+я.
(1.89)
(1.90)
Доказательство
Как очевидно из формул (1.80), (1.81),
Р(х) =0УхеЕ Х; Р(х) >0\УхеЕ Ху
\ Х.
Поэтому, с учетом выражения (1.83),
(<) =Фих) Ухе Х, Кх) <Фих) =Кх) + А, Р(х) Ухе Х.
(190
Переходя в (1.91) к нижней грани по соответствующим множествам,
получим
де
Е /(х)
= }. = ШЕФ,(х);
хЕХ
ШЕД(х) =
хЕХ
ХЕХо
Так как Х с Ху, то ше Ф,(х)> Ш
(1.92) следует
ХЕ
ХЕ.
+ < ШЕФ,(х)=Ф».
ХЕХо
(1.92)
Ф,(х) =Ф,.. Отсюда и из соотношений
°
Физ р,Ё=12,..
(1.93)
Поскольку Фу,» > —о, Ё = 1,2, ..., и последовательность {х,} определена
условием (1.86), тогда из (1.86), (1.91), (1.93) имеем
}
< /(х,)<Ф,(х,)<Ф,.
+ 8,
< /, +84,
В=1, 2,...
Из соотношений (1.94) при А -> < с учетом равенства
.
(1.94)
т =, =0 полу— со
чаем неравенства (1.88).
Пусть теперь / > —<°. Тогда из неравенств (1.93) следует, что }. > Ф,,» > —<о.
Отсюда и из неравенств (1.94) находим
0
А,Р(х,)
<Ф,(х,)-
1 (х,) < А+,
—
=,
Е=1, 2, „о
(1.95)
или 0<Р(х,)
< (}. +зирЕ,
- +) Арь, # = 1, 2, .... Оценка (1.89) доказана.
Е>1
Из нее следует, что [т Р(х,)=0 или [т &#(х,)=0,1=1, ..., т + $. Вспо—со
—)со
миная определение (1.80) для &*(х,), отсюда получим соотношения (1.90).
Теорема доказана. №
Примеры 1.22, 1.23 показывают, что в общем случае неравенства в (1.88)
могут быть строгими. Приведем достаточные условия справедливости
равенств (1.87).
Теорема 1.13. Пусть Ху — замкнутое множество из Е", функции
Их), в1(х), ==> Ет(х), [Вт+1(х), = | Вин5(х)] полунепрерывны снизу на Ху,
[| = шЕ (2) > —<о. Пусть последовательность {х,}, определяемая условиями
0
(1.81), (1.83), (1.86), имеет хотя бы одну предельную точку. Тогда все предельные точки {х,} принадлежат множеству Х. точек минимума задачи
(1.76), (1.78). Если, кроме того, множество
Ху ={ххЕХу,
&#(х)<6,1=1...,т+$}
(1.96)
ограничено хотя бы при одном значении 6 > 0, то для последовательности
{х,} выполняются равенства (1.87).
Доказательство
При сделанных предположениях для последовательности {х,} соотношения (1.88)—(1.90) сохраняют силу. Пусть 9. — какая-либо предельная точка
последовательности {х,}, пусть {хь, } —> 5+. Заметим, что 9, Е Хув
силу зам-
кнутости Ху. Тогда с учетом полунепрерывности снизу указанных в условии теоремы функций из соотношений (1.90) получим
&:(0.)< Ша &(жь )< Ш (д) 0, 1=1,.,т;
п
Е—>оо
|8:(о) |8 Шп—оо | вк, |= Шт | вжьуЕ О, =т+Ь...т+5.
Следовательно, 9, Е Х. Тогда с учетом соотношения (1.88) имеем
Л $/(.)< Шп—>оо Х(хь, ) < Шт У(ь) Л,
т.е. т У(хь, ) = /(©.) = Л, что означает 9, Е Х..
П—>оо
67
Наконец, пусть множество (1.96) ограничено при некотором 6 > 0.
Из соотношений (1.90) следует, что {х,} е Х, для всех # > Ау. Это означает, что {х,} имеет хотя бы одну предельную точку. Но, как было выше
показано, все предельные точки {х,} принадлежат Х,. Следовательно,
[т р(х,,Х.) =0. Из тех же рассуждений и неравенств (1.88) вытекает пер—>со
вое равенство (1.87). Теорема доказана. №
Для иллюстрации теоремы 1.13 рассмотрим следующий пример.
У ТО У
Пусть дана задача /(х)=е`х > тшш,
хЕХ={х ЕЕ! в(х)=х=0]}.
Здесь / =1, Х=Х. ={0}. Функции /(х), &(х) непрерывны на замкнутом множестве
Х=
1, |, =ШЕ е-х =0, множество Х= {хе Е!:
Е
|х| < 6} ограничено при любом б > 0.
Таким образом, все условия теоремы 1.13 выполнены. Положим Р(х) = (&(х))? = д?,
А, = Ё, тогда
Фих) =е=+ 2, хе ЕЁ =1,2,....
Нетрудно видеть, что Ф,, = у Ф,(х)> 0. Пусть {Е,} — произвольная последовательность неотрицательных чисел, стремящаяся к нулю. Определим точку х, из условия
(1.86): Ф,(х,) <Фь Е, Ё = 1, 2, ... Для получаемой таким образом последовательности {х,} согласно теореме 1.13 имеют место равенства (1.87).
Обращаем внимание читателя, что рассмотренные в примерах 1.22
и 1.25 задачи по существу одинаковые: минимизируется одна и та же функ-
ция е* на одном и том же множестве Х = {0}, и отличие состоит лишь в том,
что в примере 1.22 множество Х задается ограничениями &(х) = хех = 0,
а в примере 1.25 — &(х) =х = 0. Тем не менее в примере 1.22 метод штрафных функций расходится, в примере 1.25 сходится.
Отсюда заключаем, что для сходимости метода штрафных функций
важное значение имеет способ задания множества Х: ограничения, задающие множество Х, и штрафные функции этого множества должны быть
как-то согласованы с минимизируемой функцией /(лх).
Определение 1.28. Скажем, что задача (1.76), (1.78) имеет согласованную постановку на множестве Ху, если для любой последовательности
{х,} Е Ху, для которой
Вт &# (2) =0, 1=1,..т+5,
(1.97)
Е—оо
имеет место
соотношение
Па
«> Л =ШЕЛ (о).
(1.98)
Отметим, что в примере 1.25 задача имеет согласованную постановку
на Е, а в примере 1.22 такой согласованности нет.
Теорема 1.14. Пусть Ф‚(х) = Кх) + А,Р(х), где Р(х) определена формулой
(1.81), пусть Ф,„. = Е Ф,(х), Ё = 1,2, .... Тогда для того чтобы
0
НаФи = А,
оо
(1.99)
необходимо, чтобы задача (1.16), (1.78) имела согласованную постановку
на множестве Ху. Если }»+ = шЕ 1) > ©, то согласованной постановки за0
дачи (1.16), (1.78) на Ху достаточно для справедливости равенства (1.99).
Доказательство
Необходимость. Пусть имеет место равенство (1.99). Возьмем произвольную последовательность {х„} е Ху, удовлетворяющую условиям (1.97).
Тогда Нт Р(х„)=0 и справедливы неравенства
п—>>
Ф,.
<Ф,(х,)<
/(х„)+
А,Р(х,),
Вп=1, 2,... .
Отсюда при п —> <° получим Ф,. < ша {(х„) при всех # =
1, 2, .... Пере-
п—>о
ходя здесь к пределу при # -> сэ, с учетом равенства (1.99) будем иметь
0 /(х„)> Шо Ф,, = №,
по
Е
что и требовалось.
Достаточность. Пусть /.* > —©°, задача (1.76), (1.78) имеет согласованную постановку на множестве Ху. Поскольку Ф‚(х) > К(х) при всех хЕ
Ху,
то Ф,. > [+ > —=о и имеет смысл говорить о последовательностях, удовлетворяющих условиям (1.86). Возьмем одну из таких последовательностей
{х,}. Согласно теореме 1.12 тогда справедливы соотношения (1.88)—(1.90).
Заметим, что соотношение (1.90) равносильно (1.97), откуда следует соотношение (1.98).
Наконец, из соотношений (1.91), (1.98) получим [т п / (х,)= [т пФ,. = /.
Теорема 1.14 доказана. №
1.5.3. Недостатки и достоинства метода
Рассмотренный выше метод штрафных функций дает простую и универсальную схему решения задач минимизации на множествах, не совпадающих со всем пространством, и часто применяется на практике. Поскольку
имеется достаточно богатый выбор штрафных функций, то при составлении функции Ф,‚(х) можно постараться обеспечить нужную гладкость этой
функции, выпуклость, подумать об удобствах вычисления значений функции и требуемых ее производных и т.п. Так, например, если функции &(х)
будут т раз непрерывно дифференцируемы на множестве Ху, то при любом
р>тфункция (1.81) также будет 7 раз непрерывно дифференцируема на Ху.
Если в функции (1.81) р = 1, то из непрерывности &(х), # = 1, ..., т + $, следует непрерывность Р»(х) на Ху, но гладкости Р„(^л) в этом случае ожидать
не приходится.
Кроме того, имеется определенная свобода в выборе множества Ху
для задачи
(1.77): в задании
множества
(1.78) всегда
можно
отнести
к множеству Ху наиболее простые ограничения (например, Ху может быть
шаром или параллелепипедом в Е", совпадать с полупространством или со
всем пространством Ё”" и т.д.), а остальные ограничения оформить в виде
&(х) < 0 или &(х) = 0 и учесть их с помощью штрафной функции. Поэтому
можно надеяться на то, что вспомогательные задачи (1.77), (1.83) удастся
сформировать более простыми, более удобными для применения известных методов минимизации, чем это возможно в исходной задаче (1.76).
Следует заметить, что хотя сама схема метода штрафных функций
довольно проста, но при практическом использовании этого метода
для решения конкретных задач минимизации могут встретиться серьезные
трудности. Дело в том, что для получения хорошего приближения решения задачи (1.76) номер А в (1.77), (1.83) (или штрафной коэффициент А,
в (1.81)) приходится брать достаточно большим. А с увеличением номера А
свойства функции Ф‚(х) = Кх) + Р(х), хЕ Ху, оказывается, во многих случаях начинают ухудшаться: малое изменение некоторых переменных может
привезти к резкому изменению значений функции Ф,(л) и, наоборот, изменение переменных, «слабо связанных» с параметром А,„, может вызывать
небольшие изменения функции Ф/„(х). Это обстоятельство может привести
к тому, что при больших А методы минимизации, используемые для решения задачи (1.77), будут плохо сходиться и определение точки х,, удовлет-
воряющей условиям (1.86), с возрастанием А может потребовать все большего и большего объема вычислительной работы (см. упражнение 3 гл. 4).
Поэтому при практическом применении метода штрафных функций
вспомогательные задачи (1.77) обычно решают лишь для таких номеров А
(возможно, больших), для которых удается обеспечить достаточно быстрое
убывание функции Ф,(л) и достаточную близость получаемых точек к множеству Х при небольшом объеме вычислительной работы. Если полученное
на этом пути приближение к решению задачи (1.76) недостаточно хорошее,
то привлекают более тонкие и, вообще говоря, более трудоемкие методы
минимизации, стараясь при этом получше использовать ту информацию,
которая получена с помощью метода штрафных функций.
1.6. Обоснование правила множителей Лагранжа
Опираясь на метод штрафных функций, можно дать простое доказательство правила множителей Лагранжа, изложенного выше в параграфе
1.4.
Напомним, что там мы рассматривали задачу
/(х)—>ехг,
Х={хЕХь:
8,(х)<0,1=1
„т;
хЕХ,
8; (х)=0,
=т+1,
„.т-+ $},
(1.100)
где Ху — заданное выпуклое множество из Е", функции /(х), &!(х), ..., &т+5(х)
определены на Ху. Для исследования этой задачи была введена функция
Лагранжа
2(х,^)= МЛ
+ У
8.0),
ХЕХ, А=(№,А)е Ет+51.
(1.101)
1=1
Правило множителей Лагранжа было сформулировано в виде теоремы 1.9. Имея в виду, что задачи минимизации и максимизации тесно свя-
заны условиями (1.3), (1.4), мы ограничимся доказательством лишь части
теоремы 1.9, касающейся задачи минимизации, дополнительно потребовав
замкнутость множества Ху.
70
Теорема 1.15. Пусть Ху — выпуклое замкнутое множество, х+ЕХ —
точка локального минимума задачи (1.100), функции Кх), в!(х), ..., ви+.(х)
непрерывно дифференцируемы в некоторой окрестности точки х.. Тогда
необходимо существуют множители Лагранжа /" = (4, ... А+) такие, что:
№ #0, №>0, №1 >0,...
А", >0;
(7 (х.М№),х-х.)>0
Аа (х.)=0,
(1.102)
УхЕХу;
(1.103)
1=1..т.
(1.104)
Доказательство
Введем
функцию
&(х)= Ик +|к-х.
2, ХЕ
Хь
а также
рассмотрим
множество И = Ху 5(л+,\), где 5(х., у) = {хЕЁ": | —х. |<}, у > 0. Так как
х. — точка локального минимума функции /(х) на Х, то при достаточно
малых \ < 1 будет справедливо /(х)> /(х.) УхЕХ о 5(х., у). Рассмотрим
вспомогательную задачу минимизации
20(х)> шш,
И
={хЕ\:
&:(х) 50,
1=1,... т;
ХЕЙ,
&:(х)=0,
1=т+1,..,т+$}.
(1.105)
Таккак 2 (х)> /(х)> /(х.)привсеххе ,х * х», причем 80 (х») = }(х.),то
ясно, что х. — единственное решение задачи (1.105) и &%+ = Ш 20(х) = 1 (х.).
ХЕ
Применим к задаче (1.105) метод штрафных функций, а именно, введем
функцию
ие) = (+ (паза;
РО), хеЖЬ
Так как ', — компактное множество, функции 50(х), Ф„(х), Ё = 1, 2, ...
непрерывны на нем, то
80+ =
Ш
20(х) > =,
Ф,.
хЕ\
исуществует точках, Е
=
Ш
Ф,(х)
>>
хЕ\
\, такая, что Ф,(х,)
= Ф,.. Далее, всилу ограниченно-
сти множества И его подмножество (65) = {х Е \: &#(х)< 6, 1=1,..,т+$}
тоже ограничено при всех б > 0. По теореме 1.13 тогда
а [+ -х. =0,
[шт во(хь) = 8% = 1 (х.) = шт У(хь).
Применяя теорему 1.7 к задаче Ф,(х) > шБхЕ
(Ф,(х,),х-х,)>0
(1.106)
И, имеем
УхЕУ,.
(1.107)
Покажем, что неравенство (1.107) на самом деле верно для всех хе Ху
при всех достаточно больших номерах А. Возьмем произвольную точку
хЕ Хуи рассмотрим точки хи = 4,+ 0(х- ль), 0 < 0, < 1. Так как Ху — выпуклое множество, то хиЕ
[К
Ху. Далее,
—х.|< [к
—% | + [+ —х.|= ох - х:| + | —х+
п
С учетом соотношений (1.106) имеем
[+ -х. < УВ;
ох
<
Поэтому [хи -х. [< 1, т.е. хи Е №
Мо, 0 << 04 = 0% (х) <1.
УЁ>ЁЬ, а, 0 <
<,
и в формуле
(1.107) можем положить х = ха. Получим (Ф,(х,), (х-х,)) >0 при всех
о, 0< а < 0% = 0 (х), Е > Ау. Сокращая это неравенство на «и > 0, получаем
(Фр, х-х)>0
Ухех,УЁ>Ь.
(1.108)
Подставим в неравенство (1.108) явное выражение для производной:
Фь(х,) = Г) +2, -х.)+ х% тах{а:(хь ); }а(х,) + > в, (хь) ВЕ (хь).
1=т+
Будем иметь
(гаек
т-+5
—-=.)+ У ила), х-и
21
>20
УхеЕХ,, М>;
_ Г тах{2;(х,);0} > 0, #=1,..„т,
„=
Иа
2е.(х,),
Разделим неравенство (1.109) на [=
(мыло
1.11
1=т+1,..,т+$.
т+5
(1.109)
(1.110)
1/2
У в
#1
>1. Получим
т+5
Аба —х.)+ У, АьЕхь),х и) >20 УхЕХ,,УЁ> А, (1.111)
1=1
где
т+5
№ -[*
у а
=?
>0; ЛЬ =НиМоь,
1=1..,т+$,
причем в силу выражения (1.110) Л; ,> 0,1=1, ..., т при всех А > №. Заметим,
что последовательность {А = (Лор»..--Атнзв)} ограничена, так как [А [=1.
Пользуясь теоремой Больцано — Вейерштрасса и выбирая при необходимости подпоследовательность, можем считать, что {Л} > А = (№,..
„Ат
где Л; > 0,1=0, 1,..., т, 1 =1. Как видим, условия (1.102) для полученного
А выполнены. Так как }”(х), &;/(х) непрерывны и {х,} > х. в силу соотно-
шений (1.106), то из неравенства (1.111) при А -—> <о получим неравенство
(1.103).
Наконец, если &;(х.) = 0, то ^.&;(х.) =0. Если же &,(х.) <0 при некотором 1 1<1<т, то &(х,) < 0 при всех #2
> Ё.. Тогда из выражения (1.110)
видно, что и = 0, и поэтому А,, = 0 для любого # > #!. При #Ё > ®э отсюда
имеем Л, = 0 при &;(х.) <0, так что снова Л; &;(х.)=0.
Равенства
(1.104)
получены, теорема 1.15 доказана. №
Другое доказательство этой теоремы при несколько ослабленных требованиях на задачу (1.100), основанное на теоремах о неявных функциях
и теоремах отделимости выпуклых множеств, см., например, в [5, 12].
172
1.7. Вспомогательные предложения
Ниже приводятся некоторые формулы и другие сведения, которые нам
понадобятся
в дальнейшем.
При
первом чтении
настоящей
книги этот
материал можно пропустить и возвращаться к нему по мере надобности
при наличии ссылок.
1.7.1. Формулы конечных приращений
Для гладких на отрезке [а; 6] функций в курсе математического анализа
обычно доказывается формула конечных приращений Лагранжа
КБ) - Ка) =Л(В)Ф -а),
где & — некоторая точка из интервала (а; Ь). Ниже приводятся некоторые
обобщения этой формулы для функций многих переменных. Будем пользоваться общепринятыми обозначениями: С1(Х) — множество всех функ-
ций, непрерывно дифференцируемых на множестве Х; С?(Х) — множество
всех функций, дважды непрерывно дифференцируемых на множестве Х.
Возьмем какую-либо функцию /(х), определенную на множестве Х с Р”".
Пусть точки х, х + ЙЕ Х таковы, что Й = 0, х+ ШЕ Х при всех & 0 <Е< 1.
Тогда можно рассматривать функцию одной переменной #(#) = (х + #)
при ЕЕ [0; 1]. Оказывается, если (х) е СР(Х) при р =
= е С2[0; 1], причем
Е(0=(Р+),В, "=
1 или р = 2, то
В), 05181. — (1.112)
В самом деле, если, например, /(х)Е С?(Х), то, заменив в формуле (1.13)
х нах +, й на АЙ, получим
(+ АЕ) - =(Р)=АКГ’(х +1), Ё) + о
Г’(х +,
Ву+о( ДЕ).
Такое разложение с учетом того, что &(Е) Е С?[0; 1], указывает на справедливость формул (1.112).
Для дважды дифференцируемой функции одной переменной имеют
место формулы
1
&(®)- 5(0) = 5”(@ВЕ = [ &’(®)т = =(0Е +58 (055);
/
/
0
8-Е’) = 5”,
/
1
и’
0<0,,0,,63 <1.
Полагая в этих формулах Е = 1 и пользуясь равенствами (1.112), полу-
чаем различные формулы для конечных приращений функции многих
переменных:
1
Ик+®- Лад = (Рае+6), В) = (Ге), В);
(1.113)
0
Кх+в- Кю = (Род, + > “а+6 НВ, В);
(1.114)
73
(+В
- Г), В) =(Д”(х
+0 В), В),
(1.115)
где 0 < 6,,0.,0. < 1. Далее, так как
я (х+) = Г
ВЬ, 0551
то, интегрируя это векторное равенство, имеем
1
1
Га+Ю0-Г’(@®)= | "+ Фра = | Га+
0
0
по
(1.116)
Поскольку градиенты }”(х + й) и }’(х) в случае, когда переменная х
имеет размерность два или выше, представляют собой векторы, то аналог
этой формулы, использующий промежуточную точку, неверен. Так, например, если рассмотреть вектор-функцию
ко
то
#(2п)-1(0) = | -|. = | = 2пй/() = неа
ни при каком те
(0; 2п). Для
вектор-функций
#(х) можно
утверждать
лишь, что
й”(х)-Ё( У] < р
№ (<) . | - У.
те[х,у]
Подчеркнем еще раз, что в формулах (1.112)—(1.116) подразумевается, что точки х, х + р принадлежат множеству Х вместе с отрезком х + #,
0 < {< 1. В частности, эти формулы верны на любых выпуклых множествах.
Приведем одно простое утверждение, основанное на формуле (1.113).
При описании и исследовании методов минимизации нам часто придется
иметь дело с функциями, градиент которых удовлетворяет условию Липшица.
Определение 1.29. Пусть /(х) Е СКХ). Скажем, что градиент }”(х) этой
функции удовлетворяет условию Липшица на множестве Х с постоянной
[> 0, если
/(х)1
Цх-У] УхуеХ.
Класс таких функций будем обозначать через СЪ1(Х).
Лемма 1.3. Пусть Х — выпуклое множество, /(х) Е
при всех х уЕ
(1.117)
СЬКХ). Тогда
Х
[ед а-я
Ч.
Доказательство
Используя формулу (1.113), имеем
1
1(х)-
у) (РК), х-у)= Ки
0
74
-у))- Лу), х-У).
(1.118)
Пользуясь неравенством Коши — Буняковского и тем, что модуль интеграла не превосходит интеграла модуля, с учетом условия (1.117) получим
1
со р-р
ички-вд)- Пуха
1
1
<]0 Уу+их-))- Г-н
0
1
-У.
Лемма доказана. №
1.7.2. Леммы
о числовых
последовательностях
Приведем несколько лемм о числовых последовательностях, которые
нам пригодятся при оценке скорости сходимости различных итерационных
методов минимизации.
Лемма
1.4. Пусть числовая последовательность {а,} такова, что
а За +6
Тогда существует [Ш
6,20, #=0,1,. У <=
(1.119)
а, < +. Если {а,} ограничена еще и снизу, то [Ш
—)с<о
а,
—)со
конечен.
Заметим, что если 6, = 0, Ё = 0, 1, ..., то последовательность {а,} не возрастает и лемма 1.4 превращается в хорошо известное утверждение о пределе
монотонной последовательности.
Доказательство
Суммируя первое из неравенств (1.119), имеем
а,
т-1
оо
<а,+ У, 5; <а,+У,5;
1=Ё
(1.120)
1=Ё
при всех т > Ё > 0. Пусть
Шт а, = Шт а, ‚А, <Ё 1, п=0,1,...; Шт Ё, = 55.
о
по
По
Положив в соотношении (1.120) А = #„, получим аи <а, п + ЕУ, 5, Ут>А,.
Следовательно,
Пт ап < ак, + У 5; для всех п = 1, 2, .... Отсюда при п —> ©
т
имеем Ип а„ < Ита,
то
5
=,
= № аи. Но всегда Ша а
М
про
< Шт ат, поэтому Ш а =
т—оо
то
т—оо
= По а„. Отсюда следует существование предела {а,}. Далее, при #Ё = 0
т—о
из соотношения (1.120) следует ограниченность {а,} сверху. Поэтому если
{а,} ограничена еще и снизу, то [Ш
а, конечен.
—)со
Лемма 1.5. Пусть числовая последовательность {6,} такова, что
>В,
-6,,
5,
>0,
В=0,1,...,
Уд,
< +=.
#=0
15
Тогда существует [шт Ь, > —.
Если {6,} ограничена еще и
сверху, то
—)со
то В, конечен.
>
Эта лемма сводится к лемме 1.4, если принять В, = —ар, Ё = 0, 1, ....
Лемма 1.6. Пусть числовая последовательность {а,} и неотрицательное
число А таковы, что
а,>0,Е=0,1,..;
а, -а,4
> Аа,
Ё>Ь >0.
Тогда а, = О(Е!), Е = 1,2, ..., т.е. найдется постоянная В >
(1.121)
0 такая, что
0=а, <ВЕЁ=1,2,....
(1.122)
Доказательство
Если аи = 0 при некотором т > Ау, то из соотношений (1.121) следует,
что а,= 0 при всех А > т, и оценка (1.122) становится тривиальной — в ней
достаточно взять В = т тах а.
Поэтому пусть а„> 0 при всех п> &,. Тогда
1<91<т
из соотношений (1.121) имеем
абы
> @ ДАО,
а
@
аа
ПА.
Я
Суммируя эти неравенства по и от А, до некоторого #-1> К, с учетом
положительности чисел а, получаем
11
—-—
>
т
0<а,. <
А
|
< +1
Ё
А(Ёпри #
1
—> А(Ё-
1
<,
> №, поэтому 0<а, <
А>№.
1. Если 1<#<&, то
АЁ
пах а. Остается
в (1.122) принять
В =- шах{(& +1)А
-. №
тах а,}.
Упражнения
1.1. Найдите верхний и нижний пределы последовательности а, =
. [пп
= т [=
‚ где т — фиксированное натуральное число.
т
1.2. Пусть /(х)= атс" (х = 0). Как надо доопределить эту функцию
х
при х = 0, чтобы она стала полунепрерывной снизу или сверху на (-—°, +еэ)?
1.3. Приведите примеры, показывающие, что в задаче минимизации
(максимизации) условия компактности множества Х и полунепрерывности снизу (сверху) функции /(л)) по совокупности аргументов, достаточные
для достижимости точной нижней (верхней) грани, существенны.
1.4. Пусть полунепрерывная снизу функция имеет точку глобального
минимума на множестве Е”. Следует ли отсюда, что эта функция имеет
точку глобального минимума на любом замкнутом множестве из Е"?
Указание. Рассмотрите функцию из примера 1.1.
76
1.5. Пусть полунепрерывные снизу функции / и & имеют точки глобального минимума на замкнутом множестве Х с Ё". Следует ли отсюда, что
сумма / + & также достигает глобального минимума на Х?
Указание. Рассмотрите функции }(х)= м
1+]
&(х)=
а
1+
Е Ё”",
а#0.
1.6. Пусть Х — замкнутое множество из Ё”. Докажите, что для любой
точки уЕ Е" найдется хотя бы одна точка х. Е Х, ближайшая к у.
Указание. Примените к задаче минимизации р(у, Х) = | и- д > шт, ХЕХ,
теорему 1.3.
1.7. Выясните, будет ли произвольная минимизирующая последовательность сходиться к множеству точек минимума функции /(и) на множестве Х, если:
а) Х={и=(х, у) Е Е?: х>0,у>0,х+2у<1},
Ки) =х+и;
6) Х= Е", Хх) = [х|(4 + |521;
в) Х = Е, Кх) =.
1.8. Найдите точки экстремума на всем пространстве Е? функций:
а) /(х, р
+
— 2 +51;
6) Хх, у) = 4+4 - 222;
в) (х, у) = мИп(а2 + у2), (х, у) = (0,0), (0, 0) = 0.
1.9. Исследуйте
Га) =
т
на экстремум
на пространстве
Ё" (п > 2) функцию
гдеае ЁР",ЬЕ (-э, +со) фиксированы.
[Г +1
1.10. Пусть /(х) — непрерывная на Ё! функция одной переменной. Докажите, что между любыми двумя ее точками локального минимума лежит
по крайней мере одна точка локального максимума. Для случая ЕЁ", п > 2,
подобный результат неверен: рассмотрите упражнение 1.11.
1.11. Покажите, что функция /(и) = хех - (1 + е*)соз у, и = (ху) Е Р>,
имеет бесконечно много локальных минимумов, но не имеет ни одного
локального максимума.
1.12. Пусть функция /(х) одной переменной имеет производную порядка
т — 1 в некоторой -окрестности О(х.,=) точки х. и производную порядка т
в самой точке х., причем
Ре) = Ри.)
= „=
Ох.) =0.
(1.123)
Докажите, что
а) если х. — точка локального минимума / на О(и.,=) и т = 21+
необходимо /(")(х.) =0;
6) если х. — точка локального минимума } на О(и.,=) и т =
1, то
21 то
1% (х.)>0;
в) если т = 21 и /"(х.)>0, то х. — точка строгого локального минимума /.
Переформулируйте утверждения а) — в) для точек локального макси-
мума.
п
1.13. Пусть х. — точка строгого локального минимума бесконечно дифференцируемой функции /(х) одной переменной. Можно ли тогда утверждать, что /(")(х.)
= 0 хотя бы при одном т, т.е. цепочка равенств (1.123)
оборвется на каком-то номере т?
е- М? х +0,
Указание. Рассмотрите пример: /(х)=
0, х=0.
1.14. Пусть х. — точка строгого минимума функции / на ЁЕ1. Можно ли
утверждать, что / убывает в некоторой левой полуокрестности х‚› и возрастает в некоторой правой полуокрестности х.?
._1
Указание. Рассмотрите функцию /(х) =
2х2 +х2зт-,
х
0,
х=0,
х=0.
1.15. В точке щ = (0, 0) функция Ки) переменной и = (х, у) Е Е? имеет
локальный минимум вдоль каждой прямой, проходящей через точку 4.
Можно ли утверждать, что в точке м реализуется локальный минимум
функции /(м)?
Указание. Рассмотрите функцию (и) = 244 — Зл?у + у? = (х2- у)(2л2 - у)
прии=Ш\Уа=
(4, 42) #0, ЕЕ В иприи
= (х, у), где х2 <и< 22.
1.16. С помощью правила множителей Лагранжа решите задачи:
а) Пят
—>ехт, иЕХ ={и=(х,
у)ЕЕ?: х? + у? <1};
6) /(и)=х-у? ›ехт, иЕХ ={и=(ху)ЕЕ?:
х2 + у? <1};
в) /(и)=х?+у> ет, иЕХ ={и=(х, у) Е Е?: х?+ у? <1х>0,у>0};
г) (д =еч-х-у>ех,
иЕХ={и=(х, у)Е Е?: х+у<1,х>0,у>(};
д) /(и)= хзту >> ехг, ие Х ={и=(х, у) Е Е?: 3х? —4с0зу-1=0};
е) /(м)=ху2 > ет, иЕХ ={и=(х, у, 2) Е ЕЗ: х2 +у2 +22 <1};
ж) / (м) = ху2 > ежи, иЕХ ={и=(х, у, 2) Е ЕЗ: х? +у2 +22 =1, х+у+2=0};
3) /(м)=ху2 > ехи, иеЕХ ={и=(х, у, 2) Е Е?3: х2 +у2 +22 =1,х+у+2=1};
и) По
ри
и}
еииьиех = [ы=и..ихтдеЕ" Ух и
(п>2);
и
к) /(м)= Уад —›ех, иех=
1
= (^х1,... хп) Е Е": У («1
и
1.17. Функция К(х), определенная на множестве ХЕ
и
(п>2).
ЕЁ”, называется бес-
конечно растущей (бесконечно убывающей) на Х, если для любой последовательности {х»} Е Х такой, что либо [Ш [+= со, либо [шт х, =хЕХ\Х,
—>со
справедливо
ла Джь) = +
>>
—›<о
(Ша Д(х,) = —еэ).
оо
Докажите, что если Х — произвольное множество в ЕЁ", а /(х) — бесконечно растущая (убывающая) полунепрерывная снизу (сверху) функция
на Х, то глобальное решение задачи /(х) —> пп (тах), хЕ Х существует.
Указание. Рассмотрите произвольную минимизирующую последовательность и ее предельные точки, воспользуйтесь методом доказательства
от противного.
78
1.18. Решите задачи:
а) 1од=х+
х
Ъекы,
6) Ки) =лу+9 +
хХЕХ= ЕЁ
Ъехы,
и=(х,у)ЕХ=Е?,
ав * 0;
ху
в)
т
г)
ЕЕ
х
у
2
ехг, иЕХ ={и=(х, у, 2) ЕЕЗ: хуг =2;х, у,2> 0};
ег иЕХ ={и=(х, у, 2)Е ЕЗ: х+у+2=3;х,у,2>
>0}.
1.19. Найдите экстремумы функции (и) = х!х2 + х2х3 +... + хи! на множествах:
а) Х = {и= (^1,.., т) Е т:
6) Х={и= (21,..,м)Ее
Е":
м1+..+2= 1};
21+...+м=1,м> 0,1=1, ..., п}.
1.20. Исследуйте на экстремум задачу
Ки) =
где Ху =
+ ут + т > ет, иЕ Х={и=
{и = (х, у, 2) Е 3:
(х,у,2)Е Ху: ху=0,12-у2=0},
=> -1}; п — натуральное число.
1.21. Пользуясь теоремами 1.8—1.11, исследуйте на экстремум задачу
К(х) >> ех, хЕ Х, где Кх) Е С2(Ё!), а множество Х имеет вид:
а) Х={хе Е!:
х2 = 0};
6) Х={хЕ Е!: 3 < 0, 2 = 0};
в) Х={хеЕ ЁЕ!: д? < 0, ^2=0}.
1.22. С помощью
правила
множителей
Лагранжа
найдите
решение
задачи
Ки) =х > ех,
иЕ Х={и= (х, у)Е Е? : х> 0, 0 <у<л2,
х2+ у? < 1}.
1.23. С помощью правила множителей Лагранжа найдите решение
задачи
ое) =|х-аР> ех, хе Х= (хе Е" |х|([х|р- 1)([х|2- 4) < 0}, а; РЁ".
1.24. Докажите, что если х. = (х1, х?,...,х!) — точка минимума в задаче
Га)—> еж,
хЕХ={х=(^х1, 2,..,х”): а; <х/<Ь,, }=1,...п},
где /(х) е С\(Е"), а.<Б,]=1,..., п — заданные числа, то ],,(х.) =0, если
а; < х] < Б,, |; (х.)
> 0, если х] = а;, Г; (х.)
< 0, если 2! =Б,.
1.25. Примените метод штрафных функций к задачам
а) /(м) =л2
+ у? > шш, иЕ Х={и= (х, у)Е Е?: (и) =-х-у+1<0} или
иЕ Х={и= (ху Е Р: (и) =-х-у+1=0};
6) /(м) = ху > шп, иЕ Х = {и= (ху)Е Е?: 2+ у? < 25} илииЕ Х=
= {и = (х у)Е Е?: х2+
у? = 25};
в) / (м) =х2
+ у? + 22 > шш, иЕ Х= {и= (х,у,2)Е ЕР: х+у+2+1<0}.
1.26. Пусть К(х) = е^, а множество Х = {хЕ Ё!: 0 <х< 1} задано ограни-
чениями: 5(л) = |х|+|х- | -1=0, либо &(^) =е*(х|+|[х-1|- 1) =0, либо
&1 (<) =-х< 0, =2(х) =х-1<
0. Выясните, в каких случаях задача /(х) >
— шш, хЕ Х, имеет согласованную постановку на Ё\.
79
1.27. Пусть {Р/х)} — штрафная функция некоторого множества Х. Пусть
функция Ф(Ё) определена при Ё > 0, $(0) = 0, причем Ф(В > 0 при Е >> 0,
Ф(Р) > < при Е > ®. Покажите, что тогда {ф(Р,(х))} является штрафной
функцией множества Х.
1.28. Примените метод штрафных функций к задаче
Ки) =х?+
исследуйте
его
(1-ху)?> шт, иЕ Х={и=
(х, у)Е Е?: (и) =х-а=0},
сходимость
при
различных
значениях
параметра
а.
Глава 2
ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Под линейным программированием понимается раздел теории оптимизации, в котором изучаются задачи минимизации или максимизации линейных функций на множествах, заданных системами линейных равенств
и неравенств.
2.1. Постановка задачи
2.1.1. Общая задача линейного программирования
Общей задачей линейного программирования принято называть задачу
минимизации или максимизации линейной функции
(ох) = с!
+ с2х2 +... + спи
(2.1)
п-мерной переменной х = (21, л2, ..., х”) при условиях
хё>0,
ВЕГ,;
(2.2)
ах! +а10х? +...+аих" <,
(2.3)
ах! +атох? +...+а1тх" <”;
ата! 1 +12? 2 +.+атыих” дрты
= т,
(2.4)
Чт
Ната? +..+атзлх" = "45,
Здесь п, т и 5$ — заданные числа, п — натуральное, т, 5 — целые неотрицательные; сл, а, ,1=1,2,..,т+$,]=1,2,..., п — заданные вещественные
числа, [, с {1, 2, ..., п} — заданное подмножество номеров. Обязательное
присутствие в постановке задачи всех без исключения ограничений (2.1)—
(2.4) не требуется, так что допускаются случаи [, = © и случаи, когда отсутствуют ограничения типа равенств (5 = 0) или типа неравенств (т = 0).
Как уже отмечалось выше, между задачами минимизации и максимизации нет принципиальной разницы и каждая из них легко сводится к другой, поэтому далее изложение будем вести для задач линейного программирования, записанных в форме задачи минимизации. Если ввести векторы
с= (С1, с?, ..., сп), а; = (а, ар, „ат, х = (1, 22, ..., д”), то задачу (2.1)—(2.4)
можно кратко записать так:
(<) = (с, х) > шт, хе Х,
81
(а, х) <, 1=1,..,т;
_
Х =1х
ЕЁ": п. х* Е >0,ЁЕ[,, (а, х)=Ы,
#=т+1..,т+5|’
где через (-, -) обозначено скалярные произведения соответствующих векторов.
Приведем еще одну форму матрично-векторной записи задачи (2.1)—(2.^4).
Предварительно договоримся о некоторых обозначениях. Если для каких-
либо двух векторов х = (1, л2, ..., 2), у = (И1, 42, ..., УР) справедливы неравенства хР> уР при всех 1 = 1, ..., р, то будем кратко писать: х > у. Тогда, например,
неравенство х > 0 означает, что м > 0 для всех1 = 1, ..., р.
Не умаляя общности дальнейших рассмотрений, можем считать, что переменные 21, л2, ..., ^^ перенумерованы так, что [, = {1, 2, ..., пи}, 0<п, < п (п. =0
соответствует случаю [, = ©). Отдельно выделяя неотрицательные координаты, вектор х можем представить так: х = (х!, х2), х! = (ж1, х?, ни хр )Е Е",
хо = (2х3, х2,..., х2?) Е Е", х, > 0, п. + п› = п. Используя принятые обозначения,
задачу (2.1)—(2.4) можем записать в следующем виде:
Их) = (си, х!) + (с», хо) > п, хЕ Х,
Х=
х= (1, х2): 1 © Е, хо Е Е",
где А; — матрицы размером т; х п,
@11
...
А! 1% + Арх. ЗЫ,
Ах
-Ь
2141+ 122%.= 60,
ЕЕ", с1 Е Е",
Я
Я
Ан =
(2.5)
+1
@т+11
-..
...
Я т,
...
Сп
,
Я т, +1
Чт,
Чт,
Аз! =
Я тп
+1
...
Я т+1 п
; Ау =
Ят- 51
...
Ят- и
ы
ы=
№ =|
рт
..
,
Чт,
рты
Я тп
с!
ра=
фт+5
(2.6)
= 1, 2; т = т; То = 5:
;Ауо =
Я
х.>0,
ст
со=
ст
сп
Множество представимое в виде соотношений (2.5)—(2.6), называется
многогранным множеством.
Подчеркнем, что в соотношении (2.6) и всюду ниже в произведениях
вида Ана, Архо, Ах, Ву, ... матриц Аи, Ар, А, В, ... на соответствующие векторы 21, хо, х, у будем подразумевать, что х1, хо, х, у — это векторы-столбцы
подходящей размерности, хотя для экономии места, как мы уже делали
выше, часто будем записывать эти векторы в виде строки.
Укажем еще одну форму записи множества (2.6):
71
Х=
х=(ж, хо):
ЕТ, х, Е,"
о
У АВ
Гри
У Аня
Г
где А — А-й столбец матрицы А;
82
п2
ЕЁ
+ У, Аьм ЗЫ,
р
В
+ У Азрхо = в,
ыы
ж>0\,
Точку х. Е Х назовем точкой минимума функции (с, х) на множестве Х
или, короче, решением задачи (2.5), (2.6), если (с, х.) = ше (с,х).
ХЕ
2.1.2. Примеры
Приведем ряд конкретных примеров постановок задач вида (2.5), (2.6).
Ки
р
(задача
оптимального
планирования
пе:
Пусть на некотором предприятии изготавливаются п видов продукции из т видов
сырья. Известно, что на изготовление одной единицы продукции ]-го вида нужно
а; единиц сырья {1-го вида. В распоряжении предприятия имеется 6; единиц сырья
1-го вида. Известно также, что на каждой единице продукции /-го вида предприятие
получает с;единиц прибыли. Требуется определить, сколько единиц 1, 42, ..., д” каждого вида продукции должно изготовить предприятие, чтобы обеспечить себе максимальную прибыль.
Если предприятие наметит себе план производства х = (^1, д2, ..., д”), то оно израсходует ал! + ... + а,х" единиц сырья 1-го вида и получит с1д! + ... + с„х" единиц прибыли. Ясно также, что все величины 47, # = 1, ..., п, неотрицательны. Поэтому мы приходим к следующей задаче линейного программирования: максимизировать функцию
(х) = ‹х! + ...+ сих” при ограничениях д! > 0, ..., "> 0, анх! +... Нах < ,1=1,...,т.
Поскольку задача максимизации функции /(х) равносильна задаче минимизации
функции —/(х), то с учетом введенных выше обозначений сформулированную задачу
линейного программирования можно кратко записать в виде
Да) =(-с,х)
> тш,
хЕХ={х
ЕЕ": х>0, Ах<Б}.
(2.7)
Ясно, что задача (2.7) является частным случаем задачи (2.5), (2.6).
Пример 2.2 (задача о рационе)
Предположим, что есть 1 продуктов питания (хлеб, молоко, мясо, крупа, картофель и т.п.) ис,] = 1, 2, ..., п — цены этих продуктов. Предположим, что в соответствии с медицинскими требованиями выбрано т значимых для здоровья полезных
веществ (углеводы, белки, жиры, витамины и т.п.) и известно, что количество 1-го
полезного вещества в единице /-го продукта составляет а,, {= 1, 2, ..., т, а минимально
допустимая норма его потребления равна 61 1 = 1, 2, ..., т. Тогда задача минимизации расходов на питание с соблюдением установленных медицинских норм может
быть сформулирована в виде
а)=(сх)>тш,
ХЕХ=-хЕЕ":х >20,
п
Уа;х
>[,1=1,...ту,
=
где х = (^1, 42, .., ^") — планируемый
в количестве 2.
Пример 2.3 (задача об оптимальном
рацион, в котором /-й продукт содержится
использовании
посевной площади)
Пусть под посев р культур отведено 7 земельных участков площадью соответственно в 6, ..., 6, гектаров. Известно, что средняя урожайность 1-й культуры
на /-м участке составляет а, ц/га, а прибыль за один центнер {1-й культуры составляет с; руб. Требуется определить, какую площадь на каждом участке следует отвести под каждую из культур, чтобы получить максимальную прибыль, если по плану
должно быть собрано не менее 4; центнеров 1-й культуры.
83
Обозначим через и, площадь, которую
на 7-м участке. Тогда
планируется отвести под +ю культуру
Ш ;+..+и,=Ь,
]=1,..т.
(2.8)
Ожидаемый средний урожай 1-й культуры со всех участков равен ани; +...+арим
центнеров. Поскольку согласно плану должно быть произведено не менее 4; центнеров 1-й культуры, то
ани +...+аи,> а, 1=1,...р.
(2.9)
Ожидаемая прибыль за урожай 1-й культуры равна сани + ... + ани»), а за урожай всех культур —
Хоа +..-+аиь)= 74)
(2.10)
1=
Таким образом, приходим к задаче максимизации функции (2.10) (или минимизации функции 5) при условиях (2.8), (2.9) и естественных ограничениях и, > 0,
1=1,...р,]=1,.
ли В Полуонной задаче умножить соотношения (2.9) на (-1) и переменные и;Я
переобозначить через д!, 12, ..., хи, то мы придем к задаче вида (2.1)—(2.4).
Пример 2.4 (транспортная задача)
Пусть имеется т карьеров, где добывается песок, и р потребителей песка (например, кирпичные заводы). В {1-м карьере ежесуточно добывается а; тонн песка, а }-му
потребителю ежесуточно требуется 6, тонн песка. Пусть с, — стоимость перевозки
одной тонны песка с 1-го карьера ]-му ‚ потребителю. Требуется составить план перевозок песка так, чтобы общая стоимость перевозок была минимальной.
Обозначим через и, планируемое количество тонн песка, поставляемое из {-го
карьера /-му потребителю. Тогда с 1-го карьера будет вывезено
ин+..+и, =а,,
1=1,...7,
(2.11)
1=..Р,
(2.12)
тонн песка, }-му потребителю доставлено
Ш; +..+и, =Ь,,
тонн песка, а стоимость перевозок будет равна
К(и)= $ Усуи
(2.13)
1=Н=
Естественно требовать,
чтобы
и; >0,
1=1,...т,1=1,..,р.
(2.14)
В результате мы получили задачу минимизации функции (2.13) при условиях
(2.11), (2.12), (2.14), которая, очевидно, является частным случаем общей задачи
линейного программирования (2.1)—(2.4).
К задачам типа (2.1)—(2.4) сводятся также и многие другие прикладные
задачи технико-экономического содержания.
Следует заметить, что приведенные выше примеры задач линейного программирования, вообще говоря, представляют лишь приближенную, упрощенную математическую модель реальных задач. Вполне может оказаться,
84
что принятая математическая модель, обычно составляемая на основе приближенных данных о реальном моделируемом явлении (объекте, процессе),
не охватывает какие-либо важные существенные стороны исследуемого
явления и приводит к результатам, существенно расходящимся с реальностью. В этом случае математическая модель должна быть изменена, доработана с учетом вновь поступившей информации, а получаемые при анализе
усовершенствованной модели данные должны снова и снова критически
сопоставляться
границ
степени
с реальными
применимости
адекватности
модели.
данными
и
использоваться
Математическая
моделируемому
явлению
для
модель
лишь
может
быть
выяснения
при
высокой
использована
для более глубокого анализа явления и проникновения в его сущность,
для выработки целенаправленного управления.
Практика показала, что задачи линейного программирования вида (2.5)
вполне пригодны для достаточно адекватного описания, исследования
и анализа и многих других (разумеется, далеко не всех) реальных явлений,
процессов и ситуаций в экономике, технике и хозяйственной деятельности. Кроме того, задачи линейного программирования нередко возникают
в качестве подзадач на определенных этапах решения более сложных оптимизационных проблем. В настоящее время теория и методы линейного программирования являются одними из наиболее изученных и разработанных
разделов в теории и методах оптимизации. Приступим к более детальному
рассмотрению этих задач.
2.1.3. Каноническая задача
Из общей
задачи
(2.5), (2.6) линейного
программирования
обычно
выделяют так называемую каноническую задачу
1) =(с,х) > шш,
хЕХ={хЕ
Е": х>0, Ах=Б},
(2.15)
в которой т = 0, Г, = {1,2, ..., п}, Ал = А; Ао = 0; с! = с; с› = 0; 6. = Б, а матри-
цы А\1, Ау и вектор 6, отсутствуют.
Задача (2.15) привлекательна тем, что при ее исследовании, разработке
методов ее решения можно пользоваться хорошо известной из линейной алгебры теорией систем линейных алгебраических уравнений. Заме-
чательно также и то, что методы, созданные для решения канонической
задачи (2.15), нетрудно модифицировать и применять для решения общей
задачи линейного программирования (2.5), (2.6). Дело в том, что задача
(2.5), (2.6), оказывается, сама равносильна некоторой канонической задаче.
Покажем это.
Для того чтобы легче было понять последующие построения, прежде
всего заметим, что любое действительное число а можно представить
в виде разности двух неотрицательных чисел: а =а*- а`, где а* = тах{0; а} >
> 0, а = шах{0; —а} > 0. Отсюда следует, что вектор хо = (%, р хо?) можно
представить в виде разности неотрицательных векторов
ж=2-22,
21 =Шах(0; х.} > 0, 2. = тах{0; -хо} > 0,
(2.16)
где операция взятия максимума проводится покоординатно:
"
"
(о
24 = (21,...21?), 2] = шах{0; 2}, 2) = (24,..,252), 24 = шах{0;-х2}, 1=1,...П>.
85
Далее заметим, что ограничения Ал < р типа неравенств можно записать
в виде ограничений типа равенств Ах + о = В, добавив сюда неравенство
о > 0; ясно, что точка х будет решением неравенства Ах < В тогда и только
тогда, когда (х, о) — решение системы Ах+о=ф, и> 0. Отсюда следует, что,
вводя переменную
ограничение А! 1х1 + А,ох. < В с учетом равенств (2.16) можно представить
в равносильном виде
Ах,
+ А!2^
+0=
А! 11
+ А! 221
+ (-А12)2.
+9=
Ь,
> 0.
Ограничение 4..х!+А.2х. = Б. с учетом равенств (2.16) запишем таким
образом:
А54^1 + Ар222 + (-А>2)=>
+0-э= Ь..
Учитывая эти соображения, в пространстве новых переменных #
21, 22, 0), м Е Ем, 24 Е Е”, 2. Е Е”, ое Е"1, рассмотрим
следующую
= (х1,
равно-
сильную (2.5), (2.6) каноническую задачу:
&(ш)= (с1,х!)+(с2,21)+(-с›,22)+(0,0) > п,
ШЕУ,,
(2.18)
‚ (2.19)
И = ш= (1,
21, 22,0): № >0,
Алу! + Аэ22 +(-А5о)2о = 65
где / — единичная матрица размера т! х ти. Оказывается, задачи (2.5), (2.6)
и (2.18), (2.19) обе одновременно имеют или не имеют решения, причем,
зная какое-либо решение одной из этих задач, нетрудно получить решение
другой задачи.
2.1.4. Основная задача
В линейном программировании наряду с канонической задачей (2.15)
принято также выделять и так называемую основную (или стандартную)
задачу:
1(х)
= (сх) шт, хЕХ={х>0: Ах<В},
(2.20)
получающуюся из общей задачи (2.5), (2.6) при т = $, [. = {1, 2, ..., п}. Это
объясняется тем, что в приложениях большое число линейных математических моделей изначально естественным образом записывается в виде
задачи (2.20) (см., например, задачу (2.7)). Следует также отметить, что
задача (2.20) весьма удобна для геометрических интерпретаций, делающих
наглядными
многие
понятия
и методы
линейного
программирования.
Если ввести дополнительные переменные у = (9!, ..., 9") посредством
соотношений
о=Ь-Ах,
9>0,
то задачу (2.20) в пространстве Е"*т переменных 2
в канонической форме
(2.21)
= (х, 0) можно записать
=(2)=(4,2) >> пп,
2Ей={2=(х,0)>0,С2 = Ах+10=Ь},
(2.22)
где (= (с, 0) Е Е"т;С =(А, [„); [, — единичная матрица размера т х т. Задачи (2.20), (2.22) равносильны, и, зная решение д, е Х, задачи (2.20), по фор-
муле (2.21) нетрудно получить решение задачи (2.22) 2. = (х+, и, =В -— Ах.)
и обратно, если 2, = (х., +) Е 7. то Хх. Е Х..
С другой стороны, каноническую задачу (2.15) нетрудно записать
в форме основной задачи. В самом деле, если ограничения типа равенств
Ах = В заменить на равносильную систему двух неравенств Ах < В, Ах > В,
то тогда задачу (2.15) можно записать в следующем виде:
4)
Позея)
ни,
хех=
2
<
Ах <
20: дхз-Ь
={х>0:Сх<=},
(2.23)
Заметим, что задачи (2.15), (2.23) равносильны.
Как видим, все три формы задач линейного программирования — общая
задача (2.5), (2.6), каноническая (2.15), основная (2.20) — тесно связаны
между собой, и простыми преобразованиями от одной формы легко перейти к другой. Поэтому если мы научимся решать одну из этих задач, то тем
самым будем уметь решать задачу линейного программирования, записанную в любой другой форме. Заметим однако, что изложенные приемы сведения задач (2.5), (2.6), (2.15), (2.20) к канонической или основной задаче
могут привести к чрезмерному увеличению размерности переменных или
числа ограничений. Поэтому методы решения задач линейного програм-
мирования обычно разрабатывают для задач (2.15) или (2.20) как более
простых для исследования, а затем, учитывая указанную связь между задачами (2.5), (2.6), (2.15), (2.20), модифицируют полученные методы применительно к другим классам задач линейного программирования, стараясь,
по возможности, не увеличивать их размерность.
2.2. Геометрическая интерпретация задачи
линейного программирования
Кратко остановимся на геометрическом смысле задачи линейного программирования. Рассмотрим задачу (2.20) при п = 2:
Даг) = с! +с2х? > шш,
ХЕХ,
ХЕХ ={х=(х!, х2); м! > 0, х2 > 0, ах! +аох? <,
1=1,...,т}.
2.24
(2.24)
Введем множества Ху = {х = (л1, х2): х1 > 0, х2 > 0} =Е? — неотрицатель-
ный квадрант плоскости; Х, = {х = (1, х2): аах! +а0х? <}
— полупло-
скость, образуемая прямой а;15! + ал? = 9, 1=1, ..., т. Ясно, что множество Х является пересечением множеств Ху, Х,, ..., Хи. Может случиться,
что это пересечение пусто (рис. 2.1), — тогда задача (2.24) теряет смысл.
87
Рис. 2.1
нием конечобразованное пересече
,
оно
то
о,
уст
неп
Х
гольное
Если множество
собой выпуклое многоу
ет
ля
ав
ст
ед
пр
,
ей
ст
езков
ного числа полуплоско
я, составленная из отр
ана
лом
ся
ет
ля
яв
го
ро
кото
ы1=1, ... т. Это
множество, границей
прямых аих! + арх’ =
и
й
осе
ых
тн
на
ди
ор
с. 2.2) — тогда
каких-либо ко
как ограниченным (ри
ь
быт
т
же
мо
о
тв
ес
ож
ниченным
многоугольное мн
гольник, так И неогра
оу
ог
мн
ый
кл
пу
вы
Х представляет собой
(рис. 2.3).
О
са +
= ©,
Рис. 2.2
с,х)=
ачение функции (а =(
Пусть ©, — какое-либо зн
уравнение
сх! + с2х? = 9
+ с2х?. Тогда
(2.25)
площую ее значению о, и на
ую
тв
тс
ве
от
со
,
(х)
и
нкци
(с', 2) = 0. При из
задает линию уровня фу
кулярную вектору с =
ди
ен
рп
пе
,
ую
ям
пр
ет
скости определя
ам
М о
ьно С
кции
паралл ел
ь
с
я
а
ент фун
ш
и
е
д
м
а
с
,
—
5)
с
,
.2
р
мую (2.25)
п ямая (2
ом векто
я
т
2
р
э
п
+2
и
до
ь
т
а
—
ТО
т © е
скость
нии © от
иться, Ч
ом следуе
) вс пло
с= (с', ^)
са +
=9.
Рис. 2.5
случаями,
то наряду со
,
но
че
ни
ра
ог
не
щую точ
с Х одну об
множество Х
ь
е
ет
но
им
ль
т
го
де
бу
оу
когда
Если мног
прямая (2.25)
на ситуация,
и
ож
ни
зм
са
во
ка
,
5)
а
ом
2.
рв
(рис. 2.6). Тогд
когда при пе
ону (см. рис.
Х
ор
с
ст
у
чк
и
то
ил
ю
3)
2.
имеет общу
дача (2.24)
ку х+ (см. рис.
Х нет), т.е. за
ех ©, < 0% 5 +
с
вс
и
5)
пр
.2
(2
5)
.2
я прямой
прямая (2
ервого касани
(п
=
х)
Ко
не имеет
решения.
х
с= (с, с?)
Рис. 2.6
задача лине?
евидно, что
оч
4)
.2
(2
рис. 2.
чи
решения (см.
случаев зада
х
го
но
ны
од
ен
тр
ни
мо
ь
сконеч
Из расс
может не имет
т иметь бе
же
я
и
мо
н
,
а
в
3)
о
2.
р
и
,
м
22
й может бы
ного програм
е (см. рис.
ество решени
одно решени
ож
мн
шь
ли
ом
ь
эт
ет
и
2.6), им
4, 2.5), пр
й (см. рис. 2.
много решени
2.5).
ым (см. рис.
нн
че
ни
ра
ог
не
Аналогично можно показать, что множество Х
в задаче (2.20) при п = 3
является многогранным множеством, и дать геометрическую интерпретацию этой задачи. Предлагаем читателю самостоятельно рассмотреть этот
случай, а также исследовать задачу (2.15) при п = 2, 3.
2.3. Угловые точки в канонической задаче
На примере рассмотренной выше задачи (2.24) нетрудно усмотреть, что
если она имеет решение, то среди решений найдется хотя бы одна угловая
точка (вершина) многоугольного множества Х. Ниже мы увидим, что это
не случайно: и в более общей задаче линейного программирования, оказывается, нижняя грань функции (с, х) на Х достигается в угловой точке
множества.
Определение 2.1. Точка о множества Х называется угловой точкой (вер-
шиной, крайней точкой, экстремальной точкой) множества Х, если представление о = 0! + (1 - 0)о› при 91,
Е Хи0<а < 1 возможно лишь
при 9, = 92. Иначе говоря, © — угловая точка множества Х, если она не является внутренней точкой никакого отрезка, принадлежащего множеству Х.
Например, угловыми точками многоугольника на плоскости или параллелепипеда в пространстве являются их вершины; все граничные точки
шара будут его угловыми точками; при И > 2 замкнутое полупространство
или пересечение двух замкнутых полупространств не имеют ни одной
угловой точки.
В задачах линейного программирования понятие угловой точки играет
фундаментальную роль и лежит в основе многих методов решения таких
задач. В дальнейшем мы будем подробно исследовать каноническую задачу
(2.15). Поэтому начнем с изучения свойств угловых точек множества
Х={хеЕЕ": х>0, Ах=Ь},
(2.26)
где А — матрица размера т х п, А # 0, В — вектор из Е”. Ниже будет показано, что множество (2.26), если оно непусто, имеет хотя бы одну угловую
точку. Возникает вопрос: как узнать, будет ли та или иная точка множества
(2.26) угловой точкой? Приведем один достаточно простой алгебраический
критерий угловой точки множества (2.26). Для этого вначале обозначим /-Й
столбец матрицы А через А; и запишем систему уравнений Ах = В в следующей эквивалентной форме:
А+ ..+Ам=Ь.
(2.27)
Теорема 2.1. Пусть множество Х задано условиями (2.26), А + 0, ранг
матрицы А равен т. Для того чтобы точка и = (01, ..., и") Е Х была угловой точкой множества Х, необходимо и достаточно, чтобы существовали
номера1, .../»1<)< п, [= 1, ..., Г, такие, что
Ароя +..+АроР =Ь
причем столбцы А; ‚9 А,
97 =0,
1],
р=Ъ...т,
(2.28)
линейно независимы.
91
Доказательство
Необходимость. Пусть о — угловая точка множества Х. Если о = 0, то
из условия 0 Е Х следует, что 6 = 0. Поскольку А + 0, то т = гапК А > 1
и существуют линейно независимые столбцы А;,„›-..А;. Отсюда имеем
А, -0+...+ А; -0=0. Для случая о = 0 соотношения (2. .28) доказаны.
‘Пусть теперь о=0и пусть ИЯ,.., ол — все положительные координаты
точки 9. Так какое Х, то остальные ее координаты равны нулю. Отсюда
и из условия Ао = В с учетом представления (2.27) имеем
Арол +...+Азой =5 07 =0,
1],
р=Ъ...й.
(2.29)
Покажем, что столбцы А,, (и А, линейно независимы. Пусть при некоторых 04, ..., 0, имеет место равенство
и А; +...+0%А;, =0.
(2.30)
Возьмем точку о, = (91,...,0”) с координатами р = +80,„0; =0 при] *
#]»р=1,... №, и точку о. = (01,..,0”) с координатами в/? = с “ва
и =0
при] */»„р=1,... Е. Поскольку 9? >0,р=1,..., А, то при достаточно
малых
= > 0 будем иметь 9, > 0, о_> 0.
Кроме того, умножая равенство (2.30) на & или - и складывая с суммой
(2.29), приходим к равенствам Ао, = в, Аз_= В. Таким образом, о., 0_Е Х. Очевидно, что 9 = (9, +0.)/2, т.е. справедливо равенство о = 0. + (1 -— @)о_
при © = 1/2. По определению угловой точки это возможно лишь при 9, =
=0_=0, а это в свою очередь означает, что ©! = ... = 0, = 0. Таким образом,
равенство (2.30) в возможно только при 0 = ... = 0,= 0. Линейная независимость столбцов А;
„А; доказана, отсюда следует, что < и.
Если # = 7, то соотношения (2.29) равносильны (2.28). Если Ё < и, то
добавим к столбцам А,,... ‚А; новые столбцыА 1 „А, матрицы А так,
чтобы система столбцов А. ‚АА, |= „А, была линейно независи-
мой, а при добавлении любого другого толбца А; эта система становилась
линейно зависимой. Тогда система А, ,... А,, образует некоторый базис
линейной оболочки векторов А. ... А
размерность которой равна рангу
матрицы А, так что 5 = 7 = гапк А. Добавив к первому равенству (2.29)
столбцы А „„’-.А;, Умноженные соответственно на оли =0,... 07 =0,
из равенства (2. 29) 1получим соотношения (2.28). Тем самым необходимость
доказана.
Достаточность. Пусть некоторая точка 9 = (9!, ..., 9") удовлетворяет
условиям (2.28), где А,,.., А, линейно независимы, 7 = гапк А. Пусть
о = 0 + (1-9). при некоторых 01, в›Е Х, 0 < а < 1. Покажем, что такое
представление возможно только при 5, = 9. = 9. Сразу же заметим, что если
для какого-то] Е {1, . ., п} ©) = 0, то из этого представления с учетом неравенств 0 < < 1, Я >0, 01 > 0 получим 0 < ох! + (1- 0)07 = 07= 0, что возможно
лишь при 97 = 4 =0) =0. Таким образом, для получения равенства о = 91 = 92
остается еще доказать, что и) = 0) =01 и при тех }, для которых ©/> 0.
По условию (2.28) у точки о положительными могут быть лишь координаты ой,..., ил. Произведя при необходимости перенумерацию переменных,
92
будем считать, что ий > 0, ... ол > 0, олн =0,.... 0 =0 (случаи А = 0 илиЁ=г
здесь не исключаются). Тогда соотношение (2.27) можно переписать в виде
А; ‚ол +... + Алой =5. Кроме того, учитывая, что по доказанному 9! = о] =0
при всех ] * 7, р=1, ..., №, равенства Аз;= В также можно записать в виде
А, ‚ой +...4А.
1 ЙЕЬТ=
независимы.
1, 2. Вспомним, что векторы А, ›-„А; линейно
оотому вектор 6 может линейно выражаться черё
единственным способом. Это значит, что 9/2= ор =
А, ,.., А;
р дляр=1,. п. Тем
самым установлено, что # = 91= 92. Следовательно, о — угловая точка множества Х. №
Определение 2.2. Систему векторов Аз,... ‚А;, входящих в первое
из равенств (2.28), называют базисом угловой точки о, а соответствующие
им переменные 94. ..., 0% — базисными координатами угловой точки о. Если
все базисные координаты угловой точки положительны, то такую угловую точку называют невырожденной. Если же среди базисных координат
ол,..и” хотя бы одна равна нулю, то такая угловая точка называется
вырожденной. При фиксированном базисе А; ‚=> А; переменные вместо
хл,... х называются базисными переменными "УГЛОВОЙ точки, а остальные
переменные м — небазисными (свободными) переменными.
Из теоремы 2.1 следует, что невырожденная угловая точка обладает
единственным базисом, его составляют столбцы с теми номерами, которым
соответствуют положительные координаты угловой точки. Если угловая
точка вырожденная, то она может обладать несколькими базисами. В самом
деле, если ил >0,..., ол >0, Ё<г-= гапК А, а остальные координаты 9 угловой точки о равны нулю, то, как очевидно из доказательства теоремы 2.1,
в базис такой точки обязательно войдут столбцы А,,..,А,„, а остальные
базисные столбцыА, ,.., А; , входящие в представление (2. 38), могут быть
выбраны, вообще говоря, различными способами.
Поскольку из п столбцов матрицы А можно выбрать 7 линейно независимых столбцов не более чем С! способами (С’ — число сочетаний из п
элементов по 7), то из теоремы 2.1 следует, что число угловых точек множества (2.26) конечно.
Пример 2.5
Найдем все угловые точки множества
Х={х
= (21, х2, х3, 44 Е Е4: х>0, 1+
х2 +353 +4 =3, д! -х2+53 +2454 =1}.
+50
Для этого обозначим
Ясно, что ранг матрицы А = ‘АлизизАю равен двум. Согласно теореме 2.1 нам
надо рассмотреть все наборы (А „, А») 1 <Л <] < 4, состоящие из двух ее линейно
независимых столбцов, решить системы Азой + Ао? = В, после чего дополнить полученные базисные координаты ол, о? точки о нулями.
Всего имеется С? = 6 пар столбцов: (А/, А), (А/, Аз), (Ау, Ал), (А. Аз), (А», А4),
(Аз, Ад). Каждая из них является линейно независимой. Проделав необходимые
вычисления, мы получим, что точки 91 = (2, 1, 0, 0) ис» = (0, 5/3, 0, 4/3) являются
93
невырожденными угловыми точками множества Х, точке и! соответствует базис А.,
А, а точке 9 — базис А›, Ад; угловая точка оз = (0, 0, 1, 0) вырожденная и
ей соответ-
ствуют базисы А\, Аз, А», Аз и Аз, Ад; точка о = (5, 0, 0, —2), сооветствующая набору
(А., Аз), не является угловой для множества Х, так как 9, # Х (у нее есть отрицательные координаты).
2.4. Симплекс-метод
2.4.1. Приведенная задача
Будем рассматривать каноническую задачу
1) =(с,х) > шт,
ХЕХ ={хЕЕ":
х>0, Ах=5},
(2.31)
где А — ненулевая матрица размера т х 7; сЕ Е"; ре Е". Ниже будет пока-
зано, что всякое непустое множество Х из (2.31) имеет хотя бы одну угловую точку и, кроме того, если ше (с, х) = + > —©°, то эта точная нижняя грань
ХЕ
достигается хотя бы в одной угловой точке множества Х. Отсюда следует,
что задачу (2.31) можно попытаться решить следующим образом: сначала
найти все угловые точки множества Х, пользуясь, например, конструкциями теоремы 2.1, затем вычислить значение функции /(х) = (с, х) в каждой
из угловых точек, число которых, как мы знаем, конечно, и определить наименьшее из них. Однако такой подход к решению задачи (2.31) практиче-
ски не применяется, так как уже в задачах не очень большой размерности
число угловых точек может быть столь большим, что простой перебор всех
их может оказаться невозможным за разумное время даже при использовании самых лучших современных компьютеров.
Тем не менее идея перебора угловых точек множества оказалась весьма
плодотворной и послужила основой ряда методов решения канонической
и других задач линейного программирования. Одним из таких методов является так называемый симплекс-метод. Название этого метода связано с тем,
что он впервые разрабатывался применительно к задачам линейного программирования, в которых множество Х представляло собой симплекс в Е":
Х=4х=(21,... д”): х>0,
п
Уж =1..
#1
Затем метод был обобщен на случай более общих множеств Х, но первоначальное название за ним так и сохранилось; в литературе этот метод
часто называют еще методом последовательного улучшения плана.
При реализации симплекс-метода осуществляется упорядоченный
(направленный) перебор угловых точек множества Х, при котором значение функции (с, х) убывает при переходе от одной угловой точки к другой,
что позволит, перебрав, быть может, лишь относительно небольшое число
угловых точек, выяснить, имеет ли задача (2.31) решение, и, если имеет, то
найти его.
Перейдем
задачи (2.31).
94
к описанию
симплекс-метода
для
решения
канонической
По условию 1 = гапК А < шш{т; я}. Предположим, что из системы (Ах)#=
=, 1=1, ..., т исключены линейно зависимые уравнения, т.е. 7= т, матрица А
имеет размеры их п.
Тогда, как известно, 7 < и. Если 7 =
п, то система Ах = В будет иметь един-
ственное решение ху и множество Х либо будет пустым (если не соблюдается ограничение лу> 0), либо состоит из одной точки (если ху> 0) — в этом
случае задача (2.31) становится малосодержательной. Поэтому будем счи-
тать, что 7 <
и. Тогда систему Ах = Ь можем записать в виде
а1х! +...+аих" =,
анх!+...+атх” =5,
г=тси.
(2.32)
Пусть известна некоторая угловая точка о = (01, 02,..., 0”) множества Х
с базисом А‚,А,,,... ‚ А;. Матрицу В=(А,‚,А,,,... А, ), столбцами которой
являются базисные векторы, будем называть базисной матрицей или просто базисом. Через Г)= {7 ...,],} обозначим номера базисных переменных
или, короче, базисные номера. Перенумеровав переменные, можем считать,
что (о) = {1, 2, ..., 7}; тогда столбцы А4, А», ..., А, матрицы А составляют базис
точки 9, а д!, д2, ..., д’ — ее базисные переменные. Обозначим
1
я
х=
‚
б=
с!
‚
х
о!
а
В=|
...
а
-.
б=
а;
,
А; =
с’
,
ау
@ь
о
=(А,|А. |...[А,).
Чт
Тогда систему (2.32) можно кратко переписать в виде
= А+. А+ Ах" 4..4 Арх = В+ У Ад.
= (2.33)
Р=7+1
Так как столбцы А., ..., А, линейно независимы, то 4е{В + 0 и, следовательно, существует обратная матрица В-!. Кроме того, вспомним, что
согласно теореме 2.1 небазисные координаты угловой точки о заведомо
о
равны нулю, так что о= о} где о>0. Отсюда и из системы (2.33) следует,
что базисные координаты 9 удовлетворяют системе Во =Б, откуда имеем
о = В-\Ь. Умножая систему (2.33) на В-! слева, получим следующее соотношение между базисными переменными Х и небазисными переменными
ХИ, .., т:
0<5=В-Ь=х+ У ВМА.
(2.34)
Р=7+1
Обозначим (В-1А,)! = 1; ‚ — Гя координата вектора-столбца \, = В-!А,.
Тогда систему уравнений (2.34) можно записать в покоординатной форме:
95
=
= хо
ух"
чу"
+ уд",
+ ух ++ ид”,
=
ож Чи"
о =
у, ам
Систему В-!Ах = В,
+
Ух,
+ Ну
(235)
п”,
|
+ +в".
полученную умножением
исходной системы
Ах = на матрицу В-! слева, называют приведенной системой угловой точки о
с базисной матрицей В. Системы (2.34) и (2.35), таким образом, представляют собой различные формы записи приведенной системы точки д с базисом В = (А|, ...А,). Подчеркнем, что из невырожденности матрицы В следует,
что системы (2.34), (2.35) равносильны исходной системе (2.32) или (2.33).
Пользуясь равенством Х=9-
п
У
В-1А;х) ‚ вытекающим
из системы
1=741
(2.34), значения функции /(х) выразим через небазисные переменные:
И) =(с,х)+ У сх) -(Д=Г+
у с =
у вау
ЕР
=г+1
п
=(с,5)- У, (с, В-!А;) —с;)х/,
=т+
или, короче,
(2.36)
1(х)= (®)- у Д;х,
д=Г1
где учтено, что (с, 9) = (с, о) = } (0), и использованы обозначения
т
д;
= (С,
В-ТА;)-с;
=
Хсму- ср
1=1,... И.
(2.37)
1=
Выражение (2.36) будем называть приведенной формой целевой функции,
соответствующей угловой точке о с базисом В.
Входящие в (2.35), (2.36) величины 1; 9, А; удобно записать в виде
табл. 2.1, которую принято называть симилекс-таблицей угловой точки о
с базисом В = (А, ..., А,).
Таблица 2.1
м
|||...
им
..
м
||
м
В столбце Б
этой таблицы перечислены базисные переменные д!, ..., м
точки 9; в столбце У размещены значения базисных переменных б = ВВ
угловой точки 9; в столбцах1* находятся координаты \;„= (В-1А,)!, 1 = 1,..,т
векторов \, = В-1А,, Ё = 1, ..., п; в столбцах базисных переменных 2! ..., 4"
отражены равенства В-1А,= . ]1=1, ... т, вытекающие из определения обратной матрицы В-1; здесь е; — ]-й столбец единичной матрицы размера 7х 7.
В крайнем левом столбце для удобства изложения приведены обозначения для строк симплекс-таблицы: Г\, Г., ..., Г», А. Так, например, в строке
Г;= (9, 0,
...) 0,
1, 0,
..) 0, У: +1
...) \; п)
записана вся информация, по которой удобно воспроизвести соответствующее 1-е уравнение системы (2.35), и наоборот, зная 1-е уравнение этой
системы, легко можно восстановить строку Г;. В строке А помещены величины Д\ = / (0) = (с,9), А, ..., А„, связанные с минимизируемой функцией
(х)= (с, х) формулами (2.36), (2.37); в этой строке отражено, что для базисных номеров
Д;=(с,е;)-с/=с/-с7=0,
1=1,..г.
По строке Д = (Хо), 0, ..., 0, Дни, .., А„) симплекс-таблицы легко вос-
произвести формулу (2.36) и обратно, используя формулу (2.36), несложно
восстановить строку А. Из формул
\о
=
о
=
В-1®,
У;
=
В-1А,,
Ао
=
(с,
В-1)
=
Го),
А;
=
(с,
В-ТА,)-с1
для величин, заполняющих симплекс-таблицу, следует, что эта таблица
однозначно определяется заданием векторов с, 6, матрицы А и базисной
матрицы В угловой точки 9.
После сделанных преобразований каноническую задачу (2.31) теперь
можно сформулировать в следующей равносильной, так называемой при-
веденной форме: минимизировать функцию (2.36) при условиях (2.35)
и соблюдении неравенства х > 0.
2.4.2. Описание симплекс-метода
Рассмотрим получившуюся приведенную форму задачи (2.31). Следует
сразу заметить, что приведенная форма не проще исходной задачи, но тем
не менее в новой ее формулировке с явным разделением базисных и небазисных переменных, оказывается, легче проследить за тем, как изменяется
функция /(х) при изменении небазисных переменных, и можно попытаться
выбрать эти переменные так, чтобы в новой точке ш Е Х было /(#) < (о).
Однако если мы начнем изменять все небазисные переменные сразу, то
вряд ли сможем проследить и за изменением функции /(х), и за соблюдением ограничений х > 0. Поэтому мы попробуем изменить лишь одну
из небазисных переменных, скажем, переменную л*, 7+1<# < п, остальные
небазисные переменные положим равными нулю, а базисные переменные будем определять из уравнений (2.35). Иначе говоря, новую точку
ш = (Ш1,..., и”) будем искать среди точек с координатами
=
д
ТН = 0...
=
= О,
у
=> 0, Ш
ШГ =",
=0,..., и” =0.
(2.38)
97
В такой точке и согласно формуле (2.36) значение функции /() равно
1(ш)= Г(о)-Аьх",
х*>0.
(2.39)
Наша ближайшая задача: выбрать номер А, 7+1< А < п, и величину 1* > 0
так, чтобы новая точка (2.38) удовлетворяла требованиям Аш = В, ш > 0,
Киш) < Го) (в идеале хотелось бы получить /(#) < /(и)). Что касается
первого требования Аш = В, то здесь проблем нет: точка (2.38) при любом
выборе номера А и величины л*, очевидно, является решением системы
(2.35) и равносильной ей системы (2.32). Анализируя знаки величин Д,,
\.ь› нетрудно выяснить, можно ли удовлетворить оставшимся двум требованиям ш > 0и (и) <} (0), и указать правило выбора нужного номера А
и нужной
величины д
> 0. Такой анализ приведет к рассмотрению трех
взаимоисключающих друг друга случаев.
Случай Г. Справедливы неравенства
А; = (6, В-1А,)-с; $0,
}=7+1..п,
(2.40)
т.е. в нижней строке симплекс-таблицы 2.1 все А, 1 <] < и, неположительны.
Как очевидно из соотношений (2.38), (2.39), при выполнении условия
х* > 0 тогда невозможно добиться неравенства /(&) < (о) ни при каких /,
7+ 1 << п. В лучшем случае, при х* = 0, получим & = о, (и) = Ко). Однако
это обстоятельство не должно огорчать нас, так как оказывается, что
при выполнении условий (2.40) рассматриваемая точка 9 является решением задачи (2.31). В самом деле, для любой точки хЕ Х = {х > 0: Ах= в}
с учетом представления (2.34) и неравенств (2.40) имеем
Да) =(с,х)+
у с1х1 > (с, №) +
1=7+1
у (©, ВМА!)=
=
п
= (Е + У вл»)
= (6,5) = [ (о).
1=Г
Таким образом, /(х) > (о) при всех хе Х, т.е. о — решение задачи (2.31).
Случай П. Существует номер А, 7+ 1 < Ё < п, такой, что
А,> 0, У; ь < 0, 1= 1,
...› , Т.е. у,=
ВА,
<0.
(2.41)
Это значит, что в А-м столбце симплекс-таблицы (см. табл. 2.1) над вели-
чиной Д, > 0 нет ни одного положительного числа \, ,. В этом случае при всех
х* > 0 точка #2, определяемая формулами (2.38), будет иметь неотрицательные координаты и, следовательно, будет принадлежать множеству Х. Тогда,
как очевидно из (2.39),
Кеш) = Ки) - А
-
—= при * > +е°.
Это значит, что + = Ш (<) = —©о, т.е. задача (2.31) не имеет решения.
ХЕ
Случай Ш. Существует номер А, 7 + 1 < < п, для которого Д, > 0, причем
для каждого такого номера # найдется номер & 1 < 1< 7, что у; > 0, или, иначе
говоря, в каждом Ё-м столбце симплекс-таблицы над величиной Д, > 0 имеется
хотя бы одно положительное число \;„, что можно кратко записать в виде
УД,> ОЗ4Е {1,..,®} : > 0.
(2.42)
Для точки @, определяемой формулами (2.38), согласно равенству (2.39)
здесь будет справедливо /(#) = (и) — А, хо) < Ки) при любом х*> 0. Остается лишь позаботиться о выполнении условия ш >
случае множество номеров
0. В рассматриваемом
Ко) =: 1<1<7,4,.,> 0} #6.
Если йе [,(и), т.е. у;› < 0, то как ясно из формул (2.38), в! = и! -— у, >
20! > 0 при любом выборе л* > 0. Если же \, ‚> 0, то при х* > пит (о И\ь)
зе!
(о
величина и! = &! - у; д* станет отрицательной хотя бы для одного номера
Е [, (0).
Таким образом, для обеспечения условия # > 0 для точек, определяемых
формулами
(2.38), здесь нужно л* взять так, чтобы 0<л* < п
1Е1р
< ИУ: к).
(о
Пусть
шш
9
—=—_,
1Е1ь (о)
У: ь
5Е[, (0).
(2.43)
Уз
Так как множество [,(9) непусто и конечно, то хотя бы один такой номер
5 существует. Величину \,„, где номера А, 5 определяются условиями (2.42),
(2.43), называют разрешающим (ведущим) элементом симплекс-таблицы.
Зафиксируем один из разрешающих элементов \,„ табл. 2.1 и в форму-
лах (2.38), (2.39) положим д* = о, ,. Получим точку ш = (#1, ..., ”) с координатами
Ш
=о! - Ут
55
.
44
Уз»
=
.
4
9
Уз
‚... 5
95
95
Уз
Уз
_
_
1=051- У;-1*
205 = 10°, —— = 0,05 = 051 уд,
шт =0, (Фе
= Оше =
95
9
Уз
05
=" -у,,——,
‚
(2.44)
Уз
ше =0,.., м =0,
У;
и значение функции /(л) в этой точке
(в) = (с, ш) = (®)-Аь
0;
(2.45)
5
По построению точка & с координатами (2.44) принадлежит множеству Х. Покажем, что # — угловая точка множества Х с базисом
А}... АзьАь Ан А
получающимся
из
базиса
точки
=
9 заменой
= ШЕИ
столбца
(2.46)
А; на А+.
Учитывая,
=... = 70,
условие Аш = Ь можно записать в виде
А!м1 +...+
А; 191+ А. 151+... + Адо’+ Аушй= 6.
что
Согласно теореме 2.1 остается показать, что система векторов (2.46)
линейно независима. Пусть для некоторых чисел 04, ..., 4, 0+1, ..› 0» 0
оказалось, что
0.4 1+
... +0
А;
+ 0%; +14 5+1
+...
7
+
о„А,+
о„А,=
0.
(2.47)
7
Поскольку А, = ВВ-1А, = У, А(В-1А, = У у:ьАь то из равенства (2.47)
[=
1
следует
7
т
У а +, УудА,=
15
Но
#1
система А,,
.., А,
7
У (++, А, =0.
2215
.., А, является
базисом
точки
о и, следова-
тельно, линейно независима. Тогда последнее равенство возможно лишь
при ©;+ оу; = 0,1 = 1, .., 7,1
$; оду, += 0. Ноу,» > 0 как разрешающий
элемент, поэтому ©, = 0. А тогда все остальные ©, = 0,1 = 1, ..., 7,1 5. Таким
образом, равенство (2.47) возможно лишь при 04 = ... = 0,1 = 01,41 = ... = 0,=
= 0, = 0. Это значит, что система (2.46) линейно независима.
Тем самым показано, что точка и, определяемая формулами (2.44),
является угловой точкой множества Х с базисом (2.46), дл, ..., хб-1, д, 51, ...,
м — ее базисные переменные, причем /(#2) < Ко), так как в формуле (2.45)
А,> 0, у,,> 0, 55> 0.
Замечание 2.1. Полезно подчеркнуть, что при доказательстве того, что
точка & является угловой точкой, мы нигде не пользовались тем, что Д,> 0.
Это означает, что независимо от знака А, формулы (2.43), (2.44) позволяют перейти от одной угловой точки 9 множества Х к другой его угловой
точке а, лишь бы [,(9) + ©, в > 0. Если %° = 0, то формулы (2.43), (2.44)
дают ту же угловую точку, т.е.
= о, но при этом происходит замена базиса
А,, ..., А, на базис (2.46).
Теперь обсудим правила заполнения симплекс-таблицы точки и
(табл. 2.2), постараемся понять, как связаны симплекс-таблицы точек о
и и. Как и
в табл. 2.1, в столбце Б укажем базисные переменные х!, ..., х°\,
х, х51,..., м точки м, в столбце У — соответствующие значения #\, ..., и 1,
ш*, ш5+1,..., ш’ ее базисных координат, вычисленных по формулам (2.44).
В столбцах х/ нам нужно поместить координаты \, ‚ вектора \; = В-А,, где
В-! — матрица, обратная к матрице В =(А, |...| А’ | А» | Аз
|-..|А,).
Следует, однако, заметить, что обращение матриц, их умножение являются довольно трудоемкими операциями, поэтому вычисление координат
вектора у, опирающееся на его определение, может потребовать большого
объема вычислений. В связи с этим полезно вспомнить, что вектор У,
совпадает со столбцом коэффициентов при переменной 27 в приведенной
системе В-!6 = В-\Ах, соответствующей угловой точке & с базисом (2.46).
К счастью, имея приведенную систему (2.35) для угловой точки 9, из нее
нетрудно получить такую систему и для точки и. Покажем, как это делается. С этой целью разделим 5-е уравнение системы (2.35) на разрешающий
элемент \,,> 0; учитывая, что в силу формул (2.44) ш* = 0°/у‚„, получим
ш* =
100
9
1
У;
Ул
+
аль
У ++
=
Уз
157;
У© д.
=
Уз
(2.48)
101
в
2+1
1
Ут
Ут
1+1
Ур
Узы
Уньы
Ар
5-1
У;
Уи
Уи
А 7+1
я
Ув
м
У
ны
жи
Уи
Уи
хи
Таблица 2.2
Из этого уравнения можно выразить переменную 1* через остальные
переменные:
о
5
Ук
п
Ул
:
Л
(2.49)
ты У;
1
после чего подставить
.
ее в другие
п
и =ж+
уравнения
.
95
У ух +ь
1=7
55
=; +
1
:
У»
У: +
= “|-
Уз
+
У
У;
Это
п
-—ж%-
У;
ЛЕ
системы.
У;;
У
1
даст нам
,
|=
=т+1 Уз
ДЁ
[м
У;
У:
2)
1=РА
Уз
откуда с учетом формул (2.44) получим
95
=,
==
аи,
Уз»
У, ола
Уз
рН
Л
1=1,..,7,1#$.
(2.50)
Уз»
Система г уравнений (2.48), (2.50) относительно неизвестных 41, л2, ..., п
равносильна системам (2.35), (2.32) и представляет собой приведенную
систему для угловой точки и. Отсюда следует, что в строке Г, табл. 2.2
согласно равенству (2.48) мы должны записать величины 7, „] = 0, 1, ..., п,
определяемые формулами
—
У; 0
= Ш
_
=
, \;
1
_
=—>,
Уз
;,;
.
= 0,
Л =1,....$-Ъ
$+1,..., т;
(2.51)
У;^
$,
В других строках Г» 1+ $, табл. 2.2, в силу формул (2.44), (2.50) следует
поместить величины 7, „= 0, 1, ..., п, определяемые формулами
И о
©
_
_
5#
У:
=0,
№:
УЕ
,
=У;;
—
у’
7:,;=0,
15157] #515;
5
ув”,
Л=
(2.52)
7+1,
.„В-Е-+У,
...) П.
$,
Наконец, заполним строку А табл. 2.2. С этой целью подставим переменную л* из выражения (2.49) в формулу (2.36), тогда с учетом формулы
(2.45) получим следующее выражение значения функции К(х) через небазисные переменные точки #:
(а) = Ко-
у
А;
-л-[-
А,
Ук
у
} $
1 и
у
102
В
х 15
У
х$-
=
ЕЁ
У;
ия
=
1+
1
_
-А,
- А,
ты
У;
р
|=
У
(253)
Из формулы (2.53) следует, что в строке Д
саны величины А р =
табл. 2.2 должны быть запи-
0, 1, ..., п, вычисленные по формулам
_
©
Ло = 1(#)= /(%)-А, —,
-
1
А, =-А,
5
‚А, =0,
15157,15;
Уз»
А, =0, А, =А, А,
Л, ужи...
В+, т,
(2.54)
Уз
Таким образом, симплекс-таблица угловой точки &@ с базисом (2.46)
полностью заполнена. Несложный анализ формул (2.51), (2.52), (2.54)
с учетом конкретных числовых значений 1,7, „ А» А УВ базисных столбцах
табл. 2.1, 2.2 показывает, что элементы этих таблиц связаны следующими
простыми соотношениями:
^ У;
ыы
Уз»
У;
(2.55)
1<1<7,1#5,
1 =0,1,..., п.
Если элементы и строки табл. 2.1 обозначить через \, (0), Ао), Г(о),
Д(о), а элементы и строки табл. 2.2 — через 1, (#), Аш), ГК), А(ш), то
соотношения (2.55) можно записать в векторной форме:
Г. (0-1
У,
®.
Г. (2) = Го)
(9)
1<1<7,1#5;
'
У; (0)
(2 56)
(о)
4(#2) =А(0)-А,
(о) уГ, (0)
(&.
Соотношения (2.55) и (2.56) описывают один шаг известного метода
Гаусса — Жордана [9, 31], соответствующий исключению переменной 2%
из всех строк симплекс-таблицы, кроме строки Г., в которой переменная 4%
остается с коэффициентом \,„(#) = 1.
Итак, один шаг симплекс-метода, заключающийся в переходе от одной
угловой точки о множества Х к другой угловой точке #, описан.
Этот
шаг формально можно истолковать как переход от одной симплекстаблицы (табл. 2.1) к другой симплекс-таблице (табл. 2.2) по формулам
(2.55) или (2.56), где номера А, 5 и разрешающий элемент \,„= \;„(0) выбираются из условий (2.42), (2.43).
Формулы перехода (2.55), (2.56) были получены в предположении, что
множество номеров базисных переменных угловой точки о имеет специальный вид Г(о) = {1, 2, ..., }}, что соответствует табл. 2.1. Конечно, путем
перенумерации переменных всегда можно добиться, чтобы множество [(5)
имело указанный вид, но это связано с дополнительной обработкой чис-
ловых массивов, усложняет программную реализацию симплекс-метода
на компьютере. Однако нетрудно убедиться, что можно обойтись без
какой-либо перенумерации переменных, а формулы перехода (2.55), (2.56)
остаются справедливыми для угловых точек с любым множеством базисных номеров.
В самом деле, пусть номера базисных переменных начальной точки о
образуют множество [(9) = {/1, 2, ..., ],}. Заметим, что в процессе примене103
ния симплекс-метода множество Г(5) обновляется на каждом шаге и нельзя
ожидать, что номера ]1, >, ..., /, из этого множества будут упорядочены, скажем, в порядке монотонного возрастания или убывания (так, например,
в табл. 2.2, в отличие от табл. 2.1, монотонность номеров базисных переменных в столбце Б уже нарушена). Однако это обстоятельство нашим
дальнейшим рассуждениям никак не помешает. Обозначим
хл
Ж=|
ол
|
9=| |
хл
5=|
=
Г
(2.57)
а;
а,
...
...
...
а;
-.
а,
Ув =» (0) = ВА,
а;
«р Ая. |
ол
ал
В
сл
= (А;
| А,
уу = (0) = В,
|... | А;
у;
(2.58)
у=у, (о) =(В-А,),
о =) = (ВАБУ, =,
В=.п.
(2.59)
(2.60)
Так как В`1В = В-КА, |..|А‚)=(В-1А, |...| ВА, )=(е |.. в) = [Г — единичная матрица размера их
г, то У; = В- ‘А, =е; для всех {= 1, . , 7. Кроме
того, согласно теореме 2.1
поэтому 9 = В
Во = Анил +...+Азой =6;
и =0,
уе Г(о),
=уу, ол =(В-—16): = У
1, „5
м= О, уе
=
Ги). Умножая
п
систему Ах = У, А‚х! =Ь слева на матрицу В-!, как и при выводе системы
#1
(2.34), (2.35), получим приведенную систему угловой точки о с базисом В
в векторной форме
п
0<5=В-=щ=х+
У (ВАд" = Ух
веГ(о)
=
или в покоординатной форме
ой =уо=хй+
У
'
ыы,
у
= У" в%®,
1=1,...7.
(2.61)
По аналогии с формулами (2.36), (2.37) для целевой функции получим
ее приведенную форму
1) =(с,х)+ У
с7х1 [Е
ЛеГ(о)
=(5,5)-
У
вау
Лао)
У
с1х7 =
Лео)
У (с, В-1А,) с/х.
ЛЕЦи)
Это выражение можно переписать в виде
ду = Г) + У Аня = 1) + У Драй,
ве1(о)
104
Ге
(2.62)
где приняты обозначения
Ао
А, =(с, ВА) с
=
(о)
= (с, 5),
‚
=(5,у,)-с* = Услуь-с®,
=
#=12,..,п,
(2.63)
2.63
причем учтено, что для всех А =ДЕ [(и) величина Д, = 0, поскольку
А; = (С, В-А, усл =(с,е;)-сй =сй-сй =0,
1=1,...,г.
Информацию из формул (2.58)—(2.63) об угловой точке о с базисом
В= (А; ,.. А, ) удобно записать в виде новой симплекс-таблицы (табл. 2.3):
строка Г; в ней соответствует 1-му уравнению (2.61), строка А — представлению (2.62) для целевой функции.
Таблица 2.3
Б
у
д
...
х
...
м
...
хл
...
х
х’
10
У
=.
У
...
Ут
=.
у, =0
...
Уи
Г; |
м; |
40
У
ое
У, =1
= |
У
Г,
х),
узо
1
...
У;
...
У;
...
У, я= 0
...
Уз
Г;
|2,
„о
\,1
...
у,
..
У-ь
...
у,
=0
...
Ао
А;
...
А;
А,
...
= 0
...
Г,
|
А,
п
А
Отметим, что в столбце базисной переменной х/ вектор У; =е;
т.е. У; =0 при всех [# 1,1515, у; = 1; в нижней строке этого столбца
1?
Д; =0. Симплекс-таблицу 2.3 можно кратко записать в виде матрицы
5=(о,
в) = №№ АИ .. А,)№ |= |Аг
У!
размера (т + 1) х (п
+ 1), где столбцы \, подматрицы Г=|
... | и элементы
у,
строки А вычисляются по стандартным формулам
у, = В-!А,,
А,
= (с, В-А,)
—с
= (с, у») —с*,
В= 0, 1, .... П;
(2.64)
здесь для единообразия формул принято 6 = Ау, предполагается, что с0 = 0,
остальные обозначения взяты из (2.57)—(2.60).
Опишем один шаг симплекс-метода в общем случае. По аналогии с фор-
мулами (2.40)—(2.42) рассмотрим три взаимоисключающие возможности.
Случай Г. Справедливы неравенства
А; = (5, В-1А,)-с/ $0, }=1,..п,
(2.65)
105
т.е. в нижней строке симплекс-таблицы 2.3 все величины Д/, ..., Д„ неположительны. Тогда с учетом равносильности систем (2.32) и (2.61) для любой точки х Е Х имеем
Ле»)
У о > (,л)+ ЛГ)У ©, ВАД =
Ци)
= (Е х+. У
вау
= (с, 0) = } (о).
1+Г(о)
Это значит, что о — решение задачи (2.31).
Случай П. Существует номер А > 0, Ав [(о), такой, что
А,>0, у, = В-1А, <0,
(2.66)
т.е. в Ё-м столбце симплекс-таблицы 2.3 над А, > 0 нет ни одной положительной величины 1». Тогда точка х = х(®) = (21, ..., м”) с координатами
ХЛ = ОЛ у,
1=..7;
=Ь х7=0,
]е[(о), =,
будет принадлежать множеству Х при всех # > 0. Отсюда и из выражения
(2.62) следует, что /(х(Е)) = Ко) - Аи >> —< при # > +<°. Это значит, что
[. = ше (г) = —<о, т.е. задача (2.31) не имеет решения.
ХЕ
Случай Ш. Существует номер А > 0, Ав Г(о), для которого Д,> 0, причем
для каждого такого номера # найдется такой номер $ 1 <1<
7, что у; > 0,
или, короче,
Уд,> 03,1= (В-1АБЬ> 0.
(2.67)
Это значит, что в каждом Р-м столбце симплекс-таблицы 2.3 над величиной Д, > 0 имеется хотя бы одно положительное число \; „. Тогда выберем
номер $ и разрешающий элемент 1, > 0 из условий
пит Ио = 150 бе1(0)={1<1<'.,>0}.
11 (0) У: +
(2.68)
У; +
Далее, рассуждая так же, как выше (см. формулы (2.44)—(2.46) и пояснения к ним), убеждаемся, что точка & = (#1, ..., и”) с координатами
ол
шл =ол -— У:
У;ю
=уо- Ук”,
5
.
.
1=1...7,185;
Ул”
.
ш^ =0;
(2.69)
Ш = 2 _ 150 $ №7 =0, 18 Го),
1 =,
У;
Уз
принадлежит множеству Х, является угловой точкой этого множества с базисом
(А; ,-.. А;
Я:
(2.70)
Значение функции /(^х) в этой точке > равно
(ш) =Л(®)- д—
106
5
=А,-А,
У;
Уз
(2.71)
Замечание 2.1 с очевидными изменениями сохраняет силу в рассматриваемом общем случае. Приведенная система точки и выводится так же, как
система (2.48), (2.50), и имеет вид
=
+
Уз
у * 1 хх",
м [2)) у
шл =хЛ .- т
т
У;
(212)
+ 21)
У [№ ныУ; |»
у
а аналогичное (2.53) выражение для функции /(х) выглядит следующим
образом:
А; }=-|;
лед -лед-|-
У;
Нетрудно видеть, что если Го) =
переходят
У | —А, У, |
в соответствующие
я о)
(2.73)
У;л
{1, 2, ..., }, то формулы (2.68)—(2.73)
формулы
(2.43)—(2. 46),
(2.48),
(2.50),
(2.53). Анализируя коэффициенты при переменных 41, 42, ..., л” в выражениях (2.72), (2.73), получаем аналогичные (2.51), (2.52), (2.54) формулы
для величин, которые должны
находиться в строках Г(),
1 = 1, 2, ..., 7,
А(и) симплекс-таблицы точки , и убеждаемся в том, что переход от симплекс-таблицы точки о с базисом В=(А,,.., А; ) к симплекс-таблице
точки & с базисом (2.70) совершается по тем же формулам (2.55), (2.56),
где номера А, $ определяются из условий (2.67), (2.68).
2.4.3. Примеры
Пример 2.6
Рассмотрим каноническую задачу линейного программирования
1) =10х2? -х3З+4х4+х5 > шш,
ХЕХ,
Х={х = (21, х2, хЗ, х4, 5) > 0: х1+2х3 +44 =2,241 - хЗ+5 =3,-х1+х2 +53 =1}.
Уравнения,
задающие
2
это
множество,
1
0
31=| 2
1
1+10
—1
можно
записать
2
1
в виде
0
2 +1 -1 53 +|04 +|
1
1
0
Как и выше, столбец из коэффициентов
115.
0
при переменной лм будем обозначать
через А;. Нетрудно видеть, что выписанная система уравнений является приведенной системой для угловой точки 5 =
(0)
= {п
= 4,
(0, 1, 0, 2, 3) с базисом А», Ау, Аз; здесь
2 = 5,з=
2},
В
=
(А
Аь,
А).
Внесем коэффициенты этой системы в строки Г., Г›, Гу симплекс-таблицы
точки 9%. Пользуясь формулами (2.63), (2.64), вычислим значения величин А, ] = 0,
1, .., 5 и впишем их в строку АД табл. 2.4. В этой строке величина А; > 0, а в столбце
13 имеются положительные элементы \! з = 2, \зз = 1. Это значит, что в точке 9% реализовались условия (2.67). Определим номер $ из условия (2.68):
107
Таблица 2.4
Б
У
д
м
д
р
5
Г,
Г.
4
2
2
3
1
2
0
0
2
—1
1
0
0
1
Г:
22
1
-1
1
0
0
21
—
0
0
0
А
18
Как видим, здесь минимум достигается сразу при двух значениях $ = 1 и $ = 3. Для
определенности возьмем $ = 3. Тогда разрешающим элементом будет \зз= 1:
=3,$=3.
В табл. 2.4 и в последующих таблицах разрешающий элемент будем помещать в ква-
дратик. В соответствии с выбранным разрешающим элементом переменную х? =?
и столбец Аз =А> будем выводить из базиса, и заменим их переменной 43 и столбцом
Аз соответственно. Согласно формуле (2.56) разделим строку Гз на \зз= 1 и получен-
ные величины внесем в строку Гз табл. 2.5. Затем будем последовательно умножать
строку Гз табл. 2.5 на величины \! з= 2, \›з=-1, Аз= 18, получившиеся строки вычтем
соответственно из строк Г\, Го, А табл. 2.4 и результат вычитания внесем в строки Г\,
Г», А табл. 2.5. Таким образом, придем к симплекс-таблице 2.5 следующей угловой
точки 51 = (0, 0, 1, 0, 4) с базисом В! = (Ал, Аз, Аз), со множеством базисных номеров
(01) = 1 =4,»=5,
4 = 3} и со значением функции (91) =3 <)
= 21.
Таблица 2.5
Б
У
Г,
Г,
24
25
Г.
д
А
д
д?
хз
4
го.
0
4
1
—2
1
0
0
1
0
0
1
1
—1
1
1
0
0
3
14
—18
0
0
0
В строке А табл. 2.5 величина А, = 14 > 0, в столбце х! имеются положительные
элементы \!1 = 3, \21 = 1, т.е. снова реализовались условия (2.67). Пользуясь правилом (2.68), имеем
шш 0.4
31
=0,
исходя из чего однозначно определяем номер 5 = 1 и разрешающий элемент \/ | = 3.
Это значит, что переменную хЛ = х^ и столбец А; = А мы выводим из базиса и заменяем их переменной ^!1 и столбцом А, соответственно. По формулам (2.56) вычислим симплекс-таблицу 2.6 следующей угловой точки 9. = (0, 0, 1, 0, 4) с базисом
Во= (А., А., Аз), со множеством Г(9) = {и =1,р=5, 3 = 3} и со значением функции
(из) = 3 = Ки). В строке А этой таблицы среди величин Д,, ..., А; нет положительных. Это значит, что реализовался случай
(2.65), точка оо = (0, 0, 1, 0, 4) является
решением рассматриваемой задачи, / = /(%›)=3.
Заметим, что точки 91 и 9› совпадают и различаются лишь базисами. Выясняется,
что еще в табл. 2.5 мы, оказывается, уже получили решение задачи, но не смогли это
распознать и вынуждены были сделать еще один шаг симплекс-метода.
108
Таблица 2.6
5
0
1
0
0
АС
ИРА
Рассмотрим
еще
одну
задачу:
ад=жм+х2-х3-хА+х
> шШ,
Х={х = (х1, д2, ХЗ, х4, 5) > 0: х1
Нетрудно
видеть, что 5% =
ХЕХ,
ХЗ +4 +5 =Ь 2+3
4+5 =1}.
(1, 1, 0, 0, 0) — угловая точка с базисом Ву = (А\, Ао),
со множеством [(95) = {71 = 1, р = 2} и система уравнений, задающая множество, уже
записана в приведенной форме.
Таблица 2.7 представляет собой симплекс-таблицу точки 9%. В строке А имеется
несколько положительных величин ДА; = А, = Д. = 1. В качестве разрешающего элемента выберем величину 13 = 1 из столбца 43. По формулам (2.56) при $ =2,#=3
совершим переход к симплекс-таблице 2.8 угловой точки 1 = (2, 0, 1, 0, 0) с базисом
В! = (А,, Аз), со множеством Г(о1) = {1 = 1,2 = 3}.
Таблица 2.7
У
д!
2
1
1
0
1
0
1
2
0
0
1
1
В строке А табл. 2.8 имеется величина А, = 2 > 0, но столбец ^4 не содержит положительных элементов. Это значит, что реализовался случай (2.66). Следовательно,
[. =-<о, рассматриваемая задача не имеет решения.
Таблица 2.8
и
2
1
0
0
2
3
1
1
1
—1
1
1
—1
0
2
0
Подобно тому как это сделано в табл. 2.7, 2.8, в последующих
симплекс-табли-
цах мы иногда будем опускать обозначения строк или столбцов, полагая, что читатель уже привык к обозначениям.
2.4.4. Конечность метода в невырожденной задаче
Из
вую
вышеизложенного
точку
д
следует,
множества Х,
что,
с помощью
имея
какую-либо
симплекс-метода
начальную
угло-
последовательно
109
переходя от одной угловой точки к другой, можно построить последовательность угловых точек 5%, 5, ... › Ор» --. . Согласно формуле (2.41) на каждом шаге имеем
У зо (9›)
(р)
= Л(›)-Аь (о)
У;
(9)
где Ду(о,) > 0, \54(ор) > 0, Уо(9)= ой > 0. Отсюда следует, что
Ков) > Ко!) > -.>Ко,) >...
(2.74)
Процесс получения последовательностей {0,}, {}(0›)} в дальнейшем
будем кратко называть симилекс-процессом.
Заметим, что в примерах 2.6, 2.7 симплекс-процесс завершился за конечное число шагов выполнением одного из условий (2.65) или (2.66). Однако
всегда ли это будет так? Возможно, существуют канонические задачи,
для которых симплекс-процесс может неограниченно продолжаться? Для
ответа на этот принципиально важный вопрос внимательнее проанализируем описанный симплекс-процесс. Прежде всего заметим, что поскольку
варианты (2.65)—(2.67) изменения знаков величин Д,(и), у; ,(0) исчерпы-
вают все возможности и взаимоисключают друг друга, то симплекс-процесс может быть бесконечным лишь в том случае, когда на каждом шаге
этого процесса будут реализовываться условия (2.67).
Каждая реализация условий (2.67) связана с переходом от одной угло-
вой точки к другой угловой точке, от одной симплекс-таблицы к другой
симплекс-таблице. Это значит, что всякий бесконечный симплекс-процесс
порождает последовательности угловых точек {0,}, их базисов {В,}, симплекс-таблиц {5}, где 5, является симплекс-таблицей точки О, с базисом В,
причем, как очевидно из формулы (2.74), соответствующая последователь-
ность {(и,)} не возрастает. Поскольку угловых точек и их базисов в задаче
(2.31) конечное число, то конечно и множество симплекс-таблиц этой
задачи. Отсюда следует, что симплекс-процесс может быть бесконечным
лишь в том случае, когда хотя бы одна из симплекс-таблиц 5, соответствующая некоторой угловой точке о с базисом В, будет повторяться бесконечно
много раз. Это значит, что найдется бесконечная подпоследовательность
номеров {р}: р! <р›< ...<ри<... такая, что о» =%, В» =В, 5, =5, Де )= / (о)
при всех /[ =
1, 2, .... В силу (2.74) это возможно лишь тогда, когда
Л(@,)=сопзе
Ур>р|.
(2.75)
Таким образом, необходимым условием бесконечности симплекс-процесса является условие (2.75), которое должно выполняться начиная
с некоторого номера р\. Посмотрим, когда это возможно. Начнем с выяснения того, когда /() = Ки) и когда /(ш) < Ко), где угловая точка и получена из угловой точки о в результате одного шага симплекс-метода. В силу
условий (2.67)—(2.68) Д„(о) > 0, у, (и) > 0 и, кроме того, у;0(0)=0^ >0 как
базисная переменная угловой точки 9. Отсюда и из формулы
(2.71) сле-
дует, что /(#) = (о) тогда и только тогда, когда 04° = 0, т.е. о — вырожденная
угловая точка. Такое явление мы наблюдали в примере 2.6 при переходе
110
от табл. 2.5 к табл. 2.6. Таким образом, среди канонических задач имеет
смысл выделять задачи вырожденные и невырожденные.
Определение 2.3. Задачу (2.31) называют вырожденной или невырожденной соответственно тогда, когда множество Х в этой задаче содержит
хотя бы одну вырожденную угловую точку или не содержит таковые.
Покажем, что в невырожденных задачах (2.31) симплекс-процесс всегда
конечен. В самом деле, в таких задачах все базисные координаты угловой
точки о будут положительны. Поэтому какими ни были номера А, $, определяемые из условий (2.37), (2.38), всегда ол > 0 и согласно (2.74) тогда (2) < (о).
Отсюда следует, что в невырожденных задачах симплекс-процесс порождает такую последовательность угловых точек 5%, 01, ..., 9, ..., для которых
Ко) > Кл) > => Ка,) > =.
(2.76)
Поскольку угловых точек конечное число и из-за строгих неравенств
они повторяться в симплекс-процессе не могут, то этот процесс закончится
на каком-то шаге выполнением условия либо (2.65), либо (2.66). Впрочем,
конечность симплекс-процесса здесь вытекает и из несовместимости соотношений (2.75), (2.76). Таким образом, доказана следующая теорема.
Теорема 2.2. Пусть в канонической задаче (2.31) множество Х непусто и невырождено, гапКА = т = т < п, пусть о, — произвольная угловая
точка этого множества. Тогда симплекс-процесс, начинающийся с точки оу
при выборе разрешающего элемента \,„ из условий (2.67), (2.68), завершится
за конечное число шагов нахождением некоторой угловой точки и, множества Х, в которой реализуются условия либо (2.65), либо (2.66), причем
в случае (2.65) о, — решение задачи (2.31), }(и›)= + > —°°, в случае (2.66)
задача (2.31) не имеет решения, }. = —.
Заметим, что хотя теорема 2.2 справедлива при любом выборе номеров А, 5 из условий (2.67), (2.68), но продолжительность симплекс-процесса
и последняя точка о, могут существенно зависеть от выбора этих номеров.
Интересно отметить, что если номер А из условий (2.67) как-то уже выбран
и зафиксирован, то в невырожденных задачах номер $ условием (2.68)
определяется однозначно: для невырожденной угловой точки #@ = (и! ...,
ш") с базисом (2.70) координаты #4 > 0 дляй = $, 1 <1<7. Из формул (2.69)
следует, что ий —1;40^/у;ь>0 или ой, >09
ИУ;, для всех {Е 1[,(0),1# 5,
так что минимум в левой части условия (2.68) будет достигаться на единственном номере $Е
1,(5).
Отсюда вытекает, что условие (2.68) может неоднозначно определять
номер $ лишь в вырожденных задачах. Кстати говоря, если в (2.68) минимум достигается хотя бы на двух номерах $, [Е 1,(0), 5 = [, то в силу (2.69),
#5 =шЛ = 0, т.е. угловая точка # непременно будет вырожденной (так случилось в табл. 2.4, 2.5). Конечно, точка
может быть вырожденной и в том случае, когда условие (2.68) однозначно определяет номер5$е 1,(5), для которого
0 = 0 (это значит, что точка о вырожденная)); тогда в силу (2.69) у точки #
базисная координата #* = 0 (см. табл. 2.5, 2.6). Впрочем, если
5Е1,(0), 54 =0,
(2.77)
то минимум в условии (2.68) равен нулю и будет достигаться именно
на этом номере $ (и на всех других номерах [Е 1[,(0), для которых 97 =0),
111
и согласно формулам (2.69), (2.71) тогда ш = в, /(ш) = Ко). Это значит,
что при выполнении условий (2.77) мы сделаем один шаг симплекс-метода
и останемся в той же точке & = 9, лишь заменив один ее базис В =(А,,..., А,
)
на другой базис (2.70) (именно так случилось в табл. 2.5, 2.6). Здесь возникает естественный вопрос: при выполнении условий (2.77) не может ли
привести дальнейшее применение симплекс-метода к бесконечному перебору базисов угловой точки о, не может ли здесь реализоваться бесконечный симплекс-процесс? Оказывается, так вполне может быть.
2.5.* Антициклин
2.5.1. Пример
Приведем пример вырожденной задачи, в которой симплекс-процесс
приводит к так называемому зацикливанию, заключающемуся в бесконечном циклическом переборе базисов одной и той же угловой точки.
СО
Рассмотрим каноническую задачу
До) =м4 -45+46 > шш,хЕХ,
(2.78)
где
2+4 +25+46+21 =1,
Х=\х=(х1, 2,...х7)>0:
-21+х2+х4-3х5+4х6 =0,..
(2.19)
—31 +3 +454 —-2х5+л6 =0
Нетрудно видеть, что точка 9% = (0, 0, 0, 0, 0, 0, 1) является угловой точкой с бази-
сом (Аз, А», Аз) = Ву, система (2.79) представляет собой приведенную систему этой
точки. Образуем симплекс-процесс, взяв в качестве начальной точку 9 с указанным
базисом. В табл. 2.9—2.15 приведены результаты вычислений для первых точек 5,
0, .... 01; В квадратиках указаны разрешающие элементы этих таблиц. В табл. 2.9, 2.11,
2.13 разрешающий элемент условием (2.68) определяется неоднозначно, в табл. 2.10,
2.12, 2.14 разрешающий
элемент находится однозначно.
Таблица 2.9
д
3
дб
д
1
4
1
—1
Таблица 2.10
112
—3
1
4
0
—15
0
—5
0
Таблица 2.11
1
0
0
0
Таблица 2.12
1
0
0
0
Таблица 2.13
дл
1
-2
-3/5
7/5
6
0
0
1
5
0
2
1/5
—4/5
—3
1
0
0
26
0
1
2/5
-3/5
—2
0
1
0
0
—2
1/5
1/5
2
0
0
0
Таблица 2.14
0
1
0
0
1
0
0
0
Таблица 2.15
26
3
я
0
1
0
0
0
1
0
0
0
0
Как очевидно, табл. 2.9 и 2.15 совпадают, и поэтому если на следующих шагах продолжать выбор тех же разрешающих элементов в том же порядке, то придем к бесконечному симплекс-процессу, в котором будет осуществляться циклический перебор базисов точки 9% в следующем порядке:
(Аз, А», Аз) —> (Ат, Ад, Аз) > (АА А!) > (А.А; А)
—> (А, А
И
Т.Д.
ния
Любопытно
меньше
шести
отметить,
Ав) — (Аз, А», Ав) > (Аз, А», Аз)
что
длина
цикла
в задачах
линейного
программирова-
не бывает.
113
Этот
пример
показывает,
что описанный
выше
симплекс-метод
дей-
ствительно может привести к бесконечному симплекс-процессу и с его
помощью может быть решена не всякая каноническая задача (2.31). Если
функция /(х) = (с, х) принимает одинаковые значения в нескольких вырож-
денных угловых точках, то, по-видимому, возможны более сложные бесконечные симплекс-процессы, в частности, явления зацикливания с участием
в цикле базисов различных таких точек.
2.5.2. Лексикографическое упорядочение векторов
Можно ли избежать зацикливания при работе симплекс-метода или,
точнее, появления бесконечных симплекс-процессов? Нельзя ли уточнить правило
(2.67), (2.68) выбора разрешающего
элемента так, чтобы
для любой задачи (2.31) симплекс-процесс, начинающийся с произвольной
начальной угловой точки, завершался за конечное число шагов реализацией одного из условий (2.65) или (2.66)? Положительный ответ на эти
вопросы имеет важное значение для обоснования симплекс-метода и означал бы, что можно, по крайней мере в принципе, решить любую задачу
линейного программирования симплекс-методом.
Определение 2.4. Любое правило выбора разрешающего элемента,
уточняющее правило (2.67), (2.68), с помощью которого можно избежать
зацикливания или, точнее, появления бесконечного симплекс-процесса во
всякой канонической задаче (2.31), назовем антициклином.
На практике правило (2.67), (2.68) нередко уточняют следующим образом: среди номеров А, удовлетворяющих условиям (2.67), выбирают тот,
для которого Д, принимает максимальное значение, а если таких номеров
несколько, то берут минимальный
из них, и затем после такой фиксации
номера А берут номер 5 минимально возможным из условий (2.68). Такое
уточнение правил (2.67), (2.68) действительно гарантирует однозначность выбора разрешающего элемента у, выглядит вполне естественным
и в примере 2.8, как легко проверить, на самом деле позволяет избежать
зацикливания. Однако в общем случае в классе канонических задач линейного программирования такое уточнение правила (2.67), (2.68) не спасает
от зацикливания и, следовательно, не может служить антициклином. Это
говорит о том, что построение антициклина — дело тонкое, и с первого
взгляда неясно даже, существуют ли они. К счастью, антициклины существуют, и к настоящему времени уже созданы различные и не очень сложные антициклины (см., например, работы [4, 5, 12, 36]).
Остановимся на одном из них [4]. Для описания этого антициклина нам
понадобится понятие лексикографического упорядочения конечномерного
пространства.
Определение 2.5. Говорят, что вектор х = (^\, ..., 2) Е В! лексикографически положителен (отрицателен), и обозначают х > 0 (х < 0), еслих*0
и первая ненулевая координата вектора х положительна (отрицательна).
Говорят, что вектор х Е В! лексикографически больше (меньше) вектора
УЕ К’, и пишутх
> и (х < у), еслих-у
> 0 (х-у<0).
Другими словами, запись х > 0 означает, что существует номер р, 1 <
<р < [
114
такой, что х! =
... = дР-1 = 0, др> 0, остальные координаты 2+1, ..., хп
могут быть любыми. Лексикографическое неравенство х> у означает существование такого номера р, что 1 <р<рд!= 1, ..., Р-1 = уР-1, хР> ур.
Для любых х, уЕ Е! выполнено одно и только одно из соотношений:
х> их < уилих
= у. Ясно, что отношение > транзитивно, т.е. если х > у,
у > 2, тох > 2. Упорядочение векторов в их лексикографическом убывании
(или возрастании) вполне аналогично упорядочению слов в словарях, что
и объясняет присутствие слова «лексикографический» в определении 2.5.
Перечислим несколько важных для дальнейшего изложения материала
свойств лексикографического отношения > (эти свойства несложно вывести, опираясь на определение 2.5):
1) еслих > 0, то ах > 0 для всех
@ > 0;
2) еслих > у, то ох > ау для всех @ > 0;
3) еслих
> 0, и > 0, тох + ау > 0 для всех
© > 0;
4) еслих > 0, тоу>у- ах для всех © > 0иуЕ
Е‹.
Определение 2.6. Пусть Му — некоторое (конечное или бесконечное)
множество целых чисел (номеров), пусть С = {и; = (И!,..., УГ) Е В!, {Е М‹}.
Вектор и, $ Е Му называется лексикографическим минимумом множества С,
если для всех {Е Му либо у; > у., либо у, = у.. Лексикографический мини-
мум будем обозначать у, = [ехшту,.
1ЕМо
Лемма 2.1. Пусть Му — конечное множество номеров, и пусть в заданном множестве С = {у;Е В 1Е М\} все векторы различны. Тогда лексикографический минимум множества С достигается на единственном векторе
У, Е С, т.е. у, < у; для всех 1 Е Му, 1+
5. Для определения номера $ нужно
последовательно рассматривать множества
Мо, М, ={5: $Е Му, \1 =шту..
М» ={$: Е М1, У;
ут, у?}
до тех пор, пока не будет обнаружено множество М, 0 <У\
< [, состоящее
из единственного номера $, который и будет искомым.
Доказательство
В простейшем случае, когда множество Му состоит из единственного номера $, по определению у, — искомый вектор. Если Му содержит
более одного номера, строим множество М\. Если М, содержит лишь один
номер 5, то и! < и для всех {Е Му, 1+
5, и ясно, что у, = ехпипу.. Если М\
1
0
содержит по крайней мере два номера, то процесс продолжается.
Пусть уже построены множества М5 М! 5..5 М» р <1 причем множества Му, ..., М1 содержат более одного номера. Если М, состоит из единственного номера 5, то у, — искомый вектор. Если М, содержит более одного
номера, то строим множество М,,1 и т.д. В крайнем случае, когда множества
Мь ..., М1 окажутся состоящими более чем из одного номера, этот процесс
закончится построением множества М/ = {$$Е М} 1: у. = пт 91}. Если бы
1ЕМ]-1
множество М, содержало два различных номера 5, 4, то у векторов у,, У, все
координаты были бы одинаковыми, т.е. у,= у. Однако по условию леммы
в множестве С нет двух одинаковых векторов. Следовательно, М) состоит
из единственного номера $, причем у, = 1ех пилу. Лемма доказана. №
0
115
2.5.3. Лексикографический антициклин
гл
Опираясь на отношение > между векторами, введем отношения >, =
на множестве симплекс-таблиц. Не стремясь к общности построений, мы
можем ограничиться следующим определением, достаточным для дальнейших рассмотрений.
Определение 2.7 Симплекс-таблицу 5 = 5(, В) угловой точки 9 с базисом В назовем лексикографически положительной и будем обозначать 5>0,
если для всех { = 1, ..., г строка Г;= (\;д, \; 1, --- \;п) > 0 (см. табл. 2.3). Будем
говорить, что симплекс-таблица 5\ = 5(91, В+) лексикографически больше
А
другой симплекс-таблицы 5. = 5(92, В2) и будем обозначать 5, >52, если
строка А =А! = (Д{,..., А!) таблицы 5 лексикографически больше строки
А=А? = (Дб, ...Д2) таблицы 50.
Для примера укажем, что табл. 2.4—2.8, 2.13 лексикографически положительны, табл. 2.9—2.12, 2.14, 2.15 не являются таковыми; симплекс-
таблица 2.12 лексикографически больше симплекс-таблицы 2.11.
Используя введенные лексикографические понятия, перейдем к описанию обещанного антициклина. Напомним, что применение симплексметода во всякой невырожденной задаче приводит к построению последовательности угловых точек 5, 91, ...,
Ор, ... СО свойством (2.76). Так как
в симплекс-таблице точки 9, первое число в строке А равно (э,), то
согласно определению 2.6 свойство (2.76) будет означать, что соответствующие этим точкам симплекс-таблицы 5%, 51, ..., 5» ... таковы, что
А
Л
Л
А
50#51>...>5р >...
(2.80)
При написании цепочки лексикографических неравенств (2.80) мы учли
А
А
А
транзитивность отношения > для симплекс-таблиц: если 5, >55, 52 >53, то
А
5, > 53. Так как симплекс-таблиц конечное число, а в цепочке (2.80) повторение таблиц невозможно, то еще раз убеждаемся в конечности симплекс-процесса в невырожденных задачах. В вырожденных задачах последовательность {(и,)} обладает, вообще говоря, лишь свойством (2.74),
а свойство (2.80), как очевидно из примера 2.8 (см. табл. 2.9—2.15), может
не выполняться. Возникает идея: нельзя ли как-то дополнить правило
(2.67), (2.68) выбора разрешающего элемента так, чтобы и в вырожденных
задачах получались последовательности симплекс-таблиц со свойством
(2.80)? Реализация этой идеи приведет нас к антициклину.
Пустьо— какая-либо угловая точка множества
Х с базисом В = (А ‚д А;)
и ссимплекс-таблицей 5 = 5(, В), пусть это будет табл. 2.3. Предположим,
что таблица 5 удовлетворяет условиям (2.67) и уже зафиксирован какойлибо номер Ё# [(о), Ё > 0, из (2.67). Выберем номер $ и разрешающий элемент у,, из условия
Г.
Уд
116
=1ехшт г ‚ 5Е[,(0)={1<1<,/, у;, >0}.
©
Ул
(2.81)
С помощью леммы 2.1 убедимся, что условие (2.81) однозначно
определяет номер $. Для этого нам надо показать, что множество
Г; .
С =1и; =—*,
1Е [,(и) = Му | состоит из различных векторов. Допустим, что
ЪЁ
два вектора из этого множества оказались равными:
Г
ГР.
УЕ
Тогда Г; = Ты
Р,ЁЕ
1, (0), р=Ё.
Ур
г р» Т.е. строки Г, Г, в матрице
р
Г= (о [ |... [\„)= (ВВ
| В-ЧА, |...| ВА, ) = ВЫ] А)
пропорциональны. Множество Х непусто, поэтому система (2.32) совместна,
и тогда согласно теореме Кронекера — Капелли [9] гапКк (В |А) = гапК А =#.
Отсюда и из невырожденности матрицы В-1 следует, что гапКГ = гапКА = 7.
Это значит, что строки Г\, ..., Г, матрицы Г образуют линейно независимую
систему векторов, и никакие строки Г, Г, в этой матрице пропорциональными не могут быть. Полученное противоречие показывает, что множество С
состоит из различных векторов. Согласно лемме 2.1 условие (2.81) однозначно определяет номер $ Е [,(5), причем для его практического нахождения можно воспользоваться конструкциями, указанными в этой лемме.
Важно заметить, что лексикографическое правило (2.81) выбора разрешающего элемента не отменяет ранее сформулированное правило (2.67),
(2.68), а, наоборот, включает его в себя, дополняет и уточняет его. В самом
деле, в соответствии с конструкциями леммы 2.1 для поиска номера 5
из условия (2.81) мы в первую очередь образуем множество
М, =15Е Му =1 (0): 189.
= пр,
Ук
Мо
которое в точности совпадает с множеством номеров $, определяемых условием
(2.68). Отсюда,
кстати, следует, что если множество М, состоит
из единственного номера (так будет, например, в невырожденных задачах),
то оба правила (2.67)—(2.68) и (2.81) определяют один и тот же номер $,
один и тот же разрешающий элемент, ,. Если же М! содержит более одного номера, то правило (2.81) устраняет возможную в вырожденных задачах
неоднозначность в выборе разрешающего элемента при пользовании правилом (2.67)—(2.68). Итак, выберем номера А, $ и разрешающий элемент
У .=/5+(0) из условий (2.67), (2.81) и по правилам (2.56) совершим переход
от симплекс-таблицы 5(о, В) угловой точки о с базисом В к симплекс-таблице 5(и, В) угловой точки & с координатами (2.69) и с базисом (2.70).
Лемма 2.2. Пусть симплекс-таблица 5(о, В) угловой точки 9 с базисом
В лексикографически положительна, т.е. 5(о, В)>-0, пусть в точке о реализовался случай (2.67). Пусть, далее, разрешающий элемент у, определен
с помощью лексикографического правила (2.81), осуществлен переход
117
к следующей точке # с базисом В по правилам (2.56) и получена симплекстаблица 5 (и, В). Тогда
5(и, В)>0,
5(о, В)
(а, В).
(2.82)
Доказательство
г
В самом деле, если 5(о, В). 0, то по определению 2.7 в этой симплекс-
таблице строки Г;= ГХо) >
0, 1 = 1, ..., т. Тогда из правил (2.56), неравенства
Ув=, к(0 ) > 0 и свойства 1) отношения > следует, что Г;(#)=
Г.) |
Уз» (5)
Пусть теперь # + 5. Тогда либо \; ‚> 0, либо у; < 0. Если у; ,> 0, то1Е 1(0)
и согласно правилу (2.81) имеем
тк, г,®.
У:4 (0)
Ув (0)
В силу правил (2.56) и свойства 2) отношения > тогда
У., (0)
(6)
Го)
Г
5(0)
,
Т.е.
У;+ (0)
Г.(в)=Г.(о)> 0.
(ш)=Г/о) у.) Г, (0)
) >
Если \,, < 0, то @=-— УС
У; , (и)
и
—
поете)
в силу свойства 3) отношения >. Таким образом, Г;(@) > 0 для всех 1 =
г
1, ..., 7,
а это означает, что симплекс-таблица 5(#, В)>0.
Наконец, из того, что Г,(#)> 0, А, = Д,(о) > 0, из формулы
для строки А(&) и свойства 4) отношения > имеем
(2.56)
Ао) > А(0) - АКо)Г,(ш) = А(ш).
А
Это значит, что 5(о, В)> 5(ш, В). Лексикографические неравенства (2.82)
доказаны. №
Теперь посмотрим, к какому симплекс-процессу приведет применение
правил (2.67), (2.81). Пусть у нас имеется некоторая угловая точка 9 с бази-
сом Ву, с симплекс-таблицей 5, >0. Пользуясь правилами (2.67), (2.81),
(2.56), организуем симплекс-процесс, начинающийся с точки 5%, и получим
последовательности угловых точек {0,}, их базисов {В,}, симплекс-таблиц
{5}, где 5 — симплекс-таблица точки ос базисом В,. Согласно лемме 2.2
последовательность {5,} удовлетворяет лексикографическим неравенствам
(2.80), в чем легко убедиться с помощью математической индукции, осно118
г
вываясь на неравенствах (2.82) и 5% >0. Так как в цепочке неравенств (2.80)
повторение
А
ния > и
симплекс-таблиц
невозможно
в силу транзитивности
отноше-
в задаче (2.31) множество симплекс-таблиц конечно, то такой сим-
плекс-процесс закончится на каком-то шаге реализацией одного из условий
(2.65) или (2.66). Это значит, что правило выбора разрешающего элемента
по формулам (2.67), (2.81) является антициклином. Тем самым доказана
следующая теорема.
Теорема 2.3. Пусть в канонической задаче (2.31) гапКА = т= т < п, множество Х непусто, 5 — какая-либо угловая точка этого множества с симплекс-таблицей 5, 0. Тогда симплекс-процесс, начинающийся с точки 5,
при выборе разрешающего элемента \, из условий (2.67), (2.81) завершится
за конечное число шагов определением некоторой угловой точки и, множества Х, в которой реализуются условия либо (2.65), либо (2.66), причем
в случае (2.65) } (°)= [> -°, о, — решение задачи (2.31), а в случае (2.66)
задача (2.31) не имеет решения, * = ©.
Построенный антициклин (2.67), (2.81) обоснован при условии, что
начальная симплекс-таблица 5, >0. Но это условие нельзя считать серьезным требованием к антициклину, так как, переставив некоторые из базисных столбцов и соответствующим образом перенумеровав переменные,
любую симплекс-таблицу 55 легко сделать лексикографически положительной. В самом деле, нетрудно видеть, что если угловая точка о с базисом
В=(А,,... А; ) невырожденная, то ее симплекс- -таблица 5 > 0, так как тогда
(см. табл. 2. 8) Уо = ол > 0
и, следовательно, Г; > 0 при всех 1 = 1, .
Если точка о вырожденная, то \;0 = 0 хотя бы для одного
помера 1,
1 <1< и, и первый отличный от нуля элемент в строке Г; может оказаться
отрицательным. Тогда Г; < 0 (см., например, строки Го, Гз табл. 2.9). Впрочем, такой «недостаток» строки Г; легко исправить, если соответствующий
базисный столбец х/ симплекс-таблицы переставить между столбцами У
и 21. Такая перестановка, равносильная перенумерации переменных, приведет к тому, что в строке Г; сразу после величины \; = 0 окажется величина, ; = 1 и будет Г; > 0, а на лексикографической положительности или
отрицательности других строк это не отразится, так как у, =0 при всех
$571 1 < $ <г. Отсюда ясно, что, последовательно переставляя указанным
образом базисные столбцы хЛ для всех строк Г; < 0, нетрудно добиться,
чтобы симплекс-таблица стала лексикографически положительной.
Так, например, в табл. 2.9 для этого достаточно переставить столбцы
х2, хЗ3 между столбцами Уи д!. К тому же такую операцию с перестановкой столбцов и перенумерацией переменных нужно сделать самое большее
один раз в самом начале симплекс-процесса. Впрочем, операцию с перестановкой столбцов и перенумерацией переменных можно явно и не делать,
если эту операцию учесть при порядке формирования множеств М\, М,, ...,
указанных в лемме 2.1 и используемых при поиске номера 5$ из условия
(2.81). Более того, можно доказать, что условия (2.67), (2.81) являются
антициклином и без требования 5, > 0.
119
Заметим также, что антициклин (2.67), (2.81) оставляет некоторый
произвол в организации симплекс-процесса из-за того, что условие (2.67)
определяет номер А, вообще говоря, неоднозначно. Для устранения указанной неоднозначности к правилу (2.67), (2.81) можно сделать дополнение,
руководствуясь какими-либо другими соображениями, например, можно
выбирать минимальный или максимальный номер А, удовлетворяющий
условиям (2.67).
Пример 2.9
Для иллюстрации изложенного антициклина (2.67), (2.81) рассмотрим задачу
(2.78), (2.79), в которой, как обнаружилось выше, использование правила (2.67), (2.68)
выбора разрешающего элемента может привести к зацикливанию.
Сначала симплекс-таблицу 2.9 начальной угловой точки 9 = (0, 0, 0, 0, 0, 0, 1) сделаем лексикографически положительной, переставив базисные столбцы 42, х3 между
столбцами Уи д!; в результате придем к табл. 2.16, в которой сохранена первоначальная нумерация переменных.
Таблица 2.16
В
ными
здесь
(2.81)
У
р
23
я
1
0
0
1
0
1
0
0
0
0
1
0
0
0
0
1
1
—1
0
строке АД табл. 2.16 величина Л, = 1 > 0 и весь столбец 24 заполнен положительчислами: / 4 = 1, \24 = 1, \з4 = 4. Таким образом, получаем, что условия (2.67)
выполнены и /4(%) = {1, 2, 3}. Для применения лексикографического правила
выпишем следующие строки:
Г: -(,0,0,1,1,1,1,1),12 =(0,1,0,-2.1,-3,4,0),
А
-[20 01-31 1)
24
т
44’
24
Последовательно сравнивая по величине их координаты, легко находим указанные в лемме 2.1 множества М, = {2; 3}, М3 = {3}, искомый номер $ = 3, так что здесь
кит
14 ^
Г» тать.
а "ЗА
УзА
Понятно, что те же множества М/, М. и номер $ = 3 можно было получить непосредственно из табл. 2.9, просматривая ее столбцы в таком порядке: У, л2, 43, д1, 24,
5, 6, х7. Итак, разрешающим элементом является \з4 = 4. Далее по формулам (2.56)
в базис вводим переменную 44 и выводим из базиса л3. В результате придем к симплекс-таблице 2.17 угловой точки 1, совпадающей с 9, но имеющей другой базис
(Аь А» Ау.
Таблица 2.17
дл
22
д
120
1
0
0
0
0
1
0
0
1/4
-1/4
1/4
-1/4
| 7/4
| 5/4
| -3/4
| 1/4
0
0
1
0
3/2]
-5/2
-1/2
3/2
| 3/4
| 15/4
| 1/4
| 5/4
1
0
0
0
В этой таблице разрешающим элементом может быть лишь величина \! 5 = 3/2.
Из базиса выведем переменную 47, заменив ее л5, по формулам (2.56) получим
табл. 2.18.
Таблица 2.18
25
р
24
2/3
5/3
1/3
-1
0
1
0
0
-1/6 | 7/6
-2/3 | 5/3
1/6 | 1/6
0
—1
0
0
1
0
1
0
0
0
1/2
5
1/2
-2
2/3
5/3
1/3
-1
В ее строке А все величины ДА, 1 <1< 7, неположительны, реализовались условия (2.65). Симплекс-процесс на этом заканчивается, найденная невырожденная
угловая точка 9. = (0, 5/3, 0, 1/3, 2/3, 0, 0) является решением задачи (2.78), (2.79),
Ло) = 1. =-1.
Заметим, что хотя среди задач линейного программирования вырожденные задачи встречаются довольно часто, но тем не менее на основе всего
практического опыта применения симплекс-метода к таким задачам сложилось убеждение, что вероятность получения бесконечных симплекс-процессов ничтожно мала. Добавим также, что использование антициклина
на каждом шаге симплекс-метода может привести к заметному увеличению машинного времени ЭВМ, требующегося для решения задачи. Поэтому на практике чаще всего пользуются упрощенным правилом выбора
номеров # и $ из условий (2.67), (2.68), беря, например, наименьшие или
наибольшие номера, удовлетворяющие этим условиям.
Из сказанного следует, что наличие симплекс-метода, снабженного
антициклином, для практики, видимо, не является слишком актуальным,
но в теоретическом плане это принципиально важно и ставит симплексметод на надежный математический фундамент.
2.5.4. Симплекс-метод в канонической задаче максимизации
Кратко
остановимся
канонической
задачи
на
применении
симплекс-метода
для
решения
максимизации:
1) =(с,х)
> тах,
хЕХ={хЕЕ":х>0, Ах=Б},
(2.83)
где А — ненулевая матрица размера гхи, се Е", Бе Е", г = гапКА < п.
Конечно, эту задачу можно свести к равносильной задаче минимизации
&(х) = —/(х) >> шш, хЕ Х, и к ней применить описанный выше симплексметод без каких-либо изменений. В то же время нетрудно несколько видоизменить симплекс-метод и приспособить его для непосредственного применения к задаче (2.83).
Легко понять, посмотрев на формулы (2.36), (2.39) и (2.62), что
при решении задачи максимизации (2.83) нас прежде всего будут интересовать величины Д, < 0, и мы естественно придем к рассмотрению следующих
трех случаев, аналогичных случаям (2.65)—(2.67).
Случай Г. В нижней строке симплекс-таблицы 2.3 все Д,, ..., Д„ неотрицательны. Исходная угловая точка о является решением задачи (2.83).
121
Случай П. В нижней строке симплекс-таблицы 2.3 найдется величина
А, <
0, 1 <Ё <, и находящийся над ней столбец у, неположителен. Тогда
Г’ =зир(Я х) = +, задача (2.83) не имеет решения.
ХЕХ
Случай Ш. В нижней строке симплекс-таблицы 2.3 имеются величины
Д,< 0, 1 < <
п, причем в каждом столбце над величиной Д, < 0 найдется
хотя бы одно число 1; +> 0.
Тогда фиксируем один из таких номеров Ё с А, < 0 и выбираем разрешающий элемент у,‚ по правилу (2.68) или, точнее, (2.81), а затем по формулам (2.69) совершаем переход от угловой точки о с базисом В к точке
которая согласно замечанию 2.1 также будет угловой точкой множества Х
с базисом В, имеющим вид (2.70), причем (2) > Ко). Один шаг симплексметода для задачи (2.83) описан.
Как и выше, можем считать, что исходная
симплекс-таблица 5(о, В)>0. Тогда будут справедливы следующие лексикографические неравенства, аналогичные неравенствам (2.82):
г
5(и, В)>0,
А
5(о, В)<5(ш, В).
Отсюда следует, что симплекс-процесс для задачи (2.83) будет конечным и закончится реализацией одного из случаев [ или П.
Все высказанные здесь утверждения, касающиеся задачи (2.83), доказываются совершенно так же, как и аналогичные утверждения, касающиеся
задачи (2.31). Предлагаем читателю убедиться в этом самостоятельно.
2.6. Поиск начальной угловой точки
Выше мы подробно изложили симплекс-метод для канонической задачи:
Га) =«(с,х) > тш,
хЕХ={х=(^1,...х”)> 0, Ах=Б},
где А — матрица размера т хи, сЕ
Е", БЕ
Е"т, в предположении,
(2.84)
что мно-
жество Х непусто и известна какая-либо его угловая точка, т = 7 = гапКА.
Покажем,
как избавиться от этих ограничений.
Нас будут интересовать
следующие вопросы:
1) Как распознать пусто или непусто множество Х, и если оно непусто,
то имеет ли оно хотя бы одну угловую точку?
2) Как найти эту угловую точку, ее базис?
Ниже на них будут даны ответы. Замечательно то, что для этого будет
использован сам изложенный выше симплекс-метод с антициклином.
Оказывается, по исходной задаче (2.84) легко можно составить новую
вспомогательную каноническую задачу, к которой очень удобно применить
симплекс-метод, и в зависимости от того, чем закончится симплекс-процесс для вспомогательной задачи, можно будет сказать, пусто или непусто
множество Х, найти его угловую точку. Этот метод поиска начальной угловой точки в литературе часто называют методом искусственного базиса.
Можем считать, что матрица А + 0, так как при А = 0 либо Х = Е" = {х> 0},
либо Х = ©, и задача (2.84) становится малосодержательной. Будем также
122
считать, что в (2.84) вектор 6 > 0, так как если В! < 0 при некотором 1, 1 <1<
< т, то соответствующее 1-е уравнение (Ах)! = Ы! системы Ах = Ь можно
умножить на (-1). Наряду с основными переменными х = (21, ..., х") введем
вспомогательные (искусственные) переменные и = (11, ..., ит) и в простран-
стве Ё"+т переменных и = (и, х) = (11, ..., ит, х!, ..., мп) рассмотрим следующую каноническую задачу линейного программирования:
(у =Шчи?+...+и” =,
и) шш,
УЕУ,
2.
(2.85)
(их) Е Е"*т: у>0, Су=и+Ах=Ь}
У={у=
где 1.= (1, ..., 1) Е Е”; С = ([, А); [, — единичная матрица размера т х т.
Систему Су = и + Ах = Ь перепишем в покоординатной форме:
М=ш
+ацич.чахч++арх",
М = ш
чад
т =—
При и! =... = ит =
чаи
ч+..+а;х/ +.+арх”,
1
(2.86)
+..+атх/ 7 +...+атА”.
0 система (2.86) превращается в систему Ах = . Мно-
жество У непусто: оно содержит, например, точку 2% = ($, 0) > 0. Более того,
с помощью теоремы 2.1 легко убедиться, что точка 25 является угловой точкой множества У с базисом (е|, ..., ет) = [,. Система (2.86) является приведенной системой этой точки, гапК С = т. Для целевой функции приведенная форма равна
&(4)= (4, - Ах) = (2 )-(АТ1и,х),
где АТ — транспонированная матрица А. Теперь симплекс-таблица точки 2
составляется просто (табл. 2.19): в столбце Б находятся базисные координаты #1, ..., ит, в столбце У — вектор \ = 6, в столбцах и1, ..., и" вспомогательных переменных записаны векторы \! =е,...,\”, =ет в столбцах ^1, ..., х" ос-
новных переменных расположены векторы \! =[,А! = Ау... и = А, = А».
Таблица 2.19
Б
у
р
...
ГУ
..
ит
д
...
м
...
д
Г,
и
ы!
1
...
0
..
0
а 1
...
а;
...
Я
Г;
и
ы
0
0
ал
Ги
ит |
фт
0
1
ат!
1
...
0
...
ол
а;
|
А
обо
Элементы
строки А легко вычисляются по формулам
т |
|||
ат
=
@тп
|
д
(2.63), которые
применительно к задаче (2.85) дадут следующее: величины Д,, ..., Ах, соот123
ветствующие
базисным
переменным
#1, ..., и", равны
нулю, а величины Ао,
Д,, ..., А» равны сумме элементов соответствующих столбцов У, 1, ..., д":
Ау = хь = 8(20),
А;= Ха
Привлекательно также и то, что симплекс-таблица 2.19 лексикографи-
чески положительна и поэтому здесь удобно применять симплекс-метод
сантициклином (2.81).
Поскольку &(и) > 0 при всех уе У, то 5, = Ш 5(и)>0 и случай 5, = —=
здесь невозможен. Поэтому, взяв в качестве начальной точку 2%, с помощью
симплекс-метода с антициклином за конечное число шагов найдем угловую точку 2. = (и.,0,) множества У, являющуюся решением задачи (2.85):
5(2.) = 5. >0. Имеются две возможности: или &(2.) > 0 или &(2.) = 0.
Если 5(2.) =! +...+ ит > 0, то и, = 0 и, оказывается, множество Х в (2.84)
будет пустым. В самом деле, если существует хотя бы одна точка ху Е Х, то
точка уу = (0, хо) принадлежит множеству У и, кроме того, тогда &(и%%) = 0,
что противоречит неравенствам &(\,)> &(2.) = &+ > 0. Таким образом, при
5(2.) = =. > 0 множество Х пусто, и задача (2.84) не имеет смысла.
Пусть теперь &#(2.) = Ш +...+и? = 0. Тогда и» = 0 и 2, = (0, 5,). Кроме того,
по построению г. = (0,5,) — угловая точка множества У. Покажем, что тогда
0, будет угловой точкой множества Х. Прежде всего ясно, что из 2. > 0 следует о, > 0, а из С2, =В имеем Ах, = 5. Это значит, что 9, Е Х. Далее рассмо-
трим представление
о, = а, +(1-0)х.›,
0<а<Ёх,хЕХ,
(2.87)
и покажем, что оно возможно лишь при 9, = 1 = хо. Точки и/ = (0, 1), у =
= (0, х›), очевидно, принадлежат У. Тогда представление (2.87) можно пере-
писать в виде 2, = 0, +(1-0)у, 0 < а < 1. Но 2, — угловая точка множества У. Поэтому последнее равенство для 2, возможно лишь при 2, = И! = И.
Отсюда следует, что 5, = х! = хо. Таким образом, ©» — угловая точка множества Х.
Тем самым получен критерий непустоты множества Х: если 5. > 0, то
Х = ©, если 5. = 0, то Х
= ©, и доказана важная теорема.
Теорема 2.4. Если множество Х = {хЕ Е": х> 0, Ах = 5} непусто, то оно
имеет хотя бы одну угловую точку.
Итак, доказана принципиальная возможность использования симплексметода, оснащенного антициклином, для решения произвольной канонической задачи. Подчеркнем, что теорема 2.4 доказана без ограничительного
предположения 7 = гапКА = т. Найденная методом искусственного базиса
угловая точка ©. множества Х вполне может быть использована как начальная при применении симплекс-метода в исходной задаче (2.84). Зная координаты точки 9», можно определить номера базисных переменных и ранг
матрицы А, пользуясь известным методом Гаусса — Жордана [9, 31].
Напомним, что положительные координаты точки 9, заведомо являются
базисными (см. доказательство теоремы 2.1). Не вдаваясь в детали, скажем, что, опираясь на симплекс-таблицу угловой точки 2. = (0,5,), которая
124
получится на заверщающем этапе симплекс-процесса для вспомогательной
задачи (2.85), можно значительно облегчить поиск базиса точки 4» [11].
Приведем еще две теоремы, касающиеся канонической задачи, в доказательстве которых симплекс-метод также играет существенную роль.
Теорема 2.5 Если задача (2.84) разрешима, то среди ее решений найдется хотя бы одна угловая точка множества Х.
Доказательство
По условию теоремы
Х + ©
и существует
точка
Е Х
такая,
что
(с, 0) = ]. > —еэ. По теореме 2.4 тогда множество Х имеет хотя бы одну угловую точку. Отправляясь от одной из этих угловых точек, с помощью симплекс-метода с антициклином за конечное число шагов придем к угловой
точке х.., которая является решением задачи (2.84). Теорема 2.5 доказана. №
Теорема 2.6. Для того чтобы каноническая задача (2.84) была разрешима, т.е. существовала точка х. Е Х такая, что (с, х+)= ше, х)= |+ > -°,
необходимо и достаточно, чтобы:
1) множество Х было непустым;
2) функция Г (х) = (с, х) была ограничена снизу на Х.
Доказательство
Необходимость очевидна. Достаточность. Из того, что Х # ©, по теореме 2.4 имеем существование угловой точки множества Х. Принимая эту
точку за начальную, будем решать задачу (2.84) с помощью симплексметода, снабженного антициклином. Так как по условию /+ > —<°, то случай (2.66) здесь невозможен, и симплекс-процесс завершится за конечное
число шагов реализацией случая (2.65) и отысканием точки х., являющейся
решением задачи (2.84). Теорема 2.6 доказана. №
На этом мы заканчиваем изложение симплекс-метода для канонической задачи (2.84). Учитывая возможность сведения общей задачи линейного программирования к канонической задаче, можно сказать, что симплекс-метод является универсальным методом решения задач линейного
программирования. Конечно, компьютерная реализация описанной выше
схемы симплекс-метода требует огромной дополнительной работы: надо
выбрать подходящую модификацию метода, изучить влияние погрешности
на симплекс-процесс, организовать хранение исходной и текущей инфор-
мации о задаче и т.п.
Симплекс-метод относится к так называемым конечным методам,
позволяющим найти решение задачи линейного программирования или
обнаружить ее нерешаемость за конечное число арифметических действий.
Это число, конечно, зависит от размерностей т, п задачи (2.84). Известен
пример задачи линейного программирования с п переменными и т = 2п
ограничениями, для решения которого требуется не менее 2" — 1 шагов
симплекс-метода, и, следовательно, число арифметических операций, необходимых для получения решения, не меньше 27 [11]. Отсюда следует, что
количество вычислений для решения «плохих» задач линейного программирования симплекс-методом оценивается экспоненциальной функцией
параметров т, п размерности задачи, и уже при не очень больших т, п
решение таких задач симплекс-методом невозможно за обозримое время
даже на самых мощных компьютерах. Как принято говорить, на классе
125
задач линейного программирования симплекс-метод имеет экспоненциальную сложность (см., например, работу [11]). Однако вопреки такому песси-
мистическому выводу в практических задачах симплекс-метод показывает
высокую эффективность, причем в абсолютном большинстве реальных
задач количество необходимых арифметических операций имеет порядок
п2т. Причина этого удивительного явления пока еще не выяснена.
В последнее время появились методы, имеющие полиномиальную сложность [11]. Так называются конечные методы, для которых число элементарных операций, необходимых для получения решения задачи линейного
программирования с нужной точностью, не превышает некоторого полинома от размерностей т, п задачи (2.84). Эти методы в самом деле эффек-
тивнее симплекс-метода на «плохих» искусственно придуманных задачах линейного программирования, но на реальных задачах пока не могут
успешно конкурировать с ним. На практике симплекс-метод и его модификации по-прежнему остаются основным методом линейного программирования.
2.1. Теорема Вейерштрасса в линейном программировании
Одну теорему Вейерштрасса о достижении нижней грани в канонической задаче мы уже привели — это теорема 2.6. Убедимся, что она спра-
ведлива и в общем случае. А именно, рассмотрим общую задачу линейного
программирования
1х)
= (с, х) = (с, х!) +(со,
Х=3х=(х1,
хо) > пи,
хо):ХЕ Е", ,“2
хо Е Е”
172/71
где А; — матрицы размера т; х
х=
(х, х2)Е Х,
Ах + А12х2 <В,
‚
_
ж>0},
(2.88)
(2.89)
Азлх1 + Аохо = В,
и, с; ЕЁ"), 6. Е Е", 1, } = 1, 2. Как и выше,
будем обозначать + = шЕ К (х), подразумевая при этом, что Х # ©. Для слуХЕ
чая, когда + > —, введем множество Х, = {хЕХ: /(х)= /.}. Напоминаем,
что задача (2.88), (2.89) называется разрешимой, если Х, + ©); каждую точКУ х+ Е Х, называют решением этой задачи.
Приведем теорему существования решения задачи (2.88), (2.89), которая дополняет теоремы Вейерштрасса из параграфа 1.2 и характеризует
специфику задач линейного программирования.
Теорема 2.7. Задача (2.88), (2.89) разрешима тогда и только тогда,
когда Х = © и целевая функиия /(х) ограничена снизу на Х, т.е. }+ > —=°.
Доказательство
Необходимость очевидна,
Хаби
так как условие Х, = @
}, > —. Достаточность. Пусть Х
предполагает,
что
# ©, }, > ©. Покажем, что тогда
Х. = 0. Задачу (2.88), (2.89) запишем в канонической форме:
Кх)=(с,х)
> шт,
при этом СЕ Ё"; БЕ
положим
126
хЕХ={хЕЕ": Ах=Ь, х>0},
Е"; А — матрица размера т х и. Как и
(2.90)
в параграфе 2.1,
Х2=21-
20, 21 = тах{0;
хз}, 20 = тах{0;
—)},
о=
Ь, — А!1^41 — А12Х>,
и в пространстве переменных и = (21, 21, 22, 0) Е Е, 4 = п + 2п. + т., рассмотрим задачу
5(ш)=(с1,х) + (со, 21) + (-со, 2›)+(0,0) > шт,
Я =
шЕР1: № >0,
(2.91)
шЕТ,
Анихи + А1р21 +(-А1р)2> +1що=Ь,
А4^1
+ А2021
+ (-А.2)2>
(2.92)
+ Оо = Ь,,
где /„, — единичная матрица размера т! Х т. Задача (2.91), (2.92) совпадает с задачей (2.90), если принять
с= (с,
со, -с›,0)Е Е",
Ь=(Ь,6.)Е
Ет,
А!
А|2
—А12
1т
Ал
А›2
—А»2
0
А=
)
где А — матрица размера т х и, т = т! + то, п =а=п; + 2по + ти. Рассуждая
от противного, несложно доказать, что из Х # ©, ], > —=° следует, что Й* ©,
=. = ШЕ 2(@)
> —=. Тогда по теореме 2.5, примененной к канонической заШЕТ
даче (2.91), (2.92), множество \', = {#ЕИ: 5(и) = 5.} * ©.
Возьмем произвольную точку и» = (х*, 24*, 2», + ) Е \\. Тогда в силу про-
веденных построений точка х,
(2.89), т.е. Х. * ©. Теорема 2.7
Нетрудно видеть, что для
Например, задача /(х) =е* >
ния, хотя в ней + =0> —.
= (хц», Х» = 24. — 2») — решение задачи (2.88),
доказана. №
нелинейных задач такая теорема неверна.
шп, хЕХ = {х ЕЁ! :х > 0} не имеет реше-
Следствие 2.1. Задача максимизации (4, х) —> тах, хЕ Х имеет решение
тогда и только тогда, когда Х # © и функция (4, х) ограничена сверху на Х.
Для того чтобы убедиться в справедливости этого утверждения, достаточно заметить, что такая задача максимизации равносильна задаче (2.88),
(2.89) с с = —а, и воспользоваться теоремой 2.7.
2.8. Теоремы двойственности
Прежде чем переходить к изложению так называемых теорем двойственности, докажем несколько важных лемм.
Лемма 2.3. Для того чтобы некоторая точка х. из множества Х была
решением канонической задачи (2.90), т.е. х, Е Х., необходимо и доста-
точно существования точки ^"* = (№1,.., №.) Е Е” такой, что
АТА +с>0,
(с, х.)=-—(, №),
(2.93)
где АТ— матрица, полученная транспонированием матрицы А.
Доказательство
Необходимость.
Возьмем произвольную точку х. Е Х.. Покажем, что
тогда необходимо существует точка Л" Е Е” со свойствами (2.93).
Сначала рассмотрим случай т = т = гапк А. Применим к задаче (2.90)
симплекс-метод с антициклином. По условию {(х.) = /+ > —<°, поэтому сим127
плекс-процесс закончится обнаружением некоторой угловой точки 9. множества Х с базисом В=(А,,.., А, ), 1 (©)= /+, причем будут выполняться
неравенства (2.65):
А, = (5, В-1А,)-с*<0, #=1,2,.,п,
(2.94)
где с= (сл,..,сл). Положим ^" =-(В-)Гс. Пользуясь известным из линейной алгебры тождеством (МХ, у) = (х, МТ у), справедливым для любых
хЕ Е", уЕ ЁЕт и любых матриц М размера т х п, из соотношений (2.94)
имеем
0>А,
=((В-И)Гс,
Ар)
с*
= —^", А.) - с,
в= 1, 2,..., п.
В векторной форме эти неравенства можно записать в виде АТА“ +с> 0.
Далее вспомним, что у угловой точки 9. базисные координаты %, = (ой...
01’) = В-\Ь, а небазисные координаты равны нулю. Поэтому
(сх. =
= (с, 0.) = (6,5, = (с, В-1Ь) = ((В-К)Тс,Ь) =—, ^^).
Таким образом, искомая точка Л" со свойствами (2.93) найдена. Случай т = г = гапКА рассмотрен. Пусть теперь т > 7 = гапКА. Тогда в системе
уравнений Ах = В, которую можем записать в виде (а,х) =, 1=1, ..., т,
где а; — строки матрицы А, имеются ровно 7 линейно независимых уравнений. Перенумеровав уравнения, можем считать, что первые 7 уравнений
этой системы линейно независимы, а остальные уравнения с номерами
1=7+1,.., т линейно выражаются через первые 7 базисных уравнений. Удаление линейно зависимых уравнений приведет к равносильной
системе Ах =Б, где А-— матрица, состоящая из строк а1, ао, ..., а, матрицы А,
Ь=(6',..., 6’), и задача (2.90) сведется к равносильной канонической задаче
1(х)=(с,х)>
ши, хЕХ={х>0, Ах=Ь}.
В этой задаче число уравнений равно 7 = гапКА, и по доказанному существует точка Л" = (^41,.., А) Е Е!’ такая, что
АтА* +с>0,
(с,м.)=-(, А»).
(2.95)
Рассмотрим точку ^" = (^", 0) ЕЕ”, полученную добавлением к коорди-
натам ^" нулевых координат А, | =0,..., Ли = 0. Тогда из соотношений (2.95)
следует, что АТА" +с> 0, (с,х.) =—(5,^"). Необходимость доказана.
Достаточность. Пусть для каких-либо точек х. Е Х, Л" Е Е" выполнены
соотношения (2.93). Тогда для всех хе Х имеем
0<(х, АТА" +с) = (с,х)+(Ах, №) = (с, х)+(Ъ, №) =(с,х)- (с, ль).
Это значит, что х. Е Х,. Лемма 2.3 доказана. №
Лемму 2.3 нетрудно обобщить на случай общей задачи линейного программирования (2.88), (2.89).
Лемма 2.4. Для того чтобы некоторая точка х. = (хь, Х») из множества (2.89) была решением задачи (2.88), (2.89), необходимо и достаточно,
чтобы существовала точка ^* = (№, А>),
128
1 Е Е”, А. Е Е"2, такая, что
АПМ + АДА +
>20,
АБ
+ АА +
=0,
№20;
(2.96)
(с, жь) + (со, Хх») = —В, 1) (в, №5),
(2.97)
где А; — матрица, полученная транспонированием матрицы А,
Доказательство
Возьмем любую точку х. = (х1,, Хо.) из множества Х., тогда точка и» =
= (Ж1+, 21+, 20, 0»), ГДЕ 21. = тах{0; х.»}; 20» = тах{0; —х..}; 0, =В — Ах, — АХ»
является решением задачи (2.91), (2.92), причем =(и.) = =. = /. = }(х.). Применяя лемму 2.3 к канонической задаче (2.91) (2.92), заключаем, что это возможно тогда и только тогда, когда существует точка А" = (^1,^5), 4 Е ЕТ,
Л- Е Е"2, такая, что
дта*с-|
Г
= 8+
= &(ш.)
Ай
Ал
а |] [| АЙМ+АЯА> +4
®
АВ
|}
с» |_| АБМ+АЪЛА
+
—Ар
-Аз
№5]
|-6© | | -АБМ -АБА -с›
1
0
= (с, ж»)
0
+ (со, 21*)
>0;
Гм +0-^5
+(-с»,
2»)
+(0,
,)
= —Ь,
№1) — (Б., ^5).
Учитывая, что х.+2224
=2,. —2,22 эти соотношения нетрудно переписать
в равносильном виде (2.96), (2.97). Лемма 2.4 доказана. №
С задачей (2.88), (2.89) тесно связана задача линейного программирования
у(^) =—,
Л) - (6, №5) >> тах,
Лл=(м,^>)ЕЛ;
АПЛ + АЛЛА +
л|А-@ь
мМЕЕТ,
^2
(2.98)
> 0,
Е Е"
р 20}
’ АБ
+АДА>
+ 62
(289)
= 0,
которая называется двойственной задачей по отношению к исходной задаче
(2.88), (2.89), переменные А = (№, Л2) называются двойственными переменными по отношению к исходным переменным х = (44, ^2).
Будем обозначать \у* = зир\у(^.), Л" = {ЛЕ Л: \(^) = у"}. Как видим, двойЛЕЛ
ственная задача (2.98), (2.99) однозначно определяется по элементам с1, с»,
Ь,
Во,
А 1,
А4>,
А,
Ао
ИСХОДНОЙ
задачи
(2.88),
(2.89).
Лемма 2.5. Если в задачах (2.88), (2.89) и (2.98), (2.99) множества Х
и Л непусты, то величины / = ше Г), у’ =зир\у(^.) конечны и справедхе
ЛЕЛ
ливо неравенство
ци" <.
(2.100)
Доказательство
Возьмем произвольныехеЕ Х,АЕ Л. Тогда справедлива следующая цепочка
неравенств, вытекающая из определений (2.89) и (2.99) множеств Х и Л:
И&)-ч( =
> (с, м) + (со, хо)
(с ж,) + (со, хо) + (В, №) + (65, №) >
+(Анх
+ А/охо,
№)
+(А51^1
+ А›охо,
^2)
=
129
Таким образом,
1(2)>\(^)
УхЕХ, ЛЕА.
(2.102)
Последовательно переходя в неравенстве (2.102) сначала к нижней
грани похе
Х, затем к верхней грани по ЛЕ Л, убеждаемся, что величины
/[, м” конечны и удовлетворяют неравенству (2.100). Лемма 2.5 доказана. №
Выясним, как выглядит задача, двойственная по отношению к двойственной задаче (2.98)—(2.99). Замечательно, что эта задача, оказывается,
с точностью до эквивалентной формы совпадает с исходной задачей (2.88),
(2.89). Чтобы убедиться в этом, перепишем задачу (2.98)—(2.99) в равносильном виде как задачу минимизации:
—\(^)
АА
= (В, №) +(Ъ,
бе,
луеЕ
^2)
>
ши,
ЛЕ Л,
(-АП)М +САл А. $ с,
"(САБ
+(-А)А» = с»,
(2.103)
0}
по форме совпадающую с исходной задачей (2.88), (2.89), и затем, поль-
зуясь тем же правилом, с помощью которого была сконструирована двойственная задача (2.98), (2.99) на основе исходной задачи (2.88), (2.89), составим двойственную задачу к задаче (2.103). Обозначив двойственные
кл = (Л, 2) переменные через х = (л1, х2), придем к следующей задаче:
—(с, 1) -(со, хо) > шах,
мых
1
Е
Е",
(АНТ
м
х=(х,х.)ЕМ,
+(-АБ)Г
х›
+В
>0,
хо е Е", (-Ад)Т1 +(-АЪ)Тхо +В =0,
х =],
(2.104)
являющейся двойственной по отношению к задаче (2.103). Так как (-Ау)' =
= —Аь
1, ] = 1, 2, то нетрудно видеть, что М = Х и задача (2.104) равносиль-
на задаче (2.88)—(2.89). Таким образом, с учетом сделанных эквивалентных переходов от задачи (2.98)—(2.99) к задаче (2.103), от (2.104) к (2.88),
(2.89), можем сказать, что задача, двойственная по отношению к двойственной задаче (2.98)—(2.99), совпадает с исходной задачей (2.88), (2.89), и, сле-
довательно, задачи (2.88)—(2.89) и (2.98)—(2.99)) образуют пару взаимодвойственных задач.
Оказывается, параллельное изучение взаимодвойственных задач способствует более глубокому пониманию природы этих задач, оказывается
полезным при разработке методов их решения, обогащает теорию линейного программирования. Связь между взаимодвойственными задачами
(2.88)—(2.89) и (2.98)—(2.99) отражена в следующих теоремах, называемых теоремами двойственности.
Теорема 2.8. Задача (2.88), (2.89) имеет решение тогда и только тогда,
когда имеет решение двойственная к ней задача (2.98), (2.99). Иначе говоря,
взаимодвойственные задачи линейного программирования либо обе одновременно разрешимы, либо ни одна из них не имеет решения. Если задачи
(2.88)—(2.89) и (2.98)—(2.99) разрешимы, то значения их экстремумов
совпадают, т.е.
=\".
130
(2.105)
Доказательство
Пусть задача (2.88)—(2.89) имеет решение, т.е. Х. * ©. Возьмем любую
точку д, Е Х.. Согласно лемме 2.4 тогда существует точка Л" Е Л, для которой справедливо равенство (2.97). Таким образом, Л + ©, и, кроме того,
= 1 (м.)=ч0/)< у”. Отсюда и из (2.100) следует + = /(х.) =у(А”) =,
т.е. ^^ Е Л". Таким образом, из разрешимости задачи (2.88)—(2.89) следует
разрешимость двойственной к ней задачи (2.98)—(2.99). Так как задача
(2.88)—(2.89), в свою очередь, является двойственной к двойственной
задаче (2.98)—(2.99), то из разрешимости задачи (2.98)—(2.99) следует разрешимость задачи (2.88), (2.89), причем \у" = +. Теорема 2.8 доказана. №
Теорема 2.9. Взаимодвойственные задачи (2.88)—(2.89) и (2.98)—
(2.99) имеют решение тогда и только тогда, когда существуют точки
х. = (ых), № =(№мМ,^>) такие, что
х.ЕХ,
ЕЛ,
(х.)=4(А”).
(2.106)
Соотношения (2.106) справедливы для всех точек х. Е Х., Л" Е Л* и только
для них.
Доказательство
Необходимость. Пусть задачи (2.88)—(2.89) и (2.98)—(2.99) разрешимы,
т.е. Х. #@, Л**@. Возьмем любые точки х.ЕХ., ^*ЕЛ*. Это означает,
что /(м.)= № У”) =". Но согласно теореме 2.8 тогда / =\у", поэтому
Г(&.) =ч(А/). Таким образом, в качестве точек х., Л”, удовлетворяющих
условиям (2.106), можно взять любые точки из множеств Х,, Л*.
Достаточность. Пусть для каких-то точек х. = (хь,х.»), №" =(№М,^5)
выполняются соотношения (2.106). Это значит, что множества Х и Л непусты и по лемме 2.5 тогда } > —о, \у" < +. Отсюда, из теоремы 2.7 и след-
ствия к ней следует, что задачи (2.88)—(2.89) и (2.98)—(2.99) разрешимы,
т.е. Х. #©, Л* =. Согласно теореме 2.8 тогда /, =\у*. Отсюда и из соотношений (2.106) имеем /+ < /(х.) =у(^”)
< лу" = |. Это значит, что все неравенства здесь обращаются в равенства, т.е. }(х.) = /, \(№)=лу", и, следова-
тельно, х, Е Х,, ^* Е Л*. Теорема 2.9 доказана. №
Замечание 2.2. Условия (2.106) равносильны условиям
х.ЕХ,
ЕЛ,
/(х.) < (А).
(2.107)
В самом деле, совмещая неравенство из (2.107) с неравенством (2.102)
при х = х., ^=^*, приходим к равенству /(х.) =\у(^”).
Теорема 2.10. Взаимодвойственные задачи (2.88)—(2.89) и (2.98)—(2.99)
имеют решение тогда и только тогда, когда существуют точки х.. = (х|., Хо»),
№ =(№4,^>) такие, что
хЕХ, № ЕЛ, хь(АПМ + АЛСУ
(МУ(В
Соотношения
— А1 1»
— Арх.
= 0,
=0, 1=1..щ,
(2.108)
1= 1, .. ПИ.
(2.108), называемые условиями дополняющей нежестко-
сти, справедливы для всех точек х, Е Х., ^^ Е Л* и только для них.
Доказательство
Необходимость. Пусть задачи (2.88)—(2.89) и (2.98)—(2.99) имеют решение. Согласно теореме 2.9 тогда условия
(2.106) справедливы
при всех
131
ЖЕХ,,
^^ ЕЛ*. В частности, /(х.)-\(^”)=0.
Отсюда
и из соотношения
(2.101) заключаем, что при х = х., ^ = Л” все неравенства в (2.101) обращаются
в равенство, что с учетом ограничений (2.89), (2.99) возможно только при
т
.
.
=
В силу (2.89), (2.99) каждое слагаемое в сумме (2.109) неотрицательно.
Поэтому из (2.109) следуют первые равенства (2.108). Для доказательства
остальных равенств (2.108) воспользуемся неравенствами
(а) -ч() = (ср, жи) + (со, хо) +, м) + (В, А) >
> (-АМм
=(В
—
АДА,
м) +(-АБМ
- А, 1х1 - А, ох, м) +(В
- АА,
— Ар1х,
хо) + (6, м) + (В, №2) =
- Арх,
^2)>0
УхЕХ,ЛЕЛ,
(2.110)
аналогичными (2.101) и также вытекающими из определений (2.89), (2.99)
множеств Х, Л. Из (2.110) при х = х., ^. = А" с учетом равенства (2.106) имеем
т
в,
(И -Анхь-Арх, М) = >
— Анжи» - Арх» Ом) =0.
(2.111)
Из неотрицательности каждого слагаемого в сумме (2.111) следует вторая группа равенств (2.108).
Достаточность. Пусть для каких-то точек х. = (хь,х.»), № = (4,5)
выполнены условия (2.108). Тогда для них справедливы равенства (2.109),
(2.111). Отсюда и из (2.89), (2.99) следует, что в (2.110) при х=х., А^=^*
все неравенства обращаются
в равенства и, следовательно, /(х.)=л\у(^”).
Таким образом, точки х., А" удовлетворяют условиям (2.106). Согласно теореме 2.9 тогда х» Е Х., Л" Е Л*. Теорема 2.10 доказана. №
Покажем, что двойственные переменные в задачах линейного программирования можно истолковать как обобщение понятия множителей
Лагранжа, используемых в классическом анализе при исследовании задач
на условный экстремум (см. параграф 1.4). Введем функцию
Цх,
^) = (с, ж)
+ (со, хо)
+ (№5, Аа
+(^,
А 1х
+ А! 2х
-в)
+
+ Ах, 6)
(2.112)
переменных
хХЕХу=
А Е Ло
{х = (ж, 42): Хх Е ЕТ, х› Е Е”2, м > 0},
= {=
О,
А)
Е Е",
№2
Е Е"2,
м
>0}.
Эта функция называется функцией Лагранжа задачи (2.88)—(2.89),
двойственные переменные 4 = (Л, ^2) называются множителями Лагранжа,
причем Л. > 0 — множители, соответствующие ограничениям типа неравенств в определении множества (2.89), Л› — множители, соответствующие
ограничениям типа равенств. Пользуясь тождеством (Азх,, ^;) = (х,, Ар А,),
функцию (2.112) можно записать в виде
Их,
132
^)
= (-Ы,
м)
+ (-5.,
^2)
+(7ж,
АЙМ
+(х, АЪМ + АТА» +0).
+ АА
+ с)
+
(2.113)
Определение
2.8. Точка (х., Л”)Е Хо, хЛу называется седловой точкой
функции Лагранжа, если
(х..
№ < Цх. А")
< (х,")
УхЕХу, ЛЕМ.
(2.114)
Теорема 2.11. Взаимодвойственные задачи линейного программирования
(2.88), (2.89) и (2.98), (2.99) имеют решение тогда и только тогда, когда
существует пара точек х. =(х!.,Х»)Е Ху, Л" =(№,А5)Е Лу, образующая
седловую точку (х., ^") функции Лагранжа. Точка (х., №) Х,хЛу будет
седловой точкой тогда и только тогда, когда х. Е Х., № ЕЛ*, т.е. множе-
ство седловых точек функции Лагранжа совпадает со множеством Х. х Л".
Справедливы равенства
[(х., "=
= Иж.)
= мо) =м
(а.
Е Х.хл'.
= (2.115)
Доказательство
Необходимость. Пусть задачи (2.88), (2.89) и (2.98), (2.99) имеют решение. Возьмем произвольную точку (х», ^^), где х. Е Х., Л" Е Л*. Согласно теоремам 2.8—2.10 тогда
Ле.) =у0/)=Л=\",
(М,
В — А! 1*
(ж АЦМ + АДМ +1) =0,
— А!2х.») = 0,
а также Аз. + Арох» = Во, АБА1 + АА» +с2 = 0 по определению множеств Х,
Л. С учетом перечисленных равенств из представлений (2.112)—(2.113)
при х=х., ^=^” получим равенства (2.115). Кроме того, из (2.113) при
^=^" имеем
ЦКх, №)=у(0/)+(ж, АМ + АДА +)
УхЕХу.
Отсюда и из уже доказанных равенств (2.115) следует, что
ЦКх, №) [Кх., №) = (хи, АМ + АДА +с)>0
УхЕХу.
Правое неравенство (2.114) доказано. Далее, из (2.112) при х = х. имеем
Их., \) = 1 (х.)+ (Мм, Анхь+Арх»-В)
Отсюда и
УХЕ Лу.
из (2.115) следует левое неравенство (2.114):
Их., ^^ )- [(х., ^)=(№М,6 - Ань - Аох»)>0
УЛеЕ Лу.
Тем самым установлено, что любая точка (х.,^“)Е Х.х Л" является седловой точкой функции Лагранжа.
Достаточность. Пусть (х.,^)Е Х.хЛ“” — какая-либо седловая точка
функции (2.112). Покажем, что тогда х. Е Х., Л" ЕЛ", т.е. задачи (2.88)—
(2.89) и (2.98)—(2.99)) разрешимы. С учетом представлений (2.112)—(2.113)
функции Лагранжа перепишем неравенства (2.114) в развернутом виде:
Г (х.)+
(Л,
А! 1х
+ А!»
= ь)
+ (5,
Ар»
+ Ао.»
-Ь,)
<
< Цх., №) < (^^)
+ (жж, АМ + АДА +51) + (хо, АБМ +АДМ со)
УхЕ Ху, ЛЕЛо.
(2.116)
133
При любом действительном & точка А, = (№. =0, Л. = (Аз. + Арохо, -6.))
лежит в множестве Лу. Подставив эту точку в неравенства (2.116), из левого
неравенства имеем
Ах
+ Арх»
=
|
<
Цх.,
№)
— 1 (х.)
Разделим обе части этого неравенства на & считая &>
2
Получим
[Арх
+ АроХо»
— ь |
\УЕ
Е В.
0, и устремим Е
< 0, ЧТО ВОЗМОЖНО ТОЛЬКО При Ал»
+ Арх»
+=.
= Ь..
Далее положим в неравенствах (2.116) ^, = (№. = (0,..., 0, /4,0,...,0), №. =0), счи-
тая №! > 0. Это даст нам
№ (Ань
+ А|2х»
-В)
< Цх.,
№)-
(м)
Ум
> 0.
Разделив это неравенство на А: >0 и устремив 1 —> +°, при каждом
1=1,.., п, получим (Ах. + Аох- -В) < 0, т.е. Анжи» + Алох» < В. Следовательно, х» Е Х.
Аналогичными рассуждениями, полагая в неравенствах (2.116) сначала
х=(ж =0,х. =КАЪМ + АТА. +62),
ЕЕВ,
затем
х= (м! = (0,...,0, х1,0,...,0), х›=0),
м >0,
устанавливаем, что Л" ЕЛ. Таким образом, показано, что всякая седловая точка (х., Л”) функции (2.112) принадлежит Хх Л. Наконец, положив
в (2.116) х=(ж=0,х.=0),^=(№м=0,^,=0), получим {(х.) < [(х., ^^) <и(М№).
С другой стороны, для любых точек х, Е Х, Л" Е Л справедливо неравенство
(2.102): Г(х.)>у()/). Следовательно, /(х.)=л\у(^”). Это значит, что точки
х., ^^ удовлетворяют всем условиям (2.106).
В силу теоремы 2.9 тогда х. Е Х., Л" Е Л". Тем самым показано, что все седловые точки функции Лагранжа принадлежат множеству Х. хЛ*. С другой
стороны, выше было установлено, что каждая точка из Х. х Л" является седловой. Следовательно, множество седловых точек функции Лагранжа задачи
(2.88)—(2.89) совпадает со множеством Х.х Л*. Теорема 2.11 доказана. №
В следующей теореме вопросы разрешимости и неразрешимости взаи-
модвойственных задач обсуждаются в терминах пустоты или непустоты
множеств Х, Л. Предварительно отметим, что согласно теореме 2.7 и след-
ствия к ней неразрешимость задачи (2.88)—(2.89) означает, что либо Х = ©,
либо Х + ©, но ]. = -<°, а для двойственной задачи (2.98)—(2.99) неразрешимость равносильна тому, что либо Л = ©, либо Л + ©, но\у"* = +.
Теорема 2.12. Справедливы следующие утверждения а—г):
а) взаимодвойственные задачи (2.88), (2.89) и (2.98), (2.99) разрешимы
тогда и только тогда, когда множества Х и Л непусты одновременно;
6) в задаче (2.88)—(2.89) Х = ©, }+ > =
тогда и только тогда, когда
в задаче (2.98)—(2.99) Л = @, и" < +;
в) если в задаче (2.88)—(2.89) Х = ©, }, =-, то в двойственной задаче
(2.98)—(2.99) Л = ©; обратно: если Л * ©, \у" = +, то Х = ©;
г) если в задаче (2.88)—(2.89) Х + ©, а в задаче (2.98)—(2.99) Л = ©, то
|. = -еэ; обратно: если Х = ©, Л = ©, то у" = +5.
134
Доказательство
а) Если задачи (2.88)—(2.89) и (2.98)—(2.99) разрешимы, то, конечно,
Х = ©, Л = ©. Обратно, если Х
# ©, Л + ©, то из леммы
2.5 следует, что
[.>-59, \/* < +0, и разрешимость задач (2.88)—(2.89) и (2.98)—(2.99) вытекает из теоремы 2.7 и следствия к ней.
6) Пусть в задаче (2.88)—(2.89) Х = ©, }+ > —©. Тогда согласно теореме 2.7
задача (2.88)—(2.89) разрешима, а по теореме 2.8 разрешима и двойственная задача (2.98)—(2.99), т. е. Л # ©, у" <+°. Обратно: из Л # ©, \у* < +
следует разрешимость задачи (2.98)—(2.99), поэтому разрешима и двойственная к ней задача (2.88)—(2.89), так что Х # ©, }+ > =.
в) Это утверждение легко доказывается рассуждениями от противного.
Пусть Х # ©, }, = —<о, но Л # ©. Согласно утверждению 6) тогда обе задачи
(2.88)—(2.89) и (2.98)—(2.99)) имеют решение и {,‚ > —<о, что противоречит
условию. Аналогично доказывается, что если Л # ©, \у* = +, то Х = ©.
г) Пусть Х # ©, Л = ©, но }. > —. Тогда в силу утверждения 6) Л = ©,
у" < +°, что противоречит условию Л = ©. Аналогично убеждаемся, что
если Х = ©, Л = ©, то \у" = +. Теорема 2.12 доказана. №
Следующий пример показывает, что возможен случай, когда во взаимодвойственных задачах (2.88)—(2.89) и (2.98)—(2.99) оба множества Х
и Л пусты.
Пример
2.10
Пусть исходная задача имеет вид
Ла)=м-2х? шш,
хЕХ={х=(^1,х2)>0: х!- х2 =1, м-х?=2}.
Тогда двойственная задача будет выглядеть так:
0.) =-М-2^2 > тах,
Ясно, что Х=@,
Приведенные
Л=
ЛЕЛ={) =(^1,А2); 1+2 >-1, 1+4? <-2}.
в.
выше теоремы двойственности
часто позволяют
полу-
чить содержательную информацию о рассматриваемой задаче линейного
программирования, иногда на этом пути удается провести полное исследование задачи и даже получить ее решение. Для иллюстрации рассмотрим
задачу линейного программирования, не содержащую ограничения типа
неравенств.
АОИ
Рассмотрим задачу
Г) =(с,х)> тт,
хЕХ={хЕЁ": Ах=Б},
где А — матрица размера тхи, се Е", БЕ Е". Эта задача является частным случаем
задачи (2.88)—(2.89), когда т 1 = 0, и› = и, т! = 0, т› = т, А» = А, Б. = В, матрицы А\1,
А}, А», В, отсутствуют. Двойственной к ней является задача
и(^)=Ь—,
Л) > тах,
ЛЕЛ={ЛЕ
Е”: АТА+с=0}.
Если Х# ©, ]. > со, то согласно теореме 2.12 Л * ©, у" < +
тор с представим в виде с = —АТ4, где же
и, следовательно, век-
Л. Но тогда
135
Да) =(с,х)=—АТМ, х) =—№, Ах) = №, 5) = сопз
при всех х Е
Х, так что Х. = Х. Аналогично если лу
Х, то В = Ажи
(0) =-—(6, ^) =—Ах,^) =-(хо, АТА) = (ху, с) =сопзё
УАЕЛ,
так что у" = (хо, с) = /, Л* = Л. Как видим, задачи линейного программирования без
ограничений типа неравенств малосодержательны и большого интереса не представляют.
В заключение докажем еще одну теорему, известную в литературе под
названием теоремы Фаркаша. Эта теорема имеет важные приложения
в выпуклом анализе, теории экстремальных задач и может быть легко доказана на основе приведенных выше теорем двойственности.
Теорема 2.13. Пусть множества Х, А определены согласно формулам (2.89), (2.99), Х = ©, пусть а — заданное число. Тогда для того чтобы
неравенство [(х)= (с!, х!/)+(со, хо) > а было справедливо для всех х = (х|,
хо) Е Х, необходимо и достаточно, чтобы Л + © и существовала точка
А" = (№, №) Е Л такая, что \(^")=—В, №м)-(, №5) > а.
Доказательство
Необходимость. Пусть Х * би Кл) > а при всех хЕ Х. Тогда ясно, что
[.= ше Га) >а> -, и в силу теоремы 2.7 задача (2.88)—(2.89) имеет решеХЕ
ние. Согласно теореме 2.8 двойственная задача (2.98)—(2.99) также будет
разрешима, т.е. Л # © и найдется точка ^" Е Л, для которой
\(") = зиру() =" = А >а.
ЛЕЛ
Достаточность. ПустьХ ©, Л=@иточка/” Е Лтакова, что\у(^”) > а. Тогда
с помощью неравенства (2.102) при Л. =Л” имеем /(х)>у(^")> а при всех
ХЕ Х. Теорема 2.13 доказана. №
В приложениях часто используется следующий частный вариант тео-
ремы Фаркаша.
Теорема 2.14. Пусть А, А› — матрицы размера т/х п, то х п, вектор
СЕ Е". Тогда для того чтобы для всех х таких, что Ацх < 0, Ах = 0, было
справедливо неравенство (с, х) > 0, необходимо и достаточно, чтобы суще-
ствовала точка №" =(№,^5), М ЕЕ”, №1 >0, № Е Е”2, такая, что
с=-АТМ
1/17 — АТА5.
2 ^2
(2.117)
Доказательство
Положим
Х={хЕ
А= {А =(4,^2): МЕ
Е: Ах < 0, Ах
= 0};
Е, А. Е Е", АГА + АТА. +с=0}.
Эти множества являются частными случаями множеств Х, Л из (2.89),
(2.99)
Здесь Х
при
+
А! 1
= 0,
= А|,
Ар
= 0,
©, так как 0 Е Х. Отсюда
дует утверждение
136
А12
теоремы
А
= Ао,
Ь, = 0,
и из теоремы
2.14, причем
Ь> = 0,
с
= 0,
Со =
С.
2.13 при а = 0 сле-
в качестве
искомой
точки
А" = (№,^5) можно взять любую точку А" Е Л. Попутно отметим, что здесь
(Л) =0=лу" = }, = / (0)
< }(х) при всех хе Х, ЛЕ
Л, Л" =А, а равенство
(2.117) вытекает из принадлежности точки ^" множеству Л. Теорема 2.14
доказана. №
Упражнения
2.1. Задачу
Кх) =ж1+ 2+4
> ша, хЕ
Х,
Х={х=
(21, д2, 43, 4): 1 > 0,23
> 0,44 <1, 1+2 <1, 1+3 >21}
запишите в виде канонической задачи.
2.2. При каких значениях параметра а задача
Их) = 1+ ах? > тп, хЕ
Х,
Х={х= (51, 42): х> 0, м1-л2> 1, 41+ 212> 4}
имеет решение? Не имеет решения? Имеет единственное решение? Результат изобразите графически.
2.3. Для данных множеств найдите все угловые точки и их базисы:
а) Х = {х = (^1, л2, 43, 44, 5): х> 0, А, 1+ Ах? + АздЗ+ Ада + Ах = В}, где
1
А!
6) Х={х;
=
АА =
1
Аа= |
1
Ех> 0, ^1+л2+...+ =
Аа=
1
0
1
45 =| 4 6=| 1
1} (симплекс).
2.4. Пусть Х ={хЕЁ": (а,х) <, 1=1,..,т}, где а; — заданные векторы
из Е"; М — заданные числа, 1 = 1, ..., т. Докажите, что точка о Е Х является
угловой точкой множества Х тогда и только тогда, когда обращаются в точные равенства не менее чем п из неравенств (а;, о) < В, среди которых есть
п линейно независимых. Докажите, что при т < п это множество не имеет
угловых точек.
2.5. Рассмотрите задачу
Ко) = -ж + 6х2 + х3+ 244+ 5 > ежг, хЕ Х,
где Х — множество из пункта а) упражнения 2.3. Перебором угловых то-
чек множества Х найдите максимальное и минимальное значения целевой
функции. Примените к этой задаче симплекс-метод, беря в качестве начальной различные угловые точки множества Х.
2.6. Рассмотрите задачу
Кох) = м! + 4х2 + 5 > ех, хЕ
Х,
Х={х= (х1, д2, 43, 4, 5) > 0: 21+ 52+3+44+2%5=2,
41-43+24+2=1}.
Найдите решение этой задачи двумя способами: перебором угловых
точек и симплекс-методом.
137
2.7. С помощью симплекс-метода
а) /(х) = х! + х2 + х3+ 44 > ша,
21+ 2 — дз да = 3, 2 + 2+ 3—4
6) /(х) = м! - 2+ 3-9 > ша,
решите задачи:
хЕ Х,
Х = {х = (21, 42, 43,
=-1};
хЕ Х, Х={х = (21, 42, 43,
4) >20:
4) >20:
++
3+ = 1};
в) /(х) =д! + 243+
15 —> шш, ХЕ
Х,
1+2
+3 +44 +45 =5,
Х=)х=(х1,
х2, х3, 4, 45)>0:
42+43+44-45=2,
8—4 +5 =1
г) /(х) = 31 + 4х2 + 343 - 44 - 25-16 > шш,хЕ
в
Х,
221 +352 +453 14-25-36
=24,
(5х1, х?2, 3, х4,45)>0:
х1+242-43-44-2х5+26=2,
3-16 =3
Х=1х=
д) (м) =
-
Х=4х
2 +3+45 > Ша,
|;
ХЕХ,
= (хЬ х?2, х3, 44, х5)>0:
1452 —-43-24+42
13 — 4 45
= =1
1+7
|
3
5 РОН
—ж1+2х2 +х3 — 254-23 =2
е) (х) =! + 2х2 - 3-14 - х5 > тах, ХЕ
Х=1х
Х,
1+2 +353 3 +454 4—=12
х!+х7
= (21, 2, д3, 54,5)
20:
о,
оз
’
м -х2+43-х4<2
(предварительно приведите эту задачу к каноническому виду);
ж) /(х) = х! + х2 + 3+ 44 >> тах, хЕ Х, Х = {х = (41, 42, 43, )>0:
ж1+ д? + 343+ 444= 12, 1 - 2+ 3— = 2};
3) (х) =^1+ 3х2 + 23+ 444- 2х5 > шш,хЕ Х,
—х1 +3 - 254 =-2,
Х=3х=(л1,
2, х3, х4, х5)>0: х2-13+х4-255 =0,
21+ х2 +54 +45 =7
(возьмите в качестве стартовой угловой точки 2 = (3, 1, 1, 0, 0)).
2.8. Проверьте, что в задаче
К(х) =23-44+45+46
> шах, хЕ Х,
где
х=(х!, х2, хЗ, х4, 5,6, х7)> 0,
а
ПО
мшШмми
о о
|х1+| 1 2+1 4 [53+] -3 |4+| -2 |5+| 1 |жб+| 0 [7=| 0
0
0
1
1
1
1
1
1
симплекс-метод может привести к зацикливанию: при выборе в качестве
стартовой угловой точки 54 = (1, 1, 0, 0, 0, 0, 1), можно получить цикли-
ческую последовательность угловых точек с базисами (Ау, А», Ал), (Аз, А»,
138
Ал), (Аз, Ар, Ал), (Аз, Ау, Ал), (Аз, Ав, Ат), (Ав, Аз Ал), (А, А», Ат). Решите эту
задачу с помощью антициклина.
2.9. Найдите начальную угловую точку методом искусственного базиса,
после чего с помощью симплекс-метода решите задачи
а) (х) = 21+
х2 -— х3+ ЗА- 25 > шш,хЕ Хх,
х=(х1,
х2, 3,54, 5) > 0,
х_1[8
2
215
3
9
9
30`) ||
1+1 11х2+| 2 |х3+| 5 |х4+| 6 |х5 =| 19
1
1
6) Кх) =! - х2 + 23+
0
3
34 — 5 > ша, хЕ
0
|?
3
Х,
х= (1, х2, 43, 4,45)
>0,
Х=
1
1
1 |1 +] 1х2
0
1
1
+1 0 |хЗ+|
1
1
1
-1 1х4 +| 0 |х5=|
0
0
1
2
1/2
Глава 3
ЭЛЕМЕНТЫ ВЫПУКЛОГО АНАЛИЗА
В этой главе изучаются свойства выпуклых, строго выпуклых и сильно
выпуклых функций. Выпуклый анализ играет фундаментальную роль
в теории и методах оптимизации.
ЗА. Выпуклые функции
3.1.1. Понятие выпуклой функции
Напомним определение выпуклого множества.
Определение
3.1. Множество Х из пространства Ё" называется выпу-
клым, если для любых и, оЕ Х точка х„= м + (1 - 0) принадлежит множеству Х при всех Е [0; 1].
Иными словами, множество Х выпукло, если оно вместе с любыми
двумя точками и, о, ему принадлежащими, целиком содержит отрезок, их
соединяющий. Так, например, на рис. 3.1 множество Х\ выпукло, а множество Х› невыпукло.
и
Рис. 3.1
Ясно, что все пространство Ё" образует выпуклое множество. Пустое
множество и множество, состоящее из одной точки, также будем считать
выпуклыми. Тогда из определения 3.1 непосредственно следует, что пересечение любого числа выпуклых множеств является выпуклым множеством.
Примерами простейших выпуклых множеств являются шар, гиперплоскость, полупространство. Также являются выпуклыми многогранные множества, рассмотренные в гл. 2:
Х={хеЕЕ":х>0,Ах=(<)6}, Х={хЕЕ”: Ах=Ь,Ах<в)}.
Определение 3.2. Функция /(х), определенная на выпуклом множестве
Хс
140
Р", называется выпуклой на этом множестве, если
Д(ои+- оо) <
(и) + (1-0) (о)
(3.1)
при всех и, оЕ Х, 4Е
[0; 1]. Если в формуле (3.1) при и = о равенство будет
только при © = 0 ид = 1, то функция /(х) называется строго выпуклой на Х.
Определение 3.3. Функцию /(х) называют вогнутой (строго вогнутой)
на выпуклом множестве Х, если функция (-/(^х)) выпукла (строго выпукла)
на Х.
Из этих определений
непосредственно вытекает, что если Х, СХ,
и функция /(х) выпукла (строго выпукла) на Х,, то она будет выпуклой
(строго выпуклой) на Х\; если /(х) вогнута (строго вогнута) на Х., то она
будет вогнутой (строго вогнутой) на Х..
Иногда в литературе выпуклые функции называют выпуклыми вниз,
а вогнутые — выпуклыми вверх. Геометрическим смыслом выпуклости
(вогнутости) является тот факт, что хорда, соединяющая две точки графика функции, лежит не ниже (не выше) его. Для строго выпуклой (строго
вогнутой) функции эта хорда (за исключением концов) будет лежать строго
выше (строго ниже) графика. Пользуясь методом математической индук-
ции, нетрудно показать, что для любой выпуклой функции /(х) на выпуклом множестве Х имеет место неравенство Йенсена
ия < Ха, /(х,) Мт=1,2,..,
1=1
1=1
т
Ух, ЕХ, а, >0,1=1,..,т, У а; =1.
221
(3.2)
Отметим, что одна и та же функция на каких-то одних множествах
может быть выпуклой, а на каких-то других — нет. Если множество Х пусто
или состоит из одной точки, то любую функцию на таком множестве нам
будет удобно считать выпуклой (или вогнутой) по определению. Подчеркнем также, что всюду, если не оговорено противное, мы будем рассматривать лишь функции, принимающие конечные значения во всех точках
области определения.
Примерами выпуклой функции на всем пространстве Ё" служат линей-
ная функция /(х) = (с, х) и норма /(х) = |х|. Отметим, что линейная функция /(х)=(с,х) одновременно является и вогнутой на ЕЁ”. На рис. 3.2,
3.4—З.1, 3.11, 3.12 приведены примеры различных выпуклых на указанных
множествахХ функций одной переменной, на рис. 3.3, 3.8—3.10 — вогнутых.
у=х
Рис. 3.2
Рис. 3.3
141
А
у=х-1+|х+
1-3
у=е*
-1-хх<0
у=1-10<х<3
1х=3
м:
-2
3
Х= [-2, 3]
Рис. 3.7
А
А
у=
—2
4-2
У=зшх
2
0
Х= [-2, 2]
=
Х= [0, п]
Рис. 3.8
Рис. 3.9
у=\Мх
У=зШх
”
—
0
Х = [0, +=)
Рис. 3.10
142
”
Х= [-л, 0]
Рис. 3.11
у=-шх
Х= [0, +=)
1
Рис. 3.12
3.1.2. Критерии выпуклости
Даже для несложной функции одной переменной /(х)=ех исследование
выпуклости с помощью определения является не очень-то простой задачей, поэтому необходимо иметь более удобные способы проведения такого
исследования. Сформулируем и докажем критерии выпуклости дифферен-
цируемой функции.
Теорема 3.1 (критерии выпуклости первого порядка). Пусть Х —
выпуклое множество из пространства Е", К(х) Е С'(Х). Функция Кх) является выпуклой на множестве Х тогда и только тогда, когда справедливо
неравенство
(и)> Ко)+(
Ро), и-о)
УиоекХ
(3.3)
или неравенство
(Р(и)- Г’), и-и)>0
Уи,оЕХ.
(3.4)
Доказательство
Сначала покажем, что из выпуклости /(х) на множестве Х следует неравенство (3.3). Возьмем произвольные и, о Е Х и некоторое &е (0; 1]. Тогда
по определению выпуклости
Ком+ (1—@)о) <о/(и) + (1-@) Ко) = (Ки) - Ко) > Ком+ (1-00) - Хо).
Применяя формулу конечных приращений (1.113), получаем
Ком + (1—0)0) — Хо) = (о + 0оКи —э)), о(и-п)),
и приходим к соотношению
о (и) — Ло) > (о + бо(и-о)), (и — в)
У ае
(0; 1].
Поделим его на © > 0 и перейдем к пределу при © > 0 + 0. Тогда
в силу непрерывности /"(х) на множестве Х и того, что 9 Е [0; 1], имеем
’©о+00(и-о))-> Г’(0), и потому
Ги)- Ко)> (Ро), и-9)
ЧиоЕ)Х.
Теперь покажем, что из неравенства (3.3) вытекает неравенство (3.4).
Для произвольных и, 9Е Х
в силу (3.3) выполнены неравенства
Л(и)> Л (в) +), ии);
Л(о)> Ки) + (и, о-и).
143
Складывая их, находим
Л(и)+ Л(о)> Л(и)+ Ло) +(1 (о), и-0)+( (и), офи) >
=> (Г’(и)(о), и-9)>0
Уи, оЕ;Х.
Наконец, докажем, что из неравенства (3.4) следует выпуклость функции /(х) на множестве Х. Рассмотрим произвольные и, Е Х, Е
[0; 1]
и обозначим и = си + (1 - о). Отметим, что тогда и — м = (1-9)(и-о),
о-ш=о(о- и). Нам надо проверить выполнение неравенства ©/(и) + (1 -—
— 0) (о) - Ка) > 0. Пользуясь формулой конечных приращений (1.113),
запишем цепь равенств:
чШ+а- ое) -Ла)= = (д - Ла) + ал
са}
ачки- и),
ии
-Л)= =
)@+(1- обои
(аи)
=0(1- о
о
ш)), —ш)@=
аи)
+ 1-9) (и-о)), и- о) +о(1- о
0
о+вюо- и), о- и
=
а
- око
оди- в) чо
- ии)
Уи, оЕХ, Ма
Е [0;1].
0
Обозначим # + К1 — 9) (и - 0) =реЕ
Х, ш+ю\(о- и) = ЦЕ Х. Заметим,
что тогда р -4=Ки-о) и потому в силу неравенства (3.4)
КР
0
+1-а)(и-о))1
=0
Г(ш+юКо-и), ибо =
Ф- Га ф- Фу 20.
Но тогда, с учетом того что ©(1 - ©) > 0 при всех ое
о (и) + (1- а) (о) - Кш)>0\У
[0; 1], имеем
м,оЕ Х, Уае [0; 1],
что и требовалось доказать. №
Внимательно проанализировав доказательство этой теоремы, мы получаем следующее следствие.
Следствие 3.1. Если Х — выпуклое множество из пространства Ё”,
(<) Е СКХ), то из справедливости утверждения }(и)> /(и)+(/’(0), и-о)
У и, оЕ Х, ито, или утверждения (}”(и)- /*(о), и-о)>0 Ум, оЕ Х, ити,
вытекает строгая выпуклость функции /(х) на множестве Х.
Эквивалентность выпуклости неравенству (3.3) в литературе обычно
называют теоремой о касательной плоскости. Ее геометрический смысл
очень прост: график гладкой выпуклой
на множестве Х функции лежит
не ниже касательной, проведенной к нему в произвольной точке множества Х. Неравенство
(3.4) для функции
одной переменной также имеет
очевидную интерпретацию и фактически представляет собой условие неубывания производной }”(х). Для функции
многих переменных говорить
о неубывании уже не приходится, но все равно, по инерции, эквивалентность выпуклости неравенству (3.4) зачастую называют теоремой о монотонности градиента.
144
Для того чтобы доказать критерии выпуклости, использующие вторую
производную, нам понадобится одно важное свойство выпуклых множеств.
Лемма 3.1. Пусть Х — выпуклое множество, шёХ * ©, ще ШЕХ, уе Грх.
Тогда для всех
Е (0; 1] точка о, =0+ 0(щ- 0) Е ШЕХ.
Доказательство
Так как шЕ ШХ, то некоторая ее 5-окрестность О(щ,, 5) = {и: [и — и) <
< 6} целиком принадлежит Х. Возьмем произвольное © Е (0; 1] и покажем, что окрестность О(9, 06) = {и: |и-б| < 08} точки о, принадлежит Х. Для этого возьмем произвольную точку иЕ О(%х, 96) и положим
#=ищ +
—0„) (рис. 3.13).
С
Рис. 3.13
1
1
Поскольку [© —\ | = — [м -. | <—60 = 9, тоше
о
о
ления точки и имеем представление
и= 0+0
(
О(щ, 6) с Х. Из опреде-
— щ) =о+0(щ-0) +9 (@ — що) = 9+
(1-9),
где о, шЕ Хи0<а, < 1. Тогдаие Х всилу выпуклости Х. Тем самым показано, что произвольная точка и из О(5з, 96) принадлежит Х. Следователь-
но, о, — внутренняя точка множества Х. №
Теорема 3.2 (критерии выпуклости второго порядка). Пусть Х —
выпуклое множество из пространства Е", шЕХ = ©, Кх) е С2(Х). Функция
(<) является выпуклой на множестве Х тогда и только тогда, когда справедливо утверждение
(1”(х)в,й)>0
Доказательство
Достаточность. Возьмем
УхЕХ,
произвольные
УЙйЕР".
(3.5)
и, 9 Е Х, тогда по формуле
конечных приращений (1.115)
(Ги)
- Го, и) =” (о+0(и-о))(и-о), и-о), 0 [0;1].
Так как о + 0(и - о) Е Х из-за выпуклости Хай =и-оЕ
формулы (3.5)
РЁ", то в силу
{1 +0(и-э))(и-о), и-)> 0,
следовательно, и (/^(и)- } (5), и-о) >0. По теореме 3.1 из этого неравенства вытекает выпуклость /(х) на Х.
145
Необходимость. Пусть /(х) выпукла на Х, тогда по теореме 3.1 верно
неравенство (3.4). Рассмотрим сначала внутреннюю точку х Е ШЕХ. Взяв
произвольное
й Е
Еп, мы
можем
утверждать,
что для
всех достаточно
малых
= > 0 точка х + &й лежит в множестве Х. Поэтому
(/(х+=р)- Г’(х), х+Ей-х)> 0.
Но по формуле конечных приращений (1.115)
(Р’(х+=й)- Р(х), х+=й-х) =(Г”(х+ 0Ех)ЕЙ, вЙ),
стало быть, (}”(х
+ @еР)й, гей) > 0. Сокращая левую и
неравенства на =? > 0 и переходя к пределу при & -> 0
рывности /"(х) на Х имеем ( {”(х)й, #) >0 УхЕ ШЕХ,
нено (3.5).
Теперь рассмотрим граничную точку х множества
точку ОЕ
правую части этого
+ 0, с учетом непреУ ВЕ РГ", т.е. выполХ. Возьмем любую
ШЕХ и построим последовательность точек х, =х+@-х).
По лемме 3.1 точки хь, А = 1, 2, ..., будут внутренними точками множества Х,
и при этом | - < — 0. Тогда, как мы уже доказали, для любого й Е ЕЁ" выполнено (/”(х,)й,й) > 0. Переходя в этом неравенстве к пределу при # -> <,
с учетом непрерывности /"(х) получаем { {”(х)й, #) > 0 УрЕ Е". М
Из приведенного доказательства теоремы 3.2 и следствия к теореме 3.1
вытекает следующее следствие.
Следствие 3.2. Если Х — выпуклое
множество
из пространства Е”,
(х) е С2(Х), то из справедливости утверждения (/”(х)й, #) >0 УхеЕ Х,
У рЕ Е", й = 0 вытекает строгая выпуклость функции /(х) на множестве Х.
Отметим, что условие шЕХ + © в теореме 3.2 не может быть ослаблено.
Для этого рассмотрим такой пример. Пусть Х= {и = (х, у) Е ЕЁ: у= 0},
(и) = х? - у?2. Ясно, что множество Х представляет из себя прямую на координатной плоскости и не имеет внутренних точек. С помощью определения
нетрудно убедиться, что (х) является выпуклой и даже строго выпуклой
функцией на Х, но для всех х из Х выполнено
ев =
[0 к
=28 28,
что меньше нуля, если взять й! = 0, Й. = 1.
3.1.3. Свойства точек минимума выпуклых функций
Теперь перейдем к изучению задач минимизации выпуклых функций
на выпуклых множествах. Такие задачи будем кратко называть выпуклыми
задачами. Начнем с обоснования того факта, что выпуклая функция многих переменных не может иметь на выпуклом множестве точек локального
минимума, отличных от точек глобального минимума.
Теорема 3.3. Пусть Х — непустое выпуклое множество из пространства Е", функция К(х) определена и выпукла на Х. Тогда любая точка локаль-
ного минимума К(х) на множестве Х является ее точкой глобального минимума, а множество
146
Х.={хеХ:
(а) = = Ш)
выпукло.
Если, кроме того, функция К(х) является строго выпуклой на Х, то мно-
жество Х, состоит не более чем из одного элемента.
Доказательство
Предположим, что х. является точкой локального минимума функции
К) на множестве Х. Это означает, что существует такое &4 > 0, что для всех
точек множества Х, удовлетворяющих неравенству [х-х. | <Е0, справедливо /(х)> /(х.).
Рассмотрим произвольную точку х множества Х и положим х„ = ох +
+(1 — <)х.+. Ясно, что при 0 < << шт
==
‚1: точка х в силу выпуклости
множества Х тоже в нем содержится и, кроме того, /(х.,)> /(х»), поскольку
[к —х. | < =. Пользуясь определением выпуклости функции /(х), имеем
Л (ха) < 0) (х)+ (1-0) (х.) => ок (х)- Л(ж.))>
(жи) А(хь).
Поскольку правая часть последнего неравенства неотрицательна, а © > 0,
мы получаем /(х)> /(х.) для любого х Е Х, что и означает, что х. — точка
глобального минимума функции /(лх) на множестве Х, }(х.)=
Далее возможно два случая. Если множество Х, пусто или состоит
из одной точки, то оно выпукло. Если же это не так, то рассмотрим две
произвольных точки 11, х› множества Х. с Х. Для произвольного (ие
[0; 1]
точка х = ох! + (1 - ах. лежит в множестве Х в силу его выпуклости, и,
кроме того,
Ха, +(1-о)х›)
< 0 (х1)+ (1-9) 1(х›) = 0/4 + (1—0) = Л,
поэтому (ох, +(1-9)х›)= /, что означает хеХ.. Выпуклость множества Х, доказана.
Наконец, если функция К(х) является строго выпуклой на Х, поступим
аналогично. Пусть 11,Хх. ЕХ, СХ, д, # хо. Тогда для всех ое
(0; 1) точка
х = од; + (1 - 4)х› лежит в множестве Хв силу его выпуклости, но
Л(ос + 1-х») < 0 (х,)+ (1-0) Л (хо) = 0 + (1-4)А = Л,
что невозможно. Значит, множество Х. содержит не более одного элемента.
Теорема доказана. №
Заметим, что даже строгая выпуклость функции /(х) не гарантирует
непустоту множества Х., что можно подтвердить элементарным примером. Положим Х = Ё!, [(х) = ех (см. рис. 3.4). Поскольку при всех х из Ё!
’(х) =е*> 0, то Кх) по следствию 3.1 из теоремы 3.1 строго выпукла на Ё1.
Ясно, что + =0, но К(х) > 0 при всеххе Ё!, поэтому Х. =@.
В завершение этого параграфа сформулируем и докажем необходимые
и достаточные условия минимума выпуклой функции.
Теорема 3.4 (критерий оптимальности для выпуклых задач). Пусть
Х — выпуклое множество из пространства Е", функция Кх) выпукла и непрерывно дифференицируема на Х. Тогда если множество Х. ={хеЕХ:/(х)= р =
147
= шЁ /(х)} непусто, то х. Е Х. тогда и только тогда, когда справедливо
хЕХ
неравенство
({’(х.), х-х.)>0
Кроме
[/(х.)
того,
если х. Е ПХ,
УхЕХ.
то х, Е Х, тогда
(3.6)
и только
тогда,
когда
= 0.
Доказательство
Тот факт, что из х. Е Х. вытекает неравенство (3.6), доказан в теореме 1.7;
случай х., Е ШЁХ разобран там же. С другой стороны, если функция /(х)
является
выпуклой
и непрерывно
а (}^(х.), х-х.)>0 Ухе
лучим
дифференцируемой
на множестве Х,
Х, или /"(х.) =0, то, применяя теорему 3.1, по-
Г@а)- Кх.)> (Г’(х.), х-х.)>0
УхЕХ.
Значит, при всех х из Х /(х)> /(х.), х, Е Х.. Теорема доказана. №
Итак, мы получили, что выпуклые функции обладают несколькими
полезными с точки зрения минимизации свойствами. Во-первых, для них
не существует проблемы локальности минимума, и, во-вторых, достаточное
условие минимума не требует вычисления второй производной. Более того,
при изучении в следующих главах вопросов сходимости итерационных методов минимизации станет ясно, что выпуклость функции /(х) является одним
из главных свойств, обеспечивающих эту сходимость. Для невыпуклых
функций задача поиска точек минимума гораздо сложнее, чем для выпуклых. Докажем еще несколько арифметических свойств выпуклых функций,
полезных для исследования выпуклости и обоснования некоторых фактов.
3.1.4. Другие свойства выпуклых функций
Понятия выпуклой функции и выпуклого множества неразделимо связаны друг с другом. В частности, с помощью выпуклых функций можно
описывать выпуклые множества, что вытекает из того, что надграфик любой
выпуклой функции является выпуклым множеством. Дадим соответствующее определение и докажем этот несложный геометрический факт:
Определение 3.4. Надграфиком (или эпиграфом) функции /(х), определенной на множестве Х с Ё", называется множество (рис. 3.14)
:иЕХ, и> {(х)}.
148
5!
>
---------252-9
ер!/
= {(м,о)Е Е"
Теорема 3.5. Для того чтобы функция К(х), определенная на выпуклом
множестве Х, была выпуклой на нем, необходимо и достаточно, чтобы ее
надграфик был выпуклым множеством.
Доказательство
Необходимость. Пусть функция /(х) выпукла на выпуклом множестве Х.
Возьмем две произвольные точки #2 = (14, 01), шо = (и, 92) Е ер{ и составим их выпуклую комбинацию в; = ош! + (1 — в). = (о! + (1 - аи»,
001 + (1 - 0)о.), 0 < а < 1. Из выпуклости множества Х вытекает, что из =
= 041 + (1-с)м›Е
Х. С другой стороны, из выпуклости функции /(х) следует,
что Киз) < Ки) + (1 - о“) Ки>) < о + (1 - ао. Таким образом, ши,Е ей!
при всех © Е [0; 1]. Выпуклость ер!/ доказана.
Достаточность.
Пусть ем} — выпуклое
множество.
Возьмем
произ-
ВОЛЬНЫЕ #1,
Е Хиае [0; 1]. Тогда в = (и, (ил), шо= (из, (и) Е ер!.
В силу выпуклости ер!{ точка #2 = о + (1 -— 9). = (о! + (1 - чи»,
о (ии) + (1 - а) (м>)) тоже лежит в ер!;. Но тогда по определению надгра-
фика (ом! + (1 - и) < а Ки!) + (1-о)Ки>). Выпуклость /(х) доказана. №
Теперь покажем, что любое множество Лебега выпуклой функции является выпуклым.
Теорема 3.6. Пусть Х — выпуклое множество, а функция (х) выпукла
на Х. Тогда множество М(с)= {хе Х : /(х) < с} выпукло при любом с.
Доказательство
Сначала заметим, что множество
М(с)
может оказаться пустым
или
состоять из одной точки. Тогда оно выпукло по определению. Если же
оно состоит более чем из одной точки, то, рассматривая произвольные и,
ОЕ М(с), че
[0; 1] и пользуясь выпуклостью множества Х и функции /(х),
имеем
0+ (1-0)оЕХ, } (ом (1-00) < о} (и) + (1-9) (о) < ос + (1-9) = с,
т.е. 0 + (1 - ()доЕ М(с), поэтому М(с) выпукло. №
Следствие 3.3. Пусть Ху — выпуклое множество, функции &/(х), # =
=1,..., т, выпуклы на Ху, функции &/(х), {= т +1, ..., т + $, заданы формулами &;(х)=(а,х)-Ь, где а; — заданные векторы из Ё", 5; — заданные числа.
Тогда выпукло множество
Х ={хЕХу:
5, (х) < 0,1=1,..,т; &(х)=0, 1=т+1,...т+$}.
Доказательство
В силу теоремы 3.6 множества Х; = {хе Ху: 5;(х) < 0} выпуклы при всех
1=1,.., т. Множества У; = {хе Ху:(а,х)-в, =0},1=т+1, ..., т + $, также
выпуклы, что можно установить с помощью определения или получить
из теоремы 3.6, заметив, что У, = У, м И, где У, ={хЕХу: (а, х)-в, < 0},
У, ={хЕХу: В, —(а,, х) < 0}. Линейные функции (а, и)-6; и В, -(а;, и) выпуклы, стало быть, У; и \; выпуклы, но тогда выпуклы и У, 1=т +1, ..., Т+5.
Значит, множество Х тоже будет выпуклым, так как оно является пересечением выпуклых множеств Х\, ..., Хи» Уши, --› Упс. №
Заметим, что обратное к теореме 3.6 утверждение неверно: из выпуклости множества Лебега М(с) при любом с не следует выпуклость функции
149
К). Например, множество М(с) = {х Е[0; +): Ух < с} выпукло при любом
с (при с<
0 оно пусто, при с > 0 оно представляет из себя отрезок [0; с?]),
но функция }(х)= Ух не выпукла (и даже строго вогнута) как на [0; +=),
так и на любом выпуклом множестве, содержащемся в [0; +°э).
Теперь обсудим простейшие арифметические свойства выпуклых функЦИЙ.
Теорема 3.7. Если функции }(х), 1 =1, .., т, выпуклы на выпуклом множе-
стве Х, то функция (х) =а.}/(х)+ ...+апи/„(х) выпукла на этом множестве
при любых а;> 0,1=1,..., т.
Доказательство
Рассмотрим произвольные и, о Е Х и некоторое © Е
[0; 1]. Тогда в силу
выпуклости функций /(х)
(ом
+ (1-00) = а (ои+4-одо)+...+аи/„(ои+ (4-00) <
<а1 (0) (и)+ (1-9) (0))+...+аи(о/„(и)+(1-9)7„(о))=
= (а, Л(и)+...+аи/„(и))+(1-@) (а,Л (о)+...+атЛ(о)) = о} (и)+ (1-9)1 (0),
что и требовалось доказать. №
Теорема 3.8. Пусть /(х),1Е Г— произвольное семейство функций, конечных и выпуклых на выпуклом множестве Х, и пусть }(х)=зир № (х),хЕ Х.
Е
Тогда функция К(х) выпукла на Х.
Доказательство
Возьмем произвольные точки и, о Е Х, некоторое &е [0; 1] и положим и,=
= аи + (1 - ао. Для каждого фиксированного 1 Е Г функция }(х) выпукла
на Х, поэтому
(и) < а} (и)+ (1-9) (0) < о (и)+ (1-0) (о) УТЕ 1.
Переходя в левой части этих неравенств к верхней грани по1еЕ
Ли) < 9 (и)+ (1-0) (6) Ча
[, получим
[0;1].
Выпуклость функции /(х) доказана. №
Отметим, что хотя каждая из функций /(х),1Е [, принимает конечное
значение в каждой точкех Е Х, в каких-то точках х Е Х возможно /(х) = +.
Несмотря на это, доказанное утверждение, очевидно, сохраняет силу.
Теорема 3.9. Пусть функция Й(Ё) одной переменной выпукла и не убывает на отрезке [а; 6] (возможность а = —<° или В = +со здесь не исключается). Пусть функция #(х)) выпукла на выпуклом множестве Х < Е", причем
(хе [а; В] при всех хе Х. Тогда функция Г(х) = И(Е(х)) выпукла на Х.
Доказательство
Возьмем произвольные и оЕ Хисе
[0; 1]. Тогда
Л(ои + (1—0) = (Е (ом + (1- од) < #(ов(и)+ (1-0) 8(0)) <
< ой(в(и))+ (1-4) й(Е(о)) =} (и) + (1-06)1 (о),
что и требовалось доказать. №
Следствие 3.4. 1. Пусть функция &(х) выпукла на выпуклом множестве Х. Тогда функция &*(х) = тах{8(х); 0} выпукла на Х.
150
2. Если функция &(х) выпукла и неотрицательна на выпуклом множестве Х, то функция /(х) = (2(х))Р выпукла на Х при всех р > 1.
3. Если функция &(х) выпукла на выпуклом множестве Х, то при всех
р> 1 функция /(х) = (тах{0; 2(х)})Р = (5*(и))Р выпукла на Х.
4. Если функция &(х) выпукла на выпуклом множестве Х, &(х) < 0
при всех х Е Х, то функции /(х) = —(2(х))-1, К(х) = (тах{ш(-=(х)); 0})р,
р> 1, выпуклы на Х.
3.2. Сильно выпуклые функции
Как было отмечено в параграфе 3.1, выпуклая и даже строго выпуклая
функция может не достигать своей точной нижней грани на выпуклом зам-
кнутом множестве. Тем не менее существует подкласс выпуклых функций,
для которых такое невозможно.
3.2.1. Понятие сильно выпуклой функции
Определение 3.5. Функция (х), определенная на выпуклом множестве
ХС Е", называется сильно выпуклой на этом множестве, если существует
такая константа > 0, что
Ком
(1- оо) < о (и) + (1-0) (о)
4 -а и
(3.7)
при всех и, оЕ Х, всех а
[0; 1]. Отметим, что если неравенство (3.7) верно при м = хо, то оно будет верно и для всех хе (0; ху). Максимальная
из констант 2 обеспечивающих выполнение неравенства (3.7), называется
константой сильной выпуклости функции /(х) на множестве Х. Функция,
получающаяся умножением сильно выпуклой на -1, называется сильно вогнутой.
Из этого определения следует, что сильно выпуклая на множестве Х
функция является на нем строго выпуклой и тем более выпуклой. Типичным примером сильно выпуклой на всем пространстве Е" служит функция
2
(= (хх) =|Г. Для нее неравенство (3.7) превращается в тождественное
равенство с ж= 2:
[6м+(1- ода? = ош? + (1 одЫЙ А-а) -—ШР
(3.8)
Уиое Е", Ма [0;1].
Далеко не всякая выпуклая функция будет сильно выпуклой. Напри-
мер, линейная функция /(х) = (с, х) выпукла на ЕЁ”, но не сильно выпукла,
в чем можно легко убедиться прямой проверкой определения.
Легко показать, что сумма выпуклой на выпуклом множестве Х функции и сильно выпуклой с константой х на том же множестве функции
будет сильно выпуклой функцией на Х с той же константой
сильно выпукла на Хс
х. Если /(х)
константой »; то функция &(х) = а /(х) при любом
0 = с0п86 > 0 будет сильно выпуклой на Х с константой 02.
Изучим свойства множеств Лебега сильно выпуклой функции.
151
Теорема 3.10. Пусть Х — выпуклое замкнутое множество, а функция /(х) сильно выпукла и полунепрерывна снизу на Х. Тогда множество
М(о)={хЕХ: }(х)< К(и)}
непусто,
выпукло,
замкнуто
и ограничено
при любом ое Х.
Доказательство
Множество М(о) непусто, так как о Е М(о), и выпукло по теореме 3.6.
Для обоснования замкнутости множества М(о) рассмотрим произвольную последовательность {х,} точек множества М(о), сходящуюся к некоторой
точке х. Поскольку
множество
Х замкнуто
и все х, содержатся
в М(о) СХ, тоихе Х. А так как функция /(х) полунепрерывна снизу на Х
и /(х,) < Ко) при всех # = 1, 2, ..., то
Л(х) < Ша Убжь) < Л),
поэтому хЕ М(о).
Чтобы доказать ограниченность множества М(о), положим М(о) =М.&М,,
где М/= {хЕ М(о): [х-ч<2}, М.={хЕМ(5): [х-ч]> 2}.
Множество М/ непусто (Е М!\), содержится в шаре радиуса 2 и поэтому
ограничено. Также оно замкнуто как пересечение замкнутых множеств
Мод) и шара. Значит, оно компактно. Тогда по теореме 1.2 Вейерштрасса,
]* = р ИКх)> —=.
Если множество М. пусто, то М(о) = М! ограничено. В противном слу-
чае рассмотрим произвольную точку х Е М.. Возьмем у = и + о(х - и), где
0<&а=
Я“
5. Ясно,
[и
что
1
=(х-5)]= Е"
9] =1
поэтому уе М!. Пользуясь определением сильной выпуклости функции /(х),
имеем
Л) < (а)+@-@о)-аа-аи
+1 ода <
Учитывая, что }(/)> ].-, 1-@ >
(а) 1)
7 =
+1).
и /(х)< Г (0) в силу того, что хе М“
с М(о), получаем
4 &- -
4? < до- =
-й< 45,
т.е. точка х удалена от о не более чем на константу, что и означает ограниченность множества М. Значит, и множество М(о) ограничено как объединение ограниченных множеств. Теорема доказана. №
Теперь докажем основное утверждение, устанавливающее свойства
задачи минимизации сильно выпуклой функции.
152
Теорема 3.11 (Вейерштрасса). Пусть Х — выпуклое замкнутое множество из пространства Е", функция /(х) является сильно выпуклой с кон-
стантой и и полунепрерывной снизу на Х. Тогда }, = Ш 1) > —®, множеХЕ
ство решений Х. ={хЕХ: /(х)= }.} непусто и состоит из единственного
элемента х. и справедливо неравенство
их,
2
2 < /(х)- [(х.) ЧхЕХ.
(3.9)
Доказательство
Возьмем произвольную точку о из множества Х и рассмотрим множество Лебега М(о) = {хЕХ: /(х)< /(и)}.
Сразу заметим, что задачи минимизации функции /(х) на множестве Х
и множестве М(о) эквивалентны, т.е. точные нижние грани и множества,
на которых они достигаются, совпадают. По теореме 3.10 множество М(о)
непусто, замкнуто и ограничено, что дает нам его компактность. Так как
функция /(х) полунепрерывна снизу на М(о) с Х, то по теореме 1.2 Вейерштрасса/. = ду ‚7
= шЕ /(х) > —о, Х. ={хЕХ:/(х)= /.} = ©. Из сильх
о
хе
ной выпуклости /(х) вытекает ее строгая выпуклость, поэтому по теореме 3.3 множество Х, состоит из единственной точки х.
Далее, рассматривая произвольныех Е Хиае (0; 1] и записывая определение сильной выпуклости, получаем
Л(ах+ (Е-одх.) <о/ (к) +
> 15а
-о)[х-х.
о)
(х) о
ох.
2
>
® < /(х)-— Ге. ))+ ак.) Гах+- ах).
Так как множество Х выпукло, х,х. Е Х, то и ох
+
(1-0)х, Е Х. Поэтому
справедливо неравенство }(х.)- /(сх +(1-0)х.) < 0. Тогда имеем
и
5
-о)х-х. В < о(/(х)- /(х.)) Мое (0;1], УхЕХ.
Сокращая это неравенство на 4 > 0 и переходя после этого к пределу
при © —> 0 + 0, получим неравенство (3.9). Теорема доказана. №
3.2.2. Критерии сильной выпуклости
Начнем с доказательства простого вспомогательного утверждения.
Лемма 3.2. Пусть Х — выпуклое множество. Функция /(х) сильно
выпукла на Х с константой м > 0 тогда и только тогда, когда функция
&(х)= /(х)
Е выпукла на Х.
Доказательство
Учитывая равенство (3.8), прямой проверкой мы убеждаемся в том, что
для любых и, оЕ Х, (Е [0; 1] неравенства
&(0и + (1—0)0) < ов(и)+ (1-9) 8(и)
153
К(ои+ (1—0) < о (и)+(1- а) (о) 2504 -аиэквивалентны. №
Теорема 3.12 (критерии сильной выпуклости первого порядка). Пусть
Х — выпуклое множество из пространства Е", /(х)Е
СХ).
Функция Кх)
является сильно выпуклой с константой х > 0 на множестве Х тогда
и только тогда, когда справедливо утверждение
1(и)> Г(о)+( Го, и) + №м-
Уи, оЕХ,
(3.10)
или утверждение
(и)- Го, и->ии-ч
Ун,оЕХ.
(3.11)
Доказательство
2
Сначала заметим, что для сильно выпуклой функции й(х) =[х[ нера-
венство (3.10) будет выполнено как равенство при ж= 2:
ыР = 5 + (20, и-о)+и-Р.
Рассмотрим функцию =(х) = } )-
ип
12
. С учетом вышесказанного мы
можем записать такую цепь соотношений:
&(и)> &(0)+(Е’(о), и- о) > &(и)+
ЩР > =(0)+
Е +(5’(+ж,и-0)+
+ м -+ 5 ый НР ии)
>
= Ли) > 0+ (иди.
Поэтому, с одной стороны, неравенство &(и) > 5(9)+(5’(0), и-0)
УииоЕХ
эквивалентно неравенству (3.10), но, с другой стороны, по теореме 3.1
оно эквивалентно выпуклости функции 5(х) на множестве Х, которая
по лемме 3.2, в свою очередь, равносильна сильной выпуклости с константой их на множестве Х функции /(х).
Рассуждая аналогично, имеем
(2-Е,
и-0) >05 (шкив 0)- кои
> ии
>
& (Ги) - Го, и-0>км-Ч[.
Поэтому неравенство (=”(и)- ='(0),и-0)>0 \и‚оЕХ эквивалентно как
неравенству (3.11), так и, по теореме 3.1, выпуклости функции &(х) на множестве Х, которая по лемме 3.2, в свою очередь, равносильна сильной выпуклости с константой хна множестве Х функции /(х). №
Теорема 3.13 (критерий сильной выпуклости второго порядка). Пусть
Х — выпуклое множество из пространства Е", пёХ * ©, Кх) Е С-(Х). Функция К(х) является сильно выпуклой с константой х > 0 на множестве Х
тогда и только тогда, когда справедливо утверждение
(Род Ву> и
154
УхЕХ, МАЕ Е".
(3.12)
Доказательство
Для функции &(х)= /(х)
Е
справедливо &”(х)= }"(х)- ж[,, где
1, — единичная матрица размера п х п. Отсюда ясно, что неравенство (3.12)
равносильно неравенству
(2”(ж)р,в)>0
УхЕХ, УВЕ Е".
Таким образом, по теореме 3.2 функция #(х) будет выпуклой на Х.
Но тогда по лемме 3.2 функция /(х) будет сильно выпуклой с константой х
на Х. Теорема доказана. №
Стоит отметить, что неравенство (3.12) эквивалентно положительной определенности матрицы вторых производных /"(х). При выполнении условия /(х) Е С?(Х) она будет симметричной, и для исследования
ее на положительную определенность удобно пользоваться критерием
Сильвестра. Напомним, что он заключается в следующем: симметричная
матрица положительно определена тогда и только тогда, когда все ее главные угловые миноры положительны.
Проиллюстрируем возможность применения критериев выпуклости
и сильной выпуклости на нескольких примерах.
Пример
3.1
Пусть &(х) = (с, х), гдесе Е — заданный вектор. Тогда &’(х) =си
(=”(и)- &"(®), и-и)=(с-си-и)=0
\УиоЕЕ".
Из этого вытекает, что линейная функция 2(х) в силу теоремы 3.1 будет выпуклой на всем пространстве Ё" (и, как следствие, на любом выпуклом множестве
из Е"), поскольку выполнено неравенство (3.4). Также очевидно, что неравенство
(3.11) при и + о не выполнено ни при каком м > 0, поэтому по теореме 3.12 &(х)
не является сильно выпуклой ни на каком выпуклом множестве из Ё", содержащем
более одной точки.
Пример 3.2
Исследуем на выпуклость и сильную выпуклость квадратичную функцию типа
невязки
(3.13)
Дар =Ах- БР,
где А — заданная матрица размера т х п, Бе ЕЁ" — заданный вектор. Напомним, что
термин «невязка» используется, например, при решении системы линейных уравнений Ал = 6: если взять какую-то точку ху, то вектор Аху - 6 называется невязкой,
равенство невязки нулю означает, что ху — решение системы. Сначала с помощью
определения найдем первую и вторую производные функции (3.13). Рассматривая
ее приращение, получаем
ла-+в- ла =а+в-ЫР Ах -Ы? =
[Ах
+2 Ах- В, АВ
Ясно, что ОА
<ПАР |
АР
Ах
= ФАТ(Ах- В), Ву + АНГ.
поэтому АВР =0(|#) при # -—> 0 и, следовательно,
ЛС) =2АТ(Ах-Б). После этого, записывая приращение градиента /(х), находим
Иа+В)- Ро) =2АТ(А(х+В-В)-2АТ(Ах-В)=2АТАЙ,
из чего вытекает /(х)=2АТА.
155
Поскольку вторая производная /” не зависит от х, то мы можем воспользоваться
теоремами 3.2 и 3.13 для одновременного исследования выпуклости и сильной выпуклости функции /1(х) на всех выпуклых множествах с непустой внутренностью из Е",
в том числе и на всем пространстве ЕЁ". Имеем
( Г”, В) = (ФАТАВ, В) = ЖАР, АВУ=2|АЩР
Ух, ВЕ Е".
Очевидно, что при всех х, й из Е" справедливо ( /”(х)й, #) > 0, т.е. верно неравенство (3.5), поэтому /1(х) в силу теоремы 3.1 будет выпуклой на всем пространстве
Ел (и, как следствие, на любом
выпуклом множестве из Е").
Для исследования сильной выпуклости функции /1(х) придется привлечь более
тонкие соображения. Неравенство (3.12) для нее превращается в неравенство
[АВР > «|?
Покажем,
ЧТО
ОНО
будет
справедливо
Ай=0
Уве Е".
в том
и только
(3.14)
в том
случае,
когда
\Уй>0.
(3.15)
Очевидно, что из справедливости неравенства (3.14) вытекает условие (3.15). Для
обоснования обратного утверждения предположим, что условие (3.14) нарушается,
т.е. существует последовательность ненулевых векторов {7 в} Е Е" такая, что
при # -> ®о. Переходя к векторам й, =
и, кроме того, [4%,|->0
Г|
‚ мы получим, что [№
А
и]
—>0
=1 при всех А = 1,2,.
при # -> ®э. Последовательность {й,} ограничена, следова-
тельно, из нее можно выделить подпоследовательность ®, }, сходящуюся к вектору
во, причем в силу непрерывности нормы №] =1и [4% |=0,0, из чего вытекает равенство Ай= 0, т.е. неравенство (3.15) тоже неверно. Это означает, что при выполнеАЙ
нии неравенства (3.15) выражение И ограничено снизу некоторым положительным числом &%, и неравенство (3.14) выполнено для м = 24.
Для получения точного выражения для константы сильной выпуклости перепишем неравенство (3.14) в виде (2АТАЙ, й) > „НР. Матрица 2АТА всегда является симметричной и неотрицательно определенной. Следуя рассуждениям из примера 1.20,
мы получим, что неравенство (3.14) будет справедливо тогда и только тогда, когда
все собственные числа матрицы 2АТА положительны, константой сильной выпуклости функции /(х) будет минимальное из них.
Итак, квадратичная функция (3.13) будет сильно выпукла на любом выпуклом множестве с непустой внутренностью тогда и только тогда, когда выполнено условие (3.15).
|8
Рассмотрим
квадратичную
функцию
общего
вида
Ь(х)=(Ах,х)—(с,х)+а,
(3.16)
где А — заданная матрица размера п хи, се Е", 4Е К известны. Отметим, что рассмотренная в предыдущем примере функция (3.13) может быть сведена к виду (3.16):
[Ах-ЫР =(Ах-Ь, Ах-В)=(АТАх, х)- ЖАТЬ, х)+ 6.
Как и в предыдущем примере, начнем с нахождения первой и второй производных функции /(х). Записывая ее приращение, имеем
Ба+№-(х)=(А(х+В,х+Р)-(с,х+В)-(Ах,х)+(с,х)=
=((А+АТ)х-с,й) +( АР, Й),
156
откуда, с учетом того что 0 < КАР, в) <ПА|. АР =о([#), находим Ва)=(А+АТ)х-с.
Далее, рассмотрев приращение градиента
Ва+ю- Б(х) =[(А+АТ)(х+й)-с]-[(А+АТ)х-с]=(А+АТУЙ,
получаем р(х)=А+ АТ. Для исследования этой функции на выпуклость и сильную
выпуклость, как и в предыдущем примере, воспользуемся теоремами 3.2 и 3.13. Ясно, что
(БС, й) =((А+АТ)А,й)
Ух,йЕЕ”.
Из полученного представления очевидно, что неравенство (3.5) будет справедливо
в том и только в том случае, когда симметричная матрица А+ АТ будет неотрицательно определенной, что эквивалентно тому, что все ее собственные числа неотрицательны. Неравенство (3.14) будет выполняться тогда и только тогда, когда матрица
А+АТ будет положительно определенной, что эквивалентно положительности всех
ее собственных чисел (см. пример 1.20, неравенство (1.69)). Константой сильной выпу-
клости функции №(х) будет минимальное собственное число матрицы А+ АТ,
Итак, квадратичная функция общего вида (3.16) будет выпуклой (сильно выпуклой) на всем пространстве Ё" (и на любом выпуклом множестве с непустой внутренностью из Е") тогда и только тогда, когда матрица А+ АТ неотрицательно (положительно) определена.
3.3. Метрическая проекция
В этом параграфе будет рассмотрено понятие метрической проекции.
Оно понадобится в дальнейшем, при изложении итерационных методов
минимизации.
Определение 3.6. Метрической проекцией точки х Е ЕЁ" на множество
Хс
Е" называется ближайшая к х точка множества Х, т.е. такая точка р, что
РЕХ, [р-х]|= шНи-21.
Проекцию точки х на множество Х мы будем обозначать через Рхх.
Понятно, что если х Е Х, то Рух = х. Если же точка х не лежит в Х, то ее
проекция на Х может быть не единственна или не существовать, что можно
проиллюстрировать простыми примерами:
С
ИБ
В пространстве Ё! рассмотрим множество Х = (-1, 1). Покажем, что не существует
1
проекции
точки х = 2 на множество Х. Рассмотрев точки и, =1-;ех ‚Е =1,2,
1
мы видим, что [м -х = 1+. Также ясно, что для любого и из Х |и-х|>
ши
...,
1. Поэтому
х= 1, но в Х нет точек и таких, что |и-х|= 1.
ИЕ.
ТБ
Пусть Х = хЕ Р:
|х| = 1} — единичная сфера. Очевидно, что проекцией нуля
0 = (0,0, ..., 0) на множество Х является любой из элементов множества Х, так как
для всех ие Х справедливо [м0] =1.
157
Отметим, что в примере 3.4 проекция не существовала из-за незамкну-
тости множества Х, а в примере 3.5 проекция оказалась не единственна
из-за невыпуклости множества Х. Сформулируем и докажем утверждение,
содержащее достаточные условия существования и единственности проекЦИИ.
Теорема 3.14 (о существовании и единственности метрической проекции). Пусть Х — замкнутое множество из пространства Е". Тогда
для любой точки х Е Е" существует ее метрическая проекция на множество Х. Если множество Х еще и выпукло, то эта проекция будет единственной.
Доказательство
Из определения метрической проекции и неотрицательности расстояния вытекает, что если точка р является проекцией точки х на множество Х, то р будет решением задачи минимизации
&(и)=и-х
и, более того, если рассмотреть
ти,
некоторую
иЕХ,
точку о из Хи
соответствующее
,
2
2
ей множество Лебега М(о)={иЕХ:и-х[ <-д| }, то р также будет и решением
задачи
минимизации
(и =и-хРшш,
иЕМ(о).
(3.17)
Функция 2(и) является непрерывной, и, как было показано в предыду-
щем параграфе, является сильно выпуклой на всем пространстве Е". Значит, по теореме 3.10 множество М(о) является в любом случае ограниченным; если множество Х замкнуто, то множество М(и) тоже замкнуто, а если
множество Х выпукло, то множество М(и) тоже выпукло.
Таким
образом,
если множество
Х замкнуто,
то задача (3.17) пред-
ставляет собой задачу минимизации непрерывной функции на замкнутом
и ограниченном, т.е. компактном множестве, и поэтому она гарантированно имеет решение по теореме 1.2 Вейерштрасса. Если же множество Х
выпукло и замкнуто, то задача (3.17) представляет собой задачу минимизации непрерывной сильно выпуклой функции на выпуклом замкнутом множестве, которая имеет, причем единственное, решение по теореме 3.11. №
Теорема 3.15 (характеристическое свойство метрической проекции).
Пусть Х с ЕЁ" — выпуклое замкнутое множество. Точка р будет являться
метрической проекцией точки х на множество Х тогда и только тогда,
когда выполнено неравенство
(р-х,и-р)>0
УиЕХ.
(3.18)
Доказательство
В доказательстве теоремы 3.14 было показано, что р является решением
в
о
2
задачи минимизации сильно выпуклой непрерывной функции &(и) = [и-х|
на выпуклом замкнутом множестве Х. По теореме 3.4 это равносильно
выполнению неравенства
(=’(р),и-р)>0
158
\иЕХ.
Осталось заметить, что &*”(и) = 2(и-х), =’(р) = 2(р —х). Теорема доказана. №
Теорема 3.15 имеет простой геометрический смысл (рис. 3.15): вектор
р -х должен образовывать острый или прямой угол с любым вектором
з
3
вида и - р, гдеие Х.
Рис. 3.15
Теорема 3.16 (о нестрогой сжимаемости проективного отображения).
Пусть Х с Е" — выпуклое замкнутое множество. Тогда для любых х1, хоЕ Ё
справедливо
|Рх х-Ру х.] < |, _ х|,
(3.19)
т.е. расстояние между проекциями двух произвольных точек на Х не превосходит расстояния между этими точками.
Доказательство
Обозначим р! = Рух!, р› = Рух›. Тогда по теореме 3.15
(и-хьи-р)>0
УиЕХ;
(рр -хо, и-р2)>0
Подставляя в первое из этих соотношений
и =раЕ
и = р.Е
УиЕХ.
Х, а
во второе —
Х, имеем
(р -х, Р-р) >0; (ро-хо, ри - р) >0.
Складывая эти неравенства, получим
(Ри -Ро, Р! - Р2) < (ри -ржи -х2),
откуда, пользуясь неравенством Коши — Буняковского, находим
[р р
<[р: - >|. =].
В случае | ра - Р> | = 0 утверждение теоремы, очевидно, верно. В противном случае мы можем последнее соотношение сократить на эту величину,
что даст нам нужный результат. Теорема доказана. №
Проиллюстрируем приведенные теоремы на примерах, выведя явные
формулы для проецирования на некоторые множества из Ё”".
159
Пример 3.6
Выведем формулу для проекции на п-мерный параллелепипед
Х={х = (х1..„хт)е Е": а; <
< В, 1=1,..,п},
где о, В, а; < В; — заданные числа, # = 1, ..., п. Его выпуклость и замкнутость элементарно проверяются с помощью определений. Пусть х = (21, ..., хп) в Х. Положим
Р=(фь ... р"), где
0;,
р=В,
м,
жм<а,,
1=1,.. п.
м >Вь
<
<В,,
Тогда (р! - 24) (ш - р.) > 0 для всех и, 0; < и! <В;,1=1, ..., п. Отсюда, суммируя по 1
от 1 до п, получаем (р-х, и- р) > 0 для всех и Е Х. Следовательно, по теореме 3.15
построенная точка р является проекцией точки х на множество Х. В случае когда
ХЕ
Х, как было отмечено ранее, Рух =х.
АСОИ
Рассмотрим проецирование на гиперплоскость
Н={х ЕЁ": (с,х)=9},
сЕЁ”,с+0,
(ЕЮ.
С помощью определения нетрудно убедиться, что гиперплоскость является выпуклым и замкнутым множеством, поэтому проекция на нее любой точки существует
и единственна. Для вывода явной формулы проекции можно использовать геометрические соображения, фактически, надо всего лишь опустить на гиперплоскость пер-
пендикуляр. Известно, что вектор с является нормальным вектором гиперплоскости, поэтому проекцию р произвольной точки х следует искать в виде р =х + Е, где
{ — некоторое число (рис. 3.16). В силу того что ре Н, имеем
и—(с,х)
=а-(с ха“.
|5Р С
(ср) =а> (с хчю= а
{с,х)=а
р=ЕХ+К
|
>
Рис. 3.16
Итак,
р=Рих=х+
(сх)
(3.20)
[с
Теперь строго обоснуем этот результат, применив теорему 3.15. Подставляя полученную формулу (3.20) в утверждение этой теоремы, имеем
(р-х,и-р)=
= 9-6.)
[<]
160
их
[Е]
. (сие)
|<]
_
о (©)
_
|с]
9-6)
[<]
(си) -а).
Ноеслиие Н, то (с, и) = о, стало быть, (р-х, и- р) =0 при всех ие Н. Неравенство
из утверждения теоремы выполнено, справедливость формулы (3.20) установлена.
Рассуждая аналогично, можно получить формулы для метрической проекции
на полупространство Н5 = {хе Е": (с, х) < о}:
и (с,х)
х+——
5
с,если (с, х)> о,
х,если (с, х)<а
и слой Е={(хЕЁ":
9 <(с,х) <В}:
@- (с, х)
|
Рех=
с, если (с, х) < о,
х+8- ©).
2
если (с,х) > В,
(3.22)
[<]
х,если © < (с, х) <В.
Их
справедливость
устанавливается
точно
так же, как и в случае
гиперплоскости.
Пример 3.8
Рассмотрим проектирование на шар В ={хЕЁ": [х —-% | <А), же Е", Е >0.
Шар, так же как и гиперплоскость, является выпуклым и замкнутым множеством,
стало быть, проекция на него любой точки существует и единственна. Геометрические
соображения, привлекаемые для получения формулы проекции на шар, достаточно
очевидны: точка, уже лежащая в шаре, совпадает со своей проекцией, а точка х, лежащая вне шара, спроецируется в пересечение р (рис. 3.17) границы шара с прямой,
содержащей х и центр шара. Показать, что это пересечение является ближайшей кх
точкой, очень просто.
Рис. 3.17
Ясно, что проекцией на шар точки, лежащей вне шара, может быть только точка,
лежащая на его границе. Рассматривая произвольную точку 4 с границы шара, в силу
неравенства треугольника имеем
и-ар-ж--ж]=-Я+р-ж]--ж=
= -+к-в=р-2]
т.е. р — ближайшая к х граничная точка шара. Наконец, вектор р есть сумма вектора х о и вектора
формула
р длины К, коллинеарного вектору У х - хо.о Таким образом,
для проекции на шар выглядит так:
0
Р
= Рвх
=
К
=“
— хо), если [х - ж| >Р,
—4%0
(3.23)
х‚ если [х -% | < В.
161
Для строгого обоснования вышеприведенных рассуждений воспользуемся теоремой 3.15 о характеристическом свойстве метрической проекции. Рассмотрим произвольную точку х, не лежащую в шаре В, что означает [&-ж| > Е. Подставляя формулу (3.23) для проекции на шар в неравенство (3.18), имеем
—хи(р-х,и-р)=(
=
_
(ж-х)
Еж]
=
Ш,
В
|
+———
(ж-хи-
-ж|- В
Заметим, что если ие В, то |
(ж2-хи-ж)>
тЫ
2)
_
2),,‚ии- хо
В
==“
_———_
—
№)
=
их
у|х,х-хо) |=
==
((ж-хи-ж)+ Вх - ж |.
<К
и по неравенству Коши — Буняковского
[м -ж|:[х -ж| > -В|х -ж.
Из этого следует, что (р-х,и- р) > 0 при всех ие В, справедливость полученной
формулы для проектирования на шар (3.23) установлена.
Пример
3.9
Выведем формулу для проекции на множество
п
Р=\х=(х1,х?,..,
хп) Е Е": х1> У (11)? ,,
#2
4ео
граница ГрР которого задается формулой Е(х) = У, (х!)? - х! =0 и представляет собой
[=
обобщение параболоида вращения 2 = 1? + у? из Е3.
Для обоснования выпуклости и замкнутости множества Р поступим следующим
образом: заметим, что оно представляет из себя множество Лебега М(0) функции
Ех). Она является непрерывной на всем Е”, и, кроме того, Е”^(х) = (-1,2х2, 2х3,....2х”),
(Е
-Е’@),и-о) = (0, 2(и2-02),..., (ит в"), (ши - 1, и? 02, .. ип -т)) =
=2У (и 01)? >0 УшоеЕ",
2
поэтому по теореме 3.1 функция Ех) выпукла на всем Ё" и, следовательно, по теореме 3.6 и лемме 1.1 множество Р выпукло и замкнуто. Таким образом, по теореме 3.14
для любого х Е Ё" существует, причем единственная, его проекция на множество Р.
Покажем, как вывести формулу для проектирования на него, привлекая геометрические соображения. Возьмем точку х = (^1, 42, ..., ^"), не лежащую в множестве Р,
п
те. х1 < У (х')?2, будем полагать, что р = Ррх. Ясно, что р принадлежит границе ГрР
2
множества Р, т.е. Кр) = 0, и является основанием перпендикуляра, опущенного из х
на ГрР (рис. 3.18).
Поскольку параболоид симметричен относительно оси х,, то точка р лежит
на отрезке, концами которого являются точки хи А = (ру, 0, 0,...,0), где ро — некоторое неотрицательное число. Поэтому р=Ах+(1-Л)Х, 0 <^ < 1. В то же время из математического анализа [22, 29] известно, что вектор ЁР’(х) является нормальным вектором в точке ху к поверхности, заданной уравнением Ех) = 0. Стало быть, условием
того, что р есть основание перпендикуляра, опущенного из точки х на ГрР, будет коллинеарность векторов Ё”(р) их-&, т.е. Е’(р)=в(х-%).
162
Переходя к координатам, имеем
р=(0л!+(1-М№)ру, Ах, д, ..., Ах");
Е(р)=(-1 242, 2053,.., 2х”);
х-л=(х! - Ар, 2, А3,... Ах).
Из условия Е”(р)= и(х- Х) находим и=2;-1=2(^х1- ру), что дает нам ру=х!+
2
После этого воспользуемся тем, что
п
рЕГрР> Ах! +(1-Л)ри =А2У (х*)?,
2
откуда следует
1-2 (д
ААУ
2^,
Это
уравнение
2] У" (8)? |3 = (29-141.
2
относительно
(3.24)
2
А, является
кубическим.
Отметим,
что
у него
п
при выполнении неравенства д! < У. (х*)? обязательно есть, причем единственный,
#=2
корень на (0; 1), не имеет особого смысла выписывать явную формулу для него.
Подытожим: для любого х = (1, 2, ..., п) Е Е
п
р=Рьх=
х,если х!> У, (х!)?,
и
вы
Ах? ‚ Ах3,
(3.25)
№
сели!
< $. (7,
где Л — корень уравнения (3.24), лежащий на интервале (0; ,
Проверим правильность этих рассуждений с помощью теоремы 3.15 о характеристическом свойстве проекции.
д") е Р, тогда
Возьмем любые и = (и1, и, ..., и") Е Р,х =
р-х=(- 5
при
иа
х?, х3,..., "|
мала
ани
1
(р-х,и-р)=(А- [фи
-1-^
=. [
О
Хе
+
(^1, 42, ...,
ое
(и ру |4 ^-1
= [о
$
_
1)^.+1 _ {$
-
р =}
163
Заметим, что первое слагаемое из правой части последнего соотношения неотрип
цательно, так как 0 < А, < 1, и! - У (м^)? >0, второе же слагаемое равно нулю в силу
=
формулы (3.25). Поэтому ({р-х, и- р)> 0 при всех ие Р, выведенная нами формула
(3.25) обоснована.
Завершим изложение свойств метрической проекции формулировкой еще
одного критерия оптимальности, представляюшего собой несколько переформулированную теорему 3.4.
Теорема 3.17 (проекционная форма критерия оптимальности). ГЛусть
Х — выпуклое замкнутое множество, Х. — множество точек минимума
функции К(х) на Х. Если х. Е Х. и Кх) дифференцируема в точке х., то необходимо выполняется равенство
х. = Ру(х. -а}’(х.))
Уа,> 0.
(3.26)
Если, кроме того, (х) непрерывно дифференцируема и выпукла на Х, то
всякая точка х., удовлетворяющая уравнению (3.26), принадлежит множеству Х..
Доказательство
Согласно теореме 3.15 равенство (3.26) эквивалентно неравенству
(х. — (х, -оГ’(х,)), и-х.) >20
УиЕХ,
откуда с учетом положительности © имеем (/(х.), и-х.)>0 для всех
ие Х. Таким образом, условия (3.26) и (3.6) эквивалентны. Отсюда и из теорем 1.7, 3.4 следует утверждение этой теоремы. №
3.4. Теорема Куна — Таккера
В этом параграфе мы рассмотрим условия оптимальности для задач
выпуклого программирования. Под выпуклым программированием понимается раздел теории экстремальных задач, в котором изучаются задачи
минимизации выпуклых функций /(^х) на выпуклых множествах Х (или
максимизации вогнутых функций на выпуклых множествах). Оказывается, что для таких задач можно сформулировать не только необходимые, но и достаточные условия экстремума в терминах первых производных, т.е. критерий принадлежности некоторой точки множеству
Х. ={х. Е Х: 1 (х.)= ше 1) = ].}. Одним из таких утверждений в теории
хе
выпуклого программирования является теорема о седловой точке функции
Лагранжа, известная в литературе под названием теоремы Куна — Таккера.
Однако изложение материала мы начнем с рассмотрения общей постановки задачи условной минимизации (см. параграф 1.4):
1)
Х={хЕХ,
тт,
ХЕХ,
СЁ": &1(х)<0,..., ви(х)< 0; и.1(х)=0,..., ви, (х)= 0},
(3.27)
где множество Ху задано, функции /(х), =1(х), ..., 2.-5(х) определены и
нечны на Ху. Введем функцию
164
ко-
Их,
^)
=/(х)
называемую
+ №Ма1(х)
+... + Атат(х)
+ Лт
т-+1()
нормальной функцией Лагранжа.
+
Ат
тч$(Х),
(3.28)
Она получается из общей
функции Лагранжа %(х, Л) (см. формулу (1.21)) при № = 1. Ее переменные
хи
могут принимать значения из множеств Ху и
Ло= {= (А, „иде Е: 1.0, ..и>0}
(3.29)
соответственно.
Определение 3.7. Точку (х.,/”) называют седловой точкой функции
Их, ^) на Хух Лу, если
(х„М)ЕХухАу
Цх.^)<Цх..^!)< Цх,^")
ЧхЕХу АЕЛу.
(3.30)
Прежде чем переходить к выяснению связи между седловой точкой
нормальной функции Лагранжа и решением задачи (3.27), дадим другую,
равносильную (3.30), формулировку определения ее седловой точки.
Лемма 3.3. Для того чтобы точка (х., ^^) была седловой точкой нормальной функции Лагранжа (3.28) на Хух Лу, необходимо и достаточно,
чтобы выполнялись следующие условия:
1)х.еХ;
2)Цх.,№)<Цх,
№) УхеХ,;
З) №8 (х.)=0, 1=1,..,т.
(3.31)
Доказательство
Необходимость. Пусть (х., А") Е Хух Лу — седловая точка нормальной
функции Лагранжа (3.28) на Хух Л.. Тогда второе из условий (3.31) уже
выполнено. Остается показать, что первое и третье условия оттуда тоже
выполнены. Для этого перепишем левое неравенство (3.30) с учетом конкретного вида нормальной функции Лагранжа:
Л(х.) + Мак.) ++ Ант (< (+
тя (х=.)
+ №81 (х) +...+ Ат
откуда
УЛЕЛь,
имеем
(м = А)
А
= Ат
тн
Возьмем точку А, =
(х.)+ „+
(х.)+ „+ (Ат
и
= Ат д2=(х») +
= Ат
Е ть (х.) >20
МА, Е Ло-
(3.32)
(№4, ..., ^.), где ^; = ^, +1 при некотором 1, 1 <} <
т,
и; =А; при всех остальных { = 1, ..., т +5 (1*7). Из определения (3.29)
множества Лу и из того, что Л" Е Лу, следует, что выбранная точка А Е Лу.
Из формулы (3.32) при таком ^. получим —в,(х.) > 0, т.е. в;(х.) < 0 при всех
1=1, „т.
Далее, пусть А, = (№4, ..., Аи+5) — точка с координатами А, =; +8;(х.)
при некотором1, т + 1 <] <т+5 ил, =Л; при всех 1 = 1, .., т+$,1#].
Ясно, что и эта точка А, содержится в Лу, поэтому из формулы (3.32) имеем
—(в;(х.))? >0, т.е. &;(х.) =0 при всех} =т+1,..., т + $. Значит, выполнены
все соотношения из определения (3.27) множества Х, и точка х+ ЕХ.
Теперь возьмем точку Л = (^4, ..., Ат+5) с координатами А, = 0 при некотором 1, 1 <] < т, ил, =А; при всех остальных 1 =
1, .., т+5,1*].
Такая
точка также принадлежит множеству Лу, поэтому из формулы (3.32) мы
165
находим 0 < А, (х.). Но ^; >0, и мы показали, что &,(х.) < 0 при] = 1, ..., т,
поэтому последнее неравенство возможно лишь при №8 (х.) =0,1=1, ..., т.
Все соотношения (3.31) получены.
Достаточность.
Пусть для некоторой
точки (х., Л") Е
ХухЛу выпол-
нены соотношения (3.31). Это значит, что неравенство [(х., А")< [(х, А")
У хе
Ху из определения седловой точки выполнено, и нам надо всего лишь
показать, что для всех Л, Е Лу верно [(х., Л) < [(х., Л"), т.е.
(№
А
—_ Ата
= № дЕ1(х) +...+ (т
Ета (х»)
+... О
= Ат
— Ат
т (х.)+
8 т+$ (х.) >0
\УЛЕ Ло.
Кроме того, х. Е Х, поэтому 2; (х.) = 0, т+1<1<т +5, а также А; =; (х.)=0,
1=1,..., т. С учетом этого интересующее нас неравенство принимает вид
—№м81(^.)-...-Ли2т(х)>0
УЛЕЛу.
Но так как ЛЕ Лу, то А. > 0, ..., Ли> 0, а так как х» ЕХ, то &1(х.)
<
0,...,
=„(х.)<0. Поэтому неравенство справедливо, точка (х., А”) — седловая.
Лемма доказана. №
Подчеркнем, что в лемме 3.3 от множества Ху и функций К(лх), &(х),
1=1,... т + $, не требуется никаких особых свойств — здесь важно только
то, что Ху= © и функции /(х), &(х), 1 =1, ..., т + $, определены и конечны
на Ху.
Если сделать дополнительные предположения о выпуклости и гладкости задачи (3.27), то лемму 3.3 можно переформулировать в альтернативной, так называемой дифференциальной форме.
Лемма 3.4. Пусть в задаче (3.27) множество Ху выпукло, функции 8! (^), ...
=„(х) выпуклы на Ху, функции 5,;(х) = (а, х)+6,1=т +1, .., т+ 5$ — линейные и, кроме того, функции /(х), 21(х), .., гт(х) дифференцируемы на множестве Ху. Тогда для того чтобы точка (х., Л") была седловой точкой нормаль-
ной функции Лагранжа (3.28) на Хух Лу, необходимо и достаточно, чтобы
(Г. (х.. №), х-х.)= (гео
2
кие
Ав, (х.)=0, 1=1,.,т;
#-*) 20
\УхеЕХу;
х.ЕХ.
(3.33)
(3.34)
Доказательство
При сделанных предположениях нормальная функция Лагранжа (3.28)
выпукла и дифференцируема на множестве Ху при каждом ЛЕ Лу. Поэтому
условие (3.33) согласно теореме 3.4 равносильно второму из условий (3.31).
Условия (3.34) совпадают с оставшимися из условий (3.31). №
Теперь выясним, как связаны между собой седловая точка нормальной
функции Лагранжа и решение задачи (3.27).
Теорема 3.18. Пусть (х.,^”) — седловая точка нормальной функции
Лагранжа
на Хух
Лу. Тогда х. Е Х., 1 (х.) = [(х.,
№) = +, иными
словами,
точка х. является решением задачи (3.27).
Доказательство
В силу леммы 3.3 для пары (х., А") выполнены условия (3.31), поэтому
х. Е Х. Кроме того, Л: 2;(х.)=0,1=1, ..., т, и &;(х.)=0,1=т+1, ..,т+5,
166
из чего вытекает [(х., ^^) = /(х), и неравенство Г(х., ^")< [(х,^") УхЕ Ху
перепишется в виде
к) < Мк") = КУ
Мах) ЧхеХ..
(335)
1=1
В частности,
это верно
и для всех хЕ
Х. Но если хе Х,
то
А; 20 при1 = 1, ..., т, а &(х) = 0 при{= т +1, ..., т + $. Поэтому
*
.
.
т+5
У Л: 2; (х)<0
[7
#(^х)
<0Ои
т
УхЕХ.
С учетом этого из формулы (3.35) мы находим, что /(х.) < [(х,^")< /(х)
при всех хЕ Х, т.е. х. Е Х.. Теорема доказана. №
Заметим, что теорема 3.18, как и лемма 3.3, доказана без каких-либо
предположений о структуре множества Ху и свойствах функций /(х), =/(х),
1=1,...Т +5.
Возникает вопрос: во всякой ли задаче вида (3.27) нормальная функция Лагранжа имеет седловую точку? Только что доказанная теорема 3.18
позволяет понять, что ответ отрицательный: если множество решений Х,
пусто, то нормальная функция Лагранжа такой задачи не может иметь седловую точку. Более того, даже в выпуклых задачах с Х, +@ нельзя утверждать наличие седловой точки.
Чи
Рассмотрим выпуклую задачу
1@)=-х> тт,
хЕХ={хеЕЕ Ех >0, В(х)=х? < 0].
Здесь Ху = [0; +) — выпуклое множество, функции /(х) и &(х) выпуклы на Ху,
Х = {0} — выпуклое множество, / =0, Х. =Х = {0}. Нормальная функция Лагранжа
для этой задачи имеет вид
Цх,^)=-х+А^?,
ХЕХ, ЛЕЛу=[0; +95).
По теореме 3.18 седловой точкой такой функции на Хух
Л. может являться только
точка вида (х. =0,А"). Но тогда неравенство Г(х.,^")< [(х,А") УхеХу
не может
выполняться, так как [(х., А") = 0, а [(х, А") может принимать отрицательные значе1
1
ния: при
а при
р А" =0 [(1,
(1, 0) 0) = -1,
р ^*>0[ —,
5) А" |=-—.
ут
Таким образом, для существования седловой точки на задачу (3.27)
кроме условий выпуклости должны быть наложены какие-то дополнительные ограничения. Поясним возникающие здесь проблемы на примере
несколько упрощенной постановки задачи условной минимизации
/(х)> тн,
хеЕХ={хеХ
СЁ": 81
(х)<0,...5„(х)<0},
(3.36)
где Ху — заданное выпуклое множество; функции /(х), &1(х), ..., ат(х) опре-
делены, конечны и выпуклы на Ху. От исходной постановки (3.27) она отличается требованиями выпуклости и отсутствием ограничений-равенств.
Заметим, что в силу следствия 3.3 из теоремы 3.6 множество Х будет выпуклым, поэтому такая задача будет выпуклой.
167
Предположим, что существует точка л Е Х такая, что
51%) < 0, ..., Е.) <0.
(3.37)
Это требование к задаче (3.36) принято называть условием Слейтера,
а точку хо — слейтеровой точкой. В выпуклой задаче вместо условий (3.37)
достаточно потребовать для каждого 1= 1, ..., т существования точки Хх, Е Х
такой, что &(х;) < 0,1= 1, ..., т. Тогда в качестве ху из (3.37) можно взять
т
ж = Хо;х, 0, > 0, 0 + 9. + ... + 0 = 1, поскольку тогда в силу неравенства
#1
Йенсена (3.2) и того, что из х, Е Х вытекает &(х;) < 0,7 =1, .., т, справедливо
8%) < Хонё он) зов)
<0,
71=1,...т.
Может показаться, что если &;(х) = 0 при каком-то 1, то точка х лежит
на границе множества Х, а для внутренних точек множества Х выполнено
5(х) < 0,1=1, ..., т. Это не так, что можно проиллюстрировать на следую-
щем примере.
ДОУ
Рассмотрим задачу
Их)=х> тт,
у
= ЕЁ 8(х)<0},
хЕХ={хЕХ
где 2(х) =х? прих<0ир(х) = 0 прих > 0. Нетрудно показать, что функции /(х) и 2(х)
выпуклы на Ху, так что задача выпукла. Здесь Х = [0; +), Х.. = {0}, /, =0. Ясно, что
все точки х > 0 являются внутренними для множества Х, но &(л) = 0 Ух > 0, и условие Слейтера (3.37) заведомо не может выполняться. Убедимся, что нормальная
функция Лагранжа для этой задачи Г(х, А) = х + №е(х) не имеет седловой точки
на Хох Лу, где Лу = [0; +). Согласно теореме 3.18 седловыми могут быть лишь точки
вида (х. = 0, ^, > 0). Однако неравенство [(0, \)) = 0 = {. < [(х, ^)) не может выполняться
при всеххе Ё! ни при каком А, > 0. Действительно, если А = 0, то Г(х, А) =х<0\Ух<0;
если А, > 0, то [(х, А) =х +42 < 0 при всех хе (-^; 0).
Итак, мы показали, что если в выпуклой задаче не выполнено условие
Слейтера, то нормальная функция Лагранжа может и не иметь седловой
точки. Оказывается, что выполнение этого условия является гарантом
наличия седловой точки, что и докажем.
Теорема 3.19 (Куна — Таккера). Пусть в задаче (3.36) множество Ху
выпукло, функции Кх), =(х), 1 =1, ..., т, выпуклы на Ху и выполнено условие
Слейтера (3.37). Пусть, кроме того, множество Х. точек минимума функции К(х) на множестве Х непусто. Тогда для каждой точки х. Е Х. необходимо существуют множители Лагранжа
А = (№, „МЕЛ = ЕЕ”:
>0,...Аи>0}
такие, что пара (х., ^^) образует седловую точку нормальной функции Ла-
гранжа на множестве Хух
Лу.
Доказательство
Для простоты доказательства введем дополнительное предположение
о непрерывной дифференцируемости функций /(х), =1(х), ..., 2т(х) на мно168
жестве Ху. Тогда мы можем воспользоваться теоремой 1.9, согласно которой для любой точки х.. Е Х. найдется набор ^" = (№, №1... Аи) такой, что
(2 (х.,№),х-х.)>0
УхЕХ,,
(3.38)
#0, №20, 21 >0,..А". 20; М(ж)=0, 1=Ь..т
= (3.39)
где 2(х, ^)= №/(х)+ 5» ‚=:(х). Поскольку множители №9, 1, ..., Ам неотрицательны, а функции о) = (х), ... а.(х) выпуклы на множестве Ху, функция ®(х, ^*) будет выпуклой на Ху. Тогда по теореме 3.4 из неравенства
(3.38) вытекает, что 2(х., Л") < 5(х, ^") при всех хе Ху. Подробнее запишем
это неравенство и воспользуемся условиями (3.39):
(а №) = М
)+ Ха а) = МЛ)
< (=
а)+У
М8 (<) ЧхЕХ..
(3.40)
1=1
Покажем, что № > 0. В самом деле, если Ад =0, то среди неотрицатель-
ных чисел /4,..., Аи в силу соотношений (3.39) есть строго положительное.
Взяв в качестве х в соотношении (3.40) слейтерову точку ху, мы полут
чаем 0< УЛ;
2; (хо), что неверно
из-за отрицательности
чисел &1(хо),
11
=„(хо). Тогда мы можем считать, что Ау =1 (если это не так, то мы можем
вектор А» поделить на №, — условия
ными, а в новом векторе множителей
чает, что и для нормальной функции
[х.,
^^) < Цх,/\") для всех хЕ Ху,
(3.38) и (3.39) останутся выполненЛагранжа будет 4 =1). Но это ознаЛагранжа справедливо неравенство
т.е. выполнено одно из неравенств
из определения седловой точки.
Далее, так как х. ЕХ. СХ, то &,(х.) < 0, 1 = 1, ..., т, и для любого набора
неотрицательных чисел А, = (№4, ..., Ат) с учетом условий (3.39) мы имеем
у А:в:(х.)<0= у А:а(х.).
Добавляя к обеим частям этого неравенства }(х.) мы получаем
Цх.,
^)< Цх., №) при всех АЕ Лу, т.е. выполнено и второе неравенство
из определения седловой точки. Теорема Куна — Таккера доказана. №
Доказательство, не требующее предположения непрерывной дифференцируемости функций /(х), =1(х), ..., ет(х), и более общие варианты теоремы
Куна — Таккера можно найти в работе [12].
Разберем еще один пример, показывающий, что условие Слейтера является лишь достаточным, но не необходимым условием существования седловой точки нормальной функции Лагранжа для выпуклой задачи.
СО В
Рассмотрим выпуклую задачу
Ло)=х>шш,
ХЕХ={хЕЕ!х>0, в(х)=х? <0}.
169
Здесь, как и в примере 3.10, Ху = [0; +) — выпуклое множество, функции /(х)
и =(х) выпуклы на Ху, Х = {0} — выпуклое множество, / =0, Х. =Х = {0}. Нормальная
функция Лагранжа для этой задачи принимает вид
Их,^)=х+^л?2,
ХЕХ, ЛЕЛь=[0;+°°),
и имеет на Хох Лу семейство седловых точек (х. =0, ^" >0). Действительно,
Г(х./)=0< (хх,
) = (+ х) Ухе Ху =[0; +5).
Условие Слейтера же в этой задаче, очевидно, не выполнено, так как 5(0) = 0.
Объединим лемму 3.3, теоремы 3.18 и 3.19 и сформулируем утверждение, удобное для использования на практике.
Теорема 3.20. Пусть в задаче (3.36) множество Ху выпукло, функции
К), г(х), 1 = 1, .., т выпуклы на Ху и выполнено условие Слейтера (3.37).
Пусть, кроме того, множество Х. точек минимума функции К(х) на множе-
стве Х непусто. Тогда для каждой точки х. Е Х. необходимо существуют
множители Лагранжа №" =(№,..., №.) такие, что выполнены условия:
Цх., №)< [(х,\")
Ухе Ху (принцип минимума);
№>0,..., Л, >0 (неотрицательность множителей Лагранжа);
Ма (м) =0,.., А„ет(х.) = 0 (условия дополняющей нежесткости).
(3.41)
(3.42)
(3.43)
Кроме того, если для пары (х., №") выполнены условия (3.41)—(3.43) их, Е
Е Х, то х. ЕХ..
Проиллюстрируем применение этой теоремы на следующем примере.
Пример 3.13
Рассмотрим выпуклую задачу
2
.
1) =№[ > шт,
хеЕХ={хЕЁ": (с,х)> 1}.
Фактически она представляет собой поиск ближайшей к началу координат точки
полупространства и эквивалентна задаче проектирования на гиперплоскость. В этом
2
примере Ху = Е" — выпуклое множество, /(х)= Г — выпуклая и даже сильно выпуклая на Е" функция, 2(х)=1-(с,х) — выпуклая на Е" функция. Нормальная функция Лагранжа этой задачи имеет вид
Цх, =
+лА-(с,х)), хЕЕ",
.
.
2
В качестве слейтеровой точки возьмем ху =— с.
С
и нам надо найти решение (х., Л") системы
[Кх., №) < Кх,/")
ЕЛЬ =[0; +).
Значит, применима теорема 3.20,
УхЕЁ",
\А-(с,х))=0,
№>0,
удовлетворяющее условию х. Е Х. Оно и будет решением задачи. Поскольку при всех
№ >0 нормальная функция Лагранжа выпукла и дифференцируема по х, то первое неравенство из этой системы по теореме 3.4 эквивалентно условию [.,(х.,^")=0.
Тогда мы имеем
170
2х. - №"с=0,
МА-(с,х.))=0,
№>0.
Из
первого
уравнение,
А
‚_
2
а”
С
уравнения
получаем
с
=—-.
|]
2
вытекает,
1
к [1-м
Очевидно,
пара — посторонняя.
2
1
что х.=-—А”с,
. Отсюда
что х. =0
Решением
и, подставляя
имеем
не лежит
задачи будет х.
два
это во второе
решения: Л” =0, х. =0
в множестве Х, поэтому
с
ЕР
первая
Этот результат совпадает
с
с результатом, который можно получить с помощью явной формулы (3.20) проецирования
на гиперплоскость.
3.5. Теорема Куна — Таккера для многогранного множества
В этом параграфе мы приведем еще один вариант теоремы Куна — Таккера для задачи условной минимизации выпуклой функции /(х) на много-
гранном множестве вида
1)
> шп, хЕХ=3хЕХу:
&;(х)=(а,х)-Ь, < 0, 1=1,...,т;
=0, 1=т+1,..,т+$|’
&(х)=<(а,х)-в,
.44
(3.44)
где Ху, в свою очередь, является многогранным множеством и задается
в виде
Х. ={х ЕЁ": (сх) <а,,1=1,..., р; (с,х)=а;,1=р+1,...,р+а};
(3.45)
а, с;Е Е" — заданные векторы; 6, 4; — заданные числа. Мотивация выделения отдельного множества Ху, заданного ограничениями такого же сорта,
как и Х, заключается в том, что совершенно необязательно учитывать абсолютно все ограничения с помощью функции Лагранжа, может оказаться,
что часть из них вполне приемлема. Так, например, в приведенной постановке возможны следующие случаи:
Х.=Е",
Ху= Е",
Х={х= (2,
д”); м>0,
Ее!
{!,..,п}},
Хо ={х = (21... х”): а; < м < В; 1=1,...,п},
где о, В; — заданные величины, а, < В, 1 = 1, ..., п, не исключен вариант,
когда некоторые ©,= —® или В; = +. Все эти множества имеют достаточно
простую структуру, пригодную для минимизации на них функции Лагран-
жа с помощью аналитических соображений или несложных итерационных
методов.
Для дальнейшего изложения материала нам понадобится следующее
определение.
Определение 3.8. Пусть Х — некоторое множество из Е", х — точка
из множества Х. Направление е # 0 называется возможным в точке х, если
существует число & > 0 такое, что х + Е Х при всех & 0<Е<к. Иначе
171
говоря, достаточно малое перемещение из точки х по возможному направлению не выводит за пределы множества Х.
Очевидно, если х Е ШЕХ, то любое направление е + 0 является возможным в этой точке. В граничных точках множества возможное направление
может и не существовать, что легко подтвердить на примере.
Пусть Х ={и=(х, у)Е Е?: х>0, х2 <у<242}. Точка (0; 0) является граничной точкой этого множества. Выберем произвольное направление е = (е/, ез), оно будет возможным, если х + Е = (1, >) попадет в множество Х при всех Ее
[0; &]. Ясно, что
случаи е/ < 0 или е. < 0 невозможны, при е! = 0, е› > 0 имеем 0 <{е. <0, что неверно
при всех &> 0. Если е, > 0, е›= 0, то должно выполняться #?е? < 0 — это также неверно
при всех & > 0, наконец, если е! > 0, ео > 0, то должно быть верно {е, < 212е? — но это
е
в
не так при {Е 055 . Таким образом, в точке (0; 0) нет возможных направлений.
е. 1
Для выпуклых множеств Х, содержащих не менее
ная в примере 3.14 ситуация невозможна: в любой
клого множества Х имеется хотя бы одно возможное
все возможные направления в этой точке имеют вид
двух точек, приведенточке и такого выпунаправление, причем
е = \(и - и), гдеу > 0,
ОЕ Х.оти.
Для многогранного множества несложно дать полное описание всех возможных направлений в любой его точке, сформулируем и докажем соответствующее утверждение.
Лемма 3.5. Множество возможных направлений множества Х, описанного формулами (3.44), (3.45), в любой его точке х. имеет вид
К=К(х.)=1еЕ
(в)
Еп:е=0,
=]е
9
(а,е)<0,1ЕП;
(а,е)=0,1=т+1..,т+$;
,
,
(с»е) < 0,1Е 15; (с,,е)=0,1=р+1,..,р+а
где [1 ={#1<1<т, (а, х.)=5,}, © ={:1<15$ р, (с, х.)=а,} — множества активных индексов в точке х.., т.е. множества индексов, для которых ограничения-неравенства выполняются как равенства.
Доказательство
Пусть е = (е1, ..., еп) + 0 — произвольное возможное направление мно-
жества Х в точке х.. Согласно определению возможного направления тогда
существует такое число & > 0, что х=х, +{Е;Х, т.е.
(ах. +1) <В., 1=1,..т;
(сьх. +) <4,,1=1..р;
при всех & 0<Е< Ц.
(а, ж +в) =,
1=т+1,...т+5;
(сьх.+в)=а,1=р+Ъ..,р+4,
С учетом того, что х+. Е Х, и определения
(3.46)
°
множеств п,
Г. активных индексов точки х. из формулировки леммы сразу получаем
еЕ
К.
Верно и обратное: еслиеЕ
К, то е — возможное направление в точке х..
В самом деле, пустьее К. Тогда для {Е [| имеем (а;, х. +) =5, +Ка,,е) <В,
при всех Ё > 0, а еслиё® [,1<1< т, то (а, х.) < В; и найдется такое & > 0, что
(а› х. +) <Ь, при0 <Е< к. Если т+1<1<т+5, то (а,х. +) = 6, при всех Е.
Аналогично, взяв при необходимости &) > 0 еще меньшим, убедимся, что
172
выполняются и остальные соотношения (3.46), так что х» +Е;Х, 0 << Ц.
Лемма доказана. №
Теорема 3.21. Пусть в задаче (3.44), (3.45) Ху — многогранное множе-
ство из Е", функция (х) выпукла на Ху и дифференцируема в точке х. Е Х..
Тогда существуют множители Лагранжа
№ = (1. МЕЛ
Е Е": >0,.. 2.20}
такие, что пара (х., ^^) образует седловую точку нормальной функиии Ла-
гранжа (3.28).
Доказательство
Согласно теореме 3.4 для того, чтобы в задаче (3.44), (3.45) х, Е Х., необходимо
и достаточно
выполнения
неравенства
(1’(х.), х-х.)>0
УхЕХ.
(3.47)
Рассмотрим произвольную точку х, Е Х,, возьмем любое ее К. Тогда
по лемме 3.5 существует & > 0 такое, что х=х. ееХ при всех Ее (0; &].
Подставив такую точку х в неравенство (3.47), получим (/”(х.), е)
> 0,
из чего с учетом положительности # следует (}^(х.),е)> 0.
По теореме Фаркаша 2.12 тогда найдутся числа А; > 0,1Е 11, Аша,
Линь
и; 20, 1Е [5, М, -.. Ма такие, что
т-5
Г/(х.)=- У, Ма,-
У
ЕП
1=т+1
р+4
мМа;- УшаЕР
У
1=р+1
шос,
(3.48)
Доопределив А; =0 при1Е {1,..., т}\ [!, получим точку № = (№, ... Аи)
Е Л.. Отсюда, учитывая определение множества [1 и условие х+. ЕХ. СХ,
имеем
А (а,
м.) -5)=
м8.)
=0,
1= 1,..., т- $,
(3.49)
а равенство (3.48) можем переписать в виде
,
т+$
.
*
1х.)+ У Ма =-Уще,1=1
ЕР
р+а
*
У шо,
(3.50)
1=р+1
Нормальная функция Лагранжа в рассматриваемой задаче (3.44), (3.45)
имеет вид
к, ^)= Ка) + У (а, ю-Ь), ХЕХ, ЛЕМ.
1=1
В силу выпуклости функции /(х) на Ху справедливо неравенство
@)- Ех.) > (р. ),х-х.), хЕ Ху (теорема 3.1). Пользуясь этим фактом,
определением множества /[5, условием и; >0, 1Е [., и равенством (3.50),
для каждого х Е Ху получаем
Цх, №) - Иж.) = Кад- Их.) + У АЦарх-х.) = (тег
1=1
=-У и (с,х-х.)ЕР
енх-з)1=1
р+4
У и (сьх-х.)=-У и! (с, х)-а,;)>0,
=р+1
Е
173
т.е. [(х., №)
< Цх,^")
Ухе Ху. Отсюда и из формулы (3.49) с помощью
леммы 3.3 имеем, что (х., ^^) — седловая точка нормальной функции Лагранжа. Теорема доказана. №
Замечание 3.1. Если /(х) = (с, х), то из теоремы 3.21 вытекает теорема 2.11
для задач линейного программирования. Однако принятая здесь схема
изложения не позволяет считать теорему 2.11 следствием теоремы 3.21,
так как при ее доказательстве была существенно использована теорема
Фаркаша 2.12, которая в свою очередь (как, впрочем, и сама теорема 2.11)
получена как следствие доказанных в параграфе 2.8 утверждений. Следует
также отметить, что множество (3.44), вообще говоря, не содержит слейтеровых точек.
3.6.* Двойственные задачи. Примеры
Вернемся к общей задаче условной минимизации
(<)
Х={хЕХ,
тт,
ХЕХ,
СЁ": 51(х)
<
0,..., ви(х)<0; 2.4(х)=0,... 2: (х)=0}
(
3.51
)
и выпишем для этой задачи нормальную функцию Лагранжа
х,
^) =
=)
+ №2
хЕ
Ху,
(х) +...+ А тт
А Е Ло
= {А
(х) + Л тат
= (№,
..., Ат
№
(х) + -=-А туз
> 0,
...) Ат
т
(х),
> 0}.
(3.52)
(3.53)
Оказывается, что эту задачу можно переформулировать. Введем функцию
Ф(х) = зир Г(х, Л).
(3.54)
ЛЕЛо
Ее можно
вычислить
явно. Ясно, что если х Е Х, то
при всех АЕ Лу, причем равенство здесь реализуется при Л =
Если жехе
т-+5
У, /,8,(х)<0
#=1
(0, ..., 0) Е Лу.
Х, \ Х, то найдется номер 1 такой, что либо 1<1<тид(х) > 0,
либо т+1<1<т+з;из(л) + 0, так что подходящим выбором А. Е Лу сумму
т+5
У Л, =; (х) можно сделать сколь угодно большой. Таким образом,
=
ф(х) =
1 (2), если хЕХ,
+о°, еелихЕ Ху \Х.
Отсюда следует, что шЁ ф(х)= ШЁ {(х) и задачу (3.51) можно перепиХЕХо
ХЕХ
сать в равносильном виде
Ф(х) > шш,
Будем
предполагать, что
ХЕХ.
+ = шЕ /(х) > —о, Х, = {х ЕХ: /(х)= 73
(3.55)
#0.
ХЕ
Тогда в задаче (3.55) минимальное значение ф„ функции Ф(х) на множестве
Ху будет равно /+ и будет достигаться на том же множестве Х..
174
Отметим, что задача (3.55) состоит из двух последовательных этапов:
сначала мы максимизируем функцию Лагранжа (3.52) по переменной ^,
на множестве Лу, после чего полученную функцию Ф(л) мы минимизируем
по переменной х на множестве Ху. Возникает вполне естественный вопрос:
а что будет, если в этом процессе поменять местами операции максимизации по А, и минимизации по х? Более подробно выражаясь, введем функцию
У) = ХЕХо
Ш Цх),
ЕЛЬ,
(3.56)
и рассмотрим задачу
у(^) > тах,
ЛЕЛ..
(3.57)
Задачу (3.57) называют двойственной задачей к задаче (3.55) или
к исходной основной задаче (3.51), переменную /, = (№4, ..., Ат+,) называют
двойственной переменной в отличие от исходной, основной переменной
х= (41, „.., м”), у.) — двойственной функцией.
При формулировке задач вида (3.51) мы обычно подразумеваем, что
функции /(х), =(х), 1 = 1, ..., т + $, принимают конечные значения во всех
точках множества Ху. Поэтому \\(^.) < +
при любом фиксированном
ЛЕ Лу. Но формула (3.56) не исключает возможности появления значений
и(^.) = — при некоторых АЕ Лу. Имея в виду это обстоятельство, задачу
(3.57) нетрудно записать в привычной форме
(А) —> тах,
ЛЕЛ={ЛЕЁ"*5: ЛЕ Лу, (А) > —оз},
(3.58)
рассматривая лишь те точки, где значения функции \у(^,) конечны. Обозначим
цу" = зир (А) =зиру(^),
ЛЕЛО
ЛЕЛ
Теперь установим
Л’ = {А е Ло: (А) =" } = {АЕ А: у) =}. (3.59)
ряд свойств двойственной задачи. Во-первых, она
гарантированно является задачей выпуклого программирования, независимо от того, была ли выпуклой или нет задача (3.51). В самом деле, функция —Г(х, ^) линейна и, следовательно, выпукла по А, на выпуклом множестве Лу, поэтому по теореме 3.8 функция
—и(А) = зир(-[(х,^))
ХЕХо
выпукла на Лу. Это эквивалентно тому, что функция \\(^.) вогнута на Лу, т.е.
(ой +(1-9)^2) > оду) +(1-@)у(А2)
для всех аЕ
[0; 1] и всех А1, Л2Е
Лу. Но тогда если А1, ^2Е
> —е°, \И(А2)) > —о, то и (о + (1 — @) А?) > —= У че
множество Л в задаче (3.58) также выпукло.
Луи
(А)
>
[0; 1]. Это значит, что
Стало быть, задачи (3.57), (3.58), записанные в равносильном виде
—и(\.) —> шт, ЛЕ Лу, или —\у(Д)) —> шт, ЛЕ Л,
(3.60)
представляют собой задачи выпуклого программирования. Благодаря этому обстоятельству исследовать двойственную задачу нередко бывает про175
ще, чем исходную. Но зачем это делать? Какую информацию мы можем
получить об исходной задаче (3.51), изучая двойственную задачу? Оказывается, задачи (3.55) и (3.57) и, следовательно, задачи (3.51) и (3.58) тесно
связаны между собой и параллельное их исследование зачастую позволяет
полнее изучить каждую из них, наметить новые подходы к их решению. Докажем утверждение, описывающее связь между двойственными задачами.
Теорема 3.22. Для функций ф(х) иу(^.), определенных формулами (3.54)
и (3.56), справедливо соотношение
<.) < ли" =зиршЕ Г(х, Л) < ф. = шЕзир[(х, А) < Ф(х)
Ло №
№ №
УхеЕХу, МАЕ Лу. (3.61)
Для того чтобы Х, * ©, Л" *@, лу” =ф„ необходимо и достаточно, чтобы
функция [(х, ^)) имела седловую точку на Хух Лу. Множество этих седловых
точек совпадает с множеством Х„х Л".
Доказательство
Из формулы (3.56) следует, что
(А) = шЕ Их, ^)<Цх,^)
УЛЕЛу, УхЕХу.
ХЕХо
Отсюда и из формулы (3.54) имеем
у" = зир \(^.) < зир [(х,^)=Ф(х)
ЛЕЛо
УхЕХу.
ЛЕЛо
Переходя к нижней грани пох Е Ху в этом неравенстве, получаем у" < ф..
Неравенство (3.61) доказано.
Далее, пусть Х. #@, Л*#©, у" =ф.. Возьмем произвольные х, Е Х, и
ЕЛ" и покажем, что (х., ^^) — седловая точка функции Лагранжа (3.52).
Ясно, что
ди" =\(^”) = шЁ Г(х, №") < [(х., "<
хеХо
зир [(х., Л) = ф(х.) = ф..
ЛЕЛо
Но так как мы предположили, что \/" =ф., то эти неравенства превращаются в равенства:
[(х., №) = шЕ Кх, ^^) = зир Г(х.,^).
ХЕХо
ЛЕЛо
Отсюда имеем неравенства (3.30), т.е. (х.,Л”) — седловая точка. Тем
самым показано, что Х. х Л" принадлежит множеству седловых точек функ-
ции Г(х, Л) на Хох Л..
Наконец, предположим, что (х., Л") Е Хо х Л, — седловая точка функции
Гх, ^.) на Хух Лу. Исходя из определения (3.30), имеем Г(х., ^) < [(х.,^")
УЛЕ Л... Значит,
зар [(х+, Л) = ф(х,) = [(х., ^).
ЛЕЛо
Кроме того, [(х., ^")< [(х,^") Ух Е Ху, так что
[(х., №) =
пу Их, №) =У(^”),
ХЕХА0
176
откуда и из неравенства (3.61) следует
Цх.,
№)
= и(^") < ду"
< ф, < ф(х.)
= Цх.,
№),
т.е. у(^") = и" =Ф, =Ф(х,). Это значит, что \/" = ф„, Л" ЕЛ*, х, Е Х, и, кроме
того, что множество седловых точек функции [(х, Л.) на Хух Лу принадле-
жит множеству Х,х Л*. Теорема доказана. №
Сформулируем два полезных следствия из теоремы 3.22.
Следствие 3.5. Следующие четыре утверждения равносильны:
1) (х., №) Е Ху хЛу — седловая точка функции Г(х, Л) на Хух Ло;
2) Х, = @, Л" #@, м" = Фх
3) существуют точки х. Е Ху, Л" Е Л, такие, что ф(х.) =лу(^”);
4) справедливо равенство тах шЁ Г(х, ^.) = пи зир Г(х, А).
ЛЕЛо ХЕХо
ХЕХо ЛЕЛО
Напоминаем, что когда пишут шах или шт, то гарантируется достижение соответствующей верхней или нижней грани.
Следствие 3.6. Если (х., №") и (у., м’)Е Хо хЛу — седловые точки функции Г(х, Л) на Хух Лу, то (х., м”), (у.,^”) также являются седловыми точ-
ками этой функции на Хух Лу, причем
Цх.,
и)
= Цу.,
№)
= Цх.,
№)
= Ку,
м") =Ф.
= у".
Из этого следствия вытекает, что при решении выпуклой задачи с помощью правила множителей Лагранжа для всех х. Е Х, можно взять один
и тот же набор Л".
Не следует думать, что если (х., Л") Е Хо х Л, — седловая точка функции
х, ^.) на Хох Лу, то и точки (у, и) Е Хух Лу, для которых Гу, и) = [(х., ^^),
также будут седловыми точками. Так, например, функция Г(х, ^.) = Ах имеет
единственную седловую точку (х.,Л”)
= (0;0) на Е!х ЁЕ!, [(х., ^^) =0. Для
точек вида (у, 0) или (0, п) значение рассматриваемой функции также
равно нулю, но седловыми они не являются. В общем случае можно лишь
утверждать, что
Х. с Х!)
= {хе Ху: Кл, №) = Кж, ^^};
^*ЕЛ(х.)
= {АЕ Ло: [(ж,^)
= хо, ^")},
где множества Х., Л” есть множества решений задач (3.55) и (3.57) соответственно.
Замечание 3.2. Отметим, что в определении 3.7 седловой точки, в фор-
мулировке и доказательстве теоремы 3.22 и в следствиях 3.5, 3.6 нигде
не использовано, что рассматриваемая функция Г(х, ^.) является функцией
Лагранжа какой-либо задачи условной минимизации вида (3.27). Поэтому
эта теорема и ее следствия справедливы и в том случае, когда рассматриваются произвольные множества Ху, Ло, любая функция Г(х, ^.), определен-
ная на Хух
Л,, и строится пара задач
ф(х)= зир [(х,^) > шш,
ЛЕЛО
хЕХу;
\(\№)= ШЕ Цх,^) > тах,
ЛЕЛу.
хЕХо
Теорема 3.22 играет важную роль в теории игр.
Проиллюстрируем теорему 3.22 несколькими примерами.
177
Пример 3.15
Рассмотрим задачу
(«= У а’
ши, хеХ=(хЕХ, = Е": Ах=Ь},
(3.62)
где А — заданная матрица размера тхи; ае Е", БЕ Е" — известны. Сразу заметим, что эта задача равносильна задаче проектирования точки а на множество Х.
В силу теорем 3.11, 3.14 она имеет, причем единственное, решение х.. Опишем метод
его поиска, основанный на переходе к двойственной задаче. Нормальная функция
Лагранжа для рассматриваемой задачи
Цх,^) ка +(,6- Ах), хеЕЕ,ЛЕЛУ Е”
(3.63)
сильно выпукла по х на Ё" при каждом А.Е ЕЁ" и согласно теореме 3.11 достигает своей
точной нижней грани в единственной точке х(^,). В силу теоремы 3.4 точка х(А) является решением уравнения Г/’(х,/)=х-а- АТА =0, откуда находим
х0)=а+АТ^.
Значит,
двойственная
задача
(А) = ие, ^)= Кх(^),^)=
может
Ат
быть
(3.64)
выписана
явно:
+(^,5- Ата) > шах,
лЕЛу=Е”.
(3.65)
Функция \\(^.) вогнута, дифференцируема на Е”, ее производная равна
у’(^)=-ААТА+Ь- Ата.
Отсюда и из теоремы 3.4, примененной к выпуклой функции —\у(^), следует, что
решение ^" двойственной задачи (3.65) удовлетворяет системе линейных алгебраических уравнений
ААТ).=Ь- Аа.
(3.66)
Ниже в примерах мы увидим, что двойственная задача не всегда имеет решение.
Поэтому необходимо объяснить, почему система (3.66) имеет хотя бы одно решение.
Здесь
(3.63)
ремы
имеет
можно воспользоваться теоремой 3.21, согласно которой функция Лагранжа
имеет седловую точку. Поэтому мы можем задействовать следствие 3.5 тео3.22, которое дает нам Х. *@, Л" #0, /. =\у". Это значит, что система (3.66)
хотя бы одно решение А". После этого по формуле (3.64) находится решение
х.=х()^)=а+АТЛ" задачи (3.62).
Таким образом, переход к двойственной задаче позволил свести исходную задачу
к хорошо известной задаче (3.66) из области линейной алгебры.
В гл. 2 были рассмотрены двойственные задачи линейного программирования, приведены теоремы двойственности, причем двойственная задача
была введена аксиоматически, без объяснения, откуда она появилась.
Покажем, что к ней можно прийти с помощью изложенной в этом параграфе техники.
СО
ИО
Рассмотрим общую задачу линейного программирования
Их) =‘,
)+(с, м) > пп,
хЕХ,
Х={х=(ж,х))Е
Ем хЕ"2: х, >0, Ах, + Арх. -В <0, Арх + Аох, - В =0},
178
‘
3.67
)
где с, ЕЁ", с›Е Е”,
ЕЕ", Ь, е Е"2 — заданные векторы; матрицы А; также заданы
и имеют размерность т;х и, 1, ] = 1, 2. Нормальная функция Лагранжа этой задачи
имеет следующий вид:
71
.
Их, №) =(с1, х1)+(с2, хо) + хм
.
1=
х=(х,л.)ЕХо =Емх
то
+ Арх -В +
.
(А
.
+ Арх. - №),
1=
Е",
=(№,.., Ма, М,...А22)Е
Ло =Е!й х Е".
Введя обозначения Л. = (11,..., №1“), А2 = (4,..,А2"), ее можно переписать в более
коротком виде
Их, №) = (си, х1)
+ (со, хо)
+ (м, Анж + Арх, - 6)
+ (№, Анжи + Арх, В).
Нетрудно получить, что функция Ф(х) = зир Г(х,^.), хе Ху, определяемая согласно
ЛЕЛо
формуле (3.54), в нашем случае имеет вид
(с,
1) + (со, х2), если хЕХ,
Ф(х)= | +э, еслихеХ \Х.
(3.68)
Для вычисления функции \у(^), определяемой по формуле (3.56), удобнее представить нормальную функцию Лагранжа в следующем виде:
Их, №) =(-Ы, №1) +(-, >) + (жи, АЙМ + АДА +1) +
+ (хо, АБМ + АЪА, +с2), хЕХу, ЛЕ.
Отсюда вытекает, что
—(, Л.) -—(В,^>), если АЕЛ,
У) = | —, если ЛЕЛи \ Л,
3.69
(3.69)
где
А= {А =, №2) Е Е" х Ет2: \, >0, АПЛ. + АЛЛА, +1 >0, АРА, + АТА. +. =0}.
Из полученных выражений (3.68), (3.69) для функций Ф(х), у(Л) следует, что
задача ф(х) —> шт, хе Ху, равносильна исходной задаче (3.67), а двойственная к ней
задача \у(^,) >> тах, АЕ Лу, равносильна задаче вида (3.57)
(^)=—В,№4)-(6,^>) > тах,
ЛЕЛ.
(3.70)
Это и есть двойственная задача, рассмотренная в гл. 2.
Теорема Куна — Таккера, теорема 3.22 являются обобщением теорем
для задач линейного программирования, изложенных в параграфе 2.8,
на нелинейные задачи оптимизации. Однако сразу заметим, что не все
утверждения, справедливые для задач линейного программирования,
допускают обобщения на нелинейные задачи. Так, например, из того, что
исходная нелинейная задача оптимизации имеет решение, не следует, что
двойственная к ней задача будет также иметь решение. Кроме того, нельзя
утверждать, что двойственная к двойственной задаче будет равносильна
исходной задаче. Для невыпуклых задач эта неравносильность очевидна,
так как ранее нами было показано, что двойственную задачу всегда можно
записать в виде выпуклой задачи, и поэтому двойственная к двойственной
задаче может быть равносильна исходной, только если исходная задача —
выпуклая. Но даже требование выпуклости исходной задачи не спа179
сает положение, причем даже в тех случаях, когда нормальная функция
Лагранжа исходной задачи имеет седловую точку. Поясним эти рассуждения
на
примерах.
Са
Рассмотрим выпуклую задачу
Га)=-х>тш,
хЕХ={хеЕЕх>0, в(х)=х? < 0}.
Здесь Ху = [0; +=), Х = {0}, /. =0, Х. =Х = {0}. Нормальная функция Лагранжа
для этой задачи имеет вид
ХЕХ, ЛЕЛу=[0;+55).
Их, ^)=-х+Ах?,
Функция \и(^.) = шЕ Их,^.)=
>
при^>0и\у(0) = —. Соответственно, двойствен-
ная задача (3.58) имеет вид
(А) = т
— тах,
ЛЕЛ=(0; +5).
Множество Л — открытое, \и" = }* =0, но Л" =@ = Х.. Из этого вытекает, что [(х, А.)
не имеет седловой точки на Хух Ло.
ТОВ
Рассмотрим задачу
Здесь Ху = Е! Х
хЕХ={хЕЕ!: В(х)= хех =0}.
тт,
/(х)=ех
= {0}, / =1 Х.=Х={0}.
Запишем для этой задачи нормальную
функцию Лагранжа:
ЦКх,^)=ех
+Ахе-х,
Функция \у (А) = Ш Их, ^)=рено
ХЕХ,
ЛЕЛЕЁ!.
15А) при ^. < 0, \(0) =Оизу(А) = —е при .> 0.
ХЕ
Двойственная задача (3.58) имеет вид
у0)=
1-А
№е^ прил <0,_, пах,
Опри ^=0
ЛЕЛ= (-55; 0].
Множество Л — замкнутое, у" =0< /, Л* = {0}. И в этом примере Г(х, ^.) не имеет
седловой точки на Хух
Л\.
Пример 3.19
Рассмотрим выпуклую задачу
Ла)=-=жмх >тш,
хЕХ={х=(х, хо)
Е?: х,>0,х.>0, #(х)=х, < 0}.
Здесь Ху ={х = (ху, ло) Е?: х/>0,х.>0}= Е?, Х ={(0,#),#>0}, № =0, Х. =Х. Нормальная функция Лагранжа для этой задачи имеет вид
Цх,
180
№=-у
хх
+2,
ХЕХ,
ЛЕЛ,
= [0; + оо).
Ясно, что функция \у(А,) = МУ, Их, /^.) = — для всех А > 0, поэтому в этом примере
хЕЕ+
двойственная
задача бессмысленна.
Са
Рассмотрим выпуклую задачу
Иж
ши, хЕХ=(хЕЕ": (х) =
150}.
Здесь Ху = Е", /. =0, х. = (0,0, ...,0). Нормальная функция Лагранжа выглядит так:
Цх, М) =
+
-19=(+^ ЛР -^, хЕХ, АЕ Ло =[0; +55).
Очевидно, что \у(А,) = ПЕ Их, ^\)=-^. при всех ЛЕ Лу. Таким образом, двойствен-
ная задача (3.58) имеет вид \и(^.) = -А > шах, ЛЕ Л= [0; +=). Здесь лу" =0= д, Л* = {0};
седловой точкой нормальной функции Лагранжа будет (х.,^“)= ((0,0,...,0), 0).
В примере 3.20 двойственная задача получилась задачей линейного программирования. Как было показано в параграфе 2.5*, тогда двойственная
к двойственной задаче будет также задачей линейного программирования,
и она вовсе не совпадает с исходной нелинейной задачей.
УИС
Рассмотрим
задачу так называемого
геометрического
п
&(х)= У сх)би ---(хт) >шш,
11
где шёЁт
программирования:
хЕХ=НИЕ,
={х
= (21...47): х1>0,..,’ > 0}; с,> 0, аз 1=1,..п,]=1,...,Г,
(3.11)
— заданные
числа. Функция К(х) из (3.71) называется позиномом. Примером позинома может
служить функция Кобба — Дугласа, упомянутая в параграфе 1.3.
Для исследования этой задачи удобнее перейти к новым переменным и = (и, ...,
ии) по формулам
и =шл1=1...7;
и переписать
ин= 6+
ее в эквивалентном
=-шс;,
1=1,..,п,
п
=
> шш,
иЕЙ,
(3.73)
Хази ин
-6,=0, 1=1 ==}
Отметим, что функция /(и) выпукла на Е", И — многогранное
Составим нормальную функцию Лагранжа для этой задачи:
Ци,^)=
п
(3.72)
виде:
Га)=Уешн
реше"
ум }»
Хеин+
1=1
т
5,
71
п
= У (ен —№и-АЬ)+ [ба
#1
=
[бо
1=1
№
7 _ и
-ь
множество.
|
иЕЩ=Е!”",
ДЕЛ =ЕП.
С помощью классического метода нетрудно показать, что нижняя грань функции
Ф(2)=е?—^,2-^.5, переменной 2 на числовой оси равна ф. =; -^, А; -^.В,, причем
181
при А;> 0 она достигается в точке 2. =-шА.; функция Ап, при А;= 0 здесь считается
доопределенной по непрерывности нулем. Отсюда, опираясь на линейность функции Г(и, ^) по переменным и, ..., и, получаем
Уо=
Е ‚Ки, ^)=
Хо. —^А №1 А, -А5,), Ле Ет 34 АМ =0,1=1,..
— при других ^.
Поэтому двойственная задача (3.58) здесь будет иметь вид
0) = 0-м, -№8)> тах, АЛ,
=
(3.74)
А=[-б.,.. ‚АЛЕ Е": Хар. =0, 7=1,.. „
Если здесь верхняя грань достигается в точке ^* * 0, то задачу (3.74) можно записать в более простой форме. А именно, учитывая, что любую точку А, = (1, ..., №) * 0
можно представить в виде А, = ар, где
п
а = х^»
А.
и= (№,
Ин), В; =
+... щи =1
1=
задачу (3.74) перепишем сначала в терминах переменных (аи, р):
п
1 (ор) = у (ар) = Хо
— м: под, - №6; =
1=
п
= он
Л, - ©
У(@иИос;-и; №
=
тах,
п
п
1=
1=
и): > 0,цЕЁ”, хе =1, Ха
(&мЕЛ,;
норки
Далее, пользуясь классическим методом поиска экстремума, нетрудно получить,
п | сш
что число ©" =]
к
цы;
> 0 (здесь принято 00 = 1) доставляет функции \\1(©, 1) мак-
С; ш
симальное значение по @ > 0 при фиксированном це ЕЁ”, причем у (0, и)= 15
|
}
м;
Тогда двойственная задача (3.74) перепишется в следующем виде:
У
м
(у,
с... с”
=, шах, неЕЛ»,
Ни"я
„ИЕ Е":
(3.75)
Хи -ьади= =0,7= 1,.. „}
Если и” =(/1,..м’)е те Е” — решение задачи (3.75), то, полагая ^" =",
._
=
Е ]
-|
ин
И
ЕЛЬТ=У,
„п,
где
.
из системы линейных алгебраических уравне-
1
И;
ний (3.72) можно найти и ,,...и,., откуда имеем решение х. = (21 =е№,...х{ = е\*)
исходной задачи (3.71). Задача (3.75) часто бывает проще задачи (3.71). Переход
к двойственной задаче особенно эффективным оказывается тогда, когда множество
Л» в задаче (3.75) состоит из единственной точки |”, которая и будет решением этой
задачи.
182
Упражнения
3.1. Исследуйте на выпуклость, вогнутость, сильную выпуклость, сильную вогнутость функции одной переменной в области их определения:
2) Де) = 28,6) Ло) = 26 в) од = ит) еде тул) аднех
3.2. Выясните, при каких значениях параметров будут выпуклыми,
вогнутыми, сильно выпуклыми, сильно вогнутыми на указанных множествах функции:
а) /(х) = ах? + 6х + с, Х = (-55; +);
6) Хх) = хР, Х = (0; +);
в) /(х) = (2- 1)", Х= (-5; +°), пЕМ;
г) /(х) = (зшх+ Г, Х= (-п; 0), р> 0;
д) ее) = шар, Хи= (0; 1, Х›= [1; +=), Хь= (0; 45),р > 0.
3.3. С помощью теоремы 3.2 докажите, что на указанных множествах
будут выпуклы
функции:
а) /(и)=\/1+х2 +92, и= (ху)Е П= Е?;
2
6) Лад? > И=и=
Е
Е: у>0}.
3.4. Выясните, при каких значениях параметров будут выпуклыми,
вогнутыми, сильно выпуклыми, сильно вогнутыми на указанных множествах функции нескольких переменных:
а) /(м) =ах? + 26ху + су?, и = (ху) Е ПИ= Е?;
6) /(м)
= ^Руя, 0 = {и= (ху)Е Р: х>0,у> 0};
а6Ь0
в) (и)
= [Аи
А=Ь
а
В и=(х уе
0= В;
ора
аЬ0
АВ а Бри=(х,у,2)Е
г) (м) = (Ами, и),
П= №.
Ора
3.5. Исследуйте на выпуклость и сильную выпуклость на всем пространстве Е" функцию /(х)= ыЁ — (с, х)?, гдесЕ
Е" — заданный вектор.
3.6. Исследуйте на выпуклость и сильную выпуклость в зависимости
от параметра А, > 0 функцию =
- Мы
на множествах Х| = Ё",
Х. ={хЕЁЕ"с,х) > 1}, гдесе Ё" — заданный ненулевой вектор.
3.7. Приведите пример выпуклых на Ё! функций /(л) и Е(х) таких, что их
суперпозиция Й(х) = К2(х)) не будет выпуклой на области ее определения.
3.8. Приведите пример вогнутой на множестве Х функции /(х) такой,
что функция | (х)| выпукла на Х.
3.9. Пусть (х) и 2(х) — выпуклые на Х функции. Будет ли их произведение выпуклым на Х?
3.10.
Хс
Е"
—
выпуклое
множество.
Докажите,
что
расстояние
(х,Х)= ше | у—х | от точки х до множества Х является выпуклой функУЕ
цией переменной х на всем пространстве РЁ”.
183
3.11. Пусть Ос Е" — выпуклое множество, шёО * ©, функция /(х)
выпукла и принимает конечные значения на 0. Докажите, что она непрерывна на шЕО. Приведите пример выпуклой функции, имеющей точки раз-
рыва на границе ГрО множества (0.
2
3.12. Докажите, что функция /(и) =
—_, если у#0
у
’ является выпуклой
0, еслиу=0
на множестве 0 = {и = (хуЕ
ЕР:
у> 0} 9 {(0; 0)} и полунепрерывной
снизу на нем. Проверьте, что она не будет полунепрерывной сверху в точке
(0; 0) и, более того, для любого а > 0 существует такая последовательность
{и,} >> (0; 0), что [т (и) =а.
3.13. Докажите, что если выпуклая функция непрерывна и ограничена
сверху на Ё", то она является постоянной.
3.14. Докажите, что выпуклая функция, отличная от постоянной, может
достигать своей точной верхней грани на выпуклом множестве только в его
граничных точках.
3.15. Может ли выпуклая функция на выпуклом замкнутом ограниченном множестве иметь много локальных максимумов, и при этом не достигать своей точной верхней грани на нем? Рассмотрите пример
т и= (0),
И={и=(х,/ЕЕ?:
х2 +2 <1}, Д(и=
1
1
28-1
р
|
0 в остальных точках.
3.16. Решите выпуклые задачи безусловной минимизации:
а) /(м)=х?-ху+у? +3|х-у-2 шт,
6) /(м=х? +у? +4 тах{х;
у} > шш,
и=(хуЕЕ?;
и=(хуЕЕ?.
3.17. Пусть Х ={хЕЁ": (с1,х)>1, (со, х)> 1}, 1, Со # 0, (с1, с›) =0. Найдите
проекцию нулевого вектора (0, ..., 0) на множество Х.
3.18. Пусть А, В — выпуклые множества из Е", Ет соответственно, пусть
=-| 4 «Е т+п „Дожить
=
з-|
2-Ахв,
то РА > — [ Ра(а)|
3.19. Выведите формулу для проекции на множество
Х={ (51,4. х”)Е Е": ^1> (2)? +...+(х”)?}.
Сравните полученный результат с результатом примера 3.9.
3.20. Постройте двойственные задачи к задачам:
а) (и) = д! + 2х›+ 2+ х4+ 5 >> шш, иЕ 0, О= {и =
>20:
+ 2+ 43+44+ 2%5= 2; дз+
6) Ли =У [а
=
пут,
2+ ж=
иво
(2%, хо, хз, Хьж5) >
1};
лиауеви
$
=
1=1,..., п (см. [36, с. 185, пример 3.1]).
Найдите решения
184
исходных и двойственных к ним задач.
0)
еде,
3.21. Пусть в задаче (3.51) множество Ху выпукло, функции &1(^), ...
2„(х) выпуклы на Ху, функции &.1(х), .., &и+.5(х) линейны: &;(х)= (а, х)+Ь,
а;Е Е",
ЕВ, 1=т+1, ..., т + 5$. Докажите, что тогда множество Х из
выпукло. Докажите, что штрафная функция
т
т+5$
Р(х)= 1=У (тажка),
ОР + 1=т+
У, ДЕР,
(3.51)
ХЕХ, р>1
выпукла на Ху.
3.22. Пусть функция Лагранжа задачи (3.51) имеет седловую точку
(х., ^^). Докажите, что тогда
т-5
а) |. < /(х)+ У, [АЕ (о), т.е. задача (3.51) имеет согласованную поста=
новку (см. определение 1.28);
6) задача (3.51) равносильна задаче со штрафами
ФА) = ед А вер,
-+.
1=
хЕХо
А>тах( Р-н |,
т.е. пи Ф(х, А)=Ф, = /, Х.(А)= {хе Ху: Ф(х, А) =Ф,}=Х..
ХЕХ0
Глава 4
,
МЕТОДЫ МИНИМИЗАЦИИ ФУНКЦИИ
Выше, в гл. 2, был рассмотрен симплекс-метод для решения задач линейного программирования. Перейдем к изложению других методов миними-
зации функций конечного числа переменных, не предполагая линейности
рассматриваемых задач.
К настоящему времени разработано и исследовано большое число методов минимизации функций многих переменных. Мы ниже остановимся
на некоторых наиболее известных и часто используемых на практике методах минимизации, будет дано краткое описание каждого из рассматриваемых методов, исследованы вопросы сходимости, обсуждены некоторые
вычислительные аспекты этих методов. При этом мы ограничимся рассмотрением лишь одного-двух основных вариантов излагаемых методов, чтобы
ознакомить читателя с основами этих методов, полагая, что знание основ
методов облегчит читателю изучение литературы, позволит ему без особого
труда понять суть того или иного метода и выбрать подходящий вариант
метода или самому разработать более удобные его модификации, лучше
приспособленные для решения интересующего читателя класса задач.
41. Методы минимизации функций одной переменной
Рассмотрим задачу минимизации функции одной переменной на отрезке
Г@)—>
тт,
хЕХ={хЕЕа<х<Б}.
(4.1)
Может показаться, что эта задача проста и здесь вполне можно обойтись обобщением классического метода, рассмотренного в гл. 1, а именно,
мы, решая уравнение /"(л)) = 0, находим какие-то точки, подозрительные
на экстремум, к этим точкам добавляем концы отрезка х = а, х = В, а также
точки, где производная /'(х) не существует. Затем для выяснения характера
экстремума в отобранных точках исследуем поведение целевой функции
в окрестности этих точек. Возможно, здесь нам помогут теоремы Вейерштрасса 1.2—1.4, теоремы 3.3, 3.4, не исключено, что нам придется придумы-
вать специальные приемы, основанные на явном виде функции /(х). Это
непростая работа. Также следует отметить, что поиск корней уравнения
Г/(х) = 0 может оказаться задачей, по сложности не уступающей исходной
задаче (4.1). Так что в большинстве случаев обобщением классического
метода здесь не обойтись.
Обсудим несколько известных методов поиска приближенного решения
задачи (4.1).
186
4.1.1. Метод деления отрезка пополам
Простейшим
методом
минимизации
функции
одной
переменной,
не требующим вычисления производной, является метод деления отрезка
пополам. Опишем его, предполагая, что минимизируемая функция /(х)
унимодальна на отрезке [а; 6].
Определение 4.1. Функцию /(х) назовем унимодальной на отрезке [а; 6],
если она непрерывна на нем и существуют числа ©, В (а < о < В < 5) такие,
что:
1) /(х) строго монотонно убывает при а <х < © (если а < а);
2) /(х) строго монотонно возрастает при В х<р (если В <Б);
3) 1) =].= ей 5/(е) при &<х < В, так что
Х, =
[0;В].
Случаи, когда ин или два из отрезков [а; <], [с; В], [В; 6] вырождаются
в точку, здесь не исключаются. В частности, если а = В, то функцию /(х)
назовем строго унимодальной на отрезке [а; Ь].
Поиск минимума функции /(х) на [а; 6] начинается с выбора двух точек
ж= (а+6-5)/2 ил›= (а+6+5)/2, где 6 — постоянная, являющаяся параметром метода, 0 <6 <Ь- а. Величина 6 выбирается нами и может определяться целесообразным количеством верных десятичных знаков при задании аргумента х. В частности, ясно, что 6 не может быть меньше машинного
нуля ЭВМ, используемой при решении рассматриваемой задачи. Точки л1,
х) расположены симметрично на отрезке [а; 5] относительно его середины
и при малых 6 делят его почти пополам — этим и объясняется название
метода.
После выбора точек х1, х› вычисляются значения /(лх1), (хо) и сравниваются между собой. Если (х1) < /(х›), то полагают а! = а, 6! = хо; если же
Лес!) > Кх>), то полагают а1 = д, В, = 6. Поскольку (х) унимодальна на [а;
Ь|, то ясно, что отрезок [а1; 6.] имеет общую точку с множеством Х. точек
минимума /(х) на [а; 6] и его длина в любом случае равна
Ва, = в,
Далее процесс продолжается аналогичным образом: пусть отрезок [а 1;
Ь, 1], имеющий непустое пересечение с Х., уже известен, и пусть
а
р-а-б
=—
0-1
+6>6
(#>2).
Тогда берем точки хо, | = (а, 1+6, 4-6)/2, хь= (ав 4+6, 1+6)/2, расположенные на отрезке [а,1; В,(| симметрично относительно его середины,
ивычисляем значения функции /(л,_1), хо»). Если (хо 4) < Кхоь), то полагаем а,= а,1, В,= ов если же (хо1) > (ль), то полагаем а, = хор 1, ь=Ьь 1.
Длина получившегося отрезка [а,; В,| равна 6, - а, = (6 -а-5)/*+6>6
И [а,;
Если
ох.
#0.
количество
вычислений
значений
минимизируемой
функции
ничем не ограничено, то описанный процесс деления отрезка пополам
можно продолжать до тех пор, пока не получится отрезок [а,; 8,] длины
Ь,-а,< &, где = — заданная точность поиска точки минимума в задаче (4.1),
187
=> 5. Отсюда имеем, что #>
108>[(6 -а-68)/(= - 5)]. Поскольку каждый
шаг метода деления пополам требует двух вычислений значений функции,
то нам требуется всего п = 24 > 2108[(6 -а-5)/(=-5)] таких вычислений.
После определения отрезка [а,; В,| в качестве приближенного решения задачи можно взять точку Х=хо, | при /(х2,1) < Кхь) и Х=Х,
при /(хь_1) > К(х.ь). Значение /(х) может служить приближением для
= Е Г). При таком выборе точки х будет допущена погрешность
а,
р(х, Х.) < тах{5, -х;х-а,} =(5-а-5) / *. Можно
и в качестве приближенного
решения
поступить по-другому
предложить
точку о
= (а, + 6,)/2
с погрешностью р(о, Х.)< (№ -а,)/2=(5-а-65)/2№+5/2, при достаточно малых б погрешность для точки о будет меньше погрешности
для точки Х.
Однако в этом случае придется провести еще одно дополнительное
вычисление значения функции в точке о и принять /(э) = |. Увы, на практике нередко встречаются функции, нахождение значения которых в каждой точке связано с большим объемом вычислений или дорогостоящими
экспериментами, наблюдениями; понятно, что здесь приходится дорожить
каждым вычислением значения минимизируемой функции. В таких ситуациях возможно даже, что число и, определяющее количество вычислений
значений функции, заранее жестко задано и превышение его недопустимо.
Из предыдущего следует, что методом деления отрезка пополам с помощью и = 21 вычислений значений функции можно определить точку
минимума унимодальной функции на отрезке [а; 6] в лучшем случае с точностью (В - а)/2#+1.
В заключение отметим, что метод деления отрезка пополам без изменений можно применять для минимизации функций, не являющихся унимодальными. Однако в этом случае нельзя гарантировать, что найденное
решение будет достаточно хорошим приближением к глобальному минимуму.
4.1.2. Метод золотого сечения
Перейдем
к описанию
метода минимизации
унимодальной
функции
на отрезке, столь же простого, как метод деления отрезка пополам, но позволяющего решить задачу с требуемой точностью при меньшем количестве
вычислений значений функции, а именно, к методу золотого сечения.
Как известно, золотым сечением отрезка называется деление отрезка
на две неравные части так, чтобы отношение длины всего отрезка к длине
большей части равнялось отношению длины большей части к длине меньшей части отрезка.
Нетрудно проверить, что золотое сечение отрезка [а; 6] производится
двумя точками
3-5
=а+`\(-а)=а+0,381966011(6-а);
Е
х.=а +
188
а) =а+0,618033989(-а),
расположенными симметрично относительно середины отрезка, причем а <
<!
< <Б,
Бар
Ь-х
л-а
ба 9“
ж-а
Ь-ж
5+1 1115033989,
2
Замечательно здесь то, что точка х1 в свою очередь производит золотое
сечение отрезка [а; х›|, так как х›- <
-а=б-жи (х2- а)/(ж- а) =
= (м -а)/(х›-^1). Аналогично, точка х› производит золотое сечение отрезка
[х,; 6]. Опираясь на это свойство золотого сечения, можно предложить следующий метод минимизации унимодальной функции /(л) на отрезке [а; 8].
Положим а! = а, 6, = 5. На отрезке [а1; 6] возьмем точки л1, хо, производящие золотое сечение, и вычислим значения /(х1), (х>). Далее, если К(х1)
< (хо), то примем а2 = а1, 62 = х›, М. = х\; если же К(х1) > (хо), то примем
а2=х|,
= Ь,, Х, = хо. Поскольку функция /(х) унимодальна на [а; 6], то
отрезок [а5; 65] имеет хотя бы одну общую точку с множеством Х, точек
минимума функции /(х) на [а; 6]. Кроме того, в. -а› = (5 -1(6-а)/2
и весьма важно то, что внутри [а2; Ь>] содержится точка Хх. с вычисленным
значением функции }(х.) = ши{}(л1); /(х>)}, которая производит золотое
сечение отрезка [а; Ь.].
Далее, пусть уже определены точки д\, ...,
хи (пП>З), в них вычис-
лены значения функции /(х!), ..., /(х„_1), найден отрезок [а„1; 6,1]
такой,
что [а,_1;6,.1|0Х,#@,
В
1-а, =
5-1
2
п-2
(6-а),
и известна
точка х„/, производящая золотое сечение отрезка [а„_1; 6,1] и такая, что
Ле,-1)= пит
/(х;). Тогда в качестве следующей
точки возьмем
точку
<1<п-1
=а, 1+6, 4-Х,„-1, также производящую золотое сечение отрезка [а„_1;
Ь,1|, и вычислим значение /(х,„).
Пусть для определенности а„_! <х„ <Х„_1 <, (случай „4 <х„ рассматривается аналогично). Если /(х„)< (Хх), то полагаем а„ = а,
=,
Я, =х,; если же /(х„)> (Хи), то полагаем а, =х„, В, = 61,
я, =Х,_|. Новый
отрезок
[а„; В„| таков, что [а,;6,] ПХ. #©,
В, - а, =
п-1
2
и /(х„) =
(Ь-а), точка Хх, производит золотое сечение отрезка [а„; 6]
(х„); /(х„1)}= пт 1х).
Если число вычислений значений функции /(х) заранее не ограничено,
то описанный процесс можно продолжать, например, до тех пор, пока
не выполнится неравенство 6, - а, < &, где = — заданная точность нахождения приближенного решения задачи (4.1). Если же число вычислений
значений функции /(х) заранее жестко задано и равно и, то процесс на этом
заканчивается и в качестве решения задачи второго типа можно принять
пару х=х,, /(х), где /(х) является приближением для + = Е <),
хе[а;
а точка х служит
приближением
для множества
Х, с
погрешностью
189
_
.
р(х, Х.) < тах{,
\-1
Ап
-@,}=— 5
\Д-1
(В,
—а,)=
оо
п
(6-а)=А,.
Вспомним, что с помощью метода деления отрезка пополам за п = 2Ё
вычислений значений функции /(х) в аналогичном случае мы получили
точку х с погрешностью
_
р-а-б
р(х, Хр
Отсюда имеем = =
#1
Б-а
Зря
В».
= (0,87)" — очевидно, что уже при неболь-
ших й преимущество метода золотого сечения перед методом деления
отрезка пополам становится ощутимым.
Кратко обсудим возможности численной реализации метода золотого
сечения. Заметим, что число 5 в машинном представлении неизбежно
будет задано приближенно, поэтому первые точки |, х› будут найдены
с погрешностью. В дальнейшем если на отрезке [а„; 6„|, содержащем точку
х, с предыдущего шага, при выборе следующей точки х„.1 на каждой итерации пользоваться симметричной формулой х„.! =а„ +6, -х„, то погрешности, поначалу допущенные на первом шаге, могут быстро накапливаться,
и метод начнет порождать точки, далекие от ожидаемых точек при работе
с точными данными. Поэтому на практике на каждом шаге метода в качестве точки х„.! лучше взять ту из точек а, +(3— У, —а,)/2 или
а, + -1(6,-а„)/2, которая наиболее удалена от х„ (здесь под \/5 подразумевается какое-то из приближений этого числа). Этот простой прием
делает метод более устойчивым и позволяет избежать быстрого нарастания
погрешностей.
4.1.3. Метод ломаных
Описанные выше методы часто приходится применять без априорного
знания о том, что минимизируемая функция является унимодальной.
Однако в этом случае погрешности в определении минимального значения
и точек минимума функции могут быть значительными. Например, применение этих методов к минимизации непрерывных на отрезке функций
приведет, вообще говоря, лишь в окрестность точки локального минимума,
в которой значение функции может сильно отличаться от искомого минимального значения на отрезке. Поэтому представляется важной разработка
методов поиска глобального минимума, позволяющих строить минимизирующие последовательности и получить приближенное решение задач
минимизации первого и второго типов для функций, не обязательно унимодальных. Здесь мы рассмотрим один из таких методов для класса функций, удовлетворяющих условию Липшица.
Напомним, что функция /(х) удовлетворяет условию Липшица на отрезке
[а; 6], если существует постоянная Г > 0 такая, что
[70-Е х-у|
190
Ух, ув[а; В].
(4.2)
Постоянную Г называют постоянной Липшица функции /(х) на отрезке
[а;6].
Условие (4.2) имеет простой геометрический смысл: оно означает, что
угловой коэффициент (тангенс угла наклона) |1 А) - Ла)
[х-у|
хорды, соеди-
няющей точки (х, (х)) и (у, (и)) графика функции, не превышает постоянной [. для всех точек х, уЕ
[а; 6]. Из формулы (4.2) следует, что функ-
ция /(х) непрерывна на отрезке [а; 6], так что по теореме 1.2 множество Х,
точек минимума /(х) на [а; Ь] непусто.
Теорема 4.1. Пусть функция ((х) непрерывна на отрезке [а; 6] и на каж-
дом отрезке [а; а!
1 =1, ..., т, где а1 = а, ат+1 = 6, удовлетворяет усло-
вию (4.2) с постоянной [.. Тогда К(х) удовлетворяет условию (4.2) на всем
отрезке с постоянной Г. = тах [..
1<1<т
Доказательство
Возьмем две произвольные точки х, уе [а; В]. Пусть а, <х<а,,
а; <у<а..1 при некоторых р, $ Е {1, 2, ..., т}, р < 5. В случае р = $ очевидно,
что [И(к)- 15, |&-И<Пх-У. Еслир < $, то
Иа) - А = Ао) - Кары)+ Кары)- Карна) +..+ (а, 1)- Ка, +
+ /(а,)- 14) <Г, | ар
< Ца
Гры [ры ар? ++ 11 |
—а,| + Г, |, -у <
и-х+а,+2 арм +..+а; -а,1 +у-а,)=Пх-у
)
что и требовалось доказать. №
Теорема 4.2. Пусть функция /(х) дифференцируема на отрезке [а; 6]
и ее производная }’(х) ограничена на этом отрезке. Тогда К(х) удовлетво-
ряет условию (4.2) с постоянной [=
зар | /”(х)|.
ха;5]
Доказательство
По формуле конечных приращений (1.113) для любых точек х, у Е [а; 6]
имеем /(х) — Ки) = (и +60(х-у))(х- и), 0 < 0 < 1. Отсюда и из ограниченности /”(х) следует утверждение теоремы. №
Перейдем к описанию метода ломаных. Пусть функция /(х) удовлетворяет условию (4.2) на отрезке [а; 6]. Зафиксируем какую-либо точку
уЕ [а; 6] и определим функцию &(х, у) = Ку) - Цх - у| переменной х
(а<х<ь). Очевидно, что функция 2(х, у) кусочно-линейна на [а; 6], и график ее представляет собой ломаную линию, составленную из отрезков
двух прямых, имеющих угловые коэффициенты Г и -Г и пересекающихся
в точке (у, Киу)). Кроме того, в силу условия (4.2)
(ку в(х, у) = К) Ки)+Их-\>Их-у-()Ки)> 0 Ух,
у ва; В],
т.е.
&(х,у)= К-Их-у<(х)
Ухе[ а; В],
(4.3)
причем =(и, у) = Ки). Это значит, что график функции /(х) лежит выше
ломаной =(х, у) при всех хе [а; 6] и имеет с ней общую точку (у, Ку)).
191
Свойство (4.3) ломаной 5(х, у) можно использовать для построения
следующего метода, который и называется методом ломаных. Этот метод
начинается с выбора произвольной точки же [а; 6] и составления функции
&(х, м) =
(хо )-Г
Хм
|| Ро(х).
Следующая точка х\ определяется из условий
Ро(х1)=
Очевидно,
пип ро(х), м! Е[а;6].
хва;65]
что х! = а или х, = В. Далее
берется
новая
функция
р1(х) = тах{=(х, х1); ро(х)}, очередная точка х› находится из условий
Ри(хо)= тт р (х), хоЕ [а; 8]. Далее процесс продолжается таким же обрахЕ(а;
зом, а именно, пусть точки д, 21, ..., х„, п > 1, уже известны, тогда составляется функция
Ри (х)
и следующая
= тах{=(х,
точка х„...
т ); Р„-1(х)} = пах &(х, д; »,
определяется
условиями
Ри(х,1)= хе[а;
пищ 5] р(х), хе
[а;5].
(4.4)
Если минимум р‚(х) на [а; 6] достигается в нескольких точках, то в качестве х„.! можно взять любую из них. Метод ломаных описан. Его применение проиллюстрировано на рис. 4.1, на котором график функции /(х) изображен жирной линией, ломаная АВС — часть графика функции 2(х, ху) =
= Ро(х), отрезок ОЕ — часть графика
график функции р!(х), ломаная РОК
ломаная АВ5РТО — график функции
функции &(х, хз), ломаная КМВ5РТО
АУ
192
В
функции &(х, х\),
— часть графика
ро(х), отрезок КГ
— график функции
ломаная АВЕ) —
функции &(х, хо),
— часть графика
ръ(х).
Очевидно, что р,„(лх) является кусочно-линейной функцией, и график ее
представляет собой непрерывную ломаную линию, состоящую из отрезков
прямых с угловыми наклонами Г или -Г. Из теоремы 4.1 следует, что р„(х)
удовлетворяет условию (4.2) с той же постоянной Г, что и функция /(х).
Ясно также, что
Ри-1(х)= тах 8(х х,)< пах а(х,х;)= р,(х),хЕ [а;6].
(4.5)
Кроме того, согласно формуле (4.3) справедливо неравенство &(х, х;) <
< К(х) при всех хе
[а; Ь],1=0, 1, ..., п, поэтому
р„(х) < Кх) Ухе
[а; |, п=0, 1,....
(4.6)
Таким образом, на каждом шаге метода ломаных задача минимизации
функции /(х) заменяется более простой задачей минимизации кусочнолинейной функции р„(х), которая приближает /(х) снизу, причем в силу
соотношения (4.5), последовательность {р„(х)} неубывает при любом фиксированнном хе [а; 8]. Докажем теорему о сходимости метода ломаных.
Теорема 4.3. Пусть Кх) — произвольная функция, удовлетворяющая
на отрезке [а; 6] условию (4.2). Тогда последовательность {х„}, полученная
с помощью описанного метода ломаных, такова, что:
1) Шт /(х„)= Ш р,(х.)=р = Ш Г (х), причем справедлива оценка
П—>оо
п
хва;6]
0= Лии)
= Л < Ла„)-
Ри (и
»
п=0, 1,...;
(4.7)
2) {х„} сходится к множеству Х. точек минимума функции Г(х) на [а; 6],
т.е. Шт р(х„, Х+)=0.
п—> оо
Доказательство
Возьмем произвольную точку х., Е Х». С учетом условий (4.4) и неравенств (4.5), (4.6) имеем
Ри-1 (хи)
= пит
хЕ[а;5]
Ри-1(х) < Ри-1(Х
1) < Ри(Хи+1) =
= ха;
т 6] р.) < р, (х.) < (ан) = Л,
т.е. последовательность {р„(х„.1)} неубывает и ограничена сверху. Отсюда
сразу следует оценка (4.7) и существование предела Ит р„(х„.1)= р+ < 4.
ны
Покажем, что р» = }..
Последовательность {х„} ограничена и по теореме Больцано — Вейерш-
трасса обладает хотя бы одной предельной точкой. Пусть 9. — какая-либо
предельная точка последовательности {х„}. Тогда существует ее подпоследовательность {х„, }, сходящаяся к &». Заметим, что Д(х)= &(х, х,) < р,(х) <
< (х)), т.е. К(х;)= ри(хх.) при всех 1 = 0, 1, ..., п. Тогда
05 ри(х)- па р) = Ли) - ри(хиы) = р.) ря(ин)
при всех и =
1, 2,
..,1= 0, 1,
, — Хин |
. ., п. Принимая здесьп = п,- 1, 1= п, _1 <
< п,- 1, получаем
0 < /(х„,)- п 1)
хи, р =2, 3, ... Отсюда
при Ё -> <о имеем
193
У
< Хе.)
=
ОИ
) = Пт
р-н,
) = р»
<
*,
т.е. шп /(х„, )= Ша р,, 1(х„, ) = р+ = +. Пользуясь тем, что рассуждения
Ё—>оо
Ё
Р->ео
Ё
Е
проведены для произвольной предельной точки + последовательности
{х„}, убеждаемся в справедливости первого утверждения теоремы. Второе
утверждение следует из теоремы 1.1. №
Таким образом, с помощью метода ломаных можно получить решение
задач минимизации первого и второго типов для функций, удовлетворяющих условию (4.2). Проста и удобна для практического использования
формула (4.7), дающая оценку неизвестной погрешности /{(х„.!)-
+ через
известные величины, вычисляемые в процессе реализации метода ломаных. Этот метод не требует унимодальности минимизируемой функции, и,
более того, функция может иметь сколько угодно точек локального экстремума на рассматриваемом отрезке. На каждом шаге метода ломаных нужно
минимизировать кусочно линейную функцию р„(х), что может быть сделано простым перебором известных вершин ломаной р„(х), причем здесь
перебор существенно упрощается благодаря тому, что ломаная р„(х) отличается от ломаной р,„_1(х) не более чем двумя новыми вершинами. К достоинству метода относится и то, что он сходится при любом выборе начальной точки х).
Далее будет рассмотрен другой метод, по своей идее близкий к методу
ломаных, но более удобный для реализации на компьютере.
4.1.4. Метод покрытия
Обозначим через О(Г.) класс функций, удовлетворяющих условию Лип-
шица (4.2) на отрезке [а; 6] с одной и той же для всех функций этого класса
постоянной Г. > 0. Для функций / = /(х) Е О(Г) будем рассматривать задачу
минимизации первого типа, когда ищется величина /+ = Е [(х). Для
ха;
решения этой задачи можно пользоваться методами, которые заключаются
в выборе точек д, ..., х„а<х|<..<х, <, вычислении значений функции
Км), .., Л(„) и определении величины /(х,)= пт Л(‹;), принимаемой
за приближение к }..
Возникает вопрос: как выбрать метод так, чтобы при достаточно больших п было верно
п /(х)<Л+Е
Ух)
9),
(4.8)
Где & > 0 — заданная точность? Ниже будет изложено несколько методов
решения поставленной задачи (4.8). В каждом из этих методов определен-
ным образом строится некоторая система отрезков, покрывающих исходный отрезок [а; 6], и вычисляются значения функции в подходящим образом выбранных точках этих отрезков. Поэтому излагаемые ниже методы
принято называть методами покрытия.
Простейшим методом для решения задачи (4.8) может служить метод
равномерного перебора, когда точки х|, ..., х„, выбираются по правилу
194
и =а+,
хил,
+В = НЙ, 1=1,...п-2,х, =ши{
м +(п-1)1;5},
2
где
(4.9)
р
й = т
—
шаг
метода,
а число
п
определяется
условием
Хи
< р Ш
<
1
+
+ (п- 14.
Теорема 4.4. Метод равномерного перебора (4.9) решает задачу (4.8)
на классе О(Г,). Если й> >
то существует функция К(х) Е О(Г), для кото-
рой метод (4.9) не решает задачу (4.8).
Доказательство
Пусть } = /(х) — произвольная функция из О(Г.). С учетом неравенства
(4.3) для любого хе [х;- #/2; х,+ й/2] имеем
Иад> Лед Це-ж]>
д- "> пав Ка
-ь
1=1,...П.
Так как система отрезков [х,- Й/2; х; + #/2],1=1, .., п, покрывает
весь отрезок [а; 6], т.е. всякая точка х из [а; 6] принадлежит одному
из отрезков этой системы, то из предыдущего неравенства следует, что
х)> и /(&;})-е для всех хе [а; 6]. Поэтому }+ > и Г;)-е для любой
функции } = /(х) е О(Г.), что равносильно неравенству (4.8). Если й >=, то,
например, для функции К(х) = [х метод (4.9) дает пип(Рх)- Та= е > Е. М
Метод равномерного перебора (4.9) относится к пассивным методам,
когда точки д|, ... х„ задаются все одновременно до начала вычислений
значений функции. На классе 0(Г) можно предложить такой же простой,
но более эффективный последовательный метод перебора, когда выбор
точки х; при каждом 1 > 2 производится с учетом вычислений значения
функции в предыдущих точках 41, ..., Х;1, и задачу (4.8) удается решить,
вообще говоря, за меньшее количество вычислений значений функции, чем
методом (4.9).
А именно, следуя работе [19], положим
й
х =@+,
хи=х,+Й+
х, =ШШ |
2:
+#+
ИеО- Ем
енд-а
т
(10)
’
)
.
р (х,;), а число п определяется условием
<)
гдей= т, Е= пи
А и-1 <
и <,
ыы
Теорема 4.5. Метод последовательного перебора (4.10) решает задачу
(4.8) на классе О(Г,).
195
Доказательство
Пусть } = /(х) — произвольная функция из О(Г.). С учетом неравенства
(4.3) для всех хе [х; х,+ й/2 + (Кх,) - Е)/П имеем
а
Аналогично для всех хе [х,;- й/2; х/ получим /(х) > Кх)) - 11/2 >Е,- в.
Поскольку система отрезков [х,-— Й/2; х;+ #/2 + (Кх)) - Е)/Ё, 1 = 1, ... п,
покрывает весь отрезок [а; 6], то из предыдущих неравенств следует, что
Л) > Е, - в при всеххе [а; В]. Тогда }+ > Е, — при всех /= (х) е О(Г), что
равносильно неравенству (4.8). №
В худшем случае, когда, например, функция /(х) постоянна или моно-
тонно убывает на [а; 6] и, следовательно,
ЕЁ = та Ле) =Лоя),
метод
(4.10) превращается в метод (4.9), и для решения задачи (4.8) тогда потре_—а
буется М, 9
вычислений
=
5
5
значений функции.
В самом лучшем
случае, когда /(х) = А + [(х - В), где А, В — постоянные, имеем Е, = /(х;),
х;=х,+(271-1)1,1=1,..,п-2, и для решения задачи (4.8) понадобится
всего №. =1+108>
(Б-а)Г,
2
вычислений значений функции. И вообще, если
(<; ) > Е при каком-либо &, то х;.! -х;> Й, и поэтому число п вычислений
значений функции, необходимое для решения задачи (4.8), будет, вообще
говоря, меньше №, и больше №.
Заметим также, что метод (4.10) идейно примыкает к методу ломаных, но при этом выгодно отличается простотой реализации. Недостатком
метода (4.10), как и метода ломаных, является необходимость априорного
знания постоянной Г из условия (4.2).
Далее изложим еще один вариант метода покрытия для решения задачи
(4.8). Пусть зафиксирована сетка точек (4.9) с шагом й = 28/Г. Выберем две
произвольные точки 91, 92 этой сетки, вычислим значения / (1), (2) минимизируемой функции и положим Ё! = (1), Е, = ши{Е!; К>)} = ши);
(02)}. Имеются две возможности: либо Ё. = (92) < Е, либо Е. = Ё < 2).
Если Е, < Ё, то из дальнейших рассмотрений исключаем точку 91 вместе
Е -Б
с теми точками х;7 сетки (4.9), для которых |х, 5—1,
не вычисляя
значений /(л,). Если ЕР. = Е/, то исключаем точку 92 вместе с точками х;7
сетки (4.9), для которых |,
0.
< <-ев
2-1 Начальный шаг метода описан.
Опишем общий шаг. Пусть в точках 91, 9, ..., 9, сетки (4.9) уже
вычислены значения функции /(01), /(52), ..., /(ь), найдена величина
Е =шщ{Е1; /(,)} = пит Г(;), и пусть о, — та из точек уу, и», ..., Оь в которой Е, = /(®,)= т Г(;). Далее возьмем любую точку о, 1 сетки (4.9), ко<<
торая на предыдущих шагах не исключалась и в которой еще не вычислялось значение функции /(х). Вычислим /(о,.1) и найдем величину
Е =ши{Е,; 1(о1)}= ‚и. Г(;). После этого имеются две возможности:
31+
196
либо Р,,1 = (9,+1) < Е, либо Е, = Ё,< Ки, 1). В первом случае, когда РЁ,,1 <
< Е, из дальнейших
рассмотрений
исключим
точку о,, и вместе с нею те
точки х; сетки (4.9), для которых
ок
(4.11)
Заметим, что некоторые из этих точек могли оказаться исключенными
уже на предыдущих шагах. Для нас здесь важно лишь то, что среди исключенных точек заведомо нет таких, в которых значение функции /(х) было
бы меньше, чем Ё,.1. В самом деле, прежде всего /(и,„)=Е, > Ел. Для
остальных
исключенных
точек д; имеем
Ла)-Еи=Л(х)-Ло,)+В-Ещ >-Гх; -0, +, —Ви 20
в силу формул (4.3) и (4.11). Таким образом, без дополнительных вычисле-
ний значений функции /(х) мы сумели выяснить, что исключенные точки
не являются перспективными с точки зрения получения в них значений
функции, меньших РЁ»,1.
Рассмотрим вторую возможность, когда Ё», 1 = №№ < Ко,+1). Тогда из дальнейшего перебора исключаем точку 9,.! вместе с точками х, сетки (4.9),
для которых
ИЕ
енр-в
(4.12)
Нетрудно убедиться, что и в этом случае в исключенных точках значения функции не могут быть меньше Ё,,1. В самом деле, здесь
Л(х;)- Вы = Л(хрд-Е =Л(х)Ле) + Л@а)- Е >
>-[х,
— бы
+Л(@,4)-Е
20
в силу формул (4.2) и (4.12). Общий шаг метода описан.
Так как на каждом шаге метода берется новая точка сетки (4.9), кото-
рая еще не исключена из перебора и в которой значение функции /(х) еще
не вычислялось, то ясно, что на каком-то шаге такие точки будут исчерпаны и описанный процесс закончится за № шагов, М < п, перебором точек
91, 0, .., оу сетки (4.9) и вычислением величины ЕЁ) = пит Го)= п Ла).
Теорема 4.6. Пусть (х) — произвольная функция из класса О(Г,), и пусть
сетка точек {х\, ..., х„} определена согласно (4.9). Тогда найденная методом
последовательного перебора (4.11), (4.12) величина Е; = пт Е(х;) решает
=15п
задачу (4.8).
Доказательство
Так как система отрезков [х,— й/2;х,+й/2],1= 1, ..., п, образует покрытие
отрезка [а; 6], то для любой точки хе [а; 6] найдется точка х; сетки (4.9)
такая, что |х -х й <й/
2. Тогда
Ла) = (ю)- (гу) +
кр >-Шх-х)+ Ру
ых
=Еу-
для любого хе [а; 6]. Следовательно, / > Е; -в, т.е. выполняется неравенство (4.8). Теорема 4.6 доказана. №
197
Метод (4.11), (4.12), как и метод (4.10), в худшем случае может превратиться в метод простого перебора точек сетки (4.9). В то же время ясно, что
для многих функций /(х) Е О(Г) этот метод гораздо эффективнее метода
простого перебора, так как если величины Ё, — Ё№+1, (9+1) — Е, в формулах
(4.11), (4.12) достаточно большие, то многие точки сетки (4.9) могут оказаться
исключенными из перебора без вычисления в них значений функции. В параграфе 4.9 будет описан метод покрытия для функции многих переменных.
4.1.5. Метод касательных
Пусть функция /(х) выпукла и дифференцируема на отрезке [а; 6], удовлетворяет условию Липшица и унимодальна на [а; 6]. Тогда для минимизации /(х) на [а; 6] применимы почти все описанные выше методы, в частности метод ломаных. Однако если значения функции /(л) и ее производной
Г’) вычисляются достаточно просто, то здесь можно предложить другой,
вообще говоря, более эффективный вариант метода ломаных, когда в качестве звеньев ломаных берутся отрезки касательных к графику /(л) в соответствующих точках, — метод касательных.
Зафиксируем какую-либо точку ое [а; 6] и определим функцию
&(х,и)= (о)+ Г(о(х-и),
а<х<6.
Согласно теореме 3.1 &(х, о) < (х) Ухе [а; Ь]. В качестве начального
приближения возьмем любую точку луЕ [а; 6] (например, ху = а), составим
функцию ро(х) = 2(х, хо) и определим точку хи Е [а; 6] из условия
Ро(х!)=
пип Ро(х),
хЕ[а;5]
2 Е[а; В].
Ясно, что при /"(х%) * 0 получим либо х| = а, либо х\ = 5. Далее построим
новую функцию р1(х) = тах{ро(х); &(х, х!)} и следующую точку 42Е [а; 6]
найдем из условия
Ри(>)= хЕ[а;
пи 5] ри(х), х› е[а;6]
и т.д. Если точки ду, 4, .... ^„, п > 1, уже известны, то составляем очередную
функцию р,(1) = тажр,-1(2);
(+ х„)}= тах (в х.) и следующую точ51<П
ку х„+1! определяем из условий р„(х„.1)=
т
Р„(х), хи-1Е
[а; 8]. Метод
хЕ[а;
касательных описан. Теорема о его сходимости во многом повторяет теорему о сходимости метода ломаных.
Описанные выше методы ломаных, покрытия, касательных основаны
на существовании простых кусочно-линейных функций, аппроксимирующих целевую функцию снизу. Аналогично можно строить методы минимизации, когда целевая функция может быть аппроксимирована снизу
кусочно-полиномиальными или другими функциями.
4.2. Градиентный метод
4.2.1. Описание процесса. Выбор шага, проблемы старта и остановки
Будем рассматривать задачу
К) > ти, хЕ Х= РЁ",
198
(4.13)
предполагая, что функция /(х) непрерывно дифференцируема на ЕЁ”, т.е.
Ко) е СКЁ”). Согласно определению 1.20 дифференцируемой функции
Кх+Ё)1) = (Г’(х), В) +о(,х),
й,
Пт “0
|#]->0
(4.14)
Если }’(л) = 0, то при достаточно малых ||#| главная часть приращения (4.14) будет определяться величиной (/”(х),й). В силу неравенства
Коши — Буняковского
оо Ред, ем
причем если }”(х) + 0, то правое неравенство превращается в равенство
только в слусае й = о} "(х), а левое неравенство — только если й =-@}"(х), где
0 — произвольное неотрицательное число. Отсюда ясно, что при /"(х) * 0
направление наибыстрейшего возрастания функции /(х) в точке х совпадает с направлением ее градиента /”(х), а направление наибыстрейшего убывания — с направлением антиградиента (-/”(х)).
Это замечательное свойство градиента лежит в основе ряда итерационных методов минимизации функций. Одним из таких методов является
градиентный метод, к описанию которого мы переходим. Этот метод, как
и все итерационные методы, предполагает выбор начального приближения — некоторой точки ху. Общих правил выбора точки ху в градиентном методе, как, впрочем, и в других методах, к сожалению, нет. Обычно
начальное приближение 1 стараются выбрать поближе к искомому оптимальному решению х., учитывая имеющуюся априорную информацию
о его местоположении. Будем считать, что некоторая начальная точка 1
уже выбрана. Тогда градиентный метод заключается в построении последовательности {х,} по правилу
Хы =, - 0%"),
Числа о, из формулы
0,>0,
(4.15)
#=0,1,...
(4.15) часто называют длиной шага или просто
шагом градиентного метода. Если }’(х,) + 0, то при достаточно малых
0, > 0 гарантируется убывание: /(х,..1) < (х,). В самом деле, из формулы
(4.14) при всех достаточно малых 0, > 0 имеем
ыы) ак)
= в | -|
ор +99
<0.
Ё
Если }"(х,) = 0, то х, — стационарная точка. В этом случае процесс (4.15)
прекращается, и при необходимости проводится дополнительное исследование поведения функции в окрестности точки х, для выяснения того,
достигается ли в этой точке минимум функции /(х) или не достигается.
В частности, если /(х) — выпуклая функция, то согласно теореме 3.4 в стационарной точке всегда достигается минимум.
Существуют различные способы выбора величины ©, в методе (4.15).
В зависимости от способа выбора ©, можно получить различные варианты градиентного метода. Укажем несколько наиболее употребительных
на практике способов выбора ©.
199
1. На лучех = х,- о/’(х»), © > 0, направленном из точки х, по антиградиенту, введем функцию одной переменной
в, (о) = Л(хь-0”(х,)),
©>0,
и определим о‘, как точку ее минимума:
о, =агепиш &, (0).
(4.16)
@а>0
Метод (4.15), (4.16) принято называть методом скорейшего спуска.
При/(х,) = 0 согласно формуле (1.112) имеем 2+ (0) = - | Г’(х, р < 0, поэтому
нижняя грань в соотношении (4.16) может достигаться только при ©, > 0.
Приведем
пример, когда шаг спуска ©, определяемый
условием
(4.16),
может быть выписан в явном виде.
ЗСО
А
Пусть функция /(х) является квадратичной:
1
(4.17)
= (Ах, х) (6х),
Их)
где А — симметричная положительно определенная матрица размера п х п; 6 — некоторый вектор из Е”. Выше, в примере 3.2, было доказано, что эта функция сильно
выпукла и ее производные вычисляются по формулам /(х) = Ах-Б, /"(х) = А, поэтому
метод (4.15) примет вид
Хы
=%
7 о (Ахь 7 Ь),
Ё = 0, 1, ...,
и будет представлять собой хорошо известный итерационный метод решения системы
линейных алгебраических уравнений Ал = Ь. Для определения значения си, из условий (4.18) запишем явное выражение функции
Укь р + (АГь), Гы
2
5. (о) = /(х,)
9
и приравняем к нулю ее производную:
Е (а)
=
/
у
| +оКАГ(хь), (ху) =0.
2
у
у
При /"(х,) + 0 это условие выполняется при положительном значении
и= о
‚=
,
[еыЁ
2
(АР’(жь), Р’(жь))
[А ж-Ё
2
>0,
(А(Ах,-Ь), Ах, -5)
а поскольку функция &,(а) сильно выпукла, то найденное ©, будет искомым решением одномерной оптимизационной задачи (4.16).
Разумеется,
точное
определение
значения
(4.16)
шага
скорейшего
спуска не всегда возможно. Кроме того, нижняя грань в формуле (4.16)
при некоторых А может и не достигаться. Поэтому на практике обычно
используют значения а, приближенно удовлетворяющие условиям (4.16).
Можно, например, выбрать ©, из условий
8» < &,(@,) < 8»
200
+5,,
5, >0,
р
=б <<
(4.18)
или из условий
8»
< =,(о,)
< (1-Л,)=,(0)+
Ль&ьь,
О<л,
< №
<1.
(4.19)
Величины д, Л, из условий (4.18), (4.19) характеризуют погрешность
выполнения условия (4.16): чем ближе д, к нулю или Л, к единице, тем
точнее оно выполняется. При поиске ©, из условий (4.18), (4.19) можно
пользоваться различными методами минимизации функций одной переменной, в том числе и изложенными в параграфе 4.1.
Следует также заметить, что антиградиент (-—}(х,)) указывает направление быстрейшего спуска лишь в достаточно малой окрестности точки х»,
и если функция /(х) меняется быстро, то в следующей точке х,. | направление антиградиента (—}”(х,.1)) может сильно отличаться от (-}”(х,)). К тому
же и сами антиградиенты часто бывают известны лишь приближенно, так
что далеко не всегда целесообразно расходовать вычислительные ресурсы
на уточнение приближенного значения 0.
2. На практике нередко довольствуются нахождением какого-либо
0, > 0, обеспечивающего монотонное убывание: /(х,,1) < /(х»). С этой целью
выбирают какую-либо постоянную 4 > 0, после чего в методе (4.15) на каждой итерации сначала берут ©, = © и проверяют условие монотонности.
В случае его нарушения шаг ©, = 0 дробят до тех пор, пока оно не выполнится. Если потребности в дроблении © не возникает, можно проверить,
нельзя ли увеличить значение с с соблюдением условия монотонности.
3. Если функция /(х) Е СЪКЕ”), т.е. (х) Е СКЕ”) и градиент /"(х) удовлетворяет условию Липшица
И-ЛЦк-
УхуеЕ",
причем константа Г, > 0 известна, то в методе (4.15) в качестве ©, может
быть взято любое число, удовлетворяющее условиям
0 <= < а, <
(4.20)
[+26’
Где &‹, & — положительные числа, являющиеся параметрами метода. В частности, при = = Ё/2, = = 1/Ё получим метод (4.15) с постоянным шагом
о, = 1/Ё. Понятно, что при больших значениях [Г такой шаг становится
слишком мелким и в результате, несмотря на отсутствие в методе (4.15),
(4.20) процедуры одномерной минимизации (4.16), его преимущество перед методом скорейшего спуска практически теряется. Вопросы сходимости метода (4.15), (4.20) будут рассмотрены в следующем параграфе.
4. Возможен выбор 0%, из условия [23, 40]
Да-а ож) > вц ГО,
=>0.
(4.21)
Для удовлетворения условия (4.21) сначала обычно берут некоторое
число 0, = © > 0 (одно и то же на всех итерациях; например, аи, = 1), а затем
при необходимости дробят его, т.е. изменяют по закону ©, = Л, 1 = 0, 1, ...,
0 </1, < 1, до тех пор, пока впервые не выполнится условие (4.21). Такой способ определения си, в литературе часто называют выбором шага по Армихо [9].
201
5.
Возможно априорное задание шагов ©, из условий
@,>0,
Ё=0,1,..,
Уа, =,
в=0
У, 0
в=0
<.
(4.22)
Эти условия будут выполнены, если взять, например, ©, = с(Ё + 1)“, где
с = с01$8 > 0, © = соп$ё Е (1/2; 1]. Априорный
выбор (4.22) очень прост
в реализации, но не гарантирует выполнения условия монотонности
Да) < Кх»), и, вообще говоря, в таком варианте градиентный метод сходится медленно.
6. Втех случаях, когда заранее известна нижняя грань / = Ш Их) > —,
ХЕ
в методе (4.15) можно взять абсциссу
а. = @-
[ис
точки пересечения
прямой } = + с касательной
= Хаь- 0/1) в точке (0; #0).
к кривой / = 2„(©) =
Допустим, что шаги ©, в методе (4.15) как-то выбраны (например, одним
из перечисленных выше способов). Тогда на практике итерации (4.15) продолжают до тех пор, пока не выполнится некоторый критерий окончания
счета. Для этого часто используют следующие критерии:
[ке
|[Уь)-У(кьы
58; | ж, <=;
[ыы Ло
а-хы
Уеь- ыы)
+ [кь- хьы|
&,
где & > 0 — заданное число. Иногда заранее задают число итераций; возможны различные сочетания этих и других критериев. Разумеется, к этим
критериям завершения вычислений надо относиться критически, поскольку они могут выполняться и вдали от искомого решения. К сожалению,
надежных критериев окончания процесса работы метода, которые гарантировали бы получение решения задачи (4.13) с требуемой точностью, и применимых к широкому классу задач, пока нет. Сделанное замечание о критериях окончания счета относится и к другим излагаемым ниже методам.
4.2.2. Сходимость метода скорейшего спуска
для сильно выпуклых функций
При теоретическом исследовании свойств сходимости метода предполагается, что процесс (4.15) бесконечный и мы имеем дело с двумя последовательностями {х,}
Е", {(х,)}, Ё = 0, 1, .... Главными здесь обычно являются вопросы об асимптотическом поведении этих последовательностей
и выполнении предельных соотношений
бт би) =Л, тре, Хо =0,
(4.23)
а также об оценках скорости сходимости в формулах (4.23). Для положительного ответа на эти вопросы на функцию /(х) кроме условия
К)
202
Е
СКЕ")
приходится
накладывать дополнительные
более жесткие
ограничения. В следующей теореме для определенности рассматривается
процесс (4.15) с выбором шага ©, по правилу скорейшего спуска (4.16).
Теорема 4.7. Пусть функция Кх) принадлежит классу СЪКЕ”) (см.
определение 1.29), т.е. ее градиент [’(х) удовлетворяет условию Липшица
(1.117) с константой Г, > 0. Пусть также /(х) сильно выпукла на Е" с кон-
стантой сильной выпуклости х> 0. Тогда для любой начальной точки хуЕ Е"
последовательные приближения х,, вырабатываемые методом скорейшего
спуска (4.15), (4.16), обладают свойствами сходимости (4.23) и выполняются следующие оценки:
[+
0< /(ж)-Л < (@)-Л9%
(4.24)
< 1 ИКж)- Ка",
(4.25)
—Х»
№=0,1,...
где х. — точка минимума Г(х) на Е", д =1- ”/Г,0<4<1.
Доказательство
Функция /(х) сильно выпукла, поэтому согласно теореме 3.11 нижняя
грань /. конечна и достигается в единственной точке х.. Из формулы (3.10)
при э=хь и=х. имеем
ав = (сер)
= бо) <(Даеь, зы)
о
-х
2
2
Х’(х,)
=,
<->
НР)
1.
ДИ
2
11.
55,
2
(4.26)
для всех # = 0, 1, .... Для оценки разности а, 1 - а, сначала учтем правило
(4.16):
ан — а = Аж)
Л(жь) < ЛЬ - о” (х,))- 1(х,)
Уа>0,
а затем, поскольку /(х) Е С!1(Е”), воспользуемся утверждением леммы 1.3,
подставив в него х = л,- о/"(х,), у =хь
ал @, <| |, р [ее - с)
Взяв здесь конкретное
Ма, > 0.
@ = 1/ГЁ > 0, доставляющее
минимум
правой
части, получим оценку
а
1
21
-а,<-—
а,
ГГ.
Отсюда и из формулы (4.26) следует рекуррентное соотношение
а
а из него
из оценки
отметим,
теоремы,
<
— оценка (4.24).
(4.24) и свойства
что условие 0 < 4
выполняется для
м
=да,,
#Ё=0,1,...,
Вторая оценка (4.25) следует непосредственно
(3.9) сильно выпуклых функций. В заключение
<1, важное для содержательности утверждений
всех сильно выпуклых функций класса С+Ъ1(Ё"),
203
так как для таких функций
всегда 2 < Г, что очевидно из двусторонней
оценки
и|х- УР <(
Г,
Теорема 4.7 доказана. №
Замечание 4.1. При наличии
кф
Ик
Ух, уЕЁ”".
оценок вида (4.24), (4.25) со значением
ДЕ (0; 1) скорость сходимости итераций к оптимальному решению по функции (4.24) и по аргументу (4.25) принято называть линейной скоростью
или сходимостью со скоростью геометрической прогрессии. В теореме 4.7
линейная скорость сходимости метода скорейшего спуска была установлена
при весьма жестких требованиях к функции /(х), одним из которых было
условие ее сильной выпуклости. Некоторые утверждения о сходимости
со скоростью ниже линейной при ослабленных требованиях к /(х) можно
найти, например, в работе [12].
К невыпуклым функциям градиентные процедуры следует применять
с большой осторожностью, поскольку они становятся весьма чувствительными к выбору начального приближения и могут сходиться как к точкам
локального минимума, так и к стационарным точкам функции, не являющимися оптимальными даже в локальном смысле. Приведем соответствующий пример.
Пример
4.2
Рассмотрим задачу безусловной минимизации невыпуклой функции в пространстве Е?:
ши, и=(х,у)ЕР?.
Ки) =х?+(42-1}2
Понятно, что точная нижняя грань /; = 0 и достигается в двух точках (х., = 0; у, = +1).
Применим к задаче метод скорейшего спуска (4.15), (4.16), взяв в качестве начального приближения любую точку у = (ху, Ио = 0), лежащую на оси х. Градиент функ-
ции равен /(и) = (25; 4у(у?— 1)), поэтому / (мо) = (2; 0),
80(0)= Л(и —о”(ш)) = (1- 20,24 +1
и в соответствии с правилом (4.16) при ху = 0 получаем оц = 1/2, а при ху = 0 можно
взять любое о > 0. В любом случае следующее приближение окажется равным
ш=щ
0%
(щ) = (0;0).
В этой точке градиент функции равен нулю: /"(м1) = (0; 0), поэтому процесс
останавливается, однако найденное приближение и = (0; 0) не является ни решением
исходной
задачи,
ни даже точкой локального
минимума,
так как 0;
0) = 1,
а при малых Е > 0 значения функции в соседних точках вида и, = (х = 0; у = +е) будут
меньше: (м,) = (=2- 1)2< Ки!) = 1. Заметим, что при старте из позиций 5 = (ж = 0;
Ио), о 0, и, + =1, находящихся на оси у, метод скорейшего спуска за один шаг приведет нас к одному из оптимальных решений. Действительно, в данном случае
Л(ш)=(0;4%, (3—1),
во(а)={и81-40куз -0р-1
и минимальным значением функции 50(0.) окажется 8%. =0. При решении уравнения
2(@) = 0 сначала разложим на множители разность квадратов:
{и -—40Куд — 1] + {и [1-4оКуз —1)]-1}=0,
204
а затем поделим обе части уравнения на (%5+ 1)(\%- 1) * 0:
(1-49 (и — 1
40
(и, +1)] =0.
Отсюда имеем две точки минимума функции 20(0.): оц. = [4 уу (и +1). При |0] >
> 1 оба эти значения положительны, т.е. допустимы. Выбор оц. приведет нас в и =
= (0;1)ЕХ., а выбор 0ц_ — ви, =(0;-1ЕХ. При 0 < и < 1 допустимым будет только
0%. > 0, приводящее в и! = (0; 1), а при -1 < и < 0 — только оц_ > 0, приводящее в и! =
= (0;-1).
4.2.3. Траектория процесса.
Непрерывный аналог градиентного метода
Метод скорейшего спуска имеет простой геометрический смысл: точка
х,+-1, определяемая условиями (4.15), (4.16), лежит на луче Г, = {хЕ Ё:
х=х, - а}”(х,), а > 0} в точке его касания поверхности уровня Г,,! =
= ЕЕ:
Д(лх) = Кхь.1)}, а сам луч Г, перпендикулярен к поверхности
уровня Г,= {хе Е": /(х) = (х,)} (рис. 4.2, 4.3).
-`
х
<
х
/
/
<
Рис. 4.2
Рис. 4.3
В самом деле, пусть х = х(В, а < ЕЁ <
БВ, — некоторое параметрическое
уравнение кривой, принадлежащей Г, т.е. (х(®) = Кх,) = сопз6 а < Е ЗБ,
причем х(&) = хь. Тогда (1 (х(Е))), = (Ё’(х(0)), х(0)) =0, а < Е < БВ, где х= р:
В частности, при & = & имеем (/’(х,), (К) = 0. Это означает, что градиент
(или антиградиент) }”(х,) перпендикулярен к касательному направлению
поверхности уровня Г, в точке х», или, иначе говоря, луч Ё., перпендикулярен к Г,. Перемещения из точек х, в следующие позиции х,.! происходят
по направлениям антиградиентов (-—/“(х,)); из условия (4.16) при ©,> 0
получаем
(о) =—( к, — Лу),
’(хь)) = —(жьы), Л’ (ь)) =0,
что означает ортогональность градиентов с соседними номерами, а также
и факт касания направления спуска Г, из точки х, с поверхностью уровня Г,.1, соответствующей очередному приближению х,.1!. Таким образом,
движение итерационного процесса метода скорейшего спуска происходит
по ломаной линии со взаимно перпендикулярными соседними звеньями.
205
Чем ближе поверхности уровня функции /(лх) к сферам, тем выше ско-
рость сходимости метода скорейшего спуска. Это очевидно и из оценок
(4.24), (4.25), которые уточняются при уменьшении параметра 4 = 1 - =/Г,
т.е. при приближении отношения 2/Г, к единице.
Заметим, что у квадратичной функции вида /(х) = а + (6, х)+с, а>0,
поверхностями уровня являются именно сферы, х= Г, 4 = 0 и метод скорейшего спуска будет сходиться к точке минимума х. за один шаг из любого
начального приближения 2%.
Если же х < Г, то поверхности уровня функции /(х) сильно вытянуты
(см. рис. 4.3). Такие функции принято называть овражными, примеры
таких функций см. в упражнениях 4.2, 4.3 к этой главе. У таких функций
небольшие вариации некоторых переменных, характеризующих «склон
оврага», приводят к резкому изменению значений, а от остальных переменных, задающих направление «дна оврага», их значения зависят слабо.
Поскольку значение 4 оказывается близким к единице, ухудшаются теоретические оценки скорости сходимости (4.24), (4.25), а при неудачном
выборе стартовой точки л% (см. рис. 4.3) приближение к решению может
существенно замедлиться из-за мелкошаговых перемещений итераций х,
в направлениях, близких к поперечным ко «дну оврага».
Для ускорения сходимости градиентного метода на классе овражных
функций разработан ряд эвристических приемов, с некоторыми из которых можно ознакомиться в работе [12].
Остановимся на непрерывном варианте градиентного метода. В этом
методе вместо итерационного процесса (4.15) за основу берется задача
Коши для системы дифференциальных уравнений [17]:
х’( =),
Е>0; х(0)=Ж.
(4.27)
Ее решение х(#), Е > 0, является непрерывным аналогом последовательности приближений {х,}, Ё = 0, 1, ..., из метода (4.15), а заданная функция
0(Е) > 0 — аналогом шагов ©. Система (4.27) описывает движение материальной точки в силовом поле, задаваемом антиградиентом (—}(х)), со скоростью х”(Ё), пропорциональной антиградиенту. Сразу заметим, что итерационный процесс (4.15) представляет собой известный метод ломаных
Эйлера для приближенного решения задачи Коши
(4.27) [6]. При усло-
виях, близких к условиям теоремы 4.7, траектории х(Ё) системы (4.27)
при Ё-> +<° будут притягиваться ко множеству Х. точек минимума задачи
(4.13). В каждой из таких точек х»+ Е Х, выполняется условие стационарности /”(х.)=0, поэтому все они являются точками равновесия (стационарными решениями) системы (4.27). Приведем соответствующую теорему
о сходимости.
Теорема 4.8. Пусть функция К(х) Е С'1(Е”) и сильно выпукла на Е"
с констатной сильной выпуклости х> 0, а множитель ©(1) из правой части
оо
дифференциального уравнения (4.27) непрерывен по & и | ОКЕ) = +. Тогда
0
траектория х(Ё) системы (4.27), выходящая из любой стартовой точки
206
хоЕ Е", сходится к единственной точке минимума х. функции К(х) на Е",
причем справедлива оценка
Е
[к@)-х. < -х. ъч[-х | осо
М> 0.
(4.28)
0
Доказательство
Прежде всего заметим, что по теореме 3.11 точка минимума х. функции
(2) на Е" существует и единственна, а по теореме 3.4 имеем }”(х.) = 0. Введем функцию
(= Э-х
2 ‚ #>0.
(4.29)
С учетом формул (4.27) и (3.11) имеем
У
=((-х х’ (0) =
< ков
Отсюда следует, что
РКО)
Г), х@-х.) <
= 20
Иова
Е
в)
9Е>0.
< 0 при всех Е > 0. Инте-
0
1
грируя это неравенство от 0 до текущего & и учитывая, что У (0) = Я
—х.
2
)
получим
Е
0<У(®<У(0) еч-2=] осо
= о
и
Е
еч[-2= | ово]
0
0
что равносильно оценке (4.28). Теорема доказана. №
Замечание 4.2. Пользуясь терминологией, принятой в теории дифференциальных уравнений [17], решение х. задачи минимизации (4.13) можно
назвать глобальным аттрактором системы дифференциальных уравнений (4.27), притягивающим к себе все ее траектории. Можно также сказать, что х+ — это асимптотически устойчивое по Ляпунову положение
равновесия этой системы. Для доказательства по существу мы использовали второй метод Ляпунова, а в качестве функции Ляпунова взяли функ-
цию (4.29). При исследовании свойств сходимости методов минимизации второй метод Ляпунова (или его дискретный аналог) используются
довольно часто; при этом в качестве функций Ляпунова наряду с функцией (4.29) берут также функции У(В= /(х(®))- /, У®=| Х СО
и др.
Заметим также, что в случае ©(®) = оц > 0 траекториии х(Ё) будут притягиваться к оптимальному решению д. с экспоненциальной скоростью:
|=) —х. < [хо -х. ехр(-хо%ё)
\>0.
Непрерывные методы минимизации привлекательны тем, что для приближенного решения возникающих здесь задач Коши наряду с методом
Эйлера могут быть использованы более точные методы Адамса, Рунге —
Кутта и др. [6], которые приведут к отличным от метода (4.15) дискретным
версиям градиентного метода, возможно, более быстрым и эффективным.
207
В заключение отметим, что по мере приближения к искомому решению
х. практическая скорость сходимости градиентных процессов обычно снижается. Это связано с тем, что в окрестности точки минимума градиент
Г’(х,) близок к нулю, главная линейная часть приращения /(х,)- }(х.),
на базе которой выбирается направление спуска, становится малой, умень-
шаются расстояния между соседними итерациями |+ 1 - х, | и усиливается влияние неизбежных погрешностей вычислений. Поэтому
точки минимума стараются по возможности использовать более
и, вообще говоря, более трудоемкие процедуры, учитывающие не
линейные, но и квадратичные части приращений, как это делается,
вблизи
точные
только
напри-
мер, в методе Ньютона (см. параграф 4.5).
4.3. Метод проекции градиента
4.3.1. Описание процесса. Варианты выбора шага
Будем рассматривать задачу условной минимизации
Кх) > шп, хе ХСР",
(4.30)
в которой множество Х допустимых элементов х необязательно совпадает
со всем пространством Е", а функция /(х) Е СКХ). Чтобы учесть присутствующие в постановке задачи (4.30) ограничения, можно взять за осно-
ву итерационную схему (4.15) и дополнить ее операцией проектирования
на допустимое множество Х
(см. определение проекции 3.6). В результате
мы придем к так называемому методу проекции градиента.
А именно, пусть ху Е Х — некоторое начальное приближение. Далее
будем строить последовательность {х,} по правилу
хи = Рх(жь- 0"), Ё =0, 1,...,
(4.31)
где о, — положительная величина. Если Х — выпуклое замкнутое множество и способ выбора {@,} задан, то в силу теоремы 3.14 последовательность {х,} будет однозначно определяться условием (4.31). В частности,
при Х =
Ё" метод (4.31) превратится в градиентный метод.
Если на некоторой итерации оказалось х,+1 = х, (например, это случится при }”(х,) = 0), то процесс (4.31) прекращают. В этом случае точка х,
удовлетворяет необходимому условию оптимальности х,= Рх(хь- 0к/"(х,))
(см. теорему 3.17), и для выяснения того, является ли в действительности х, решением задачи (4.30) или нет, при необходимости нужно прове-
сти дополнительное исследование поведения функции /(л) в окрестности
точки х,. В частности, если (х) — выпуклая функция, то такая точка х,
является решением задачи (4.30).
В зависимости от способа выбора о, в формуле (4.31) можно получить
различные варианты метода проекции градиента. Укажем несколько наиболее употребительных на практике способов выбора ©.
1. Введем функцию &, (0) = КРу(х,- о}”(х,)) переменной «и > 0 и определим а, из условий
&,(0,)= шве (о) =&»,
208
0, >0.
(4.32)
Понятно, что при Х
= Е" метод (4.31), (4.32) превратится в метод ско-
рейшего спуска. Точное значение си, из условий (4.32) удается найти лишь
в редких случаях, поэтому на практике обычно пользуются приближенными условиями типа (4.18) или (4.19).
2. Иногда довольствуются нахождением какого-либо аи, > 0, обеспечивающего условие монотонности: /(х,..1) < /(х,). Для этого обычно выбирают некоторую постоянную (©
> 0 и в методе (4.31) на каждой итерации
берут сначала а, = а, а затем при необходимости уменьшают это значение
до момента выполнения условия монотонности.
3. Если функция /(х) принадлежит классу СЪ1(Х) и константа Липшица Г. для градиента /"(х) известна, то в условии (4.31) в качестве шага о,
можно взять любое число, удовлетворяющее условиям
0<& < 0, <
(4.33)
[+25’
где 20 > 0, = > 0 — параметры метода.
4. Возможен выбор шага 0, из условия
Лаь- Га
жк
[у -- Р-Р (д),
(434)
где & > 0 — параметр метода. На практике для определения такого а, можно
сначала взять некоторое ви, = © (например, 0 = 1) и дробить его до тех пор,
пока не выполнится условие (4.34). Для функций /(х) Е СЁ1(Х) выполнения условия (4.34) можно добиться за конечное число дроблений.
5.
Возможно априорное задание шагов ©, из условий
,>0,
#=0,1,..,
У,
в=0
=ч+,
У, 0
Ё=0
< +,
(4.35)
например аи,= (# + 1)-1, Ё = 0, 1, ....
Заметим, что описанные здесь варианты метода (4.31) при Х = Е
переходят в соответствующие варианты градиентного метода, описанные в параграфе 4.2. Если Х = Е", то трудоемкость описанных вариантов
метода проекции градиента напрямую зависит от трудоемкости операции
проецирования
на данное множество Х. На множества Х простой струк-
туры — шар, параллелепипед, гиперплоскость, полупространство или их
несложные сочетания (см. примеры 3.6—3.8) — проецирование реализуется
без затруднений. Если же отыскание проекций на Х требует значительных
вычислительных затрат, то эффективность метода проекции градиента
заметно снижается.
4.3.2. Сходимость метода для сильно выпуклых функций
Приведем утверждение о сходимости метода проекции градиента
с постоянным шагом при условиях, близких к условиям теоремы 4.7.
Теорема 4.9. Пусть Х — выпуклое замкнутое множество, а функция К(х)
принадлежит классу СТИ(Х) (см. определение 1.29) с константой Липшица
Г > 0 и сильно выпукла на Х с константой сильной выпуклости и> 0. Тогда
для любой начальной точки хуЕ Х приближения х,, вырабатываемые мето209
дом проекции градиента (4.31) с постоянным шагом оц, = а, 0<а< 21-2,
сходятся к единственному решению х. задачи (4.30), причем справедлива
оценка
|,
<а' (ож
—Х»
-х.|,
#=0,1,...
(4.36)
в которой 4(а) = 1-29
+ 12а? , 0 < 4(0) < 1.
Доказательство
Введем отображение
Ах=
действующее из Х
Рх(х 7 0} ”(х)),
в Х. По теореме 3.16 о нестрогой сжимаемости проектив-
ного отображения имеем
[Ах
А =|Рх(2-а/(х))- Риф
< кф (х)- у+о (У
=
=Е-Уй +0? [/®- ЛХ -2а (1-1), х-у) УхуЕХ.
2
/
/
2
у
у
Отсюда с учетом свойства (3.11) сильно выпуклой функции /(^) и условия Липшица для ее градиента получаем оценку
[Ах - АУ
<(1+0212 -20) [х - У = 4? (ох - УГ
Ух, уЕХ,
ИЛИ
[Ах- А “а(@а[к-У|
Ух,уЕХ.
(4.37)
Так как 0 < © < 2х [-2, то значения 4(0) Е (0; 1). Такое отображение А
называется сжкимающим с коэффициентом сжатия 4 = 4(%) Е (0; 1). Метод
(4.31) с учетом введенного отображения можно кратко переписать в виде
РИ
= Ах,,
В=0, 1,....
(4.38)
Отсюда и из соотношения (4.37) имеем
[каж =Ажь - Ажь |< а(од[кь — жь |<
< 4? (О
Яо | <...<а*(а) |, _ ж|.
Тогда для любых натуральных А, т, Ё < т, имеем
ел
рых
< (4"1(0)+4"-2(0)+..+а*(а))[х, -ж|<
4* (0) [+ -2ж|.
1-9(0)
Правая часть последнего неравенства стремится к нулю при А, т -> <=.
Это означает, что последовательность {х,} фундаментальная, поэтому она
сходится к некоторой точке х, [22, 29]. В силу замкнутости множества Х
точка лх', Е Х. Пользуясь непрерывностью проективного отображения (теорема 3.16), из соотношения (4.38) получаем
Х»
= Ах.
= Ру(х,
—а}(х,)).
В силу теоремы 3.17 это значит, что х., Е Х». Наконец, из сжимаемости
отображения А выводится и линейная скорость сходимости метода (4.36)
со знаменателем геометрической прогрессии 4 = 49(4):
210
|
—х„|
= [Аж
— Ах.
<а? (о). ›
<а()х, 1-х. =9(0|Ах,_›- Ах.
<... < 4*(а)|хо —х. ‚ В=0,1,....
<
Теорема 4.9 доказана. №
Замечание 4.3. Оценка (4.36) свидетельствует о линейной скорости
сходимости метода проекции градиента с постоянным шагом © Е (0;
2х [-2) из любого начального приближения м
Х. Наименьшее из соответствующих значений 4(0) достигается при выборе & = 0. = «Г? и равно
9(0»)=_1-2[-2. Сравнивая формулы (4.36) и (4.25), можно оценить,
насколько градиентный метод с постоянным шагом @», в который превращается процесс (4.31) в случае Х = ЕЁ", уступает по скорости сходимости
методу скорейшего спуска. Главными показателями при сравнении являются знаменатели соответствующих геометрических прогрессий 4(0*) и
уа=\-х/1:
9(0»)
= 1-2 1-2 = Л-ж/
Г
/ Е = + / Е >.
Заметим, что при х / [ <1 градиентный метод с постоянным шагом,
в котором к тому же отсутствует процедура одномерной минимизации
по а, проигрывает методу скорейшего спуска не так уж и много. Другие
варианты теорем о сходимости метода проекции градиента, в том числе
при менее жестких требованиях к функции /(х), можно найти в работе [12].
4.4. Метод условного градиента
4.4.1. Идея линейной аппроксимации и варианты ее реализации
Этот метод используется для решения задач условной минимизации
К) >> ши, хЕ Х,
(4.39)
гладких функций /(х) е СКХ) на выпуклых замкнутых ограниченных множествах Х с ЕЁ". В основе его конструкции лежит важная в теоретическом
и практическом плане идея аппроксимации заданной функции /(х) на каждой итерации другими, более простыми функциями. В методе условного
градиента в качестве таковых берутся простейшие линейные аппроксимации. Пусть хо. Е Х — некоторое начальное приближение. Если #-е приближение х, Е Х уже найдено, вместо самой функции /(х) рассматривается ее
линейное приближение
Лих)= Ла)
+ (ку, хЬфхь)
и решается вспомогательная задача минимизации функции /,(х) на множестве Х:
/(%) > п, хЕ Х.
(4.40)
Пусть х, — одно из решений задачи (4.40), т.е.
ЖЕХ, =.
(4.41)
211
Так как множество Х замкнуто и ограничено, а линейная функция
[(х) непрерывна, то такая точка Х', всегда существует по теореме Вейер-
штрасса 1.1. Если у задачи (4.40) точек минимума много, в качестве вспомогательной точки %, берется любая из них. Следующее (# + 1)-е приближение вычисляется по правилу
Хьи
= №
+,
(ж%-х,),
0<с,
< 1.
(4.42)
В силу выпуклости множества Х всегда х,,! Е Х. Описанная процедура
(4.40)—(4.42) называется методом условного градиента. Шаги ©, в условии
(4.42) можно
выбирать различными способами; некоторые из них будут
описаны ниже.
Заметим, что если
х=(х1,х^,...хп)Е Е": х м > 0,1=1,
Х=4х=(х1,х2,..,х”)Е
1
(а, х)< 6, 1=1,.., т;
(а, ху= Ь,1=т+1,....т+$
’
то задача (4.40) превратится в задачу линейного программирования, которая может быть решена за конечное число шагов симплекс-методом, описанным в
гл. 2. Если окажется, что Х, = х, (это возможно, например, в слу-
чае, когда }”(х,) = 0), то независимо от способа выбора а, в (4.42) получим
хь+1 = хь. Согласно теореме 1.7 это означает, что точка х, удовлетворяет необходимому условию минимума в задаче (4.39). В этом случае итерации
прекращаются, и при необходимости проводится дополнительное исследование точки х,. В частности, если /(х) выпукла, то согласно теореме 3.4
точка х, будет решением, т.е. х, Е Х, и задача (4.39) решена.
Укажем случаи, когда решение задачи (4.41) находится явно. Если Х —
п-мерный параллелепипед:
Х={х= (5х1... д”): 0; < м В, 1=1,... п},
п
то функция №(х) = /(хь)+ У 1 (хь)
(а — х1) достигает своей нижней грани
1=1
на Х в точке х, = (%1,.., ХР) с координатами х! = 0; при //; (ху)> 0, х! =В;
при /'; (хь) < 0, а в случае |; (хь)= 0 в качестве х! можно взять любое число
из отрезка [0; В;] (обычно ‘берут д!=а, д!=В, или д! = (0, +В,) / 2).
Если Х={хЕ
РЕ:
|х-ц|} — шар радиуса К с центром в точке 5, то
точное решение Х‚ задачи (4.41) легко находится с помощью неравенства
Коши — Буняковского:
в Ра»).
=ц-
Разумеется, так просто найти точное вспомогательное приближение Хх,
удается далеко не всегда, и задачу (4.41) часто приходится решать прибли-
женно, определяя Хх, из условий
Х,ЕХ,
2ь(*,)
< шт
ХЕХ
А (х)+Еь,
=,
>0,
|1
=,
=0.
оо
Укажем неколько наиболее употребительных способов выбора шага ©,
в условии (4.42).
212
1.
Величина ©, может выбираться из условий
а = агрпит
ак (о), ва) = (а +03,
- ль).
050,1
(4.43)
Заметим, что для важного в приложениях класса квадратичных и сильно
выпуклых функций /(х) задачу одномерной минимизации (4.43) можно
решить явно. Действительно, пусть, как и в примере 4.1, функция имеет
вид (4.17), а именно,
Ха = Ак, м),
где А — симметричная положительно определенная матрица размера п х п,
ре РГ". Тогда }’(х,) = Ах,- 6. Пользуясь формулой (1.13), в которой в силу
квадратичности /(х) остаточный член равен нулю, запишем явное выражение для функции &,(0.):
2
въ (а) = Л(жь)+
ок Г (хь), Хх, - Хь) +
(А
-ь), Жь-хь).
Если (А. -х,),х,-х,)=0, то х, =Х,, и тогда, как отмечалось выше,
х, ЕХ.. Если же (А(х,-х,),х,-х,) > 0, то наименьшее значение квадратичной функции 5,(0) будет достигаться при
ое
Г
(Ра),См -хь)
ИР
Аж
жж)
При выборе вспомогательного приближения Х, по правилу (4.41) значение (.„ неотрицательно, поэтому с учетом имеющегося ограничения 0 < © <
< 1 получаем окончательно 0, = пит{о,»; 1}.
В общем случае точное решение одномерной задачи минимизации (4.43)
или затруднительно, или невозможно, поэтому на практике обычно используют приближенные решения этой задачи, определяемые из условий
0<с,
< 1,
2, (0, )<
2»
+6,,
6, >0,
У5,
=5<=
#=0
ИЛИ
05а, <1,
&,(а,)<(-Л)в,(0)+№5.,
0<^<^, <1.
При этом могут привлекаться различные методы минимизации функций одной переменной, в том числе и методы, описанные в параграфе 4.1.
2. Если /(х) Е СЫ(Х) и известна константа Липшица Г. градиента }”(х),
то возможен выбор ©, в формуле (4.42) из условий
=Ш
вРЫЛ
(4.44)
[ь-хн]
где 50 <р, < 8-9,
20, & — параметры метода, 0 < 4 < 1.
213
3. Другой способ выбора а, — это ©, =Л®, где & — минимальный
из номеров 1 > 0, удовлетворяющих условию
жь)- Им +М
ху) > МЕ
(я, |,
ГДе ^, = — параметры метода, 0 <
<1,0<=< 1.
4. Величины 0, в формуле (4.42) можно априорно задавать из условий
0<а,<1
Пта, =0,
Е
Хоа, =+=,
#=0
(4.45)
например аи, = (Ё + 1)-1, # = 0, 1, .... Такой выбор а, очень прост для реализации на компьютере, но, вообще говоря, не гарантирует выполнения
условия монотонности /(л,+1) < (ль).
5. Возможны и другие способы выбора ©. Например, можно на каждом
шаге сначала полагать ©, = 1, а затем при необходимости дробить 0, до тех
пор, пока не выполнится условие монотонности (х,.1) < К(х,).
4.4.2. Сходимость метода
Остановимся на сходимости метода условного градиента при выборе
шага о, по правилу (4.43).
Теорема 4.10. Пусть множество Х с Е" выпукло, замкнуто и ограни-
чено, а функция /(х) Е СЬ(Х) и выпукла на Х. Тогда для любого начального
приближения ху Е Х последовательность {х,}, вырабатываемая методом
(4.41)—(4.43), обладает следующими свойствами сходимости:
ши р(хь, Х.) =0,
0< Ла-д
5%.
Ё=1,2,..,
С=соп$ё>0.
(4.46)
—с<о
Если, кроме того, (х) сильно выпукла на Х с константой сильной выпуклости и; то
[+
—х,.
2С
<=,
#=12,...
(4.47)
Доказательство
При сделанных предположениях
множество Х компактно, а функ-
ция /(х) непрерывна на Х, поэтому по теореме Вейерштрасса
и Х.#0.
Г ,)> |
растание:
предел и,
изб Левыя))=0.
(4.48)
Из условия (4.43) следует, что
Лана)
= вы (о) = вы < (ак +окя,-х,))
Уае[0;1].
Ограниченное множество Х имеет конечный диаметр
=
зир [и- < +.
ибЕХ
214
1.1}, > <
Последовательность значений функции ограничена снизу:
а выбор ©, по правилу (4.43) гарантирует ее монотонное невоз/(х,) > [(х,.1), Е = 0, 1, ..., значит, эта последовательность имеет
следовательно,
Используем его значение для оценки разности /(х,) — (хь+1) с помощью
утверждения (1.118) леммы 1.3:
Ла)
- Лаки) >Рау)
- Л(жь + 0х, -х,))> 0х),
о?
=
при всех Е
равенство
_
[0; 1], всех #=
0<=—Л(хь),
2
мн]
,
>-0(/
_
(х,), дд)
м, -х,)-
[42
075
(4.49)
0, 1, .... Отсюда при всех 0 < 1 < 1 следует не_
ао «АА
о,
2
Ё=0,1,....
С учетом формулы (4.48) при фиксированных @ Е (0; 1] перейдем
в этом неравенстве к пределу при # -> со, а затем — к пределу при © — 0.
В результате получим соотношение
ши (У ”(хь), Яь-хь) =0.
Свойство
(3.3) выпуклых
функций
из теоремы
(4.50)
3.1 и определение
(4.41) вспомогательных точек Хх, позволяют оценить текущие уклонения
а, = /(х,)- /. до минимального значения функции:
05а = а) Ле) (а, жж) (а-я)
(4.51)
Здесь х. Е Х. — одно из оптимальных решений. Отсюда и из соотношения (4.50) следует сходимость процесса по функции: /(х,)-> +, а значит, и сходимость по аргументу (см. теорему 1.2): р(х,,Х.)-> 0. Заметим,
что неравенство (4.51) может служить полезной апостериорной оценкой
при практическом применении метода условного градиента. Из неравенств
(4.49) и (4.51) следует оценка
аа, > аа, нов М>
2
Мас [0;1], #=0,1,...
(4.52)
Полагая в этом неравенстве с = 1, находим а,.1 < [42 /2, Ё = 0, 1, ....
Максимальное значение правой части неравенства (4.52) на всей числовой
прямой — < @, < + достигается в точке
а, в = 14?’
но поскольку мы только что показали, что а, < [42 /2, Ё = 1,2, ..., то значе-
ния 0, Е [0,1/2] при # > 1, так что их можно подставлять в формулу (4.52).
Сделав это, получим неравенства
а, а
>
а
2
21а?’
В=Т, 2, ....
Таким образом, последовательность {а,} удовлетворяет условиям
леммы 1.6, из которой следует оценка (4.46). Наконец, оценка (4.47) вытекает из свойства (3.9) сильно выпуклых функций и оценки (4.46). Теорема
доказана.№
215
4.5. Метод Ньютона
4.5.1. Описание процесса. Варианты выбора шага
Будем рассматривать задачу условной минимизации
1) > тт,хе ХС,
(4.53)
в которой множество Х допустимых элементов х необязательно совпадает со всем пространством Е", а функция /(х) Е С2(Х). Итерационная по-
следовательность для метода Ньютона строится так же, как и для метода
условного градиента, однако вместо главной линейной части приращения
(^^) — /(х») здесь берется его квадратичная часть. А именно, если известно
приближение х,, то для нахождения следующего приближения х,..| мы сначала находим вспомогательную точку ^, Е Х из условия
льЕХ, (а, ) = пи Л (х),
где
До = дни"),
50
после чего вычисляем х,.| по формуле
Хьы =
+04 (Я, -Х,).
(4.55)
Величина 0%Е [0; 1] называется шагом метода Ньютона. В случае Х = Ё"
в предположении положительной определенности матрицы /"(х,) точка *,
может быть явно вычислена по формуле
ж, =
- ("ИЛЬ
(4.56)
Этот результат вытекает из того, что положительная определенность
матрицы /{"(х,) гарантирует как ее обратимость, так и сильную выпуклость
квадратичной функции /№(х) (ясно, что /№’(х)= }"(х,) и выполнены условия теоремы 3.12). Но тогда необходимым и достаточным условием минимума на ЕЁ" дифференцируемой
на всем Ё” квадратичной
функции }№(х)
будет условие
Л) = Г)
Гас)
=0,
из которого элементарно вытекает равенство (4.56). Отметим, что в случае
отсутствия положительной определенности матрицы /”(х,) задача поиска
точки Я, может иметь много решений или быть вообще неразрешимой. Достаточными условиями ее однозначной разрешимости будут положительная определенность матрицы /”(х,) в совокупности с выпуклостью и замкнутостью множества Х (см. теорему 3.12).
Если в условии (4.54) на некоторой итерации оказалось %, =х„, то необ-
ходимо выполняется условие
(хх
=,
х-х,)>0
УхЕХ,
что в силу теоремы 1.7 будет и необходимым условием минимума функции
К(х) на Х. Поэтому процесс (4.54), (4.55) надо остановить, и для выяснения
216
того, является ли в действительности х, решением задачи (4.53) или нет,
при необходимости нужно провести дополнительное исследование поведения функции /(х) в окрестности точки х,. В частности, если /(х) — выпуклая функция, то такая точка х, является решением задачи (4.53) в силу
теоремы 3.4.
В зависимости от способа выбора ви, в формуле (4.55) можно получить
различные варианты метода Ньютона. Кратко обсудим некоторые из них.
1. Если взять 0,= 1, то х‚‚1 = Хь и мы получаем так называемый классический метод Ньютона. Он имеет квадратичную скорость сходимости, но,
как будет показано ниже, сходится лишь локально.
2. Можно ввести функцию &, (0)= /(х, +0(х,-х,)) переменной © Е
Е [0; 1] и определить ©, из условий
В, (о, )= 2 8 (и) =»,
0% Е[0;1].
(4.57)
Такой способ приводит нас к гибриду методов скорейшего спуска
и Ньютона.
Точное значение 0, из условий
(4.57) удается найти лишь
в редких случаях, поэтому на практике обычно пользуются приближенными условиями 0% Е [0; 1], &,(,)< &,- +в, где параметр = > 0 мы выбираем сами.
3. Возможен выбор шага 0%,= Ат, где т — минимальное целое неотрицательное число, обеспечивающее справедливость неравенства
Кат) Пал ть,
гделеЕ
дуз
"о
(4.58)
(0; 1) — параметр метода. Как будет показано ниже, такой вариант
метода уже обладает свойством глобальной сходимости с квадратичной
скоростью.
Если функция /№(х) из условия (4.54) сильно выпукла, а Х = Ё" или
Х задается линейными ограничениями типа равенств или неравенств, то
процедура вычисления точки Хх, оказывается не очень трудной. Однако
задача (4.54) в общем случае может оказаться весьма сложной и сравнимой по объему требуемой для решения вычислительной работы с исходной задачей (4.53). Метод Ньютона обычно применяют в тех случаях, когда
вычисление производных /"(х), /”(х) не представляет особых трудностей
и вспомогательная задача (4.54) решается достаточно просто. Достоин-
ством метода Ньютона является высокая скорость сходимости. Поэтому
хотя трудоемкость каждой итерации этого метода, вообще говоря, выше,
чем в методах первого порядка, но общий объем вычислительной работы,
необходимой для решения задачи (4.53) с требуемой точностью, при при-
менении метода Ньютона может оказаться меньше, чем при применении
других, более простых методов.
4.5.2. Сходимость классического метода Ньютона
для сильно выпуклых функций
Приведем утверждение о сходимости классического метода Ньютона
(4.55), когда ©, = 1, х1 =.
217
Теорема 4.11. Пусть функция К(х) определена и является сильно выпуклой с константой и > 0 на выпуклом замкнутом множестве Х с непустой
внутренностью из пространства Е", (х) Е С2(Х), }"(х) удовлетворяет
на Х условию Липшица с константой Г > 0, т.е.
| Г”(х)-Х "(| < Цх - У
Ух, уЕХ.
(4.59)
Пусть {х,} — последовательность, полученная классическим методом
Ньютона при некотором начальном приближении хуЕ Х, удовлетворяющем
соотношению
а=
№
—х,|<1,
где х. — решение задачи (4.53). Тогда она сходится к х., причем
[к -х. <,
№=0,1,2,...
Т
Доказательство
При выполнении условий теоремы задача минимизации (4.53) удовлет-
воряет всем требованиям теоремы 3.11, поэтому ее решение х, существует
и единственно. Далее, как уже упоминалось выше, /”(х)= }”(х,). Так
как функция /(х) является сильно выпуклой на Х, а НИХ # ©, то по теореме 3.13 < }”(х)й, #) > и при всех хЕ Х, йЕ Е". В силу того что х, Е Х,
справедливо неравенство ({”(х, )й, й) > и
для любого ЙЕ РЁ", а это озна-
чает, что (}’(х)й, й) > и при всех х Е Х, ЙЕ РЁ", поэтому функция /»(х)
также является сильно выпуклой наХ с константой ›. Стало быть, и задача
нахождения точки я, тоже удовлетворяет всем требованиям теоремы 3.11,
х, существует и единственна. Итак, при выполнении условий доказываемой теоремы классический метод Ньютона определен корректно.
Теперь воспользуемся теоремой 3.4 (критерием оптимальности)
для исходной задачи и для задачи поиска Х/, = х,.1:
([/(х.), х-х,)>0
(Джи), хх)
= (+
УхЕХ;
ых
хЬ-хь)>0
УхЕХ.
Подставляя в первое из этих неравенств х,+1 Е Х, а во второе х. ЕХ
и складывая полученные соотношения, имеем
(Их. )-
жь)- "а
кьи = хь), хи.) >05
=> (1х.
)- Г’(хь), ыы = №) - ("ах
>( "(жж — х+), Ха — Хе).
хх.) >
Оценим левую и правую части полученного неравенства. Для этого воспользуемся формулой конечных приращений, неравенством Коши — Буняковского, условием (4.59) и критерием сильной выпуклости:
(м)
218
Рж,), хам) - (Д”ь(а
= жь), дым) =
1
= [< Г”
+К(х.
—х,)) (=
—х,), Хр
—м.)@-( Г”,
(м.
—х,),
Хь1
—х.)
=
0
1
= (ОК
1
-х,))- "(м
(х, — хь), хыа — ХЕ <
0
< Га
=, |
и=
[х.-х| кн — х
ак [хыи
о
Хь
Хы
-
—Х»
)
2
Горы
С
2
учетом
этих
х. — ж | . [к
оценок
-я. Хы
мы
—х.) > их
-х»
получаем
—х+ 2 > [вн —^
—х,|> их
Г
|< 5
—х,
0,12...
Отсюда уже нетрудно вывести нужный результат, используя метод
математической индукции. Действительно, при # = 0 с учетом соотноше-
нияа==
<1 имеем
|,
Предполагая
[вн
по
Г
—^х,|< 5
индукции,
—Х»
<
т
что |
[№
—Х»
_2* 2—2 а
171-14
2—2
—Х»
2х
—х.|<
2
11
р)
‚ ВЫВОДИМ
[24 | 2 ры,
2
2и
ТГ
т
Теорема доказана. №
Замечание 4.4. Оценка [ны —х,
Г
И
—х.|
2
свидетельствует о ква-
и
дратичной скорости сходимости классического метода Ньютона. К сожалению, за тривиальный способ выбора шага ©, приходится расплачиваться
тем, что начальное приближение ху должно быть близко к решению задачи
х., которое мы, естественно, заранее не знаем. Существенность этого требования подтверждается таким примером: рассмотрим функцию
т
1(®)=
2
2
Нем
[х|5д,
3
+21х|- 58,
[хр 5,
гдехе Е абЕ (0; 2) — фиксированное число. Нетрудно видеть, что
/К(х) е СЕ!) и, кроме того, /”(х) > 1 при всех хе Ё\!, так что К(х) сильно
выпукла на Ё!. Далее, ясно, что /; = 0, х. =0. В качестве начального прибли-
жения возьмем ху = 5. Применяя классический метод Ньютона, мы получим последовательность х, = (-1). 2, # = 1, 2, ..., которая расходится, хотя
начальное приближение ху отличается от х, =0 на число 6, которое может
быть сколь угодно малым.
219
Исходя из этих соображений, классический метод Ньютона часто применяют на завершающем этапе поиска минимума, когда с помощью более
грубых, менее трудоемких методов уже найдена некоторая точка, достаточно близкая к точке минимума.
4.5.3. Сходимость метода Ньютона с переменным шагом
для сильно выпуклых функций
Перейдем к рассмотрению метода (4.54), (4.55) с выбором шага а,= А”,
где т — минимальное целое неотрицательное число, для которого выполняется неравенство (4.58). Покажем, что такой способ выбора шага гарантирует сходимость метода Ньютона при любом выборе начального приближения, в отличие от классического метода Ньютона.
Теорема 4.12. Пусть функция /(х) определена и является сильно выпуклой с константой и > 0 на выпуклом замкнутом множестве Х с непустой внутренностью из пространства Е", (х)Е С2(Х), {"(х) удовлетворяет условию Липшица (4.59), существует такая константа М > 0, что
(хр, в) < М | при всех х Е Х, ВЕ Г". Тогда последовательность {х,},
получаемая методом Ньютона (4.54), (4.55), (4.58), при любом начальном
приближении ху Е Х существует и сходится к точке х. — единственному
решению задачи (4.53), причем найдется номер № такой, что при всех Ё > №,
будет справедливо ©, = 1 и, кроме того,
|
—Х»
ка,
=,
+...
(4.60)
Доказательство
Рассуждая так же, как и при доказательстве теоремы 4.11, мы получаем
существование единственного решения х. задачи (4.53), сильную выпуклость с константой ина Х функции /+(х) из условия (4.54) и существование и единственность точки Х, Е Х, удовлетворяющей условиям (4.54).
Тогда по теореме 1.7 для всех # = 0,
1, ... справедливо
(Па х-хь) = (+ а, - хр, х- 2) 20 УхеХ.
Если
оказалось,
что
Х,=х,,
то
из
неравенства
(4.61)
(4.61)
вытекает
(1’(х,), х-х,) >20, хЕ Х. В силу выпуклости функции /(х)) по теореме 3.4
отсюда следует, что х, =х, =х., т.е. задача (4.53) решена. Если же Х, # хь
то №(х,)< },(х,) =0. Покажем, что тогда существует хотя бы один номер
т > 0, для которого выполняется условие (4.58). Для этого возьмем произвольное число Е [0; 1] и положим х. =х, +0(х, -х,). Отсюда и из выпуклости }»(х) получаем
Лихо) < оу /(х,)+А-о)Ль(хь) = Фр (хь) < 0.
Пользуясь формулой Тейлора, приращение Д} = (хо) - /(х,) можно
представить в виде
АУ =(”(хь), (я, -х,)) +1 "(жь +00(х, - мк) ока, — хо), их, -хь)) =
= Леа)
220
2
"а +вояь
5)
ду аь хо), ль), — (4.62)
где 0 < 0< 1. Учитывая, что в силу выпуклости множества Х точка
х, +0о(х, —х,) тоже в нем содержится, по условию теоремы имеем
(Г’кь + вом, — «(а — хь), Хь-хь) ЗМ, -хь р ‚
кроме того, по теореме 3.13 ({”(х,)(я,-х,), я, -х,)> их,
му из формулы (4.62) вытекает
АУ = Л(хо)- Л(жь)< оао + М
—-* р >0, поэто-
м.
Так как х, — точка минимума сильно выпуклой функции /№(х) на Х, то
согласно теореме Вейерштрасса 3.11
_
ых22.2< Бе - ль)
= 21Ман)/—
и мы
приходим
к неравенству
АХ= 1 (хо )- Фа
Отметим,
(4.63)
что в силу
-
критерия
р)
СИЛЬНОЙ
сы,
го
выпуклости
2
0<а<1.
и условия
(4.64)
теоремы
„
2
при всех хе Х, ВЕ
Е" справедливо и|Й[' < (}”(х)й, В) <
МИГ, поэтому
х < М. Возьмем произвольное ©, удовлетворяющее условиям
<а<-^<-.1
Ах
0<—°
52м
“22мм
4.65
2.
(4.65)
Отсюда и из неравенства (4.64) будем иметь
ЛЬ) - Ли) = Лажь)Л(хь +0, —х,))>
во1-М®истезай
сть
4.66
(99)
при всех ©, удовлетворяющих условиям (4.65). Возьмем такой номер п > 1,
и
для которого А” < 5м
Значит,
<^"-!. Тогда ясно, что
© = А" удовлетворяет
условиям
(4.65), и, следовательно,
при а = А” будет справедливо неравенство (4.66). Это значит, что при 1 = п
выполняется условие (4.58). Тогда существует наименьшее число т,
0<т
< п, удовлетворяющее неравенству (4.58). Приняв в соотношении
(4.55) о, = Ат, получим следующее приближение х‚,,1.
Тем самым показано, что последовательность {х,}, генерируемая методом
Ньютона с рассматриваемым способом выбора шага, при любом начальном
приближении существует. Из формулы (4.58) имеем
Пер - Лед
оба
[7 Се,
В=0, 1,... .
221
Ах
Учитывая, что 0, =А” > Ай > эм’
отсюда находим
Ла)- ан) > 5%
и
&=0,1,..
(4.67)
Таким образом, при всех #= 0, 1, ... справедливо соотношение /(х,) >
> /(хь+1) > [+. Тогда существует [ш (х,)> |, откуда следует, что
—›со
С Га,)- Та, ))=0. Но тогда из неравенства (4.67) вытекает, что и
—>со
[т ь(®,) = 0, откуда с помощью соотношения (4.63) находим
—со
На [х.- 2%: |=0.
(4.68)
о
В силу того что при всех # = 0, 1, ... выполнено /(х,) > /(хь+1), все
члены последовательности {х,} лежат в множестве Лебега М(хо) =
={хеЕХ:/(х)< (ж)}. Для сильно выпуклых непрерывных функций множество М(х) замкнуто и ограничено, поэтому последовательность {х,}
имеет хотя бы одну предельную точку, причем все ее предельные точки
лежат в М(м) с Х.
Пусть 0, — произвольная предельная точка {х;} и пусть {х,,}— 9+.
С учетом равенства (4.68) и условия /(х) Е С2(Х) из соотношения (4.61)
при # = А, —> < получим (} (5.
), х-%+) > 0 для всех хЕ Х. Согласно теореме 3.4 тогда 9, = х. — точка минимума функции /(л) на Х. Следовательно,
[шт @,)= Пт,
(хь,
) = 1(х.)= Л, т.е. {х,} — минимизирующая последова-
тельность. Отсюда и из теоремы 3.4 следует, что {хь} >> х».
Вернемся к неравенству (4.62). С учетом неравенства Коши — Буняковского и условия Липшица (4.59) из него следует
И)- ед ода
9- бока, - Два,
2
2
ое [0; 1], А =0, 1, .... Еще раз используя соотношение (4.63), приходим
к неравенству
2
Хек.)
Лек)
«оби
[+ =
|,
0591.
В силу равенства (4.68) и того, что {х,} > х., существует номер Ау такой,
что
а -, | <>
при всех А > А, и, кроме того, 4 = 5
—х,|
<1. Тогда мы
имеем
Пед Ладонь
{1-1 ды
при всех
Е [0; 1] ий > А. В частности, при @ = 1 отсюда заключаем, что
условие (4.58) выполнено при т = 0, и, следовательно, @,= 0 = 1, х4=Х,
при каждом #>А,. Таким образом, начиная с номера # = № этот вариант
222
метода Ньютона превращается в классический метод Ньютона с начальным приближением х, , удовлетворяющим условию теоремы 4.11. Отсюда
следует оценка (4.60), что и требовалось доказать. №
Рассмотренный вариант выбора шага в методе Ньютона ненамного
сложнее варианта ©, = 1, причем скорость сходимости остается той же,
а начальное приближение можно брать любым. При наличии эффективных
методов минимизации квадратичной функции /№(х) на множестве Х этот
метод
можно
с успехом
применять
для
минимизации
достаточно
гладких
функций.
4.6.* Метод переменной метрики
4.6.1. Описание процесса. С-проекция
Идея
метода переменной
метрики
основана на известных
свойствах
антиградиента: вектор —/*(х) является направлением скорейшего убывания функции /(х) в точке Х, и, кроме того, он ортогонален поверхности
уровня, определяемой уравнением }(х)= }(х).
Так как для выпуклой функции множества, ограниченные поверхностями уровня, будут выпуклыми, то из геометрических соображений становится ясно, что в таком случае поворот антиградиента на острый угол
даст нам новый вектор, задающий направление убывания функции, причем
движение в этом направлении может быть более выгодным с точки зрения
минимизации
функции /(х). На рис. 4.4 изображено семейство поверх-
ностей уровня некоторой выпуклой функции /(х), х = (х1, хо), и показана
примерная траектория движения метода в идеализированном случае: предполагается, что мы заранее знаем точку минимума х. и каждый раз доворачиваем антиградиент на некоторый угол так, чтобы двигаться по прямой
в точку д.
Их) =Иж)
<
|
Рис. 4.4
Заметно, что на каждой итерации угол получается разный, и эти сооб-
ражения для задачи безусловной минимизации выпуклой функции /(х)
223
на всем пространстве Ё" приводят нас к итерационной
задано,
Хр
=х,-а,Н,Г’(х,),
схеме: же
В=0, 1, ..
Е —
(4.69)
где о, > 0, А =0, 1,..., — шаг метода; Н, — положительно определенные матрицы, т.е. (Ньх, х) > 0 при всех хе ЕЁ", Ё = 0, 1, .... Это неравенство гарантирует остроту угла между векторами —/"(х,) и-Н,/”(х,). Подчеркнем, что
мы можем лишь полагать, что при достаточно малых положительных 0
будет выполняться /(х».1) < (ль). Выбор же той или иной матрицы Н, мо-
жет оказаться как удачным, так и неудачным: при решении задачи минимизации, как правило, совершенно неясно, как следует поворачивать вектор —!^(х,) для ускорения сходимости.
На эти геометрические соображения можно взглянуть и с другой стороны. Известно, что любая симметричная положительно определенная
матрица С размера и Х п задает в пространстве Ё" новое скалярное произведение
(х, у)с =(Сх,у),
х,уЕЁЕ",
соответствующую норму |х|с = \(Сх, х) и метрику рс(х, у) =
= (С (&- у), х- у). Такую метрику мы будем кратко называть С-метрикой.
Тогда итерационный процесс можно описать следующим образом: на каждом шаге мы с помощью симметричной положительно определенной матрицы С, меняем метрику пространства, т.е. задаем преобразование координат Х = \/Сь х. В этих новых координатах поверхности уровня функции
(^^) примут другой вид, в том числе может получиться так, что они станут
близки к сферам с центром в точке минимума %. =
\/С,х.. Текущая точка
х, перейдет в точку %,„, функция /(х) перейдет в функцию &(%) = / (/Сьо,
и будет вполне естественным сделать шаг метода по формуле
Яны =, - 0,8”(Я,),
что с учетом формулы дифференцирования сложного отображения можно
переписать в виде \/Сьхьы =
/Сьхь 0% (/Сь 1 (хь). Домножая обе части
на (\/С, 1, имеем
Хы 2-х).
(4.70)
Эта формула отличается от формулы (4.69) лишь тем, что в нее входит обратная матрица С,'. Так как матрица, обратная к симметричной
положительно определенной матрице, тоже симметрична и положительно
определена, то для случая безусловной минимизации никакой разницы
в предлагаемых итерационных схемах (4.69) и (4.70) нет. Эти рассуждения
и объясняют название метода — метод переменной метрики.
В дальнейшем
мы будем
придерживаться
схемы,
в которую
входит
обратная матрица, и вместо С, будем писать С(х,), подчеркивая тем самым,
что на каждом шаге выбор матрицы С,= С(х,) зависит от точки х, и свойств
функции /(х).
224
Для задачи условной минимизации дифференцируемой функции К(х)
(х) > ти;ухеЕ ХСР",
(4.71)
предлагается действовать следующим образом. Пусть ху Е Х — некоторое
начальное приближение. Далее будем строить последовательность {х,}
по правилу
ха = РЕ (х, фо, б-Кж,)(хь)),
где о, > 0, Ё = 0, 1, ...,
№=0,1,2,..,
(4.72)
— шаг метода; С(х,), Ё = 0, 1, ..., — симметричные
положительно определенные матрицы размера п х и; РФ — операция
С-проецирования на множество Х. Дадим ее строгое определение.
Определение 4.2. Пусть С — симметричная положительно определенная матрица размера п х и. С-проекцией точки х Е Ё" на множество Х с Ё"
называется ближайшая в смысле С-метрики к х точка множества Х, т.е.
такая точка р, что
РЕХ,
(6(р-х), р-х)=шикб(и-х), и-д).
Для С-проекции будем использовать обозначение р=Р©х. Приведем
утверждение, описывающее свойства операции С-проецирования.
Теорема 4.13. Пусть Х — выпуклое замкнутое множество из Е", С —
симметричная матрица размера п х п, числа т и М таковы, что
О<т<М,
т
<(Сх,х) <МИР
УхЕХ.
Тогда:
1) для любого х из Е" существует, причем единственная, его С-проекция
р=Рех на множество Х;
2) р=РСх тогда и только тогда, когда (С(р-х),и-р)>0 УиЕХ;
М
3) если р; =Рёхь р› = Рбх», то [р - р] < о
12 |
Доказательство
З аметим, что вторая производная функции 7(и) =рё=рё(и, х) равна 2С,
2С что
в совокупности с условием т
<(Сх, х) при всех хЕ Х означает ее сильную выпуклость на множестве Х. Таким образом, задача минимизации этой
функции на выпуклом замкнутом множестве Х в силу теоремы Вейерштрасса 3.11 имеет, причем единственное, решение р.
Далее, градиент функции 7(и) равен 2С(и - х). Поскольку р минимизирует функцию 7(и) на множестве Х, то по критерию оптимальности 3.4 для выпуклых функций (7’(р), и-р)>0 при всех и Е Х, т.е.
({С(р-х), и- р) >0 при всех ие Х.
В силу только что доказанного утверждения из того, что р\ и ро являются С-проекциями точек х| и х› на множество Х соответственно, вытекает
(С(и-х)и-р)>0
Полагая
и = ррЕ
Х, о=риЕ
УиеХ;
(С(р.-х.),0-р›)>0
УоЕХ.
ХФ, имеем
(С(и-х), Р2-1)>0;
«С(рь-х2),
ри - р2)>0.
225
Складывая эти неравенства, получим
(Соч -хо), р - Р2)>(С(ф - Р2), р! - Р2),
откуда с учетом неравенства Коши — Буняковского и того, что т[х['
2
<(Сх,х)< МТ при всех хе Х, следует
три
25|? < [бе =
[р - 25|
Мк,
2
<
| [р - >|.
В случае |р! - р-| = 0 утверждение 3 доказываемой теоремы, очевидно,
верно. В противном случае мы можем поделить обе части последнего соот-
ношения на [р
- р>|, что даст нам нужный результат. Теорема доказана. №
Операция С-проецирования обобщает операцию метрического проецирования, рассмотренную в параграфе 3.3: если положить С = [, где [, —
единичная матрица размера # х и, то из теоремы 4.13 будут следовать теоремы 3.14—3.16.
Таким образом, если в задаче (4.71) Х — выпуклое замкнутое множество,
матрицы С(х,) симметричны, существуют такие положительные числа т
и М, 0 <т < М, что при любом Ё =
т
0, 1, ... справедливо
< (С(х,)х, х)< М
УхЕХ,
(473)
а способ выбора @, > 0 задан, то последовательность {х,}, генерируемая
методом (4.72), будет определяться однозначно. Отметим, что для случая
Х = Е" уравнения (4.72) примут вид (4.70).
Метод переменной метрики, как очевидно из уравнений (4.72) или
(4.70), имеет два параметра: набор чисел а, > 0 и набор матриц С(х»). Отметим, что при желании можно обозначить С(х,) = о,С(х,), и перейти к уравнениям с одним параметром С(х, ).
Вообще говоря, вопрос выбора на каждом шаге матрицы С(х,) весьма
непрост. Понятно, что в случае С(х,) = Г, Ё = 0, 1, ..., метод переменной
метрики превратится в метод проекции градиента, а в случае сильной
выпуклости функции /(х) можно положить С(х,) = "(х,), Ё = 0, 1, ..., что
приведет нас к варианту метода Ньютона, на каждом шаге которого приближение х,,| находится как решение задачи
додток ею, д"
биа
к-р) > шиь хеХ.
Поскольку }/(х)= /”(х,), то для каждого # = 0, 1, ... функция /»(х) будет
сильно выпуклой на Х. Записывая критерий оптимальности для нее, полу-
чим ( (1), х- хи) >0 при всех хе Х, т.е.
(о ’(ь)+ ыы м, х-хьи)>0
УхЕХ.
Это неравенство в силу теоремы 4.13 эквивалентно уравнению
при С(жь) = /"(жь).
На практике обычно ищут матрицы
(4.72)
С(х,) достаточно простой струк-
туры (диагональные, трехдиагональные, разреженные), ввиду того что
при решении задачи условной минимизации возникает необходимость их
226
обращения. Можно рассматривать матрицы поворота, явный вид которых
известен из курса линейной алгебры. В конечном счете определяющим
фактором их выбора является максимальное упрощение процесса вычисления обратной матрицы С-"х,) и процедуры нахождения С-проекции.
Следует сказать, что проблема конструктивного выбора матрицы С(х,)
в методе (4.72) пока еще мало изучена.
4.6.2. Сходимость метода переменной метрики
для выпуклых функций
Перейдем к обсуждению достаточных условий сходимости метода переменной метрики.
Теорема 4.14. Пусть Х — выпуклое замкнутое множество из Е", (х)
выпукла и непрерывно дифференцируема на Х, градиент }’(х) удовлетворяет условию Липшица с константой Г. > 0, т.е.
УхуЕХ.
[’со- 1-9
Пусть,
кроме
того,
при
некотором
хуЕ
Х множество
М(ху)
=
={хЕХ: /(х)< {(ху)} ограничено; матрицы С(х,) для любого Ё = 0, 1, ... симметричны и удовлетворяют условию (4.13). Наконец, пусть шаг ©, удовлетворяет условию
2т
О<&
где ё%>
<а,
054
< ——,
т.
4.74
(4.74)
0, = > 0 — параметры метода. Тогда для последовательности {х,},
полученной методом (4/12) при начальном приближении ху, выполнено
т
/(х,)= Л,
Ё—оо
Шпр(х,,Х.)=0,
(4.75)
оо
причем справедлива оценка
0< /(х,)- Л <“,
Су =соп$ё>0,
#=1,2,....
(4.76)
Доказательство
Сразу отметим, что в силу свойств множества Лебега и непрерывности
функции /(х) множество М(х) замкнуто, и это в сочетании с его ограни-
ченностью дает его компактность. Тогда по теореме Вейерштрасса 1.2
шЕ/(х)=
Воспользуемся
леммой
ПЕ ЛР) = / > —=.
1.3, которая утверждает,
что при сделанных
предположениях справедливо неравенство
И@д- Лд-(ч,х- 31 -У УжуеХ.
Полагая в нем у=х, х=х,.1, имеем
Ижь- аа) > (Дж, хр)
ыы,
#=0,1,....
(4.77)
227
С другой стороны, из уравнения метода (4.72) и теоремы 4.13 следует,
что
(Сары - (м -0С- ха),
х-хи)>0
УхЕХ.
Перепишем это неравенство в виде
,
1
(Ра х-хы) > (бар
-хы)хЬ-жьы)
УхЕХ,
#=0,1,.... (4.78)
Е
Отсюда при х = х, с учетом условия (4.73) вытекает
,
1
(мха)
> а, (©
т
Жхь — хьы), мь- Хы) >с,
|
2
›
В=0,1,...,
что в сочетании с тем, что градиент }”(х) удовлетворяет условию Липшица,
дает
т
Г
- Л(жьы)> и
ЛЬ)
о,
2
2
-жьн|›
#=0,%,....
Далее, из этого соотношения и условий (4.74) на шаг метода находим
Е
2
1) - жи) > Я,
|, #=0,%,...
(4.79)
что означает неубывание последовательности {/(х,)}. Так как /(х,) > }+ > —°,
то существует конечный предел [Ш Л, ) > } и, следовательно, [т (1(х,)оо
—=>
-1(хьл))=0. Отсюда и из неравенства (4.79) предельным переходом полу-
чаем Ша [х,-хь|=0.
>=
Теперь еще раз воспользуемся ограниченностью множества М(х%). Так
как согласно неравенству (4.79) /(х,.1)< 1 (х,)<...< 1 (ху), то хьЕ М(ж%)
при всех Ё = 0, 1, .... По теореме Больцано — Вейерштрасса ограниченная последовательность {х,} имеет хотя бы одну предельную точку. Пусть
х — произвольная предельная точка {х,} и {х,
} > х. Множество М(м)
замкнуто, поэтому ХЕ М(ху)С Х. По доказанному, шп [+ и -х,| =0, значит, и {хь +1} >. Фиксируя в соотношении (4.78) фоизвольное ХЕХ
и переходя к пределу при # = Ап -—> <э, с учетом условий (4.73), неравенства
Коши — Буняковского и непрерывности /"(х) получим
(Г, х-т)= Шиа, хмм) >
—_
1
> т
ит -—и
—
М
> РР
Шт -——
|х
[С (мы, хь
(м (жи и-х
М
-Жь,) |[=-х +1
Пт [А
|
т
в
и -х Жи |[х-х и [2--&-2
[>
20,
— -х Ха, ||=0
стало быть, по критерию оптимальности для выпуклых задач (теорема 3.4)
ХЕХ..
228
Возьмем произвольную точку д. Е Х.. Из критерия выпуклости (теорема 3.1) имеем
05а, =/(х,)1 (4) <),
-х.)=
- (а), хе -хьи), Ё=0,1,....
=(’ь жми)
Пользуясь неравенством (4.78) при х = х., условием (4.74) выбора 0,
компактностью множества М(ху) и непрерывностью | /"(х)|, отсюда нахоДим
,
1
05а, <(1”(хь), хь-хуьы) обе
ых.
- Хы) <
1
<’, |, = ха +=. ба Хх, ха] [= ха <
М
< |” ж»)| [ке
<, -зы
ха + г.
бар РМ зир
М(%)
80 М(хо)
Из этого соотношения и
— ны | [х*- хьы| <
-4]-< р жнн, #04.
Е -2 12 —=
неравенства (4.79) следует а, — ав! >=Су?а?
2
= Аар, Е = 0, 1, .... Отсюда с помощью леммы
1.6 придем к оценке (4.76).
Это означает, что последовательность {/(х,)} минимизирующая, т.е. первое
из равенств (4.75) выполнено.
ремы 1.3.
Также
функция
той 2 то
Второе равенство (4.75) вытекает из тео-
Теорема доказана. №
отметим, что если при сделанных в теореме предположениях
/(^х) является еще и сильно выпуклой на множестве Х с констанпо теореме Вейерштрасса 3.11 будет справедливо соотношение
[2С
[+
—Х»
<.|-—®,
„В
№=1,2,...,
где х. — единственное решение задачи (4.71).
Замечание 4.5. Как было отмечено выше, полагая С(х,) = [, или
С(х,) = "(хь), Е =0, 1, ..., мы получим варианты метода проекции градиента
и метода Ньютона. Приведем теоремы об их сходимости, непосредственно
вытекающие из теоремы 4.14.
Следствие 4.1. Пусть Х — выпуклое замкнутое множество из Ё", (х)
выпукла и непрерывно дифференцируема на Х, градиент }”(х) удовлетворяет на Х условию Липшица
с константой Г > 0. Пусть, кроме того,
при некотором ху Е Х множество М(х)={хеЕХ: /(х)< /(ху)} ограничено,
а шаг о,ву удовлетворяет
р
у условию 0<& 05 <оа,
9
< ——,
ТЕ
#=
0, 1, ..., где & 0 > 0,
= > 0 — параметры метода. Тогда для последовательности {х,}, генерируемой при начальном приближении ху уравнениями х,.! = Ру(х, -0,/“(х,)),
В =0, 1, ..., выполнено
.
[ил р(х,,Х.)=0;
С
0< /(х,)-Л <,
Су =сопзё
> 0, #=1,2,....
—›со
223
Следствие 4.2. Пусть Х — выпуклое замкнутое множество из Е”,
ШХ 2 ©, /(х) сильно выпукла с константой хи дважды непрерывно дифференцируема на Х, градиент /”(х) удовлетворяет на Х условию Липшица
.
с константой Г
2х
> 0, а шаг о, удовлетворяет условию 0
< & < а, < Те, В=0,
+Е
1, ..., где ви > 0, = > 0 — параметры метода. Тогда для последовательности
{х,}, генерируемой при произвольном начальном приближении ху Х урав-
нениями
Ли) = о’ (хь), хан",
же Х, Лии)
= ШЕЛ (а),
х-х,);
#=0,1,...,
справедливо
|
—х»
<
р,
ИЁ
Су =с0п$ё>0,
#=1,2,...,
где х. — единственная точка абсолютного минимума функции /(х) на Х.
При выводе следствия 4.2 необходимо учесть, что для сильно выпуклой
непрерывной функции множество Лебега М(ху) замкнуто и ограничено
при любом же
Х, точки хь, Ё = 0, 1, ..., в нем содержатся, откуда с учетом
непрерывности }”(лх) следует ограниченность |/”(х,)| А = 0, 1, ..., и выполнение условия И
<(
(хр, й) < М АР при всех йЕ ЕР", Ё=0, 1, ....
4.6.3. Непрерывный вариант метода переменной метрики
Следуя схеме, рассмотренной в подпараграфе 4.2.3, предложим непрерывный вариант метода переменной метрики. Рассмотрим систему дифференциальных уравнений
доча) = РОО),
120
(40)
х(0) = ж,
где с(2) > 0 — заданная функция; С(х(Ё)) — симметричная положительно
определенная матрица при всех & > 0. Перед тем как обсуждать свойства
этой системы, докажем еще одно утверждение, связанное с С-проекцией.
Теорема 4.15. Пусть Х — выпуклое замкнутое множество, Х, — множество точек минимума функции Кх) на Х. Если х. Е Х. и функция Кх)
дифферениируема в точке х., то для любой симметричной положительно
определенной матрицы С размера п х п необходимо выполняется равенство
х. = Рб(х.-оС-—1(х.))
Уа>0.
(4.81)
Если, кроме того, /(х) выпукла на Х, то всякая точка х., удовлетворяющая равенству (4.81), принадлежит Х..
Доказательство
В силу теоремы 4.13 равенство (4.81) эквивалентно неравенству
(С(х. - (х. аб
(х,)), х-х.)>0
которое можно переписать в виде
(м}(х.), х-х.)>0
230
УхЕХ,
УхЕХ,
что для всех © > 0 равносильно неравенству (”(х.), х-х.)> 0, хЕ Х. Отсюда и из теорем 1.7, 3.4 следует утверждение этой теоремы. №
Замечание 4.6. Только что доказанная теорема 4.15 представляет собой
обобщение теоремы 3.17.
Согласно теореме 4.15 решение х. задачи (4.71) удовлетворяет при {> 0
уравнению (4.81) при © = ©(®) > 0. Это значит, что каждая точка х. Е Х,
является точкой равновесия
(стационарным
решением)
системы
(4.80).
Можно надеяться, что при некоторых ограничениях на функции /(х), 0(®)
и матрицу С(х) траектория х(#) системы (4.80) при больших # приближается к множеству Х.. Если Х = Е", то при всех хе Е" Р$(х)=х, и (4.80)
превращается в систему
&() =-ок(6(х()у
11 (х@)),
#20,
(4.82)
х(0) = №.
Если Х
венству
а Е", то уравнение (4.80) в силу теоремы 4.13 эквивалентно нера-
(С(х)[(@+х(@- (О-о (Су
(ху, х- (+
х(0)))>0
УхеЕ Х,Е>0,
которое
после
упрощений
принимает
вид
(Сабо РКО, х-@-х(0))>0
УхеХ,Е>0.
(4.83)
Отсюда ясно, что при С(х) = [, методы (4.82) и (4.80) превращаются
в непрерывный вариант градиентного метода (4.27) и метода проекции
градиента соответственно. В случае когда /(х) Е С2(Е”) и сильно выпукла
на ЕЁ", полагая С(х) = }"(х), можно получить непрерывный вариант метода
Ньютона. Приведем теорему о сходимости метода (4.80).
Теорема
4.16. Пусть Х — выпуклое замкнутое множество,
функция
Д() е СКЁ”) и выпукла на ЕЁ", }. > —°, Х, «©; функция о(®) > 04 > 0 непрерывно дифференцируема и с’(Ё) < 0 при всех & > 0; матрица С(х) симметрична, и существует сильно выпуклая на Е" с константой х> 0 функция
и(х) Е С?(Е”) такая, что \у"(х) = С(х) при всех х е Е". Пусть траектория
системы (4.80) с начальным условием х(0) = ху определена при всех > 0.
Тогда существует точка и, =, (ху)Е Х. такая, что
Вх =в,
Ша /(х@))=Л®)=Л,
Шт) =0.
Доказательство
Рассмотрим произвольную точку х, Е Х.. Тогда в силу критерия оптимальности (теорема 3.4) для всех хе Х справедливо (}^(х.), х-х.) > 0. Примем в этом неравенстве х=1(Ё)+х(®Е Х, умножим его на 0(®) > 0 и сложим с неравенством (4.83) при у = х.. Это даст нам
(боя)
-Ге), х-х0-х(@)) >0,
что равносильно неравенству
«Сауя®, 0)+ (6х), хФ-х) + (к
- г коуч
е)- Гаагхф-к)<0
)-
зол. сх. 480
231
По условию теоремы существует функция \у(х) такая, что \у”(х) = С(х)
при всех хе Ё", поэтому
(уе) (5 (@))+ у’(х@)), х@)-х,)) =
= у’) @), ХФ - х,) = (6) х@), х@) -хь).
Кроме того,
И (х(Е))- Л(х.)- (Р(х.), хх.) =)
’(х), #0),
и в силу выпуклости функции /(х) на Ё" и теоремы 3.1
(1’(х(@))- Г" (.), х-х.)>0
\2>0.
(4.85)
Тогда из неравенства (4.84) следует
(С(х@Ф)х@, х@)+ еси) —ч(х())+(у’(х(0)), хф-х.)) +
+ (ео)
Ка)
(/(х.), хо
-х.))<0
\МЕ>0, Ух. ЕХ..
Интегрируя это неравенство на произвольном отрезке [т; {|, получим
Кобо, ну (ука) (а), иж) +
т
+9(
2) (1(($))-— Л(ж.)- (Т/С), (5)
- [оС
Каз)
к
Рек)
-
<0
))
$=5
5=т
\>т>0, Ух, Е Х..
Из выпуклости функции /(х) на Е" и сильной выпуклости \у(х) на Е"
по теоремам 3.1, 3.12, 3.13 вытекает
Иже) - Ре) Ре, хм.) >0 МЕ >0, Мл. Е Х4;
(ки) у) + (у), хф-х
и к®-х.[ | УЕ >0, 9х. Е Х.;
(бабу, #(у> 8
90.
Все это с учетом соотношений ©(6) >
1
«С
0, © '(Ё) < 0 дает нам
,
+х|х(@)-х. 2 <у(ь)- у(х(т))+ (у’(х(9)),
х(®)-х,) +
+ 0(т)(1 (х(т))- 1(х.)-(Д(х.), хе)
х,)) = У(, х.)
(4.86)
УЕ>т>
0, Ух, ЕХ..
Это означает, что
(©) —х. р <
\(0, х.)
при всех #>0 и
О
<
У(0, х.)
„
0
Поэтому существует последовательность {#;} > += такая, что {х(&)} — в»,
{х(®,)} > 0. Так как множество Х замкнуто, х(#)+х(РЕХ при всех {> 0, то
и. (2(;)+х(Е)) =
232
ЕХ.
ния
Положим в неравенстве (4.83) { =
п (Е) = (<) > 0%, > 0 имеем
Е. Тогда при 1 —> © с учетом соотноше-
1
0(©э)(
(4), х-0,)>0
УхЕХ.
Согласно критерию оптимальности (теорема 3.4) тогда 9, Е Х». Из соотношения (4.86) при х‚, = с, т = & следует [(©- с»
2
Ул.
<У&)
при всех ЕЁ > 0.
и
Переходя здесь к пределу при & & > +<°, имеем
Ши х(Ё) = 4. Тогда
+=
ит (хе) = Ле.) =Л,
Ша
а) = Г).
Наконец, с учетом неравенства (4.84) при х. = » имеем
хе
(Сао, #0) < (ба), о. - х®)- ве 0))— 1(о.), #(@)) + (0х) Го,), в -х(0))<
<|С (6
-О +
6) Ро [5
<
55; @6е0
откуда
сое. - хо + (х@))Гр <
о. — х()] +06)
+
ЛоЛе)-
20,
вытекает
РЁ < 69)
о. -х(#)] +06)
Отсюда при & —> +<° следует, что
Иео)- Ге
м0.
Нт х(ЕЁ) = 0. Теорема доказана.
{+
4.7.* Квазиньютоновские методы
Еще раз подчеркнем, что все вышеперечисленные варианты метода
Ньютона могут быть эффективно использованы лишь тогда, когда матрица
вторых производных /"(х,) легко вычисляется и все последующие вспомогательные задачи решаются достаточно просто. Желание преодолеть возникающие здесь трудности привело к появлению так называемых квазиныютоновских методов. Основным их достоинством является тот факт, что
они имеют высокую скорость сходимости, не сильно уступающую методу
Ньютона, но при этом не требуют на каждом шаге вычислять обратную
матрицу вторых производных.
Для простоты изложения будем рассматривать задачу безусловной
минимизации
Кх) > ши, хЕ Ё",
и предполагать, что /(х) Е С2(Е”). Общая итерационная схема квазиньюто-
новского метода выглядит так: выбираются начальное приближение хуЕ Ё"
233
и матрица Ну размера п Хх п, дальнейшие вычисления проводятся по формулам
(4.87)
Ныа =О(жьН,), #=0,1,2,...
-ЫН,(хь),
ыы =
где &, — некоторые числа, а функция
И(х„, Н,) такова, что последователь-
ность матриц {Н,} размера п х п удовлетворяет так называемому квазиньютоновскому условию
Ниа(Ри)- “=
хи
(4.88)
хь, Е=0,1,2,....
Это условие фактически является требованием того, что матрица Н,+1
в определенном смысле аппроксимирует обратные матрицы вторых производных (}” (ху) 1 и (Ё”(х,))-1: если воспользоваться для функции / формулой конечных приращений, то
Ра)-
Г’) =
+0
- м) (ха -хь), 0Е[0;1],
что в случае невырожденности матрицы /”(х) может быть переписано
в виде
+0 иж)
Ра)
Г (хь)) = Хы — Хр.
Сравнивая это уравнение с квазиньютоновским условием (4.88), мы
убеждаемся, что матрицы Ну и (}”(х, +0(х,4-х,)))! удовлетворяют
одному и тому же соотношению, в которое входят приращения аргумента
и градиента функции /. Именно этот факт и позволяет обеспечить высокую
скорость квазиньютоновских методов.
Возникает естественный вопрос: как на каждом шаге строить матрицы
Ни, В =
0, 1, 2, ...? Ясно, что при работе с итерационной схемой квазинью-
тоновского метода мы на каждом шаге сначала по известным х„, Н, находим
х,+1, после чего вычисляем приращения градиента /"(х,.1) — }”(хь) и аргумента х,+1 — х, и приходим к необходимости решить систему из п уравнений (4.88), в которую входит 72 неизвестных элементов матрицы Н,,.1.
Очевидно, что такая система имеет бесконечно много решений, и возникает вопрос о какой-то их структуризации. Кроме того, совершенно неясно,
все ли они будут позволять существенно улучшить значение функционала
при переходе к х,,› или нет. Исчерпывающий ответ на эти вопросы вряд ли
существует, однако выделить некоторые способы построения «удачных»
матриц Н,,1 вполне возможно.
Мы рассмотрим простейший из таких способов. Напомним, что векторы
х; и градиенты /”(х;) являются вектор-столбцами, т.е. имеют размерность
пх 1. Предлагается итеративно переходить от матрицы Я, к матрице Н,,1
с помощью формулы
ат
Нл = Нь + [жи — ж)- НЫ)
ее
4 (хи)
Г(хь))
(4.89)
где вектор-столбец 4», вообще говоря, зависящий отл, и Нь, на каждом шаге
выбирается так, чтобы число @; (/’(хь,1)- 1"(хь)) не равнялось нулю.
234
Отметим, что при таком способе вычисления Н,.! квазиньютоновское
условие (4.88) выполнено, в чем можно легко убедиться прямой проверкой.
Формула (4.89) задает так называемое семейство квазиньютоновских мето-
дов ранга один. Такое название является вполне естественным следствием
того, что так называемая матрица поправки
(а-жо-Н аи)4 (Г(хи)- (а)
АН, =Н,и-Н, =
имеет ранг, равный единице, в силу того что она является произведением
вектор-столбца на вектор-строку. Векторы 4, можно трактовать как параметризацию этого семейства: каждый конкретный способ их выбора задает
соответствующий ему квазиньютоновский метод.
Наиболее известным методом ранга один является метод Бройдена,
который получается, если в уравнениях (4.87) положить &, = 1, Ё = 0, 1, ...,
ав уравнениях (4.89) на каждом шаге брать @,= }"(х,+1) — Г’(х,), что приводит нас к такой схеме: пусть начальное приближение хуЕ РЁ", и матрица Ну
размера я х п известны, тогда
т
—
(4.91)
Е=0,1,...,
Мы,
Нун = НЬ +
(4.90)
#=0,1,...;
Хы =, - Нь,/’(х,),
Ур У
где 2.= х1- хь И, =
и) - Г’(хь). Если подставить так введенные величины 2; и у, в формулу (4.91), то она примет вид
Ньн
— Н,
_ Нь
(хо)
[ыы
Г’)
Г
,
Гы
Перед тем как приступать к изложению результатов о сходимости
метода Бройдена, введем некоторые необходимые понятия и докажем
несколько вспомогательных утверждений.
Пусть А — матрица размера п х п. Напомним, что нормой (операторной
нормой) матрицы |А| называется число [29]
[А| = шах
[Ах]
——.
деЕ" |]
Лемма 4.1 (Банаха). Пусть А, В — матрицы размера и хпи А невырождена. Тогда если [А-!|-[В|<1, то матрица А + В тоже невырождена, причем
А+
А+
В
[А-Ч
(4.92)
<.
Доказательство
т
Обозначим С = -А-1В и рассмотрим семейство матриц 5„ = У С*, т = 0,
А=0
1, ..., где С = Г, — единичная матрица. Заметим, что С =А-
18| < 1. Так
А
как [С*| <[С| при всех # = 0, 1, ..., то для любых целых неотрицательных 71,
, т < |, выполнено
235
$
18. 5=[=
т-+1
< уе
У> И
=
поэтому |5 —5п |-> 0 прим т — со. Таким образом, матричная последовательность {5„} — фундаментальная, из чего вытекает ее сходимость к некоторой матрице 5. Кроме того,
1-51; < х |С* |< 5 |
т
<
значит, и [5] < 1 та
т=0,1,...
1- я
#=0
Также воспользуемся тем, что справедливы равенства
5.(Г.-С)=(,-С)5,=[-Стч,
т=0,1,....
Переходя в них к пределу при т -> сэ, с учетом того, что из |С| < 1 следует |С"|| > 0 при т -> °°, т.е. матричная последовательность {С”} сходится
к нулевой матрице, имеем 5(Г,- С) = ([.- С)5 = Г, поэтому 5 = ([.- С)! =
= ([,+ А1В)\1, матрица Г, + АВ
невырождена, ее определитель отличен
от нуля. Так как определитель произведения матриц равен произведению
их определителей и [, + А-1В = А-КА + В), то и определитель матрицы А + В
тоже отличен от нуля, А + В — невырождена. Наконец,
[А+ ву = САС, + А-В) = |1, + А-КВУА- <[А-Ч [5] <
<
Лемма
[А-Ч—1 <
[А-Ч—1
|
1 [А-В [А-В
Банаха доказана. №
Помимо леммы Банаха нам понадобится норма Фробениуса матрицы А
размера и х п, представляющая собой обобщение обычной нормы вектора
на случай матрицы:
.
4+ =| УУа2 |.
1=11=1
С
помощью
ведливости
матрица
непосредственных
следующих
размера п х
свойств
вычислений
этой
нормы:
несложно
если
А
убедиться
-—
в спра-
произвольная
п, то
[А = (АТА)
= У (АТА, ПА «ЙАь;
|Ажут|,
ПА и] Ух, уе Е»; (4.93)
1=1
Ух, уе Е".
АТАХ+ Ах
ф2ут о
= [О
= (494)
Теперь перейдем к обоснованию теоремы о сходимости метода Бройдена.
Теорема 4.17. Пусть функция К(х) дважды непрерывно дифференцируема и сильно выпукла с константой и в некоторой окрестности
Х ={хЕЁ": | —х.|<С} точки х., }’(х.) =0 и существует число К > 0 такое,
что выполнено неравенство
И”) - (к. < К[х-х.
236
УхЕХ.
(4.95)
Тогда метод, определяемый уравнениями (4.90), (4.91), локально и сверх-
линейно сходится к х., что означает, что существуют такие Е, 6 > 0, что
из справедливости неравенств [6 —х.| <, [1
ность) вытекает
-(} "(х.
= 38 (локаль-
ыы =] = 0 (сверхлинейность).
>
| р —Х»
Доказательство
Начнем с обоснования того, что при
для всех и, ое Х справедливо неравенство
сделанных
предположениях
Г/(и)- Ро)- Г" (к и-5 < К шажи-х.|[в-ж|и-5],
и, кроме
того,
существует
1
м
такое
положительное
<’-
Г] рм-@
Для этого заметим, что для любого ©
ливо
число
(4.96)
р, что
Уи,оеХ.
(4.97)
[0; 1], любых х, уЕ
ЕЁ" справед-
[0х +(1-0ду[< 0х] +(1- а) [< тах}.
Интегрируя обе части этого соотношения по © от 0 до 1, имеем
1
сх +(-оди[@о < тах; и}
Ух, уе Е".
(4.98)
0
Далее, пользуясь формулой конечных приращений (1.116), для любых
И, ОЕ Х имеем
Ги- Г
- 1 и-о) =
Г Г"©+Ки- (и -оа- | Г”) (ио
0
1
[(”@+Ки-э))- Г") и- о
О
1
<|о Л”(@о+Ки-о))- 1"(х.)
1
1
0
0
и о
<КМи-4||+Ки-о-х.|&=Км-[Ки-х.)+4-0©-х.)
<
4.
Применяя соотношение (4.98) к подынтегральному выражению в правой части, положив х =и- х», у=и- х., получаем
Д’(и)- Р’(о)- Г" (х.)(и- 5)
<К шах {и —х.
)
6-х.
м - =].
Неравенство (4.96) доказано. Для доказательства двойного неравенства
(4.97) воспользуемся непрерывностью отображения }"(х) и сильной выпуклостью /(х). Поскольку множество Х замкнуто и ограничено, то существует такая константа М, что |/ "(| < М для всеххе Х. Тогда по формуле
конечных приращений с учетом выпуклости Х
< мМи-4
[’-
УиЕ;Х,
237
и, кроме того, по теореме 3.12 и неравенству Коши — Буняковского
ии-й
2
<(Г(и)- Рио)
<
у
/
у
(и-Г ()|м-< Ми-ч]
/
2
.
Сокращая это неравенство на [иг] и полагая р = тах{М; 1 / 2}, мы получаем неравенство (4.97).
В силу выполнения условия теоремы матрица }”(х.) будет положительно определенной и невырожденной, а х.. будет точкой минимума функции /(х) на Х. Возьмем произвольное положительное 7Е (0; 1) и выберем
числа = &(7) иб = 6(7) так, что
в<С;
26|/”(х.)| <"; Ко” (ху
$6А- У);
Ке(25+|( 1х.) 25” (х.) 7.
(4.99)
Ясно, что это можно сделать, взяв их достаточно малыми. Возьмем
любую пару (ху, Но) такую, что |ю —х.|< в, [9 —(Х "(х.))
<56. Тогда
с учетом свойств нормы Фробениуса (4.93) [1
—- (Дм)! | <б и, поскольку
б С
| <7/2 <1 в силу соотношений (4.99), то по лемме Банажа 4.1, полагая А=(}”(х.))-1, В = Ну -(Ё”(х.))!, мы имеем невырожденность матрицы
Но и оценку
Пользуясь уравнениями (4.90) и тем, что /”(х.)=0, имеем
ж-х =м -Но/“(х)-х. =
=-Но(/(ж)- Л’(х.)- "(хх — №) + (1, - Но" (ж, (хо — х).
Положив в неравенстве (4.96) в качестве и и о точки хЕ
соответственно, находим
[мно]
[Аж Ле) Л” (же =
+, — Нов
< Ке|Но|[ж — х. |+ /” (к. [Но — СР” Джо
Хих.ЕХ
[ж — х| <
— х. [5
<(КЕ|Но|+8|/”(х.рх —х.|.
Но поскольку
[ну + [Но - Ре
«5+
то, учитывая соотношения (4.99), мы получаем |, —х.|< "№ —х.|. Дальнейшее доказательство проведем по индукции. Предположим, что удалось
провести # > 0 итераций метода, точка х,.! найдена, справедливы соотношения
ни У
ты
[их
Ут = 0,1,..., Е.
Покажем, что тогда либо х,.1 = х+, либо матрица Н,, 1 и точка х,+о могут
быть найдены с помощью формул (4.90), (4.91) (знаменатель ур и, = [2 Р
дроби в формуле (4.91) окажется отличен от нуля), причем
[Е
238
= (У
< 25, [2
—^+
< ть
_—л,
Из предположения
$7
индукции
следует, что |" м- |< 7”! [№ -х.
<
< С, т= 0,1, ..., Ё, поэтому точки 21, Хо, ..., Хы! принадлежат множе-
ству Х. Пользуясь неравенством (4.97), имеем
1
Де
[= Инь) - Ре
Отсюда следует, что случай у, = 0 возможен, только если х,+1 = Хь что
с учетом формулы (4.90) эквивалентно равенству Н»!’(х,) = 0. Так как
|, -(Р”(хУ |, $26, то в силу свойства (4.93) |Н,-(”(ж |< 28,
и поскольку из (4.99) вытекает 26| / "(х.)|< 7 <1, то по лемме Банажа 4.1,
полагая А=(}”(х.))№, В=Н,-(/”(х.))\, мы имеем невырожденность
матрицы Н, и оценку
Значит, уравнение Н,/”(х,) = 0 имеет только нулевое решение, т.е.
Г/(х») = 0. Но тогда
0=
1
р
Лж)- Ла.)
> — [+ —х.|,
поэтому х,-1 = Хх, = х+, и метод останавливается, найдя точку минимума.
В противном случае у, = 0, матрица Н,,,| и точка хо могут быть вычислены
по формулам (4.90), (4.91). Для всех т = 0, 1, ..., Е справедливо соотношение
| “ее, = „+ а
—
Ной
т
(уу
<
тут
т
Дь-18
< а. те
Е
(Ех.
+ ба
тут
Е
т
ава.
у ивы
тут
Е
Оценим правую часть этого соотношения. Для обработки первого слагаемого воспользуемся формулой (4.94), взяв в ней А=Н„-(}”(х.))\,
Ут
Х =:
тт
__
У.
[ут]
2
(Ни
те
ваУту
= [Н.С
тут
-
Е
т
2
-2 | тт [Ни - ен
Ут
-
=, - (о
ое,
+ [Ни ет
|ти
Ут
=
_ в С”еуиый
| “еее 1
|=
[и
[и.о
239
Для
оценки
при и = хи.1Е
второго слагаемого
Х, о= ЖЕ Х и
для А =, х= 2,- (у,
воспользуемся
у =т
— (ууу
—
УтУт
|
—(/”(.))
и |т|
—
2
[вы = (а
ки)
тм)-
хи
<
Г (хп)
и) Гот) "(к ты т <
тм)-
<К| атака
По
[=
Е
<“. )-
(4.96)
Фробениуса (4.93)
=т
тт
[2т
неравенством
свойствами нормы
предположению
Г (хп)
жи
индукции
[и
а]
р
Ут т
п |
ии) Р(хЛ
< "хи —х. | < |. —х. | кроме
—х,
вы
того, в силу неравенства (4.97)
|
-х
т.|
<р, стало быть,
хи
< кое,
Пользуясь этими оценками, для всех т = 0, 1, ..., Е имеем
«Дени, +
[Нин ег
(4.100)
+ Кок],
где
се
"ное
у
Загрубим эти неравенства при всех т = 0, 1, ..., №, заменив множители
1-02, на 1, и сложим их. С учетом того, что |" —х. |< т” [к —х.| < тт,
и соотношения (4.99), получим
и тень
«нь те
<6б+
Ко” (УЕ
1-х
Ко”)
1-х
оз
=
о
Положив в лемме Банаха 4.1 А=(}”(х.))№, В=Н,а-(Ё”(х.))\,
получим, что матрица Н»+1 р
и
мы
[ну =<
Наконец,
рассуждая
так же, как и ранее, находим
Хр
=-Ниыа [У жыы)- Л.)
240
=
- Ньи’(ха)- Хх. =
Л" (хи) (ыы = © +, — Ны. "(хх — хе),
поэтому с учетом неравенства (4.96)
[каж <|Ны
ыы) Ах) 1
акыя = © +
< Ке|Нь
| жыы -х. |+” Сены - "У
<(Ке|Ны|+ 8х.
Дея =х.| <
№.
Так как
[Ни< | (+
|Ныа = СР”е<
<25+|(/”(х.)1],
то, учитывая соотношение (4.99), мы получаем |+ +2
| < "| хь и- 42|. Индукционный переход завершен. Итак, мы показали, что либо на какой-то
итерации получится /"(х,) = 0 (это критерий остановки метода), что эквивалентно условию х, = х., либо с помощью уравнений (4.90), (4.91) будет
получено две последовательности {х,}, {Н,} такие, что для всех # = 0, 1, 2, ...
справедливо
жьеХ; [мых
[< т|х,-х.|; |, -("|
<28;
|н; «Ив
Е )].
1
ры] < Мень) Леры
Отметим,
что сходимость
метода
Бройдена
(4.101)
(4.102)
к х. с линейной
скоро-
стью нами
уже установлена, так как из соотношений (4.101) следует
[+ —х. |< 7 ы —х,|. Для доказательства сверхлинейной сходимости вернемся к неравенствам (4.100). Теперь можно утверждать, что они справеда
ливы при всех т = 0, 1, .... Заметим, что \/1-а < 1-5 для всех а < 1, поэтому
их
можно
переписать
в виде
92
Ни
= (”(х.)м
На - о
ия
555
|
< [т
— (Г
(=
+ Кое
у!
|.
=
ит [© - х. |.
эти неравенства по т от 0 до произвольного №, находим
[Ни - Се, < Но С”, Ни - С
КРК
Кок
‘С >.
Кр| "ее,
-х.|<5+
1+
Это значит, что ряд у 02, [= п=-(Ё "(х.)
+
= СХОДИтСЯ, ПОЭТОМУ
т=0
Шо 6} [НСО],
=0.
(4.103)
241
Подставляя сюда выражение для 0,, имеем
и -
|| о
и, ОУ
Из этого с учетом неравенства (4.101) [,- (р "(х. у
что и
до КУН
оо
Е 3 26 вытекает,
о
(4.104)
У |
Из формул (4.90) имеем
Ньу, = Нь (хи) Нь”(хь) = Нь (жи) + хи -Хь
стало быть,
(Нь- С” Юуь
= НыГ (жи) "в, ь - "вар.
Отсюда с помощью неравенства (4.96) получаем соотношение
[ен
[ен - еуоиу вь - "веда
= НН
=
- ого
хол) Ла)
(хе = «=
<не [нь - ого + КО” ва = Да =.
Разделив его на [м,|=
Д’(ж)-Л (х,
имеем
с учетом соотношений (4.101)
<
Ш@аы)
Ренн) Ро
енд Гы
<
и нь -о-Чи ,
1-ю
кое
[м|
—
1-х
<
[ыы
9%
|
оо
Первый предел из правой части этого неравенства равен нулю в силу
равенства
(4. 104). Пользуясь
неравенством
(4.102), имеем
. Кроме того, х,— х, —> 0, стало быть и
[то
|’ (хы!
—_
в [У’жьы)- Аж
Наконец, в силу соотношения (4.97)
1
а)
- Ло
[ыы
Рон
ха <р(
Хы»
<р(+ г)х+ —х.|,
242
ых
++ ==
[а - х,|<
поэтому
< 5р а]
|хь-х.
">> ав
(хи) - Ле)
Теорема доказана. №
В качестве еще одного примера квазиньютоновского метода ранга один
рассмотрим метод МакКормика, который получается, если в формуле (4.87)
положить &, = 1, ав формуле (4.89) на каждом шаге брать 4,= х,+! — х,. Выпишем его схему. Пусть начальное приближение хуЕ Ё* и матрица Ну размера
п х п известны, тогда дальнейшие вычисления проводятся по формулам
#=0,1,..;
жы=жь-Н,’(х,),
т
-Н
Е=0,1,...,
Нл = Нь + @-Нываь,
2ь Ур
где 24 = хи - хь И, =
(хи) — Г).
(4.105)
(4.106)
Приведем без доказательства утверж-
дение о его сходимости.
Теорема 4.18. Пусть функция /(х) и точка х. удовлетворяют условиям
теоремы 4.17. Тогда метод МакКормика (4.105), (4.106) локально и сверхлинейно сходится к х., т.е. существуют такие Е, 6 > 0, что из [© =
[1
<&,
-(р "(х.)-1] = 39 вытекает
[то [ых]
[7
>
[5
—Х»
0
°
Отметим, что можно утверждать локальную сверлинейную сходимость
целого семейства методов ранга один, в которых на каждом шаге векторы &
выбираются равными Му», где М — произвольная симметричная положительно определенная матрица размера пХ п.
Теперь еще раз вернемся к обсуждениям того момента, что матрицы Н,
в определенном смысле аппроксимируют матрицу (}”(х,))-!. Для дважды
дифференцируемой функции матрица вторых производных и обратная
к ней симметричны, поэтому хотелось бы пользоваться их симметричными
аппроксимациями. Однако матрицы Н,, получаемые в методах Бройдена
и МакКормика, будут несимметричны.
Несложные рассуждения показы-
вают, что единственный способ получения квазиньютоновского метода
ранга один, гарантирующего симметричность матриц Н,, таков: матрица Ну
выбирается симметричной, затем на каждом шаге полагаем 4, = 2, - Ньуь.
Но такой метод не обладает свойством локальной сходимости, т.е. может
случиться так, что, выбирая ху и Ну сколь угодно близкими к х, и (}”(х.))-1
соответственно, мы не получим последовательность {х,}, сходящуюся к д».
Приведем соответствующий пример.
ТО
8
1,
12
Рассмотрим функцию /(х) = >Я ‚х=(хьхо)Т Е Е?. Для задачи ее минимизации
на Е? имеем х. = (0,0)Т, /, =0,
243
10
Ге=х пед
}
о1
В качестве начального приближения х/ и матрицы Ну берем
Е
Хх =
о
Е
;
Н
=
1+е
0
“|0
1
.
1-=
Выбирая = близким к нулю, мы можем сделать нормы
сколь угодно малыми. Однако
20 =2! -^0 =-ны неа
1
о -х.
= ЛЖ )- (м)
и[Н, -(/”(х)
=жм-№ =20;
—1
4
= 20 — Но
= 20 — Ного
ен
1 }
Очевидно, что Ги =0, и мы даже не можем выполнить один шаг метода, несмотря на близость начального приближения к решению задачи.
Эти трудности можно преодолеть, рассматривая квазиньютоновские
методы ранга два. Кратко обсудим их вид. Пусть начальное приближение
хе ЕЁ" и матрица Ну размера и х п заданы, дальнейшие вычисления проводятся по формулам
Ньи =Нь+
где 2, = хин
хи = Х,- Нь/'(хь),
(2. - Ньир) а +4. (2. -Ньиь)Г _ и; @ь- Ну аа
хь и, =)
ату,
ту
‘
- Г(хЬ, а векторы 4, являются параметрами ме-
тода и на каждом шаге в зависимости от х‚, Н, выбираются каким-то определенным способом. Нетрудно убедиться, что такая формула дает матрицу
Н,‚, удовлетворяющую квазиньютоновскому условию (4.88), причем ранг
матрицы поправки ДЛ, = Н,.1 - Н, теперь окажется равным двум. Более
того, если матрица Н, была симметричной, то и матрица Н,,.,| тоже окажется симметричной.
Конкретными примерами
методов
ранга два являются метод Грин-
стадта, в котором берут 4, = у», и метод ВЕС$ (Бройдена — Флетчера —
Гольдфарба — Шанно), в котором полагают 4, = 2,. Достаточные условия их
сходимости описывает следующая теорема.
Теорема 4.19. Пусть функция /(х) и точка х. удовлетворяют условиям теоремы 4.17. Тогда методы ВЕС5 и Гринстадта локально и сверхлинейно сходятся к х., т.е. существуют такие :, 6 > 0, что из | —х. |< &,
|126 -(Р "(х.))1] = 6 вытекает
[ых]
п
>= |х,-х.
<0
|
Более глубоко познакомиться с теорией и примерами квазиньютоновских методов читатель может в работе [18].
244
4.8. Метод покоординатного спуска
В предыдущих параграфах мы рассмотрели методы, которые для своей
реализации требуют вычисления первых или вторых производных целевой функции. Однако в практических задачах нередко встречаются случаи,
когда либо эта функция не обладает нужной гладкостью, либо вычисление ее производных с нужной точностью является слишком трудоемким.
В таких случаях желательно иметь методы минимизации, для реализации
которых достаточно уметь вычислять лишь значения функции. Одним
из таких методов является метод покоординатного спуска.
4.8.1. Основная версия метода для задач без ограничений
Рассмотрим задачу минимизации функции общего вида на всем пространстве:
ИК) > шш,хе Х=Р".
(4.107)
Выберем в пространстве Е" некоторый базис {е;}"_/, например стандартный базис из единичных координатных векторов е;= (0, ..., 0, 1, 0, ..., 0), 1= 1,
2, ..., п, у которых 1-я координата равна единице, а все остальные координаты равны нулю. При реализации метода будет производиться циклический перебор этих базисных векторов, поэтому для удобства описания итерационного процесса (теоретически бесконечного) выстроим их в единую
бесконечную последовательность
Ро=е, Ра=е» -., Ри =» Ри=е Рим = >, --, Ро
=е„Рэи=е4,...
(4.108)
Перед запуском метода выбирается некоторая стартовая точка хуЕ Ё",
стартовый шаг 0% > 0 и коэффициент дробления шага Л.Е (0; 1). Допустим,
что на А-й итерации найдено А-е приближение х, и текущее значение шага
равно ©и,> 0. Для определения очередного приближения выполняются следующие действия. Берется базисный вектор р, и вычисляется значение
функции в точке х = х,+ ар,. Проверяется условие:
если (хь+ ор) < К(хь), то Хы = ь+ бурь Оу = 04
(4.109)
и процесс продолжается из точки ‚+1 со следующим по порядку базисным
направлением р, 1. Если К(х,+ ор, > /(х»), то вычисляется значение функции в противоположной точке х = х,- ор,. Проверяется условие:
если (ху — бурь) < Ххь), то хыы= д,- бурь +1 = 0
(4.110)
и переходим к следующей итерации с очередным базисным вектором ру.1.
Будем называть (А + 1)-ю итерацию удачной, если переход от х, к хь+1 произошел по одному из условий (4.109) или (4.110) и сопровождался строгим
убыванием значения функции. Если же ((х,- оир,) > Кх,), т.е. нарушены
оба условия (4.109) и (4.110), назовем (А + 1)-ю итерацию неудачной. Дальнейшие действия зависят от предыстории. В процессе вычислений ведется
подсчет числа неудачных итераций, случившихся подряд. Если их общее
245
количество вместе с неудачей на текущем (# + 1)-м шаге еще не достигло
п, то полагают
Хы =Хь
би =0%
(4.111)
и переходят к очередному базисному направлению р,1. Если же все п - 1
итерации, предшествующие
неудаче, зафиксированной на (Ё+1)-м шаге,
также были неудачными, то производится дробление шага ©, с априорно
выбранным коэффициентом АЕ (0; 1):
ыы =ХьЬ
и = АО,
(4.112)
и проверка основных условий (4.109) и (4.110) продолжается на более мел-
кой сетке. Достаточные условия сходимости описанного варианта метода
покоординатного спуска содержит следующая теорема.
Теорема 4.20. Пусть функция /(х) выпукла на Е" и принадлежит
классу С"(Е"), а начальное приближение ху таково, что множество
М) = {хЕЁ": }(х)< }(ху)} ограничено. Тогда последовательность х,,
вырабатываемая методом (4.108)—(4.112), сходится и по функции,
и по аргументу:
Ша /б=Л,
трель Х.)=0.
(4.113)
Доказательство
Согласно теореме 1.3 имеем {, > —<о, Х, # ©. Из описания метода (4.108)—
(4.112) следует монотонность: (х,+1) < Кх,), Ё = 0, 1, ..., поэтому при всех
Е = 0, 1, ... Е М(ж) и существует [т Лаь)> }.
Покажем, что [т о, = 0, т.е. моментов дробления шага метода будет бес—>со
конечно много. Допустим противное: пусть последнее дробление состоялось на М№-м шаге, после чего процесс вычислений (бесконечный) продолжается с фиксированным шагом а, = оу= © > 0, Ё = М, М+ 1, .... Рассмотрим
в пространстве Ё" дискретную решетку (сетку) М. с одним и тем же равномерным шагом а > 0 по всем координатным направлениям и поместим
точку хм в один из ее узлов. Из описания метода покоординатного спуска
следует, что все следующие приближения х, являются узлами этой самой
решетки, т.е. ле М, М Ё> Ми остаются в пределах ограниченного множества М(ж), в котором может находиться лишь конечное число узлов сетки
М.. Но при перемещении по конечному множеству узлов невозможно бес-
конечное число раз наблюдать строгое убывание значений функции, без
которого обязательно произошло бы дробление шага. Полученное противоречие показывает, что процесс дробления 0%, бесконечен и ши о, =0.
—оо
Пусть А, < А›< ...<Ё.<... — номера тех итераций, на которых длина шага
0’, дробится. В соответствии с описанной процедурой (4.108)—(4.112) этим
дроблениям предшествуют серии ровно из 7 неудачных итераций по всем
базисным направлениям:
баь, +04, е;)> (хь,), Л(жь фи е;)> Иа, ), 1=Ъ2,... (4.114)
246
Из последовательности точек х„„, принадлежащих ограниченному множеству М(ж), можно выбрать сходящуюся подпоследовательность. Без
умаления общности можем считать, что сама последовательность {ху} сходится к некоторой точке х„. С помощью формулы конечных приращений
из неравенств (4.114) для всех 1 = 1, 2, ... имеем
(Г/аь +е оц, вр), еси, >0, (/(хь, лье), е-ц,)>0
(4.115)
при некоторых 6+, 0, Е [0; 1], т = 1, 2, .... Поделим неравенства (4.115) на
о, >0, после чего перейдем в них к пределу при т — <. С учетом условия
Г’) Е С(Ё”) непрерывности градиента, ограниченности значений 6+ и схо-
димости ©, — 0 получим соотношения
(Р(х.),е)>0,
(Ра), в) 50, 1=1,2,..п.
Так как {е;}"| — базис в Е", то отсюда следует, что /*(х.) = 0, а поскольку
функция /(х) выпукла, то точка х. является одной из точек минимума:
х. Е Х,. Получается, что подпоследовательность {х,„„} является минимизирующей: Пт, Л(хь,
) = (а)= Г. Отсюда и из монотонности последовательности {/(х,)} следует, что минимизирующей является и вся последовательность {х,}: [Ш Г») =», те. первое из утверждений (4.113) доказано.
><
Второе утверждение о сходимости по аргументу по теореме 1.3 следует
из сходимости по функции
доказана. №
и ограниченности множества М(х). Теорема
Заметим, что при реализации описанного варианта метода покоординатного спуска не используются значения градиентов минимизируемой функции, однако в условии теоремы 4.20 присутствует требование гладкости
этой функции. Приведем пример, показывающий, что при отсутствии гладкости без усиления остальных условий теоремы 4.20 сходимость метода
покоординатного спуска гарантировать нельзя.
Пример 4.4
Рассмотрим двумерную задачу минимизации
Ки) =(х-1)+(у-1+2х-У-тн,
и=(хуЕР?.
Функция / непрерывна, сильно выпукла, ограничена снизу на всем пространстве Р?,
достигает своей нижней грани /. = 0 вединственной точке и, = (х, = 1, у, =1) и на прямой у = х не является дифференцируемой. Нетрудно проверить, что при выборе в Е?
стандартных базисных направлений е, = (1, 0),е›= (0, 1) в случае запуска метода покоординатного спуска из начала координат 4 = (0; 0) независимо от выбора стартового
шага © > 0 процесс зациклится в начальной точке: и, = щ = (0; 0), А = 1,2, ..., и сходимости к решению задачи минимизации не будет ни по функции, ни по аргументу:
(и, )-
=
Л(щ)-
№ =2,
[и
-и. Ни -\
| 2,
Е=1,2.....
4.8.2. Другие варианты метода покоординатного спуска
Описанный
выше
вать для решения
метод
покоординатного
задач минимизации
спуска
на выпуклых
нетрудно
замкнутых
адаптиромножествах
247
Хс ЕР несложной структуры с непустой внутренностью т Х # ©. Рассмотрим для примера задачу минимизации на параллелепипеде:
а)
гдеа,
тт,
хЕХ={х=(51,..,
х”)еЕ Е": аа <<,
1=1,..,п},
(4.116)
6; — заданные числа, а;<В,1=1, ..., п. Пусть на А-й итерации найдено
очередное приближение х, Е Х
с шагом 0, > 0 и выбрано очередное базис-
ное направление р,. Проверяется условие:
если х, + р, Е ХиКх, + р, < Кх,), то хи = хь+ бурь Они = 0. (4.117)
Если хотя бы одно из двух условий (4.117) нарушено, организуется про-
верка противоположной точки х,-— ру:
если х,— рьЕ Хи (х, — ор, < Кхь), то ха = Хь — бурь
1 = 0. (4.118)
Если нарушены и условия (4.117), и условия (4.118), то (Ё + 1)-я итерация считается неудачной и дальнейшие вычисления выполняются по правилам (4.111), (4.112), (4.117), (4.118). Сформулируем утверждение о сходимости описанного процесса. Его доказательство можно найти в работе
[12].
Теорема 4.21. Пусть функция /(х) выпукла на множестве Хвида (4.116)
и принадлежит классу С"(Х). Тогда при любом выборе начального приближения ху Е Х и стартового шага 0 > 0 последовательность х,, вырабатываемая методом (4.111), (4.112), (4.117), (4.118), сходится к решению
задачи (4.116) и по функции, и по аргументу:
[о Л (х,) = [+ = ШЕЕ Д(х),
>
хеХ
Шо р(х,,Х.)=0.
и ы
Существуют и другие варианты метода покоординатного спуска. Так,
вместо стандартного базиса из единичных координатных векторов, который использовался в формуле (4.108), можно взять в ЕЁ" произвольный
базис {е;}"/, не обязательно ортонормированный. При этом останутся
в силе утверждения обеих теорем 4.20 и 4.21, правда, «покоординатным
спуском» соответствующий итерационный процесс можно будет назвать
с некоторой натяжкой. Кстати, если в примере 4.3 с негладкой функцией
(2) в качестве базисных направлений вместо стандартных координатных
взять векторы е! = (1, 1), е›= (-1, 1), то из того же самого начального при-
ближения 1 = (0; 0) для любого стартового шага оц) > 0 последовательность
{х‚} будет сходиться к решению задачи.
Вместо процедуры дробления для определения значения шага ©, можно,
как и в методе скорейшего спуска, решать вспомогательную задачу одномерной минимизации типа (4.16):
©, = агвтит &,(0),
в, (о)= 1 (хь +орь),
(4.119)
—°<0<+о
и в качестве следующего приближения брать точку
Хьы
248
= м, +0,
В=0, 1,... .
(4.120)
Этот подход эффективен в тех случаях, когда задачу (4.119) можно
решиь явно, в частности в случае сильно выпуклых квадратичных функций вида
7 со-(Ах х)-—(Ь,х),
(4.121)
где А — симметричная положительно определенная матрица размера п Хх п,
ре РЁ". Заметим, что для таких функций метод (4.119), (4.120) превращатеся в хорошо известный из линейной алгебры итерационный метод Зейде-
ля [6], которым в данном случае решается система линейных алгебраических уравнений /"(х) = Ах-Ь = 0.
Хотя скорость сходимости метода покоординатного спуска, вообще
говоря, невысокая, благодаря простоте каждой итерации и скромным требованиям к гладкости минимизируемой функции этот метод довольно
широко применяется на практике. Существуют и другие методы минимизации, использующие лишь значения функции и не требующие для своей
реализации вычисления производных. Например, используя вместо производных их разностные аппроксимации, можно построить модификации
методов, описанных в предыдущих параграфах, при реализации которых
будут задействованы лишь значения функции в подходящим образом
выбранных точках. Другой подход для минимизации негладких функций,
основанный лишь на вычислении значений функции, дает метод покрытия,
который будет рассмотрен ниже в параграфе 4.9.
4.9. Метод покрытия для функции многих переменных
Опишем еще один метод минимизации, основанный лишь на вычислении значений целевой функции без привлечения значений каких-либо ее
производных. Речь пойдет о методах покрытия, одномерный вариант которых был изложен в параграфе 4.1. Эти методы служат для минимизации
функций, удовлетворяющих условию Липшица. Заметим, что такие задачи
в общем случае являются многоэкстремальными, т.е. в них могут существовать точки локального минимума, отличные от точек глобального минимума. Большинство методов, описанных выше в этой главе, при их применении к многоэкстремальным задачам скорее всего нам помогут найти
лишь какую-либо точку локального минимума, расположенную поблизости от начальной точки. Поэтому эти методы часто называют локальными
методами. На практике для решения многоэкстремальных задач локальные
методы обычно используются следующим образом: на множестве задают
некоторую сетку точек и, выбирая в качестве начального приближения
точки этой сетки, с помощью того или иного локального метода находят
локальные минимумы функции, а затем, сравнивая полученные результаты, определяют ее глобальный минимум. Однако ясно, что такой подход
к решению многоэкстремальных задач весьма трудоемок и не всегда приводит к цели. Поэтому представляют большой интерес методы поиска глобального минимума в многоэкстремальных задачах.
249
Перейдем к изложению одного из методов покрытия, которые служат
для решения многоэкстремальных задач с целевой функцией, удовлетворяющей условию Липшица. Ограничимся рассмотрением задачи минимизации на параллелепипеде:
а)
тт,
хЕП={х=(^1,..,х”): а)
х'<5,,1=1,...п},
(4.122)
где а, 5; — заданные числа, а; < 6, а функция /(х) удовлетворяет условию
|)
- 4] Цк-У. Ух уе,
где Г, = соп$ > 0, |
У. = пах]
(4.123)
— и | В правой части неравенства (4.123)
можно было поставить любую другую норму |х- У
1 <р < +=, например
евклидову норму [х - У как это мы неоднократно делали выше, когда требовали выполнения условия Липшица от функции или ее производных.
В силу эквивалентности норм в Ё" условие Липшица в любой норме может
быть сведено к виду (4.123). А норма [х - У]. здесь привлекает нас тем, что
такие множества, как параллелепипед, куб, удобно описывать с помощью
именно такой нормы. Так, например,
множество
{хе Е": [х-ж |, <1/2} = {хе Е": | =] < 1/2, 1=1,. п}
представляет собой куб с центром в точке ху, ребром длины Й и с гранями, параллельными осям координат. Именно такими кубами мы будем покрывать параллелепипед П. Кроме того, использование нормы |||. позволит
нам изложить многомерный вариант метода покрытия для решения задачи
(4.122) так же просто, как в одномерном случае.
На параллелепипеде П введем многомерную сетку Пу, состоящую из совокупности точек вида х,_; = (= , х
ЖА
^
хр ), /-я координата х/ кото7
7
рых при каждом / = 1, ..., и образована по правилу (ср. с параграфом 4.1):
х| =а, +, д =
ху
+
их
=х/ +Й,...,
=! + (т;-2)1, Хх, =ши(х + (т; -1)8;,},
2
где
й = т
..
—
шаг
метода,
а натуральное
число
т;
определяется
двоиным
не-
Е
.
,
равенством х/ | <5; -55 х{ +(т; - 01. В качестве приближения нижней
1
грани /, в задаче (4.122) можно взять величину пи
р (х,.„)= Е, которую
можно найти с помощью простого перебора всех значений функции /(х)
по точкам сетки П,. Имеет место следующая теорема.
Теорема 4.22. Для любой функции К(х), удовлетворяющей условию
(4.123), справедлива оценка
ЕЕ <Д+Е.
250
(4.124)
Доказательство
Кубы П;_;„={хЕЕ" хх,
„т |
| <й/2} с центрами х,_;‚
ЕП) покрый
вают весь параллелепипед П. Это означает, что для любой точки хе Пнайдется куб П; .„, содержащий эту точку. Отсюда и из условия (4.123) имеем
Иод» Лец.) иж, |. >В.-Б2=В,-е УхеП
Переходя здесь к нижней грани похЕ П, приходим к оценке (4.124). №
Метод простого перебора предполагает, что в каждой точке сетки П,
вычислены
значения
функции /(х), которые
в определенном
порядке
перебираются с целью определения величины Ё,. Однако, как и в одномерном случае, нетрудно указать более эффективные способы определения величины Ё,, которые, вообще говоря, не предполагают вычисления
значений функции /(х) во всех точках сетки П, и перебора всех точек этой
сетки.
Опишем
один из таких методов последовательного перебора. На пер-
вом шаге выбирается произвольная точка 91 Е П,, вычисляется значение
Лол) и полагается Ё! = Ки1). Допустим, что в точках 91, 9», ..., о, сетки Пу
уже
вычислены
значения
функции (1),
..., /(9,) и найдена
величина
Е = пи /(0;) = шицЕ,1; (0), Е > 2. Через о, обозначим ту из точек
01, ..., Оь в которой ЕЁ, = / (5, ). Далее возьмем любую из точек 9,1 Е Пи, кото-
рая в предыдущих шагах не исключалась из рассмотрения и в которой еще
не вычислялось значение функции /(х). Вычислим значение /(9,..1) и величину Е, = пщ{Е,; /(9,.1)} = ‚пил . Г). Имеются две возможности: либо
Ен = Сон) < Е» либо ЕЁ,
полагаем
о, 1 = др
= Ё, < (0,1). В первом случае, когда Ё,.1 < Ё»
И ИЗ дальнейшего
перебора
исключаем
точку
о,
и вме-
сте с нею все точки х,‚_; т ЕП,, для которых
[5
„-5,|5 пы.
(4.125)
Заметим, что некоторые из этих точек могли оказаться исключенными
из перебора уже на предыдущих шагах. Для нас важно лишь то, что среди
исключенных точек заведомо нет таких, в которых значение функции /(х)
было бы меньше, чем Ё,.1. В самом деле, справедливо /(о, ) = Е, > Е‚.1. Для
остальных исключенных точек х‚ _;, не зная значения /(х;
_; ), можем сказать, что
Ла, )-Выа=Л (а. )-Ло,)+Е-Ещм> И,
-9, |+
—Ёи20
в силу соотношений (4.123) и (4.125). Рассмотрим вторую возможность:
Ен = Е, < Кон). Тогда полагаем 9, =0,, и из дальнейшего перебора исключаем точку 9! вместе с точками х,‚_; ЕП), для которых
[5
— +
| </@ы)-В,
1,
(4.126)
251
Нетрудно убедиться, что и в этом случае в исключенных точках значения функции не могут быть меньше РЁ, 1. Действительно, здесь
Л
„Вы = Л (а
2 =;
=
.„)- Леа) + Ла) -Е, >
| + Ла)
-Ё, 20
в силу соотношений (4.123) и (4.126). Общий шаг метода описан.
Так как на каждом шаге метода берется новая точка сетки Пу, которая еще не исключалась из перебора и в которой значение функции /(х)
еще не вычислялось, то ясно, что на каком-то шаге описанного процесса
перебора такая новая точка не найдется и процесс закончится за № шагов,
№ < т! -т»-...т„, перебором точек в, ..., ом сетки ЦП, и определением величины Ё)\ = пит Го)= пит (х,.„)=Е,. В силу теоремы 4.22 величина Ё,
удовлетворяет неравенствам (4.124).
Как и в одномерном случае, нетрудно привести примеры, когда изложенный метод покрытия может превратиться в метод простого перебора
точек сетки Пу. В то же время ясно, что если величины Ё, — Ё»-+1, /(9р+1) — №
в формулах (4.125), (4.126) достаточно большие, то многие точки сетки Пу
будут исключены из перебора без вычисления в них значения функции.
4.10.* Метод модифицированных функций Лагранжа
Рассмотрим задачу
(хх) шш,
Х=
{х Е Х
= Е":
&1(х) 5 0, ..
&„(х)
ХЕХ,
5 0; 81
(4.127)
(Хх) = 0, ..
Вт
(Хх)
= 0},
где /(х), =1(х), ..., и..(х) — заданные функции, определенные на множестве
Ху. Пусть / > —<°, Х, * ©. Для выпуклой задачи (4.127) при различных дополнительных предположениях в параграфе 3.4 было установлено, что найдутся множители Лагранжа
№ = (0, )ЕЛЬ=
Е Е": >0,...Аи>0}
такие, что пара (х», ^^), где х, Е Х., образует седловую точку нормальной
функции Лагранжа
Их, ^) = /()+ У
=
я, (а),
ХЕХу, ЛЕЛ,,
(4.128)
т.е.
Цх.,
№) < Цх.. №) = < Цх,^") ЧхеХ,, ЧАЕЛ.
= (4.129)
Была также доказана справедливость обратного утверждения: если
(х., №)
Хух
Л, является седловой точкой функции (4.128), то х, Е Х..
Основываясь на этих фактах, можно предложить различные методы
решения задачи (4.127), сводящиеся к поиску седловой точки функции
Лагранжа. Например, здесь естественным образом напрашивается итераци252
онный процесс, представляющий собой метод проекции градиента по каждой из переменных х и / (спуск по переменной х и подъем — по Л):
хи
1
= Рх,ж (ж- в
0%[и (хь,
(Хь, Аь)) Мь),
[а (хь, Аь)) = Ру (Аь + ОЕ (хь)),
Аьы = Ро Ав +
—
О...
(4.130)
где
Г. (х, ^) = (Г
Г) (х, ^)= (Г), (х, ^), “о С
(х,^), ..., Гл (х,^)),
т+5
(х, ^)) = (1(х), 2 8т+$ (х))= &(х);
длину шага оу, в процессе (4.130) можно выбирать из тех же соображений,
как это делалось выше в параграфе 4.2. Заметим, что проекция любой точки
^е Е"* на множество Лу вычисляется явно по формуле Р\, (^) = (в4,.. „ить,
где
и; = тах{^.;
0}, 1=1,..,т;
Однако
покажем
этот метод может
на несложном
щ=А,
не сходиться
1=т+Ъ...т+$.
к решению
исходной
задачи, что
примере.
СИ
Пусть Кл) =0, Х={хЕЁ!:
задачи имеет вид
#1(х) =х< 0}. Нормальная функция Лагранжа этой
Их, ^)=х^,
хЕХ =ЁЕ\, АЕЛу=[0; +95).
У нее на Хух Л, есть единственная седловая точка (л+,^») = (0;0). Запишем уравнения процесса (4.130):
ЖЖ
-
иль,
Ма=
№
+0 ,Хь,
#=0,
1,... .
Но тогда
2
2 — (2 (2422
2
2492
жа+Ан=
+22) +92)>
х2+№,
Ь—
Е=0,1,...,
поэтому вне зависимости от выбора начального приближения (ху, Ло) * 0 и длины
шага 0, > 0 процесс расходится.
Пример 4.5 иллюстрирует, что попытка напрямую использовать
для поиска седловой точки функции Лагранжа изложенные выше методы,
пригодные для решения задач оптимизации, может оказаться неудачной.
Дело в том, что функция Лагранжа (4.128) по переменной 1 не очень хорошо
«устроена». Чтобы преодолеть возникающие здесь трудности, можно попытаться видоизменить функцию Лагранжа, строить так называемые модифицированные функции Лагранжа, которые имеют то же множество седловых
точек, что и функция (4.128), но при этом обладают лучшими свойствами.
Такие функции, оказывается, существуют и могут быть использованы как
для поиска седловой точки функции (4.128), так и для решения задачи
(4.127). Мы рассмотрим один из возможных здесь подходов.
Ограничимся рассмотрением следующей задачи:
Их)
тт,
хеЕХ=(хЕХ, С Е": (х)<0,...8и(х)<0},
(4.131)
253
где /(х), =(х) = (=\(х), ..., в.(х)) — заданные функции класса С(Ху). Для
сокращения записи мы будем пользоваться векторными неравенствами:
если ае Е", то запись а > (<)
0 означает, что а; > (<) 0,1=1, ..., т, неравен-
ство а > (<) В для а, БЕ Е” будем трактовать как неравенство а - 6 > (<) 0.
Например,
с учетом этих обозначений
систему неравенств &1(х) <
0, ...,
=„(лх) < 0 можно записать в виде &(х) < 0.
Наряду с классической функцией Лагранжа задачи (4.131)
Кх,^) = /(х)+(8(х),^), хЕХ,, ЛЕЛ = {Л ЕЕ": ).>0} = Ет (4.132)
рассмотрим следующую модифицированную функцию Лагранжа:
+ АВ
М(х,^)= еда
(4.133)
МР
| -
переменных хЕ Ху, ЛЕ Лу, где А — произвольная фиксированная положительная константа; в формуле (4.133) принято обозначение
а+ = Рет (а)=(а!,..а#+),
а# =шаж{а;; 0},
1=1,..,т,
(4.134)
— проекция точки а Е Е" на положительный ортант Е”.
Нетрудно видеть, что функция Ф(2?) = (тах{2; 0})? = (2+)? одной переменной непрерывно дифференцируема на всей числовой оси Ё!, причем
ф’(2) = 2тах{2;0} = 22*.
Отсюда следует, что если /(х), &(х) Е С(Ху), то функция (4.133) непрерывно дифференцируема по х и А, причем
М,(х,^.) = (к) +[в”(х))
т + Ах),
Му (а) =
,
1
д8!(х)
где =’(х)=
дм
...
ХЕХ, ЛЕЛ,,
(4.135)
— матрица Якоби размера т х
и, у кото-
д8!(х)
“дд
...
...
д8=(х)
д»
+ АЕ)М,
д8"(х)
“
ддт
рой в -й строке, /-м столбце стоит число в, (х)= 98,
р х)
=1,...т,]= 1, ... п,
а матрица (=”(х))` получена транспонированием &”(х). Далее, пользуясь
теоремами 3.8, 3.9 и следствиями из них, нетрудно показать, что если Ху —
выпуклое множество и функции /(х), &1(х), ..., &и(х) выпуклы на Ху, то
функция М(х, А) выпукла по переменной х на множестве Ху при любом
фиксированном ЛЕ ЛА.
Отметим также, хотя это ниже явно не будет использовано, что функция М(х, Л) является вогнутой по переменной ^, на множестве Лу = Е"
при любом фиксированном х Е Ху — в этом проще всего убедиться, доказав неравенство (М, (х,^)- М» (х, и), ^-в) < 0 для всех А, пЕ Лу и затем
воспользовавшись теоремой 3.1.
254
Перейдем к описанию метода решения задачи (4.131), использующего
функцию М(х, Л). В качестве начального приближения возьмем любые
точки 0
Ху, №Е Ло. Пусть Ё-е приближение х, Е Ху, + Е Лу уже известно.
Составим функцию
Фи
=
Е -ы +оМ( ^,), хЕХ,
(4.136)
где а, — некоторое положительное число, являющееся параметром метода.
Предположим, что существует точка о,, удовлетворяющая условиям
9, ЕХу,
Фор)
= пп
Ф,(х).
(4.137)
В качестве следующего приближения примем х,,| = 9». После этого приближение Л, находится по формуле
ыы =О%+ Ави)".
(4.138)
Описанный метод (4.137), (4.138) кратко будем называть методом модифицированных функций Лагранжа. Для исследования его сходимости нам
понадобятся некоторые свойства функции а*, определенной равенствами
(4.134). Из теоремы 3.16 следует, что
[@+-5+|<[а-
Ча, ЕЕ”.
(4.139)
Далее, система соотношений
&=(54,...6т)<0, ^=(№м,...Аи)>0, №8; =0,
1=1,...т,
(4.140)
эквивалентна равенству
^=(^+Ав)+
(4.141)
при любых постоянных А > 0. В самом деле, если выполняются соотношения (4.140), то для каждого 1 =
1, ..., т либо в; = 0, Л, > 0, либо ^, = 0, &,;< 0.
В каждом из этих случаев, очевидно, равенство (4.141) верно. Таким образом, из равенства (4.140) следует равенство (4.141). Докажем обратное.
Пусть имеет место равенство (4.141). Распишем его покоординатно:
^.
= (Л;
+ Ав;
+
= тах{л,
Отсюда ясно, что А, > 0 при всех 1 =
+А5;; 0},
1 = 1,
.... Т.
1, ..., т, т.е. А, > 0. Если при каком-то
ТЕ {1, ..., т} №, = 0, то Ал; = 0 и, кроме того, 0 = (0+ Аз,)*, откуда следует
&,< 0. Если А, > 0, то 0 <^, = (^. + Ав,)+, что возможно лишь при 8; = 0. Итак,
№8; = 0,1=1,..., т, & < 0. Эквивалентность равенств (4.140) и (4.141) доказана.
Далее, пользуясь определением (4.134) функции а*, нетрудно получить,
что для любых а, БЕ Ет
(а+,а)=(а*,а*),
откуда
(а*,5)<(а*,Ь*),
вытекает
255
{а+*-Ь+, а-5)=(а*,а)+(5+,6)-—(а+,5)-(5+,а)>
>(а*,а*)+(6+,5+)-(а+,
6+) -—(Ь+, а+)=(а*-В+, а*-5*),
т.е.
(а*-В+, а-)>(а*-5+,а*-6+) =|[а+ -ЫР
Теорема
4.23. Пусть
Ху
— выпуклое
УаБеЕЕ".
замкнутое
(4.142)
множество
из РЁ”,
заданные функции Кх), в!(х), .., вт(х) класса С'(Ху) выпуклы на Ху,
[+ >-—, Х. *@, функция Лагранжа (4.132) имеет хотя бы одну седловую
точку (х., №) Е Хух Лу в смысле неравенств (4.129). Тогда последовательность {(хь, ^,)}, получаемая методом (4.137), (4.138) при любом выборе
начального приближения (ху, №) Е Хух Лу и любых фиксированных пара-
метрах © > 0, А > 0, существует и сходится к некоторой седловой точке
функции Лагранжа (4.132).
Доказательство
При сделанных предположениях функция М(х, ^.) выпукла по перемен-
нойхЕ Ху при всех АЕ Лу, А > 0, поэтому при любых х, Е Ху, №Е Леа > 0,
А>0 функция Ф‚(х), определяемая формулой (4.136), сильно выпукла на Ху
с константой сильной выпуклости х= 1. Отсюда и из теоремы 3.11 следует,
что точка 9, = х»,1, удовлетворяющая условиям (4.137), существует и определяется однозначно. Таким образом, при выполнении условий теоремы
последовательность {(х»„, ^,)} существует и имеются достаточно эффективные способы реализации каждой итерации метода (4.137), (4.138).
Возьмем произвольную седловую точку (х», А+) е Хо хЛу функции
(4.132). Согласно лемме 3.4 ее существование эквивалентно соотношениям
(1’(х.) + (в (т
№, х-х.)>20
УхеЕХу;
(4.143)
Е(х.)<0, № >0, №8. (х.)=0, =1,..т.
(4.144)
В силу эквивалентности соотношений (4.140), (4.141), условия (4.144)
можно переписать в следующей равносильной форме:
№ =(№+Ав(х,))+.
(4.145)
Из сотношения (4.143) с учетом равенства (4.145) имеем
(1’(х.)+ (в (хх. (м + Ав(х.))+, х-х.)>0
УхЕХу.
(4.146)
Далее, из условия (4.137) и теоремы 3.4 следует, что
(Фи), х-хьа)>0
УхЕХу.
Отсюда с учетом формулы (4.135) получим
(хр — хх)
+0”)
УхеЕ
(Мь + Ав(хьи), хх)
Ху.
>0
4.147
(
Примем в формуле (4.146) х = х,+, Ё = 0, 1, ..., умножим полученные
неравенства на ©» > 0 и сложим с неравенством (4.147) при х = х.. Это даст
нам соотношения
256
)
(жыы — хр +0
(ыы) - Л (хь)), х, ф Хы) +
))т О + Авсеьы))* — цв’ (к.))т (А + Ав(х.))+, хь — Хы) > 0.
Кока”
Отсюда для всех # = 0, 1, ... имеем
(Хы
—жь \+- Хы)
>
«(Л
+ Ав(х,ы))*,
и)
—0( (^^ + Ав(х.))+, в’ (х. (хи - ху +’)
= х.)) =
- Г’), хи -х+).
(4.148)
Так как функции /(х), &(х) выпуклы, то согласно теореме 3.1
(хи
Сы
) = Гы),
= х.) >
(хи)
Хаб х.) > 0;
= &(х.)
> 8" (х. (Хы
= х.).
Отсюда и из неравенства (4.148) следует
(мы — Жь + — ыы) > ОК
+ АВ)
— ("+ АВС), ии)
(4 +Ав(хыи))* — ("+ Ав(х.))+, (+ Ава)
№)
В(.)) =
+ Ав(х,))№).
К правой части этой оценки применим неравенство (4.142). С учетом
формулы (4.138), определяющей точку А,1, и равенства (4.145) получим
(аж я, зы) 2 (в + АвСты
- 0" + Ав(х.+ [Ол + Авныа) —
ыы Ем
+")
1-Х + Ав(а.))*
ыы НМА),
>
#=0,1,...
Т.е.
(ии-хьХх. ыы
откуда,
воспользовавшись
Ав)
>0, #=0,1,...
тождеством
(4.149)
Жа-в,с-а)=|6-4 —а-ЫР -[с-аР,
справедливым
странства,
для любых
векторов а, В, с из произвольного
евклидова про-
находим
[+ — М»
2 +
_^*
"> [ее
- ж[ +
+ фы- м ыы
#—0,1,...
— (4.150)
,
Суммируя эти неравенства по # от 0 до произвольного №, получим
1 [вы-иР
+ ры- м <
М
[м
— ^^
2 +
_^"
«ро
+
2
(4.151)
257
Это значит, что ряды
у |, +1 -ж
И у | и-Аь р сходятся, и поэтому
#=0
#=0
ыы 28| =0, ты
= А =0.
(4.152)
Кроме того, из соотношения (4.151) следует, что последовательности
{х,}, {^»} ограничены, значит, по теореме Больцано — Вейерштрасса из них
можно выделить подпоследовательности {х, }, {^,}, сходящиеся к некоторым точкам 9, Е Е", и" Е Е". Тогда в силу равенств (4.152) последовательности {ху +1}, {Ль 1} также сходятся к тем же точкам.
Переходя в формуле (4.138) к пределу при # =
А; —> ®, получим
ы* =(ы" + Ае(о,))+. В силу соотношений (4.140), (4.141) это равенство эквивалентно соотношениям
2(0.)<0, и" >0, п; 8; (&)=0,
1=1,..., т.
(4.153)
Далее, переходя к пределу при # = А, > со в неравенстве (4.147), получим
(о () + ока"
(в. ))Г и", х-)>0
УхЕХу,
или, что равносильно
(Г. (9, м), х-)>0
УхЕХу.
Отсюда в силу теоремы 3.4 имеем
Ко, и”) < Кх, и") УхЕ Ху.
(4.154)
Из формул (4.153), (4.154) и леммы 3.3 следует, что (4, и”) — седловая
точка функции Г(х, ^.). Неравенство (4.150), справедливое для всех седловых точек (х., А”), будет верным и для точки (5., и"), что дает нам
ок
ны
— 9+
ыы
— с: Пе
ы
2 > [кн
А
>
Это значит, что последовательность |
[+
—ы"|,
— в.
*
2
а
+
ыы жа +
2=0,1,....
-в
.
2
МОНОТОННАа.
У нее есть подпоследовательность с номерами # = #,, которая сходится
к нулю. Следовательно, и сама она монотонно стремится к нулю. Таким
образом, последовательность (х», А»), полученная методом (4.137), (4.138),
сходится к седловой точке (,, и"), так что последовательность {х,} сходится
к 9, — решению задачи (4.131) (теорема 3.18). №
Метод модифицированных функций Лагранжа мы изложили в предположении, что задача минимизации
(4.137) решается точно. На практике,
конечно, приходится решать эту задачу приближенно. Например, точку
х,.1 можно определять из условий
Хьы Е Хо, Фу) < Е Ф,(х) +8},
где У, б, < =. Сходимость подобного метода изложена в работе [12].
1=0
258
4.11.* Экстраградиентный метод
Покажем, что, несколько усложнив схему градиентного метода, можно
получить сходящийся метод решения задач выпуклого программирования,
используя классическую нормальную функцию Лагранжа. Этот метод
будем называть экстраполяционным градиентным или, короче, экстраградиентным методом. В нем наряду с градиентными шагами будут присутствовать так называемые прогнозные шаги, что оправдывает присутствие
в названии этого метода слова «экстраполяционный».
4.11.1. Описание процесса
Рассмотрим задачу условной минимизации
1)
тт,
хЕХ={хЕ Ху: 21(х)<0,..., 2.(х)< 0},
(4.155)
где Ху — выпуклое замкнутое множество из Е", а &(х)=(&1(х),...вт(х))Т —
функция из С(Ху), 1 = 1, ..., т. Нормальная функция Лагранжа этой задачи
(е,^)= ад +0. 80), ХЕХ» ЛЕ
Она
имеет
= Е.
(4.156)
производные
9Г(х,^.)
и. _›,
9Г(х,^.) _›,
1 (х №) = (а)
+ Ата (х); ОА
=
(дл) = во,
дЕ!(х)
дЕ!(х)
д
^^
дд
...
...
..
где =’(х)=|
(4.157)
дв(х)
|, ХЕХу,
— матрица Якоби.
д(х)
д
“дд
Опишем один шаг экстраградиентного метода. Пусть начальное приближение (ху, Ло) Е Хух Л, задано. Для перехода от Ё-го приближения (х„, А»),
#> 0, к (Е +1)-му сначала делаем прогнозный шаг
ху = Ру, (х,— ВГ.(хь, Аь)) = Рхо (хь
-ВОСхь) +4 (д);
Ль=Р, (а +В, (ь, №) = Ру бл +ВЕСь)),
затем
ОСНОВНОЙ
(4.158)
4.158
шаг
за = РВ
№) = Ви
ВО
415
вы = Раз (№ +В (Я
№ь)) = Ру (№ +ВЕ(т,)),
где В > 0 — параметр метода. Запишем метод (4.158), (4.159) в кратком
виде. Для этого введем обозначения
_ (=) д.99 ьемо )_[Годчжтв
р
(а,
Е =ХхЛус
|
-в«
|
(4.160)
Е"*т.
259
Хх
Заметим,
что
оператор
проектирования
точки
.
2-|
на множество
1
вычисляется по формуле (см. упражнение 3.18)
Рух
Р‚г=|
*® |
7
[1]
Поэтому метод (4.158), (4.159) можем кратко записать так:
20 = (хи, №);
2, = Р.(2, -ВА2ь), 2.1 = (2, -ВАз,),
&=0,1,.... (4.161)
4.11.2. Сходимость экстраградиентного метода
Сходимость экстраградиентного метода (4.161) будем доказывать, пред-
полагая, что выполнены следующие условия [—-\:
Г. Множество Ху с Е" выпукло, замкнуто.
П. Функции /(х), &1(х), ..., е.(х) выпуклы и непрерывно дифференци-
руемы на Ху.
ПТ. Для любого ограниченного подмножества
существует постоянная М = М(Х)) > 0 такая, что
[воо-в= миф; |со-Л
[&’(^)- =)
м|к-9
Х,
множества
м
Ух, уЕХ,.
Ху
(4.162)
ГУ. Нормальная функция Лагранжа [(х, Л) (4.156) задачи (4.155) имеет
седловую точку $, =
Х»
»
ЕЙ, т.е.
*
[(х.,^)< ЦКх.,^.)<
Множество
через 5..
Кх,/.) ЧхеХу, ЛЕЛ=Ет.
(4.163)
всех седловых точек функции Г(х, ^) будем обозначать
Для формулировки условия У нам понадобится множество
в
х
е-ыа
Че!
г. -2|+|А2о|) = №},
(4.164)
х
где 20 = | и. 7 — начальная точка процесса (4.161), 2, — какая-либо сед0
ловая точка функции [(х, А).
Множество 5% (4.164) выпукло, замкнуто, ограничено, и на нем отображение А из (4.160) удовлетворяет условию Липшица с некоторой константой Го:
[Аг _ АУ] < Ц | - У
\У2, УЕ 50
(4.165)
— это вытекает из условия (4.162) при Х, = {хЕ Ху: [&-ж | <№}. Подчеркнем, что множество 7 = Хух Е” не ограничено и, как очевидно из формул
(4.160), отображение А не будет удовлетворять условию Липшица на 7.
260
Теперь можем сформулировать условие У.
У. Будем предполагать, что параметр В в методе (4.161) выбран из условия
1
1—1.
0 Вой
( 4.166 )
Теорема 4.24. Пусть выполнены условия 1—У. Тогда метод (4.161),
(4.166) при любом начальном приближении 2 Е 7 порождает последовательности {2,}, {2}, которые принадлежат множеству 5% из (4.164) и монох,
тонно сходятся к некоторой седловой точке $, = |
Е 50 Функции Лагранжа
(4.156) с первой компонентой Х. Е Х, являющейся решением задачи (4.155).
Для доказательства этой теоремы нам понадобятся следующие две леммы.
Лемма 4.2. Пусть выполнены условия 1, П. Тогда точка 5+ =
Х»*
»
из Х
будет седловой точкой функции (4.156) тогда и только тогда, когда выполняется неравенство
(А$.,2-5.)>0
\У2ЕЙ.
(4.167)
Доказательство
Функция Г(х, ^) выпукла по переменной х на Ху при каждом АЕ Ё,”,
вогнута (линейна) по переменной АЕ Е” при каждом хе Ху. Согласно тео-
реме 3.4 тогда правое и левое неравенства (4.163) соответственно выполняются тогда и только тогда, когда
([.(х. №), х-х.)>0
УхеЕХ;
(-Ц(х.М№М),А-М№)>0
УЛЕЕт.
Сложив эти неравенства, придем к формуле (4.167). №
Лемма 4.3. Пусть выполнены условия Т, П. Тогда отображение А
из (4.160) является монотонным, т.е.
(Аг-Ау,2-у)>0
\У2,уЕД.
(4.168)
Доказательство
Так как функция Г(х, А.) дифференцируема по х, А, выпукла по х, вогнута
по А, то в силу теоремы 3.1 имеем
(Г, (ж,^), х-у)> Их, ^)-КЦу,^);
(Г. (у, р), у-х)> Ку, р)- Их, р);
(№, ^-Р)> Кх, р)- Цх,^); {-Ц (у, р» р-^)> Циу,^)- Кур),
при всех х, ие Ху, А,рЕе Е". Сложив эти неравенства, получим
(Г. (х, №)-
(у, р), х-у)+(-[(х,^)-(-Ц (9, р)),^- р)>0,
что равносильно (4.168). №
Замечание 4.7. Выше мы уже встречались с монотонными отображения-
ми — это градиент выпуклой функции (теорема 3.1). Однако здесь отображение А из (4.160) в отличие от упомянутых случаев не является градиентом какой-либо функции.
Перейдем к доказательству теоремы.
261
Доказательство теоремы 4.24. Сначала убедимся, что последовательности {2}, {2,}, порождаемые методом (4.161), таковы, что
2, 25%, 2» Е 5%, |= — 5
Воспользуемся
методом
< |
5. Е5., В=0,1,....
— 5+
математической
индукции.
(4.169)
Заметим,
что
[№ -2|= |Р›(2о -ВАж)- Р/ (2) < |2, -ВАго -2|=В[А2| < К.
Отсюда и из формулы (4.164) очевидно, что при # = 0 соотношения
(4.169) выполнены. Сделаем индуктивное предположение: пусть соотношения (4.169) справедливы при некотором # > 0, и докажем, что они будут
выполняться для следующего номера Ё + 1.
Пользуясь характеристическим свойством проекции (теорема 3.15),
равенства (4.161) запишем в виде эквивалентных им неравенств
(2, —2
+ВАг,,2-2,)>0;
(1и-2.+ВА®,2-2.1)>0 У2ЕА, №=0,1,.
(4.170)
В первом неравенстве (4.170) возьмем 2 = 2..1, во втором 2 = $, и сложим
получившиеся неравенства. Тогда
(2. —2ь, 24 — 2%)
+ (2+1 — 2ь, + — 241)+
+ В(Аз,,
Пользуясь
2+1 —2,) +В(А2,,
тождеством
$* — 21)
(4.149), преобразуем
(4.171)
>0.
первые
два слагаемых
из неравенства (4.171):
_
_
(2% —2ь,24ы —2%) =
1
фены _ 24| =
_
_
2, Ё
1
(21 — 2ь, 5 2.) = 5 5 — 24| [ыы
ЕЛ Ру;
— 2% | - 5“ — 2ьы| >.
С учетом этого из неравенства (4.171) имеем
[вы
— 5+
2 < |2,
— 5+
2 [№
-2
|
-[ь
-2|
+
+28( Аг, — А, -2)+28(АФ, — Аз, 5. -2)+28( Аз», 5. -2,).
(4.172)
Из неравенств (4.167), (4.168) при 2 =2,, и = 5+ следует, что
(А5»,5-2,)<0;
(А2,-А$,,
5 -2,) < 0.
(4.173)
Кроме того, в силу индуктивного предположения (4.169) 2,,2, Е 5, поэтому в формуле (4.165) можем принять 2 = 2, И=2,. Тогда
_
_
_
(Азь- Абь ты — 2) < Цна
1.1
_
23 50 [2
1
+7
_
[ыы -2[.
Из неравенства (4.172) с учетом этого факта и соотношений (4.173),
(4.166), (4.169) имеем
|
—5* 2 < |= —5*
2+ (1+ Вь){2ь —2 р + ыы -2 |) <
< |2 — 5+ 2 <|= — 5+ 2
262
5. Е 5.
(4.174)
В частности, в соотношении (4.174) в качестве 5. можем взять седловую
точку 2, из определения (4.164) множества 5%. Тогда
2
[ыы
Во -2
— 2*
Следовательно,
[в -5| <
— 2.
+
2. -2|<2
2+ -2|< №.
(4.175)
Это значит, что 2,,1 Е 5%. Теперь в формуле (4.165) можем принять
2=2,., У=2Е 5%, что приведет к неравенству
[Азы — 420] < 1% [ыы 20|.
(4.176)
Напомним, что проекционное отображение обладает свойством нестрогой сжимаемости (теорема 3.16). Отсюда и из соотношений (4.161), (4.166),
(4.175)—(4.176) имеем
[Ра — 20 | = [|Р (2+1 —-ВА2ь 1) Р220 | < [а —ВА2ь.1 — 20 | <
< [ыы —ВА2ь,1 — 20 | < [ыы — 20 | + ВА
— А20 | + В[А2о | <
< (1+ Во)
= 2 |+В[Аж|< 42. - 2] +|А2о|
< В,
так что 2,.1 Е 5%. Таким образом, мы убедились, что соотношения (4.169)
справедливы для следующего номера А + 1 и, следовательно, для всех # = 0,
1, .... Индуктивное доказательство соотношений (4.169) закончено.
Из (4.169) следует, что неравенства (4.174) верны для всех # = 0, 1, ....
Суммируя их по Кот 0
до некоторого №, получим
"+ - Вл) в зЫ[ аь- ЗЫ)
М
[ма
5
2
‚
М=1,2....,
где (1 - Во) > 0 в силу (4.166). Это значит, что ряды У, |2 —2, р, У |2 н -2 |
#=0
сходятся, и поэтому
#=0
Пт [аё-2:=0, Шт [ыы —24|=0.
(4.177)
Последовательность {2,} Е 5% ограничена, и по теореме Больцано — Вейерштрасса из нее можно выделить подпоследовательность {2, }, сходящуюся к некоторой точке $, Е 5%. С учетом равенств (4.177) можно показать,
что подпоследовательности {2, }, {2+1} также сходятся к той же точке $».
Тогда, переходя в неравенствах (4.170) к пределу при # = #, —> °°, получим
,
({А$+, 2— $») > 0 при всех2е 7. В силу леммы 4.2 это значит, что $ =| = Е 5. —
*
седловая точка функции (4.156). Взяв в формуле (4.174) $5, = 5., придем
к неравенствам
#=0,1,...
| 2. -$|<|2.-$|,
|
Отсюда следует, что |2 — $,
0=
Ш
{о
|2, — $]
(4.178)
< |2 — $ | при всех # > А, и поэтому
<
ла
Е
[24
_ $
<=,
_ $
=0.
'
263
Это значит, что [Ш
|2. -5
= 0,
т.е. вся
последовательность
2, сходится
—>со
к седловой точке $, =
т
.
‚ причем, как очевидно из (4.178), эта сходимость
монотонная. Согласно теореме 3.18 точка Х. ЕХ и является решением
задачи 4.155. Теорема доказана.
№
Замечание 4.8. Величина К из определения (4.164) множества 5% и, следовательно, постоянная [4 из (4.165) зависят от седловой точки 2, и нам
неизвестны. Поэтому выбор параметра В из условия (4.166) не является
конструктивным и имеет скорее теоретическое значение. Тем не менее
условие (4.166) подсказывает нам, что если В выбрать достаточно малым,
то метод (4.161) будет сходиться. Это значит, что на практике величину
В можно получить дроблением какой-нибудь начальной величины Ву > 0
(например, Ву = 1) за конечное число шагов.
Упражнения
4.1. Найдите
явное выражение
для шага 0, метода скорейшего
спу-
ска (4.15), (4.16) для задачи минимизации квадратичной функции
Г (х)=Их-ЫР на всем пространстве Ё", где А — матрица размера т х п,
БЕ Е". Сформулируйте требования к матрице А, гарантирующие линейную
скорость сходимости вида (4.24), (4.25).
4.2. Примените метод скорейшего спуска для минимизации
функций
Ки) = х? + ау?, и = (ху) Е Р, и Ки) =? + у? + а22, и = (х,у,2) Е Е3, при различном выборе начального приближения и и в предположении, что коэффициент а > 1.
4.3. Примените метод штрафных функций к задаче условной минимизации
Ки) = х2+ у? > шт, и= (ху)Е Х= {(хуЕ
Р: х<0},
взяв в качестве штрафной функции Ф,(х, у) = 4? + у? + №(тах{х; 0})2, (х, у) Е
Е Е, Ё=1,2, ....
Убедитесь, что функции Ф/‚(х, у) при больших А становятся овражными
и градиентный метод, примененный к задаче Ф,(х, у) —> ши, (х, у) Е Р?,
может сходиться медленно. Покажите, что в исходной задаче нормальная
функция Лагранжа имеет седловую точку. Докажите, что исходная задача
имеет согласованную постановку.
4.4. Примените метод проекции градиента с постоянным шагом к следующей задаче условной минимизации в пространстве Е?:
аи) =(х-12+(у+1)? > шш,
и=(х,у)ЕХ=Е? ={(х, у): х>0,у>0]}.
Для этого найдите константу сильной выпуклости х функции (и), константу Липшица Г, ее градиента /”(и) и возьмите в качестве шага спуска
значение 0, = х[-2 из замечания 4.3. В качестве начального приближения
возьмите произвольную точку и = (л, И)Е Е?. Найдите следующие при264
ближения и,= (хь, И,), Е = 1, 2, .... Остановите процесс при первом попада-
нии и, в множество решений задачи 0..
4.5. Примените метод условного градиента (4.41)—(4.43) к следующей
задаче условной минимизации в пространстве Р?:
Г) =х?+2у?
> шш, иЕХ={и=(х,у)Е Е?:2<х<4, -1<у<1}.
В качестве начального приближения возьмите произвольную точку и =
= (ху, 0) Е Х
и найдите следующие приближения и, = (хь, у,), А =
1, 2, ...,
в случаях, когда уу < 0, ии =О0ииу> 0. Остановите процесс при первом попадании и, = (хь, у,) в множество решений задачи 0».
4.6. Примените классический метод Ньютона к задаче безусловной
минимизации в пространстве Е?:
Га =2х? -4ху+3у?-4х-2у>шш,
и=(хуЕХ=Р?.
Убедитесь, что он сойдется за один шаг к решению и. = (х. =4, у, =3)
этой задачи.
4.7. Примените классический метод Ньютона к
задаче условной мини-
мизации в пространстве Ё":
О =
192 +(х2)2 +..+ ("р -
- [(%1)? +(х2 -12 +(х3)2 +...+(х" 2] > шш,
хЕХ={х=(л!,...хп)Е Е": х!+х2 > 2}.
Взяв в качестве начального проближения ху = (2, 0, 0, ..., 0), сделайте
один шаг классического метода Ньютона, найдите следующее приближение
1.
4.8. Нарисуйте линии уровня /(х) = С = сопзё функции из примера 4.4
и дайте графическое объяснение причины расходимости основного варианта метода покоординатного спуска (4.108)—(4.112) при выборе начальных приближений вида и = (а, а), а = 1, находящихся на линии у = х разрыва производной.
4.9. Докажите, что в задаче минимизации квадратичной сильной выпу-
клой функции вида (4.121) на всем пространстве Ё" процесс (4.119), (4.120)
сходится из любого начального приближения ле Е".
Глава 5
ПРИНЦИП МАКСИМУМА ПОНТРЯГИНА
В этой главе рассматриваются задачи оптимального управления процессами, описываемыми системами обыкновенных дифференциальных
уравнений. Этот класс экстремальных задач существенно отличается
от рассмотренных выше: если в задачах минимизации функции конечного
числа переменных искомая точка минимума являлась точкой п-мерного
пространства, то в задачах оптимального управления искомая точка минимума представляет собой функцию, принадлежащую некоторому бесконечномерному функциональному пространству [29]. Такие задачи имеют
многочисленные приложения в механике космического полета, в вопросах
управления электроприводами, химическими или ядерными реакторами,
виброзащиты и т.д.
Эффективным средством исследования задач оптимального управления
является принцип максимума Понтрягина, представляющий собой необходимое условие оптимальности в таких задачах. Принцип максимума,
открытый коллективом российских математиков во главе с академиком
Л. С. Понтрягиным, представляет собой одно из крупных достижений
современной математики и является краеугольным камнем современной математической теории оптимального управления. Принцип максимума Понтрягина существенно обобщает и развивает основные результаты классического вариационного исчисления, созданного Л. Эйлером,
Ж. Л. Лагранжем и другими выдающимися математиками прошлого. Появление принципа максимума стимулировало последующее бурное развитие
теории экстремальных задач и методов их решения.
5/. Постановка задачи оптимального управления
5.1.1. Примеры постановок задач оптимального управления
Приведем несколько конкретных задач оптимального управления.
ТОВ
Движение плоского маятника, подвешенного к точке опоры при помощи жесткого
невесомого стержня (рис. 5.1), как известно, описывается уравнением
10+ 509+ тт0 = М(®),
где / — длина жесткого стержня маятника; т — масса, сосредоточенная в конце
стержня; / = тР — момент инерции; В > 0 — коэффициент демпфирования; & — гравитационная постоянная (ускорение силы тяжести); 0 = 0(т) — угол отклонения
стержня от точки устойчивого равновесия; т — время; М(т) — внешний управляю-
266
щий момент. Если сделать замену переменной & = т\утеИТ ‚ то это уравнение можно
привести к виду
ф+Вф+зтФ=и(0,
(5.1)
где
Обозначим х(#) =Ф(@) (угол отклонения маятника), х? (Е) = Ф(Е) (скорость маятника).
Тогда уравнение (5.1) запишется в виде системы двух уравнений первого порядка:
2(®=х2(г);
х2(®)=-Вх?(В-этх В+ и (О.
(5.2)
Пусть в начальный момент & = 0 маятник отклонился на угол х1(0)= 4 и имеет
начальную скорость х?(0)= хё. Будем также считать, что функция и(ё) (управляющий момент, выбор которого может влиять на движение маятника) удовлетворяет
ограничению
[м(]<у=соп$>0
\>0.
(5.3)
Для примера 5.1 возможны следующие постановки задач оптимального
управления: выбрать управление и(#), удовлетворяющее условиям (5.3),
так, чтобы:
1) за минимальное время Т остановить маятник в одной из точек устой-
чивого равновесия, т.е. добиться выполнения условий
д1(Г)=2т,
х2(Г)=0
(5.4)
при некотором А, А = 0, +1, ... (задача быстродействия);
2) за минимальное время Т добиться выполнения условия
(«ГУУ + (7 (Г)? <
где
> 0 — заданное число;
3)
к заданному
моменту
времени
(х1(Т))? +(х2(Г))Р,
Гат
пах 4
принимала
минимально
Т какая-либо
возможное
из величин
Тоту оу
пах
[52(#)}}
значение;
267
4) в заданный момент Т выполнялось равенство х2(Т) =
0, а величина
хКТ) была максимально возможной (задача о накоплении возмущений);
5) к заданному моменту Т добиться выполнения условий (5.4) и мини-
т
мизировать величину | и?(#)4 (условие (5.3) здесь может быть опущено).
0
Если колебание маятника ограничено какими-либо упорами, то в пере-
численных
задачах
нужно
еще
требовать
выполнения
[16] <и=соп$6>0
условия
вида
\ЁЕ>0.
На управление и() вместо условия (5.3) (или наряду с условием (5.3)
могут
накладываться
ограничения
вида
т
[и2(0аЕ < В = сопз > 0.
0
При изучении малых колебаний маятника часто полагают $1 = ф. Тогда
уравнение (5.1) и эквивалентная ему система (5.2) становятся линейными
и будут иметь вид
ф+Вф+Ф=иО
и, соответственно,
ХВ =х2();
Пример
х2(®=-Вх2(Ю-хКб-и(.
5.2
Как известно, движение центра масс космического аппарата и расход массы описывается системой дифференциальных уравнений
=,
ОР +Р, С=-ва,
О<ЕЗТ,
(5.5)
где # — время; 7 = 7(®) =(т(0, т›(®), т3(Е)) — радиус-вектор центра масс космического
аппарата; о = 5(#) = (91(@), и›(®), °3(@)) — скорость центра масс; С = С(® — текущий
вес космического аппарата; & — коэффициент пропорциональности между массой
и весом;р = р(® = (р(®, р»(#), з(6)) — вектор тяги двигателя; 4 = 4(6) — расход рабочего вещества; Ё = Ку, В = (Е, Е, Е) — вектор ускорения от гравитационных сил.
В каждый момент времени #& движение космического аппарата характеризуется
величинами 7(#), о(#), С(Е), называемыми фазовыми координатами. Пусть в начальный момент # = 0 фазовые координаты аппарата известны:
^0) =», (0) = 5%, 6(0) = бу.
(5.6)
Величины 4 = 4(1), р = р(@®) являются управлением: задавая их по-разному,
можно получить различные фазовые траектории (решения) задачи (5.5), (5.6).
Конструктивные возможности аппарата, ограниченность ресурсов рабочего вещества накладывают на управление 4({), р(Ё) ограничения, например, вида
Т
тат Ярик
Риах» Чши <9(@)
4 тах
УЕ Е[0;Т] или Гада
<К=сопз4 > 0.
0
Кроме того, на фазовые координаты задачи (5.5), (5.6) могут накладываться неко-
торые ограничения, вытекающие, например, из условий того, чтобы вес аппарата был
268
не меньше определенной величины или траектория полета проходила вне определенных областей космического пространства (областей повышенной радиации) и др.
Для примера 5.2 возникают задачи выбора управлений 4(®) р(Е) так,
чтобы управления и соответствующие им траектории задачи (5.5), (5.6)
удовлетворяли всем наложенным ограничениям, и кроме того, достигалась
та или иная цель. Например, здесь возможны следующие задачи:
1) попасть в заданную точку или область космического пространства
за минимальное время;
2) кзаданному моменту времени попасть в заданную область пространства с заданной скоростью (например, совершить мягкую посадку) и с максимальным весом аппарата или минимальной затратой энергии;
3) достичь определенной скорости за минимальное время и т.п.
5.1.2. Допустимые управления
Приведенные в примерах 5.1, 5.2 задачи являются частным случаем
более общей задачи оптимального управления, к формулировке которой
мы переходим.
Пусть движение некоторого управляемого объекта (течение управляемого процесса, изменение управляемой системы) описывается обыкновенными дифференциальными уравнениями
= (1, х2,.., 5",
Ш, и, ., и’),
1=1,...П,
которые в векторной форме можно записать в виде
х= /(х, и, Г),
(5.7)
где & — время, х = (^!, 42, ..., х") — величины, характеризующие движение
объекта в зависимости от времени и называемые фазовыми координатами
объекта; и = (и1, и2, ..., и’) — параметры управления («положение рулей»
объекта), выбором которых можно влиять на движение объекта; } = (7,
р, ... |”); функции /(х, и, ®,1=1, ..., п, описывающие внутреннее устройство
объекта и учитывающие различные внешние факторы, предполагаются известными.
Для того чтобы фазовые координаты объекта (процесса, системы) (5.7)
были определены в виде функций времени х = х(Ё) на некотором отрезке
[ии <Е<Т,
необходимо
в начальный
момент
времени
условие х(&,) = ху и параметры управления и =
&, задать
начальное
(11, и, ..., и”) как функции
времени и = и(® приЁ Е [6; Т|. Тогда фазовые координаты х = х(®) будут
определяться как решение следующей задачи Коши [17]:
Нетрудно
20 = Га@,ш®, в), ц ЕТ,
(5.8)
(0) =.
(5.9)
видеть, что функции
и = и(®, называемые управлениями,
должны удовлетворять определенным требованиям непрерывности, гладкости, так как, с одной стороны, при слишком «плохих» (слишком «разрывных») и(#) задача (5.8), (5.9) может не иметь смысла, с другой — слишком
269
«хорошая» функция и(®) не будет иметь физического смысла управления.
В большинстве прикладных задач в качестве управлений и = и(® могут
быть взяты кусочно-непрерывные функции.
Например, в задаче из примера 5.2 двигатель космического аппарата
на каких-то участках полета может быть выключенным, может быть включенным, т.е. управления р(®, 4(#) могут терпеть разрыв. Напомним [29],
что функция и(®) называется кусочно-непрерывной на отрезке [&; Т|, если
и() непрерывна во всех точках Ёе [к; Т|, за исключением, быть может,
лишь конечного числа точек 8 < т! < ... < т, < Т, в которых функция и({)
может терпеть разрывы типа скачка, т.е. существуют конечные пределы
Шт
и(®=и(с,-0);
{>т;-0
По
и
=и(т, +0),
(5.10)
#—1;+0
но, вообще говоря, и(т,- 0) # и(т,+ 0), 1 = 1, ..., р. В точках т, 1 = 1, ..., р,
функция и может быть определена или не определена.
Далее, как очевидно из примеров 5.1, 5.2, значения управлений в каждый момент времени не могут быть произвольными и подчиняются некоторым ограничениям. Мы будем рассматривать такие ограничения, которые
можно описать условием
и(ВЕ У\ЕЕ [&; Т|,
(5.11)
где У — заданное множество из Е’. Например, в случае ограничений (5.3)
из примера 5.1 множество У имеет вид У =
{иЕ Ё!: |и| < у}. Случай У= Е
также не исключается.
Кусочно-непрерывное управление и = и(®) & <Е<Т, удовлетворяющее
условию (5.11) в точках его непрерывности, будем называть допустимым
управлением.
5.1.3. Задача Коши
Пусть заданы точка ху Е Е”, множество У из
непрерывное
управление
и = и(®, & <Е<Т,
Е’ и
некоторое кусочно-
удовлетворяющее
условиям
(5.11). Рассмотрим задачу Коши (5.8), (5.9). Сразу же возникают следующие вопросы: что понимается под решением этой задачи? существует ли
оно? единственно ли?
В классических учебниках по дифференциальным уравнениям обычно
рассматривается задача Коши [17]:
= ЕСО, ав
ха=ж,
(5.12)
где вектор-функция 2(х, ®, хЕ Е", ЕЕ [а; 6], непрерывна по совокупности
(х/б Е Е^х [а; В]. Решением этой задачи называется функция х = х($) которая определена, непрерывно дифференцируема на отрезке [а; 6] и всюду
на этом отрезке удовлетворяет условим (5.12). Здесь подразумевается, что
существуют конечные пределы
Пт
{—>а+0
х(=х(а+0)=х(а)=ху;
Ша 2(@=21(а+0)=
#—>а+0
Ша &(х(®, 0 = ЕС,
#—>а-+0
„Шт, х()=х(`ф-0); Ша 4) =40Ф-0)= Ша &(х@),1) = &(%Ф-0),5).
270
Приведем одну из стандартных теорем, посвященную проблеме существования и единственности решения задачи (5.12) [17].
Теорема 5.1. Пусть функция 2(х, В) при каждом х Е Е" непрерывна по #
на отрезке [а; 6] и удовлетворяет условию Липшица
[6,0 - в(ч, 0]
Цх-9|
Ух, уЕЕ",
ЕЕ[а;6],
Г=соп$ё>0.
(5.13)
Тогда задача Коши (5.12) имеет, притом единственное, решение х(®),
определенное на всем отрезке [а; 6].
Однако сразу заметим, что эту теорему мы не сможем без оговорок применить к задаче (5.8), (5.9). Дело в том, что у нас управление и(#) является
кусочно-непрерывной функцией и правая часть уравнения (5.8) Кх(®), и(®,
#) = &(х, © может иметь разрывы по переменной &, что неизбежно влечет
за собой разрывы в его левой части. Отсюда ясно, что понятие решения
задачи Коши (5.8), (5.9) требует уточнения.
Будем предполагать, что функция /(х, и, #) непрерывна по совокупности
своих аргументов (х, и, #) на Е"х Ух [%; Т|, управление и = и(® является
кусочно-непрерывной на отрезке [&; Т]| функцией и имеет разрывы вида
(5.10) первого рода [29] в точках т, 1 = 1, ... р, %=Ц<т,<...< Тр< Тр = Т,
а в точках непрерывности удовлетворяет условию (5.11).
Определение 5.1. Решением задачи Коши (5.8), (5.9) назовем функцию дл = х(#), которая непрерывна на отрезке [1); Т|, х(&) = ху, а на каждом
частичном интервале (т; т;+1), 1 = 0, 1, ..., р, имеет непрерывные производные и удовлетворяет уравнению (5.8); кроме того, существуют конечные
пределы
Шт 2(=1(,-0), 1=1..р+
#—>1;-0
Ша (=,
+0), #=0,1,...р. (5.14)
#—т1;+0
Такая функция является кусочно-гладкой.
Теорема 5.2. Пусть функция Кх, и, #) такова, что удовлетворяет условию Липшица по переменной х:
[Иж
и, в)
(чьи,
< Цх-У[
непрерывна по (и, #) на Ух
Уи, 0), (ци,
Е Е" хУх[Ь;Т],
[&; Т| при каждом хЕ
Е, управление и
(5.15)
= и(#)
кусочно-непрерывно на [&; Т] с разрывами в точках т, 1=1, ..., р, и удовлетворяет условию (5.11). Тогда при любом выборе начальной точки хуЕ Е"
задача Коши (5.8), (5.9) имеет, причем единственное, решение х = х(®, определенное на всем отрезке [&; Т|.
Доказательство
На отрезке [& = то; т. непрерывности управления и(р) рассмотрим
задачу Коши
Жо(0) = Уж), и), 0), по 51571;
хо () =.
(5.16)
Эта задача при а = & =%*%, Б=т,, х(а) = ху, &(х, в) = Хх, и(®, 8) превращается в задачу (5.12). Нетрудно заметить, что при выполнении условий
теоремы 5.2 будут выполнены и условия теоремы 5.1. Поэтому, применяя
теорему 5.1 к задаче (5.16), получим, что задача Коши (5.16) имеет, при271
чем единственное, решение ху(#), определенное на всем отрезке [тц; 71].
При этом существуют конечные пределы
Шо
(Е) = хо (<, +0) = ж(1)=х;
>10 +0
Ша
(О =ж(,-0);
11-0
Шо
20 (6)=
(< +0) = (хуи
+0), 5);
#—>10+0
, —>1-0
Вт 20(0) = 20 (<, -0)= /(ж( —0),и(т, — 0),х,).
На следующем отрезке [т1; *›] непрерывности управления и(&) рассмо-
трим задачу Коши
д) = Гоч@ище),ы
551; жа) =ж(-0).
— (547)
Применяя к ней теорему 5.1 приа=т, В =то, х(а) = ж(<. - 0), &(х, 6) = Кх,
и(г), ©, получим, что и эта задача Коши имеет единственное решение х\(#),
т! <{< т. со свойствами:
Ши 21(6) = 21 (1+0) = (в) = хо (-0);
#511+0
Ша х!(@) = (2-0);
1>12-0
Шт о @) = (и +0) = /(ж(<, +0), и(т, +0), т);
>11+
52)
= 41 (т. -0)= 1 (х1(т› —0), и(т, —0), то).
Далее, действуя аналогично, можем
последовательно найти функции
(Е), хи (5, ... х,1(® на отрезках [т; т! |, ..., [1;1; <;] и затем перейти к отрезку
[2; тн4] и рассмотреть следующую задачу Коши:
#4) = Ло,
С помощью
0, 51;
ха) =4(и-0). —
той же теоремы 5.1 убеждаемся, что задача Коши
(518)
(5.18)
также имеет единственное решение х.(#) и существуют конечные пределы
Ш
1{
(6) =: (т, +0) = х;(т;) = х, (т, -0);
Шт, х(О =
7”
(та -0);
>т;+
в. 2: (0) = Жана -0) = Лакана — 0), ие - ул).
Этот процесс заканчивается на отрезке [1,; {,, = Т] нахождением последней функции х,(0), ЕЕ [т,; Т].
Далее мы можем
определить функцию х(®, & <Е<Т, которая на каж-
дом из частичных отрезков [т; т;+1|, 1 = 0, 1, ..., р, совпадает с соответствующей функцией х(0). Нетрудно заметить, что такая функция непрерывна
на отрезке [&; Т]. В самом деле, на стыках & = т; частичных отрезков функции х(В) обладают свойством
х, (т, +0) =х,(т;) = х, (<, -0),
272
так что х(т,+ 0) = х(т;) = х(т,- 0), т.е. х(Е) непрерывна в точках & = т, 1= 1,
2, ..., р. В остальных точках & <#< Тфункция х(® непрерывно дифференцируема и, как очевидно из формул (5.16)—(5.18), удовлетворяет уравнению
(5.8). Конечные пределы (5.14) также существуют. Таким образом, построенная функция (1), & <Е<Т, является решением задачи Коши (5.8), (5.9).
Оно единственно, что вытекает из
емой к задачам (5.18), 1 = 0, 1, ..., р.
Для функции х(®), составленной
решением соответствующих задач
х(-ж= [абдс=
®
теоремы 5.1, последовательно применяТеорема 5.2 доказана. №
из кусков х.;(Ё), ЕЕ [т;т,.1|, являющихся
Коши, справедливо равенство
бы
у т х (ат + [аби =
1=0
бы
=-х т Их (т), ит),
1)
+] (ее), ше), ат =
10 г;
= | Л(ж(т), ие бат
Ук <<
=Т.
(5.19)
ц
Это значит, что решение х(#) задачи Коши (5.8), (5.9) является непре-
рывным решением интегрального уравнения
1
х(в) = | 1х, и,
+ж,
ЕЕЬ;Т|.
(5.20)
и
Верно и обратное: если х(Ё), Ё Е [&; Т| — непрерывное решение интегрального уравнения (5.20), то оно является решением задачи (5.8), (5.9).
В самом деле, если & — точка непрерывности функции /(х(т), и(т), т), то
по теореме о дифференцировании интеграла с переменным верхним пределом [29] правая часть формулы (5.20) дифференцируема в этой точке,
причем
4} Лот), (т), 9-1 (х(,и(®, 5).
(5.21)
Тогда дифференцируема в точке # и левая часть уравнения (5.20),
и с учетом формулы (5.21) имеем
(Е) = Го,
и.
(5.22)
Это значит, что на каждом интервале (т; т, 1), 1 = 0, 1, ..., р, непрерывное
решение уравнения (5.20) удовлетворяет дифференциальному уравнению
(5.8). Кроме того, из соотношения (5.22) следуют равенства (5.14).
Таким образом, функция л1(), ЕЕ [К; Т|, является решением задачи
Коши (5.8), (5.9) тогда и только тогда, когда (р) — непрерывное решение
интегрального уравнения (5.20), т.е. мы получили другое, интегральное,
определение решения задачи Коши (5.8), (5.9). Отсюда и из теоремы 5.2
следует, что интегральное уравнение (5.20) имеет единственное непрерывное решение.
Замечание 5.1. Формула (5.19) остается справедливой, если функция
(х(®), и(т), т) в точках разрыва т, 1 = 1, ..., р, принимает любые конечные
273
значения или вовсе не определена в них — это обстоятельство никак не влияет ни на существование, ни на значения интегралов в формулах (5.19),
(5.20). Это означает, что кусочно-непрерывное управление и = и(1) в точках
разрыва может принимать любые конечные значения, необязательно принадлежащие множеству У (5.11), или вовсе не определено, что не влияет
на траекторию х(#) задачи Коши (5.8), (5.9).
5.1.4. Постановка задачи
Вернемся к постановке задачи оптимального управления. Решение
задачи Коши (5.8), (5.9) будем называть траекторией, соответствующей
допустимому управлению и = и(Е) и начальному условию ху, и будем далее
обозначать через х = х(ё и, ху). Начальную точку х = (Е; и, ху) = хо будем
называть левым концом траектории, & — начальным моментом, х(Т; и,
хо) — правым концом траектории, Т — конечным моментом. В тех случаях,
когда из контекста ясно, какому допустимому управлению или начальному
условию соответствует траектория, будем пользоваться более короткими
обозначениями х = х(& и), х(Ё ху) или просто х = х(®, & <Е<Т.
Будем предполагать, что начальный момент & и левый конец траектории х(К), конечный момент Т и правый конец х(Т) должны удовлетворять
условиям
х() 5, (&), БЕ, (Г) 5 (Г), Те@,,
(5.23)
где ©., 9, — заданные множества на числовой оси В ={{:-<<{<
+5}
(не исключается возможность, что ®, =Е или ©, =В); 5,(&), 51(Т) — заданные множества из Е”.
В задачах оптимального управления принята следующая классификация концевых условий (5.23). Если множество ©) состоит из единственной
точки &, то начальный момент называется закрепленным, если ©, состоит
из единственной точки Т, то конечный момент называют закрепленным.
Если множество 55(&) (или 51(Т)) состоит из одной точки и не зависит
от Ц, т.е. 5(&) = {хо} (или соответственно 51(Т) = {х1}), то левый (правый)
конец траектории называют закрепленным. Если 5(%) = Е", ЦЕ ©, (или
5\(Т) = Е", ТЕ ®©,), то левый (правый) конец траектории называют свободным. В остальных случаях левый (правый) конец траектории называют
подвижным.
Наряду с ограничениями (5.23) на концах траектории, как мы видели
в примерах 5.1, 5.2, могут быть и другие дополнительные ограничения
на траекторию вида
хе С(®, В <ЕЗТ,
(5.24)
где С(Р) — заданные множества из Е". Условия (5.24) называются фазовыми ограничениями. Конечно, граничные условия (5.23) также можно отнести к фазовым ограничениям, но они выделены отдельно, важны сами
по себе и более просты для исследования.
После введения перечисленных выше терминов несколько уточним
некоторые обозначения.
274
В учебной литературе символом /(х) часто обозначают как значение
функции /
в точке х, так и саму функцию,
которая представляет собой
отображение, ставящее каждой точке х из области определения функции
/
точку у из области значений функции: х-> у. Отдавая дань традициям, мы
до сих пор пользовались и будем пользоваться этим не вполне определенным символом /(л) в тех случаях, когда из контекста нетрудно понять, идет
ли речь о функции как об отображении [29] или о ее значении в конкретной точке х. Однако в тех случаях, когда обозначение /(х) может привести
к недоразумениям, за значением функции в точке х будем сохранять обозначение /(х), а саму функцию как отображение будем обозначать через
С)
или просто {. Так, например, если и = и(®), ЁЕ
[&; Т| — допустимое
управление, воспринимаемое в целом как отображение, то будем его обозначать через и(-), а м(#) = (м1(®, ..., и’(Е)) есть значение этого управления
в точке & и включение и(Ё) Е У означает, что значения и(#) этой функции
принадлежит множеству Ус Р’.
Аналогично х(:; и(.), хо), или, короче, х(:), — это траектория (решение)
задачи Коши (5.8), (5.9), соответствующая управлению и(:) и начальной
точке ху в смысле определения 5.1, ах и(.), хо) или, короче, х(®), — это значение (х(®), ..., х"(Е)) траектории в точке &, как например, в формуле (5.24).
Пусть заданы множества ©’, 9, с В, Ус ЕЁ, 5(&), 51(Т) Е Е”. Следующий набор
(ш(: ), х(.), №, жТ), (, Т)
назовем допустимым, если и(-) — допустимое управление, х(.) = х(- ; и(.),
хо) — траектория системы (5.8), (5.9), такая что
(к )Е5,(%), х(Г)е
51 (Г), К Е®,, ТЕ®..
Пусть множество допустимых наборов непусто и на этом множестве
задана целевая функция или, как будем говорить, функционал
Л= Лис), хС), хи, «Гу, ц,Т)=
= / °(ж(т; ибо), хо), и(т), тат +&° (хо, (Г), в ,Т),
(5.25)
и
где №(х, и, 8), &(ху, у, & Г) — заданные функции переменных хЕ
[и
Е ©,
ТЕ
9,,
=
50(&),
УЕ
Р, иЕ
У,
54 СТ).
Будем рассматривать задачу
Л= Ли), хС), хо, (Г), ц,Т) >> пит,
(5.26)
при условиях
(Е) =
(В, и®,0,
в <ЕЗТ,
жи) =жхЕе 5 (&), х(Г)е 51 (Г), К Е®,, ТЕ®,;
и(Р)ЕУ,
К <ЕЗТ.
(5.27)
(5.28)
(5.29)
Задача оптимального управления сформулирована. Еще раз подчеркнем,
что здесь подразумевается, что управление и(.) — кусочно-непрерывная
275
функция, которая в точках своей непрерывности удовлетворяет условию
(5.29), х(.) = х(., и, хо) — решение задачи Коши (5.8), (5.9) в смысле определения 5.1, удовлетворяющее условиям (5.28). Мы
ограничимся рассмо-
трением лишь задач минимизации, так как задача максимизации] всегда
может
быть
сведена к эквивалентной
задаче
минимизации
(-7). Если
в формулах (5.25)—(5.29) Д(х, и, В = 1, 2 (ху, у, Ь Т) = 0, то] = Т-& — вэтом
случае задачу (5.26)—(5.29) называют задачей быстродействия.
Обозначим
ИЕ
= ШЁ ЛО,
х(.), \, х(Г), ц, Г),
где нижняя грань берется по всем допустимым наборам (5.27)—(5.29). До-
пустимый набор (и (:),х (:), х,х(Т), &, Т) назовем оптимальным решением
задачи (5.25)—(5.29), и, (.) — оптимальным управлением, х.(.) — оптимальной траекторией, если
ЛО, х. О, ху ж(Г), в, Т,)= Л.
Целевую функцию (5.25) выше мы назвали функционалом. Видимо, это
следует кратко пояснить. Во-первых, это дань традициям — так называлась
целевая функция в классическом вариационном исчислении, из которого
выросла современная теория оптимального управления [33]. Во-вторых,
употребляя термин «функционал», мы желаем подчеркнуть, что задача
оптимального управления все же отличается от задачи минимизации функций конечного числа переменных хЕ Е”, которую мы рассматривали выше.
Дело в том, что допустимые наборы (5.27)—(5.29), на которых определен
функционал (5.25), в отличие от гл. 1—4 не принадлежат конечномерному
пространству, а являются элементом бесконечномерного функционального
пространства. Так, например, у нас управление и(-) — это элемент функционального пространства, состоящего из кусочно-непрерывных 7-мерных вектор-функций, траектория х(-) — элемент пространства непрерывных функций, имеющих кусочно-непрерывные производные. В задачах оптимального
управления мы имеем дело с новыми объектами, такими как управление,
траектория, имеющими более сложную природу по сравнению с элементами
из Е". По этой причине методы оптимизации, изложенные в гл. 1—4, напря-
мую не применимы для решения задач оптимального управления, требуют
доработки, дополнительного переосмысливания, привлечения новых идей.
В рамках настоящей книги мы не имеем возможности подробнее останавливаться на определении, что такое функциональное пространство, как
обобщаются понятия функции, функционала, градиента и т.п., и отсылаем
интересующегося читателя к анализу более высокого уровня, называемому
функциональным анализом, к его приложениям [1, 12, 14, 29, 38]. Мы остановимся лишь на тех методах решения задач оптимального управления
(5.25)—(5.29), которые для своего понимания требуют лишь знания основ
математического анализа, линейной алгебры, обыкновенных дифференциальных уравнений в объеме стандартных курсов технических вузов. Одним
из таких методов является принцип максимума Понтрягина, к изложению
которого мы переходим. О другом методе решения таких задач речь пойдет
в следующей главе.
276
5.2. Принцип максимума в задаче оптимального управления
со свободным правым концом
5.2.1. Формулировка принципа максимума
Сначала рассмотрим сравнительно простой вариант задачи оптимального управления (5.25)—(5.29), а именно
Ли)= Л (хо, о даЕ+ в°(ЖСГ)) > пи;
(5.30)
и
(Е) = а,
и, 0), & <Е<Т;
и=и(ОЕУ,
ж%)=хо;
(5.31)
& <ЕЗТ,
(5.32)
где /б(х, и, 6), К(х, и, 8) = (Их, и, В, ..., 1х, и, 6), 20(у) — заданные функции
переменных х = (2!
..., хп) Е Е, уЕ
РМ, и= (и1,..., и); У — заданное множе-
ство из Е’; &, Т — заданные моменты времени; ху — заданная точка из Е".
Предполагается, что допустимое управление и = и(-) — кусочно-непрерывная функция со свойством (5.32); траектория х = х(:) = х(: ‚ и, у) задачи
Коши (5.31) существует на всем отрезке [&; Т] при любых допустимых и(.).
На правый конец х(Т) траекторий никакие условия не накладываются, поэтому задача называется задачей со свободным правым кониом.
Для формулировки принципа максимума введем функцию
Н(х,
и, С, у) = —/0(х, и,
В+
(у, Их,
и,
0) = —/0(х, и,
+
Ули,
1=1
и, 0,
(5.33)
гделу = (у, ... у,) — вспомогательные переменные. Эту функцию называют
функцией Гамильтона
— Понтрягина.
Предположим, что функции Д(х, и,
1), 1 = 0, 1, ..., п, 20(х) дифференцируемы по х. Тогда функция Н(х, и, & у)
также дифференцируема по х, причем
эн [зн
он
НН, =
‘9х |дх’“дх")
бьи, + у
дя
ви,
1
Эту формулу можно записать в следующей векторно-матричной форме:
ЭН
‘9х
,
= Ну (х,
и, Е, у) = —Ло(х,
и,
+
(р, (х, и,
Г,
(5.34)
где /2 =(/%,... Го, ) = вгаа/0; Т — знак транспонирования;
Ди(хи,в)=|
Л,
...
...
...
м
р
5таа/!
=
1",
этаа}"
Каждому допустимому набору (и(.), х(-)) задачи Коши (5.31) поставим
в соответствие задачу Коши
у =-ЭН
дх
‚ в <ЕЗТ,
(5.35)
и=и(В, х=х(ви, хо)
277
(Г) = Е
0
у
,
(5.36)
х=х(Т; и, хо)
называемую сопряженной к (5.31) задачей. Как очевидно из формул (5.34),
система (5.35) линейна по \у и ее коэффициенты
кусочно-непрерывны
по переменной Е. Поэтому можно предположить, что правая часть системы (5.35) удовлетворяет условию Липшица по \у. А тогда существование
решения задачи Коши (5.35), (5.36) можно доказать, непрерывно склеивая
решения задач Коши, аналогичные задачам (5.16)—(5.18).
Теперь мы можем сформулировать необходимое условие оптимальности для задачи (5.30)—(5.32) — принцип максимума Понтрягина.
Теорема 5.3. Пусть функции Ю(х, и, 8), Г(х, и, 8), #°(х) и все их частные производные по переменным х непрерывны по совокупности аргументов
(х, и, В) Е ЕЁ хИх[к;Т|, где У — замыкание У. Пусть и = и(.) — оптимальное
управление, х = х(. ; и) — оптимальная траектория задачи (5.30)—(5.32).
Тогда для всех точек ЁЕ [К; Т|, являющихся точками непрерывности управления и(г), функция Н(х(Е и), и, & У(Е и)) переменной и = (1, ..., 5’) необходимо достигает своей верхней грани на множестве У при и = и(®, т.е.
тах Н(х(в и
о,
(Е и)) = НС(в и), и, 6 УС; и)).
(5.37)
Здесь функция Н(х, и, & лу) определена согласно (5.33), у = \У(Е и) — решение задачи Коши (5.35), (5.36).
Центральное место в теореме 5.3 занимает условие максимума (5.37):
оказывается, что если и(:) — оптимальное управление, х(.) — оптимальная
траектория, то тогда функция Н(х(®), , & \(Ё)) конечного числа переменных
0 = (01, ..., 9) будет достигать своего максимума на У именно при и = и(#)
в моменты времени Ее [&; Т| непрерывности управления и(.). Поэтому тео-
рему 5.3, дающую необходимое условие оптимальности, принято называть
принципом максимума Понтрягина для задачи со свободным правым концом.
5.2.2. Краевая задача принципа максимума
Прежде чем доказывать теорему 5.3, зададимся вопросом: какая польза
от этой теоремы? Что хорошего можно ожидать от равенства (5.37)? Ведь
в (5.37) нет ничего известного, мы не знаем ни оптимальное управление
и(.), ни соответствующую ему траекторию &х(:), ни соответствующую им
новую функцию \у( и). Как развязать этот запутанный узел?
Оказывается, не все тут так уж страшно. Здесь обычно поступают следующим образом. Составляют функцию Н(х, и, &, у) согласно формуле (5.33)
и рассматривают ее как функцию 7 переменныхи = (11, ..., и”) Е У, считая
остальные переменные (х, &, \у) параметрами. Затем при каждом фиксиро-
ванном наборе (х, & у) решают конечномерную задачу максимизации
Н(х, и, в у) >> тах, иЕ
У,
(5.38)
и находят функцию
и=и(х
278
у) Е
У,
(5.39)
на которой достигается верхняя грань в задаче (5.38), т.е.
Н(х, и(х,ь у),
у) =зирН(х, о, 6 у).
(5.40)
ОЕУ
Если исходная задача оптимального управления (5.30)—(5.32) имеет
решение, то, как следует из соотношения (5.37), функция (5.39) определена
на непустом множестве.
Допустим, что функция (5.39) нам уже известна. Тогда можем рассмотреть следующую систему из 2п дифференциальных уравнений
| = У(ж,шх,ь у), 0,
у=-Н)»(х,
и(х, 5,
у),
<Е<Т,
у),
о
5.41
'
относительно неизвестных (х(-), \/(-)) = 2(-). Как известно [17], общее решение системы (5.41) зависит, вообще говоря, от 2п произвольных числовых параметров и для определения этих параметров нам нужно иметь 2п
соотношений. Для этих целей нам служат 2п краевых условий
х()=х,
%(Г)=
929
аи ©,
(5.42)
взятых из формул (5.31), (5.36).
Итак, основываясь на теореме 5.3, от исходной задачи (5.30)—(5.32) мы
пришли к краевой задаче, состоящей из условия максимума (5.40), системы
дифференциальных уравнений (5.41) и условий (5.42). Такую краевую
задачу принято называть краевой задачей принципа максимума.
Можно ожидать, что имеется лишь конечное число отдельных изолированных функций 2(1) = (х(®, \(@)), & <Е<Т, удовлетворяющих условиям
(5.41), (5.42). Возьмем одну из таких функций 2(® и подставим ее в (5.39).
Получим функцию
и=и(® =и(х(,Ь (О),
& <Е ЗТ.
(5.43)
Пусть эта функция оказалась кусочно-непрерывной на [ц; Т]|. Из формул (5.39), (5.40), (5.43) следует, что полученное таким образом управление
и(®), & <Е<Т, удовлетворяет условию максимума (5.37) и, следовательно,
согласно теореме 5.3 может претендовать на роль оптимального управления задачи (5.30)—(5.32), а функция х(®) = х(Б и(.), о), & <Е<Т, — на роль
оптимальной траектории этой задачи.
Таким образом, опираясь на принцип максимума, мы свели исходную
задачу поиска управления в бесконечномерном функциональном пространстве к более «легкой» знакомой нам конечномерной задаче максимизации
(5.38) и к такому знакомому объекту вычислительной математики [6], как
краевая задача вида (5.41), (5.42).
Для иллюстрации сказанного рассмотрим несколько примеров задач
оптимального управления со свободным правым концом, посмотрим, как
выглядит краевая задача принципа максимума в конкретных случаях.
273
Пример 5.3
Требуется минимизировать функционал
лад
Т
оао
при условиях 1(#) =-ах(#)+ и(Е),0<Е<Т; ^(0)=ж.
Здесь ху, а > 0, Т> 0 — заданные постоянные; У = Ё'!; правый конец траектории
свободный. Составим функцию Гамильтона — Понтрягина Н = -(д? + и?) /2 +лу(-ах+
+ и) и выпишем сопряженную систему
у=-Н.=х+ау,
0<1<Т.
Функция Н=-(х2+ и2)/2 +лу(-ах+ и) достигает своей верхней грани по и на У= Ё!
при и = у, и краевая задача принципа максимума запишется в виде
д=-ах+у,
у=ау+х;
х(0)=ж,
У(Г)=0.
Решив эту задачу, находим, что подозрительным
управление
ем — е?\Те-м
еб
(^-а)+(\.+а)е?АТ
и ==
на оптимальность
является
0<ЕЗТ,
где А = /а? +1, и оно действительно является оптимальным [12].
СОВА
Требуется минимизировать функционал
4
Ли) = [(и2(в)- «оу
0
х(0)=0, и(® — кусочно-непрерывное управление,
при условиях 1(Е) = и(Е),0<Е<4;
[4(#)<10<Е<4.
Эта задача получается из задачи (5.30)—(5.32) при п = 1, 7=1, &=0, Т=4,
(хи
=и?-х, Д(хиб=и,
&(х)=0,
хо =0, У={иЕЕ!: [и|< 1}.
Функция
Гамильтона — Понтрягина здесь имеет вид Н(х, и, & у) = -и?+х+ ци.
Задача (5.38) равносильна задаче
—и2 +уи
—> тах, [и |< 1,
решение которой выглядит так:
+1, если у > 2,
и=ис(у) = | -Ъеслилу < -—2,
(5.44)
у, если [у |< 2.
Сопряженная задача (5.35), (5.36) в этом примере имеет вид
у(@=-Н,=-10<Е<4,
\(4)=0.
Теперь можем выписать краевую задачу принципа максимума (5.41), (5.42):
&(=и(у)
280
Ч(О=-Б
х(0)=0,
у(4)=0.
(5.45)
Отсюда имеем \у(#) = —Е+ 4, 0 <Е< 4. Тогда в силу решения (5.44)
11 если 0<Е<2,
и(Е)=
()
Этому
управлению
3(4-Ю,если2 < <4.
соответствует
траектория
Ь если 0<Е<2,
х(0=
®
4-02 +З,если2 < < 4.
Краевая задача принципа максимума (5.45) решена. Найденные управление и($)
и траектория х(Ё) являются подозрительными на оптимальность. Можно показать
[12], что они действительно являются оптимальными.
Пример
5.5
Минимизируем функционал
1 2
Ли)=> Г(и?
в) - ху
0
при условиях %(Е) = и(#),0<#<2л; х(0)=1, |м(® 1.
Здесь п = 1, т= 1% = 0, Т= 2, ж= 1, Д9(х, и, В = и? - 2, Кхи р =и, 2 (х) = 0,
У= Е. Функция Гамильтона — Понтрягина такова:
Наив у)= =
-х?)+\уи.
Максимум этой функции по и при ие Ё! достигается при и = у. Сопряженная
задача
имеет
вид
У) =-Н, =-^(6),0<#<21;
у(2щ)=0.
Выпишем краевую задачу принципа максимума:
я =у(,
у@=-х(@);
х(0)=Ь
у(2п)=0.
Нетрудно проверить, что эта задача имеет единственное решение
х(Е) =созЬ у
=-5тЬ
0<Е<2л.
Согласно формуле (5.43) получаем и(Е) =\у(Е) = -зт. Подозрительные на оптимальность управление и траектория получены:
и()=-зтЬ, х(Ь) =созЕ,
0<Е<24.
Им соответствует значение функционала
1 2
Ли)= 5 [2 Е- со?
1 2
= 5 [С соз2рё =0.
0
0
Однако теорема 5.3 дает лишь необходимое условие оптимальности. Поэтому
неплохо бы убедиться, действительно ли найденные управление и траектория явля1
ются оптимальными. Возьмем, например, последовательность ии ({) = тсоз., т=1,2,
о
8
.... Ей соответствуют траектории хи () = ттт. + 1, и значения функционала (ии) =
=л(-—3т2 - 2) — 16т —> —о° при т —> сэ. Следовательно, .]+ = —° , задача не имеет решеНИЯ.
281
АЖ
Пусть движение материальной точки описывается дифференциальным уравнением
ЖО=и(ь,
0<Е5Т,
где Т> 0 — заданный момент времени; и = и(Ё) — кусочно-непрерывное управление (внешняя сила), |и(#}| < 1. Пусть в начальный момент & = 0 известны начальное
положение х(0) = хо точки и ее начальная скорость %(0)
= №. Нашей задачей является нахождение допустимого управления и = и(#), 0 <Е<Т, такого, чтобы функционал (и) = (х(Т))? + ((Г))? принимал минимальное значение. Здесь мы хотим переместить нашу материальную точку как можно ближе к точке х = 0 с как можно меньшей
скоростью, ожидая, что если время Т достаточно большое, то она окажется в точке
х = 0 с нулевой скоростью.
Применим к этой задаче принцип максимума. Сначала преобразуем ее и запишем
в виде задачи (5.30)—(5.32). С этой целью введем переменные 11(#) =х(®), х?(Е) = (В,
О<ЕЗТ, и, полагая в (5.30)—(5.32)
==”х
придем
к следующей
’
у= ди
’
О =0, 0-389 =
равносильной
у
(+
у
(у,)^0 = вы
2(0)
задаче оптимального
’
управления:
Лад = КТ) + («2 (Г)? > пап
(5.46)
(= х2(®), 420 =), 0<Е<Т; хФЕХу;
и(бЕУ={иЕЕЕ|и|к1}, 0<Е<Т.
(5.47)
(5.48)
при условиях
Функция Гамильтона — Понтрягина
сопряженная задача Коши выглядит так:
(О =-НА =0, 20
здесь имеет вид Н(х,и,ёлу)=\у
1х? +ури,
=-Н’» =-уь, О<Е<Т;
чи (Г)=-2=Т), уо(Г)=-2(Т).
Задача максимизации (5.37) здесь равносильна задаче
дури — тах, ие
У,
которая легко решается и приводит к явной формуле
1, если у. > 0,
и=звту =3-—Т если у. <0,
(5.49)
Уи ЕТ, еслиу. =0.
Таким образом, краевая задача принципа максимума (5.40)—(5.42) в рассматриваемой задаче (5.46)—(5.48) имеет вид
И =л2, 42 =зетуо, =
х(0)=ж,
=-фу,
ч(Г)=-2жТ).
0<ЕЗТ,
(5.50)
Можно показать, что задача (5.46)—(5.48) имеет решение [12], поэтому краевая
задача (5.50) согласно теореме 5.3 также имеет решение. Если (х(®), \(Е)), 0<#<Т—
решение задачи (5.50), то формула (5.49) дает формулу для управления, подозрительного на оптимальность:
и = и(®) = 351 (1), 0 <Е<Т.
К сожалению, решение краевой задачи (5.50) в аналитической форме получить
не удается. Для поиска ее решения можно использовать известные методы решения
282
краевых задач [6]. Следует сразу же оговориться, что известные методы решения
краевых задач зачастую излагаются в предположении, что в системах вида (5.41),
(5.42) правые части дифференциальных уравнений являются достаточно гладкими.
Однако в краевых задачах принципа максимума, как ясно из формул (5.50), правые
части уравнений могут быть разрывными. Это обстоятельство затрудняет численное
решение краевых задач принципа максимума, требует серьезной доработки, модификации известных численных методов.
5.2.3. Доказательство принципа максимума Понтрягина
Вернемся к теореме 5.3. Мы ее докажем при несколько более жестких
требованиях на входные данные задачи (5.30)—(5.32), чем это указано
в ее формулировке. Полное ее доказательство, требующее развития более
сложного математического аппарата, более тонких рассуждений, читатель
найдет в работах [1, 33].
Сначала докажем, что траектория задачи (5.31) мало меняется при малом
изменении управления и(:) и начального условия ху, предполагая, что
вектор-функция /(х, и, #) непрерывна по совокупности своих аргументов
и удовлетворяет условию Липшица по совокупности переменных (х, и):
[И(ж+ Ах, и+в, 6) - Де и,
< А+,
У(х+ Ах, и+й, 6), (хи, ЕЕ"ХУх[;Т],
(551)
Г=соп8е
> 0.
°
Для этого нам понадобится одно утверждение, известное в литературе
как неравенство Гронуолла.
Лемма 5.1. Пусть функция Ф(®) непрерывна на отрезке [1&; Т] и удовлетворяет условию
1
0<Ф(0<а| $(®)4+6,
& <Е<Т,
а,Ь=сопз > 0,
(5.52)
и
тогда
0< ф(Е) < Бе @-%),
ц <ЕЗТ.
(5.53)
Доказательство
1
Положим В(Ё)=а| Ф(<)4<. Заметим, что В(®) = 0, В(® > 0, а также
.
и
В(Е) = аФ(®), & <Е<Т. С учетом условия (5.52) имеем
В(е) <а (в) +аб > В(в)-аВ(®)<аБ,
в <ЕЗТ.
Умножив обе части последнего неравенства на е-“1-—№), получим
(ве)
1
Отсюда, интегрируя
В(%) = 0, находим
<аре-“@-%),
это неравенство
К <ЕЗТ.
на [1); #| с учетом
равенства
К(Е) < Бе) —[.
Из этой оценки и из (5.52) вытекает требуемое неравенство (5.53). №
283
Лемма 5.2. Пусть вектор-функция /(х, и, &) непрерывна по совокупности (х, и, В на Е" хУх[&;Т] и удовлетворяет условию (5.51). Тогда
Т
тах |х(6 и-+й, м +Аж)- (ви, хо] < С |Аж|+С, | #4,
ЕТ
(5.54)
\
где х(. ; и, хо) согласно нашим обозначениям — решение задачи Коши
(5.31), соответствующее допустимому управлению и = и(:) и начальному
условию хо; Су =е Т-%); С, = С.
Доказательство
Существование траекторий х(® и, ху), х(Ё и + #, ху +Аху) следует из тео-
ремы 5.1. Из формулы (5.20) имеем
Ах(Е) = х(Би+
В, хо +Аж)-х(Еи,х)=
= | (Робеи +В, хо + Аж), и(®)+ (©, ®)- (и, хо), (т), ©) 45+ Аж.
ии
Отсюда с учетом условия Липшица (5.51) получаем
1
1
Т
и
и
[4х2 Е и[ Ах) исрат+Ахо| < Е Пдхсоас
+ Г Дес
+ Аж |.
Это неравенство запишется в виде (5.52), если принять
Т
Ф(Е) = Ах]; а=1; 5=Г |
+ [Аж|
ц
Отсюда и из леммы 5.1 следует оценка (5.54). №
Теорему 5.3 будем доказывать в предположении, что наряду с условием
(5.51) условию Липшица будут удовлетворять частные производные /0, },,
8$ функций /°, /, 8:
Аж и+ 1,6) Ох, и, 6] < А+;
[ое+
|7. (х+ Ах, ий, 6) Д.(ж и, в) < А+;
(5.55)
(5.56)
[ео (х+дх)- 89%) < Маз]
(5.57)
при всех (х + Ах, и+Й, 0), (х, и,
Е ЕхУХх
[4; Т| где Г. = соп$ > 0. В условиях (5.51), (5.55)—(5.57) каждая функция в действительности имеет свою
константу Липшица, но в теоретических рассуждениях конкретные значения этих констант нам не нужны, поэтому для упрощения изложения под Ё
подразумевается максимальная из них.
Доказательство теоремы 5.3. Пусть и = и(:) — оптимальное управление, х = х(. ; и) — оптимальная траектория задачи (5.30)—(5.32). Тогда
по определению оптимального управления для любой кусочно-непрерывной функции Й(®), & <Е<Т, такой что и(#) + #(®) Е Уво всех точках ее
непрерывности, Д/(и) = (и + №) — Л(м) > 0. Подставляя сюда явное выражение для функционала./, имеем
284
АГ(и)= [ (Го(ж(ки+ В), и®)+ К), т)- Го (ж(т; и), ист), <)
"
+
+2(х(Г;и+р))- =(х(Г;и))> 0.
(5.58)
Здесь х(Б и + Йй) — решение задачи Коши (5.31), соответствующее допустимому управлению и(.) + #(.). Приращение
Ах(р)=х(Би+р)-х(Еи),
Е <ЕЗТ,
удовлетворяет условиям
ЧА
=
оцени), що +, - Лео, 0, = (55
9)
в <Е<Т, Ах) =0.
Из условий (5.59) и леммы 5.2 следует оценка
Т
[Ах(0|< с, [<
м Е;Т].
(5.60)
ц
Пользуясь формулой конечных приращений (1.113)
Е°(ж(Г)+Ах(Т))во (ж(Г)) = (в (Г) +6, Ах(Т)), Аж(Г)),
0<6, <1,
перепишем формулу (5.58) в виде
т
АЛ (и) = [ (Ро (ж(е) + Аж(т), и(т) + (т), <) - Ро (х(т), и(т), т) )
+
+(89(ж(Т)), Аж(Г)) + Е, >0,
(5.61)
В =( 8% (х(Г)
+6, Аж(Т))- 8% (СГ), Аж(Т)).
(5.62)
где
Учитывая условие Липшица (5.57) и оценку (5.60), при Е = Т имеем
2
о
т
[в [< Ах) «ст
жж
(5.63)
и
Преобразуем второе слагаемое из правой части формулы (5.61). Вспомним, что функция \у = (6 и) = \у(В) — решение задачи Коши (5.34), (5.36):
4(0 =-Н, (В, и, у), ц <&<Т; Ч(Т)=-8((Т)).
Отсюда с учетом условий (5.59) полем
(8% СТ), АжСГ))
= (Г), Аж(Т)) =- 1 4
Ах(В)уЕ— (ув), Ах) =
ха
- (о АО
де) = (НСО що, у), Ака
и
-| (у, Ло
+ Ако, ид + О,
- жир,
ч
285
Подставив полученное выражение в формулу (5.61) и переписав ее
с помощью функции Гамильтона — Понтрягина в виде
Т
А/(и) = - [(Н(х@)+ Ах(@), и) + ЩО,
ц
у(0))- Н(х@), ив
уу
т
+[(Н+ (хх, и, ь уе), Ах)
+ В, >0,
(5.64)
ц
а также
учитывая,
что
по
формуле
конечных
приращений
НХ +Ах, и+р, 6 у)- Н(х, и, Бу)=
=Н(х+Ах, и+р, 6 у)- Н(х, и+й, 6 \)+ Н(хи+ВЕу)Ни, Бу) =
=(Н.(х+60.Ах, и+р, Е, лу), Ах)
+ Н(х, и+й,у)-Н(х и, у), 0<6, <1,
находим
т
АЛ(и) = — | (Н(ж(е), и) +в, ь у(е))- Ниже), и, ь у) + (5.65)
\
+, + Е› >0,
где
Т
В, =-|(Н+(х(®) +0 Аж(Е), ив) + КЕ, Ь у)
и
— Н,(х(@®, и, ь ч(0), Ах) аЕ.
Из формулы (5.34), условий Липшица (5.55), (5.56) и оценки (5.60) следует, что
Т
|, < [(4+ пах |
и) | Ах
<<
Ао
ы
=
Т
<
2
| Ков
(5.66)
и
где С. = сопз6 > 0. Объединяя оценки (5.63), (5.66), получаем
2
Т
|®, +Е.|< < | о
‚ С =сопзё> 0,
(5.67)
и
где постоянная Сз зависит от и(-), но не зависит от Й(:).
Пусть & — точка непрерывности управления и(®), пусть число & > 0 столь
мало, что [6+8] с [&; Т| ии(® непрерывно на [& + |, и пусть о — произвольная точка из У. Положим
#(х) = |
о—и(т) при ТЕ[Е
ЕЁ +],
0 при т#[5Е+=].
(5.68)
Приращение вида (5.68) называется игольчатой вариацией (рис. 5.2).
286
Рис. 5.2
Тогда управление (2) + #(#) кусочно-непрерывно и (8) +й(В) Е
У. Отсюда
и из формул (5.65)—(5.68) имеем
1+Е
0< АЛ (м) < С,
6-м @] “
2
+
[+Е
+ | (НОС; и), о, т, (с; и))- Н(х(с; и), и(т), т, и (т; и))) ах.
(5.69)
Учитывая, что функция
&(т)
= Н(х(т; и), о, т, (т; и)) — Нат;
и), и(т), т, (т, и))
непрерывна на отрезке [& & + =|, с помощью теоремы о среднем и неравенства Коши — Буняковского из соотношения (5.69) получаем
{+Е
0<А/(и)<-вв(Е+0:=)+Сзе [|
-исРат,
0<6: <1.
1
Разделим это неравенство на Е >
0 и устремим
-> +0. Получим 0 < —&(1),
или
(Е) = Но(Е и),
что равносильно
соотношению
ЕТ,
у; и))<0
ув и))- Н(х(Е и), и,
(5.37). Принцип
максимума для задачи
(5.30)—(5.32) доказан. №
5.3.* Принцип максимума (общий случай)
5.3.1. Формулировка принципа максимума в общем случае
Рассмотрим следующую задачу оптимального управления с более
общим граничным режимом на правом конце траектории:
Лас, хо, х,к,Т)= |
0(х(Е), и(®), аЕ+ =0(хГ),Т) > пы;
(5.70)
\
Т)Е
(Е) = Г,
и,0,
5.(Г)=
Е":
х(Г) ег)
[=
& <Е<Т,
.
жЕ)=ху;
&/(х,Т)<
0, 1=1,...т,
&7(х,Т)=0, 1=т+1,..,т+5
и=и(@ЕУ,
К <ЕЗТ.
(5.71)
;
5.172
(5.72)
(5.73)
287
Здесь &(х, Т), ] = 0, 1, ..., т + $ — заданные непрерывно-дифференцируемые функции переменных (х,Т)е Е" х6©,, не исключаются случаи, когда
в условиях (5.72) отсутствуют ограничения типа неравенств (т = 0), типа
равенств (5$ = 0), возможно также, что $ = т = 0, 5\(Т) = Е", когда правый
конец свободен; остальные обозначения в формулах (5.70)—(5.73) те же,
что и в задаче (5.30)—(5.32).
Для формулировки принципа максимума введем функции
НС, и, у, ау) = ао ГО(х, и, в) + (у, Геи, в)
Кх,Т, а) = а ё°(х,Т)+ав'(х,Т)+...+а.,&”*$(х,Т),
(5.74)
(5.75)
где у = (ц/, ..., у„), а = (а%, а, ... ат.;) — вспомогательные переменные;
далее функцию Н(х, и, Ь \, ау), как и выше в формуле (5.33), будем называть функцией Гамильтона — Понтрягина, функцию Кх, Т, а) — малым
лагранжианом.
Каждому допустимому набору (и(-.), х(-)) и моменту Т задачи (5.70)—
(5.73) поставим в соответствие систему дифференциальных уравнений
(© =_9Н.
Е <ЕЗТ.
(5.76)
дх и=и(6), х=х(в и)
Сформулируем теорему, выражающую необходимое условие оптимальности — принцип максимума Понтрягина для задачи (5.70)—(5.73).
Теорема 5.4. Пусть функции Ю(х, и, #), Кх, и, 8, 20(х, Т), ..., "5х, Т)
и их частные производные по переменным х непрерывны по совокупности
своих аргументов при всех хЕ Е", иЕУ, ЁЕ[К;Т|,Т Е ©, . Пусть, кроме того,
конечный момент
времени
Т задан, и = и(-) — оптимальное управление,
х=х(. ; и) — оптимальная траектория задачи (5.10)—(5.73). Тогда необходимо существуют вектор-функция у = у(Е) = (у (В, .., у), К <ЕЗТ,
и числа ау, а, ... атс такие, что \у = У(Е) является решением системы (5.16),
соответствующей оптимальному набору (и(.), х(: ; и), аз);
а=(а,а1,...а.,)*0,
&>0, а, >0,...аи>0;
(5.77)
при всех Ё е [&; Т|, являющихся точками непрерывности оптимального
управления и(.), функция Н(х(Е и), о, Е, У(®, а) переменной и = (01, ..., 9")
достигает своей точной верхней грани на множестве У при и = и(®, т.е.
тах Нави), о, ау)
= НО и), що, у, а;
(578)
и справедливы равенства
9/(х,Т:а
;
СГ) = ее
(5.79)
х=х(Г;и)
ав (ж(Т;и),Т)=0,
Если же конечный момент Т
1=1,...,т.
(5.80)
не закреплен и также определяется из усло-
вия минимума функционала (5/10) (как, например, в задаче быстродей288
ствия), а функции Е(х, Т),1= 0,1, ..., т + $, непрерывно дифференцируемы
поТЕ®,, то
НТ; и),и(Т — 0), ТУТ), 49) =
9((х, Т;а)
(5.81)
т.
х=х(ТГ;и)
Условия (5.79), (5.81) называются условиями трансверсальности; условие (5.80) — условием дополнительности.
Доказательство
этой теоремы,
представляющей
собой принцип
мак-
симума Понтрягина для задачи (5.70)—(5.73), можно найти, например,
в работе [12].
Из непрерывности функций х(Е и), у(Е) и из соотношения (5.78) следует, что функция
Н(®)=зарН(х(Е и), о,
(В, ау),
ЕЕ[В;Т],
оЕУ
непрерывна всюду, где непрерывно оптимальное управление и(:.). Можно
доказать [12, 33], что на самом деле функция Н(Ё) определена и непрерывна всюду на отрезке [&; Т|, причем в точках { разрыва управления и(-) справедливо равенство
Н(® = НОЕ и), ие + 0, ву, а).
(5.82)
5.3.2. Краевая задача принципа максимума в общем случае
Пользуясь схемой, изложенной в предыдущем
параграфе, теорему 5.4
можно применить для практического решения задачи (5.70)—(5.73).
А именно, сначала решаем конечномерную задачу максимизации функции
(5.74)
Н(х, и,
считая, что (х,Ь у, ау) Е Ех;
у, а) —> тах, ие У,
(5.83)
Т]хЕ" х (—°; +°°) являются параметрами,
и определяем функцию
и=и(х, Бу, а)е
У,
(5.84)
на которой достигается верхняя грань в задаче (5.83). Далее составляем
систему из 2п дифференциальных уравнений
д = И (х, и(х,Ь у, ау), 6),
.
|
,
=-Н,(х, их,
у, а, у, а),
К <ЕЗТ,
°
5.85
(2.85)
относительно неизвестных (х(-), \(:)). Для определения 2п параметров,
от которых зависит общее решение системы (5.85) [17], а также т+$+2
параметров а, 41, ..., ат» » Г нам нужно 2п + т + $ + 2 условия. Из формул
(5.71), (5.72), (5.19)—(5.81) имеем:
Э(хсГ),Т,
хадеаь ут =- ОТ,
а, Е (х(Т;и),Т)=0, }=1,..,т,
Еж
Г;и),Т)=0,}=т+1,..,т+$;
(5.86)
(5.87)
289
НОТ; и), и(Т-0), ТГ), а)=
— всего 2п + т + $
9/(х(Г),Т, а)
9Т
°
(5.88)
+ 1 условие. Наконец заметим, что функции Н(х, и, 6 у,
ао), Кх, Т, а), определенные при помощи формул (5.74), (5.75), линейны
и однородны относительно параметров (а, у) = (а‹, а1, ..., ата» М1, -- Уи), Т.е.
Н(х, и, в, оду, ау ) = оН(х, и,
у, ау),
Кх,Т, ма) = о (х,Т,а)
Уо>0.
Это означает, что если набор (а, у) удовлетворяет условиям теоремы 5.4,
то этим условиям удовлетворяет и набор (са, оду) при любом «и > 0. Иначе
говоря, теорема 5.4 определяет набор (а, у) лишь с точностью до положи-
тельного множителя, и этим множителем мы можем распорядиться по своему усмотрению. Например, опираясь на первое из условий (5.77), можно
выписать уравнение
т+5
[а = У а? =1.
(5.89)
1=0
В результате мы получим краевую задачу, состоящую из задачи максимизации (5.83), системы дифференциальных уравнений (5.85), условий
(5.86)—(5.89). Эту краевую задачу называют краевой задачей принципа
максимума задачи оптимального управления (5.70)—(5.73). Разумеется, ее
надо еще решать совместно с неравенствами
а >0,а, >0,..,аи>0;
&7(х(Г))<0, 1=1,..., т.
(5.90)
Если в задаче (5.70)—(5.73) момент Т задан, то условие (5.88) в краевой
задаче отсутствует.
На практике вместо условия (5.89) часто рассматривают задачу (5.83)—
(5.88), поочередно добавляя к ней условия ау = 1 и ау= 0, (а1, ..., ат-.) # 0.
Заметим, что функция (5.84) может иметь разрывы, быть многозначной,
что серьезно осложняет исследование и численное решение краевой задачи
принципа максимума. Если удастся ее решить и получить функции (х(®), \(@))
и параметры а, а, ..., ат+» Г, то согласно формуле (5.84) мы найдем и управление и = и(®) = и(х(®, Ь (©, ау), удовлетворяющее принципу максимума и,
следовательно, подозрительное на оптимальность в задаче (5.70)—(5.73).
Отметим, что если в задаче (5.70)—(5.73) правый конец свободен, т.е.
т = $ = 0, 5, (Т) = Е", то малый лагранжиан (5.85) имеет вид Кх, Т, а) =
= аъе%(х, Т), условие трансверсальности (5.79) запишется в виде
ут
д=2%(х(Т),Т
Так как в силу условий (5.77) а = а 0, ау> 0, то условие нормировки
превратится в равенство ау = 1. Отсюда следует, что теорема 5.3 является
следствием теоремы 5.4 при фиксированном Т, а условие (5.79) — это усло-
вие трансверсальности в задаче (5.30)—(5.32).
Посмотрим, как выглядит условие трансверсальности в задаче (5.70)—
(5.73), когда правый конец траектории закреплен, т.е.
х(Г)= жи = (51, 52,., хп),
290
(5.91)
что соответствует случаю ограничений-равенств вида &/(х)=х/-х] =0,
]=1, .., п. Тогда малый лагранжиан здесь примет вид
(ха) = Е (х,Т)+ у а;(х?-х]),
1=
а условия
трансверсальности
будут
выглядеть
так:
(Г) = а.53 (СГ), Т)+ (ат, а», .. а»),
(5.92)
Н(жСГ), и(Т 0), Т,уСТ), а) = 8? (х(Т),Т).
(5.93)
Условие (5.77) здесь можно заменить равносильным условием
а, +)
+0, а >0.
(5.94)
В самом деле, если условие (5.94) не выполняется, то ау = 0, \(Т) =
А тогда в силу (5.92) (а, ао, ...а») = 0, следовательно, а = (а, а1, ..., а») =
0.
0,
что противоречит условию (5.77). Это значит, что для задачи (5.70), (5.71),
(5.73), (5.91) выполняется условие (5.94). Верно и обратное: из условий
(5.92), (5.94) следует условие (5.77).
Таким образом, краевая задача принципа максимума для задачи (5.70),
(5.71), (5.73), (5.91) состоит из системы (5.85), краевых условий
жи) =х,х(Г)=,
(5.95)
условий трансверсальности (5.92), (5.93), неравенства ау > 0 и условия нормировки
а + (Г) =1.
(5.96)
Так как неизвестные параметры а/, ..., а, входят лишь в условие трансверсальности (5.92) и не входят в условия (5.85), (5.95), (5.96), то эти параметры и условие (5.92) можно исключить из дальнейшего рассмотрения.
5.3.3. Общие граничные условия
В приложениях нередко возникают задачи, в которых левый и правый
концы траектории должны выбираться согласованно, в зависимости друг
от друга. Это требование можно записать в виде
(*(), х(Г))Е 5(%,Т),
ВБ Ебу‹, ТЕВ,,
где 5(&, Г) при каждом (&, Г) Е 9, х®©, представляет собой заданное множество из Е"х
Е". Примером такого множества является
$, Т)- ре" хЕ": 8
50, 1-1..т
,
=0, 1=т+1,..,т+5
к,Г)
(х
&/у,
р (5.97)
где &(х, у, Ё Г) — заданные функции переменных (х, у, &, Т) Е Е" хЕ"х®,хб..
Взадаче (5.70)—(5.73) мы имели более простой случай: 5(&, Т)=5(&)х 5(Т),
где множество 5, (%)={х-ху =0} состоит из одной точки, 5\(Т) взято
из формулы (5.72).
291
Рассмотрим задачу оптимального управления
Ли), хО, хо, (ТГ), щ,Т)=
= [ По(ЖЕ, ще баЕ+ вх),
Г)
к,Т) > шт
(5.98)
ц
при условиях
жи =,
и,
ц <
ЗТ,;
(5.99)
(х(®), х(Г)) е 5(&,Т);
и(КеЕУ,
(5.100)
ЕЦ; Т],
(5.101)
где 5(&, Т) — множество, определенное формулой (5.97). Включение (5.101)
понимается так же, как и в задаче (5.26)—(5.29). Далее предполагается, что
в (5.75) вместо &(х, Т) берутся функции &(х, у, &, Г) из (5.97); сопряженная
система (5.76) имеет тот же вид.
Теорема 5.5. Пусть функции Л9(х, и, 1), Хх, и, #), ЕЛх, у, & Т) и их производные 0, ],, 81, 81, &/, ЕТ, ] = 1,..„ т + $, непрерывны по совокупности аргументов прихЕ
М, уЕ №, иЕ СУ, те [1; Г|, $ Е®;., ГЕ®.. Пусть
и = и(.) - оптимальное управление, х(:; и) — оптимальная траектория задачи (5.98)—(5.101). Тогда необходимо существуют вектор-функция \у = (0) = (у! (0, .., у„(0)), ц <ЕЗТ, и числа ац, а, ... ат; такие, что
цу = (0) является решением системы (5.16), соответствующей оптималь-
ному набору (и(.), х(; ; и), ау);
а= (ау, а,...@т.,)*0,
при всех Ее
4 >0,а, >0,...аи>0;
(5.102)
[&; Т|, являющихся точками непрерывности оптимального
управления и(.), функция Н(х(Е и), о, Е, У(®), а) переменной и =
(1, ..., и)
достигает своей точной верхней грани на множестве У при и = и(®, т.е.
тах Н(х(в; и), о, у (е), в) = Н(х(в и), и, У), в); — (5.103)
и справедливы равенства
(хи,
и
к,Т
х
(хи,
угу
их)
в,Т
у
у=х(Т)
(5.104)
х=х(& 1)
у=х(Г)
(условия трансверсальности);
а,Е(х(и),
(Г) ци,Т)=0,
1=1,..,ть
(5.105)
(условие дополнительности);
Набе,и& +0), у),
Н(аТ),и(т О.Т КР,
=-
=
9((х,
=х(в0), у=х(Т), =)
; (5.106)
(5.107)
Э(х, и, БТ
(условия трансверсальности по времени).
292
у, ТГ)
и=х(в), у=ж(Т),6=10
Если & закреплено, то условие (5.106) отсутствует, если Тзакреплено,
то условие (5.107) отсутствует.
Доказательство этой теоремы см., например, в работе [12].
Основываясь на теореме 5.5, нетрудно сформулировать краевую задачу
принципа максимума, соответствующую задаче (5.98)—(5.101), используя
ту же схему, как и выше в задаче (5.70)—(5.73).
Если в задаче (5.98)—(5.102) правый конец свободен, т.е. функции 27,
1=1, ... т + $ не зависят от у, то второе условие (5.104) трансверсальности,
как и в задачах (5.30)—(5.32) (5.70)—(5.73) будет иметь вид
ч(Г)=-в9(«(),
(Г), ,Т);
аналогично если в задаче (5.98)—(5.101) левый конец свободен, т.е. функции &, ] = 1, ..., т + 5, не зависят от х, то первое условие (5.104) трансверсальности имеет вид
(во)
= 81 (ж(&), (Г), &,Т).
Если в задаче (5.98)—(5.101) правый конец закреплен, т.е. т = 0, а ограничения-равенства имеют вид &7 =у/-л/ =0, ] = 1, ..., и, то второе равенство из (5.104) можно не учитывать в краевой задаче принципа максимума,
заменив его условием х(Т) = 1, причем условие а + 0 нужно заменить условием нормировки а +\СГ) =1.
Аналогично, если в задаче (5.98)—(5.101) левый конец закреплен, т.е.
т= 0, 7 =х/-44 =0,]=1,..., п, то первое неравенство из (5.104) можно опустить, заменив его условием х(&)) = хо и условием нормировки а + [м6 У =1.
Заметим, что выше мы ограничились изложением принципа максимума
для задач, когда отсутствуют фазовые ограничения, множество У не зависит от времени и фазовых переменных, процесс описывается системами
обыкновенных дифференциальных уравнений.
Более общие постановки
задач оптимального управления исследовались, например, в работах [1—3,
12, 14, 15, 33, 38].
5.4.* Примеры
Для иллюстрации теорем 5.4, 5.5 рассмотрим конкретные примеры задач
оптимального управления с более сложными краевыми условиями.
Пример
5.7
Рассмотрим
задачу
минимизации
функционала
Т
Ли)= / (их
при следующих условиях: 1(Ё) = и(#),0<Е<Т, х(0)=х(Г)=0.
Здесь момент Т> 0 задан; У= Е". В этой задаче нетрудно угадать ответ: пара #(ё) =
= 0, х(Е) = 0 является единственным решением. Продемонстрируем изложенную выше
схему использования принципа максимума.
Выпишем функцию Гамильтона — Понтрягина: Н(х, и, у, а) = -а0(и? + х?) + уи
и сопряженную систему у =-Н, = 2ах. Если ау= 0, то функция Н = уи может дости-
293
гать своей точной верхней грани на множестве У = Е! лишь при \у = 0 (в противном случае Н* = +). Однако соотношения ау = \у = 0 противоречат условию (5.96).
Следовательно, а > 0. Тогда можем считать, что ау = 1. В этом случае функция
Н=-и? - х2 + уи достигает верхней грани на Ё! при и =\у/2. С учетом этого краевая
задача принципа максимума запишется в виде
Я=У/2,у=2х,0<Е<Т;
х(0)=х(Г)=0.
Она имеет единственное решение х(#) =\у(#) = 0, 0 < Е< Т. Тогда и(#) = \(#)/2 = 0,
0<1< Т. Это и есть уже известное нам оптимальное управление.
Перейдем
управления,
имеет
не
к рассмотрению
которая
единственное
имеет решения.
более
в зависимости
решение,
или
интересной
от
имеет
Эта задача любопытна
величины
бесконечно
также
задачи
оптимального
конечного
много
момента
решений,
и тем, что даже
Т
ИЛИ
в том слу-
чае, когда она не имеет решения, краевая задача принципа максимума будет
иметь одно или даже бесконечно много решений.
В,
Пусть требуется минимизировать функционал
Т
Ли)= / (еж
при условиях 1(В) = и(7,0<Е<Т, х(0)=х(Г)=0, Т> 0 известно (сравните с примером 5.5).
Функция Гамильтона — Понтрягина здесь имеет вид
Н=-а0 (и? -х?) + уи,
сопряженная система такая:
Ч =-Н» =-2аух.
Если а%= 0, то Н = \уи достигает своей точной верхней грани (так же как и в предыдущем примере) на У = Е! лишь при \у = 0, что противоречит условию (5.96).
Следовательно, ау> 0, можно считать, что @ = 1. Тогда Н = х? — и? +уи и точная верхняя грань Н по переменной иЕ Ё! достигается при и = \у/2. Краевая задача принципа максимума имеет вид
Х=у/2у=-2х,0<Е<Т,
^(0)=х(Г)=0.
Общее решение этой системы задается формулой
х( =Сзтё+Осоз6
\(Ё=2Ссозё-2О3ть
где С, р — произвольные постоянные. С учетом условия 5(0) = 0 отсюда имеем Д = 0,
и тогда х(В) = Сзтёлу(В) = 2СсозЕ Условие х(Т) = 0 приводит к равенству Сзш Т = 0.
Возможно, что Т + пр, А = 1, 2, ...; тогда С = 0 и краевая задача принципа максимума
будет иметь единственное решение х(®) = 0, у(Ё) = 0, 0 < Е< Т, а управлением, подозрительным на оптимальность, будет и(®) =\у(®/2 = 0, 0 <Е<Т. Если же Т = п/Ё, где
— целое положительное число, то краевая задача принципа максимума имеет целое
семейство решений х(#) = Суть \у(® = 2Ссоз& зависящих от одного параметра С,
и управлений, подозрительных на оптимальность, будет бесконечно много:
и()=Ссозё
0<Е<Т.
Спрашивается: будут ли найденные управления оптимальными? Оказывается,
ответ на этот вопрос зависит от величины Т. Рассмотрим случаи Т> пи0<Т<т.
294
1. Случай Т> п. Покажем, что тогда ШЁ / (и) = =. Для этого возьмем последовательность управлений и соответствующих им траекторий
ии, (= "сов.
ди хи (= тэ,
0=#<ТГ,т=Ъ2,....
Тогда
т
Лит) = [из (6-х
д2
уме-утин 1-1) >=
т—> +=.
0
Следовательно, при Т > п рассматриваемая задача оптимального управления
не имеет решения. В то же время краевая задача принципа максимума при всех Т> п
разрешима, причем при Т = лА, # = 2, 3, ..., она имеет бесконечно много решений,
при остальных Т > п — единственное решение.
2. Случай 0 < Т < п. Тогда для любых кусочно-непрерывных функций 9(8),
для которых существует решение х(#) задачи х(Ё) =о(0, 0 <Е< Т, (0) = СТ) = 0,
по теореме об интегрировании по частям несобственного интеграла имеем
ох
ивр (я2(1))= Шт дса 1—2+ [2ТаС + и =| | 1 а,
свый=
2575
0$
в силу того что Пт х?(КсеЕ=0, а в случае Т=пещеи „р
>
—>Т-
(све
=0 (эти факты
можно без труда обосновать, применив правило Лопиталя). Пользуясь выведенным
соотношением и тем, что %(Ё) =о(®), находим
2240)
Ло= Г0 Гео = [|т0 оч
= Ге (В-2х(Ох(ФавЕ+ х (фа?
0
ов,$117
= Ге
- (бес
?аЕ> 0.
0
Итак, /(о) > 0, а на управлениях и(#) = 0 при Т<лии(® = СсозЁ при Т = п будем
иметь (и) = 0. Таким образом, при Т< п рассматриваемая задача оптимального управления имеет единственное решение, при Т = п — бесконечное количество решений,
причем все решения найдены с помощью принципа максимума.
Пример 5.9
Пусть материальная точка у (маленькая тележка) движется по закону #(#) = и(®),
где и(ё) — кусочно-непрерывное управление (внешняя сила), |и(#)| < 1, 0 << Т. Если
ввести функции х((®) = У(® и х?(Е) = 9(Е), то это уравнение в пространстве переменных х = (^1, х2) можно записать в равносильном виде
21(0=х2(0),
#2) =и(0,
0<=Е<Г.
(5.108)
Необходимо найти такое допустимое управление, чтобы точка из заданного состояния (0) = ху =(х1, хё) перешла в конечное состояние д(Т) = (0, 0) за минимальное
время Т (сравните с примером 5.6).
Сформулированная в этом примере задача быстродействия является частным
случаем задачи (5.70)—(5.73), где
Ли,Т)= [14 10 =1 20 =0, /=(х2, и), х(0)= хо =(х4,х$),
0
(5.109)
х(Г)= (0,0), т=0,5=2, У={иЕЕ <}.
295
Пользуясь теоремой 5.4, запишем краевую задачу принципа максимума. Функция
Гамильтона — Понтрягина (5.74) здесь имеет вид
Н(х, и, у, ау) = -а 1+2
+ узи,
малый лагранжиан (5.75)
Кх,Т,а)=а-0+а,х! + а2л?,
сопряженная система (5.76)
ЭН
алан то
.
9Н
аа №.
Условие максимума (5.78), (5.83) здесь равносильно задаче мои —> тах, ие
откуда следует, что
У,
+1, если \у(0) > 0,
и=и(® =звту (Е) =1-1
если (Е) <0,
УиЕТ,
(5.110)
если\уо(#) =0.
Таким образом, система (5.85) в рассматриваемой задаче быстродействия (5.109)
имеет вид
АИ = 2, 42 =овту оф! =Офо=-у,
0<Е<Т.
(5.111)
Граничные условия в этой системе получаются из соотношений (5.109) и условий трансверсальности (5.79), (5.81):
х1(0) =,
х2(0)=2хд, х(Т)=0, х2(Т)=0;
(5.112)
9 _
д!
(5.113)
91
дх?
(Г) =-—=-а, у2(Т)=-—5=-а5;
НТ), и(Т), СТ), а) = о +
Туту)
=5=0.
(5.414)
К системе (5.111)—(5.114) нужно добавить условия нормировки
а=0 или а=1,
(5.115)
вытекающие из условий (5.77): (а, а1, а2) = 0, ау> 0, т = 0.
Совокупность условий (5.111)—(5.115) составляет краевую задачу принципа максимума задачи быстродействия (5.108)—(5.109). Ниже будет получено аналитическое решение этой задачи. Предварительно изучим поведение системы (5.108), когда
и(Е) = 1 или и(Е) = —1, Е> 0. Сначала рассмотрим задачу Коши
ж(=х2(8), 42()=1
>20,
х(0)=2Ж, х2(0)=44.
(5.116)
Ее решение выписывается явно:
ой
+00 +х, х(р =,
Е>0.
(5.117)
Заметим, что
хоч
©
+26 = еоу- 4
‹
+24.
(5.118)
Это значит, что решение задачи Коши (5.116) в фазовой плоскости (1, х2) лежит
на параболе (рис. 5.3)
д =5е2+С,
296
С, =
64+.
(5.119)
Рис. 5.3
Стрелка на рис. 5.3 указывает направления движения на параболе по траектории
(5.117) и отражает возрастание координаты ^2(®) с ростом Ё> 0.
Аналогично, при и = и(&) = -1 имеем задачу Коши
21(В=х2(1), 42(=-1#>0,
х(0) =, х2(0) = дд.
(5.120)
Ее решение также находится явно, оно имеет вид
х(®=
о
+600 на +24=
2(
224
2) + Во
+25,риа
х(®=—+2,
>20,
(5.121)
и в фазовой плоскости (х!, х2) лежит на параболе (рис. 5.4)
х! =?
+ С,
С, 5+3
(5.122)
дд?
Ч
5
———
Рис. 5.4
Вернемся к краевой задаче (5.111)—(5.115) принципа максимума. Сначала рассмотрим случай а = 0. Тогда из условия трансверсальности (5.114) с учетом равен-
ства х2(Т) = 0 и формулы (5.110) имеем
у2(Г)и(Т) = у2(Т)звпу»(Т) =пуз(Г)|=0,
297
стало быть, \у›(Т) = 0. Отсюда и из (5.111) следует
у: (0) =С3
= соп$,
у›(0=С.(Т-Ь,
0<Е<Т.
(5.123)
Если С. = 0, то \у1(0) = 0, \у›(6) = 0, что при ау = 0 противоречит условию (5.94).
Следовательно, Сз+ 0. Если С.> 0, то (9) =51у(0 = 1,0<Е<Т, имы приходим к системе
(5.116); если С < 0, то и(#) = 5втуо(®) = —1, 0<Е<Т, мы приходим к системе (5.120).
Как очевидно из формул (5.116)—(5.119), при и(2) = 1,0<Е<Т, в финальную точку
х(Т) = 0 траектория приходит лишь в специальном случае, когда начальное условие
ху =(х, х8) и момент времени Т связаны условием (рис. 5.5, часть параболы АО)
оо
=44,
20 =-Т<0.
(5.124)
2
А
О
я
и=1
х
А
Рис. 5.5
Аналогично из формул (5.120)—(5.122) при и(® = -1, О<ЕЗТ, следует, что
в финальную точку х(Т) = 0 траектория приходит в специальном случае, когда
(рис. 5.6, часть параболы ВО)
$’ =44<0,
2=Т>0.
А
Рис. 5.6
298
х
(5.125)
Таким образом, при @4 = 0 краевая задача (5.111)—(5.115) принципа максимума
выделяет подозрительные на оптимальность управления и1(#) = 1,0<:<Т, и(#) =-1,
0<Е=Т, и соответствующие им траектории х(& 1), х(Е и2) с начальными точками ху
из условий (5.124) и (5.125) соответственно.
Рассмотрим случай, когда ау = 1. Тогда из условия трансверсальности (5.114)
с учетом равенства х2(Т) = 0 и формулы (5.110) имеем
у2(Г)уи(Т)= у (Т)звту»(Т) =у›(Т)ЕЬ
т.е. у›(Т) = 1 или уо(Т) = -—1. Отсюда и
у›(=СкКТ-Ю+1или
из (5.111) следует, что
у.(=С(Т-В-Ь
О<ЕЗТ,
С, =соп$.
— (5.126)
Случай С. = 0 связан с управлениями и(® = 1, и(#) =-1, 0 <Е<Т и, по сути, уже рассмотрен выше в соотношениях (5.124), (5.125). Если С, * 0, то, как очевидно из формул (5.126), линейная функция \у2(#) может обратиться в нуль лишь в одной точке
+=т. С учетом формулы (5.110) это означает, что для произвольных начальных точек
ху, отличных от задаваемых условиями (5.124), (5.125), оптимальными могут быть
лишь управления
1,
О<Е<т,
—1,
0<ЕЁ<т,
чо,
<Е<Т
(5.127)
или
и2(Е)= |
с<Е<Т.
(5.128)
В силу замечания 5.1 (с. 273) интерес для нас представляет лишь случай 0 <т< Т.
Пусть начальная точка ху лежит ниже кривой АОВ (рис. 5.7). Покажем, что тогда
существует единственное управление, которое при подходящем выборе т, Т переводит
точку м в точку х(Т) = 0 и является решением краевой задачи (5.111)—(5.115) принципа максимума. В самом деле, управление и1(#) = 1 порождает траекторию (5.117),
лежащую на параболе (5.119), и эта траектория в некоторый момент т пересечется
с кривой ВО. Если в этот момент переключиться на управление и1(#) = —1, Е > т, траектория попадет на кривую ОВ и, как в случае (5.125), в момент Т = х2(т) по кривой ВО придет в финальную точку х(Т) = 0.
В
дл
х(т)
Рис. 5.7
Аналогично показывается, что если точка лу лежит выше кривой АОВ (рис. 5.8), то
управление (5.128) при подходящем выборе т, Т переводит точку № в точку СТ) = 0.
293
А именно, при и = и(® =-1, Ё> 0, происходит движение по параболе (5.122) до момента
т пересечения этой параболы с кривой АО, затем происходит переключение на управление и(1) = 1, > т, и при Т= х2(т) траектория по кривой АО достигает точки х(Т) = 0.
В
(т)
Рис. 5.8
Краевая задача (5.111)—(5.115) принципа максимума для задачи быстродействия
(5.108) полностью исследована. Выяснилось, что оптимальными могут быть лишь
управления (2) = 1 или и(®) = -1, 0<Е<Т, когда начальные точки ху удовлетворяют
специальным условиям (5.124) или (5.125) соответственно, в остальных случаях,
когда начальная точка ху расположена ниже кривой АОВ или выше АСВ, оптимальными могут быть лишь управления вида (5.127) или (5.128) соответственно. Эти
управления действительно являются оптимальными
[1, 12, 14, 15, 24].
Заметим, что формулы (5.127), (5.128) (при т
= 0 эти же формулы соот-
ветствуют случаю ау = 0) представляют оптимальное управление задачи
(5.108) как функцию времени. Такие управления часто называют программным управлением.
Проведенное подробное исследование задачи (5.108) позволяет записать оптимальное управление как функцию фазовых координат х = (41, х2):
и=и(х)=
1, если точка х лежит ниже кривой АОВ или на дуге АО,
—1, если точка х лежит выше кривой АОВ или на дуге ОВ.
(5.129)
Такая функция и(х) называется синтезирующей функцией, а задача
построения синтезирующей функции — задачей синтеза. В практических
задачах оптимального управления использование синтезирующей функции может оказаться предпочтительнее по сравнению с программным
управлением. Можно себе представить, что в задаче (5.108) движущаяся
тележка снабжена измерительным устройством, позволяющим «узнавать»
координаты тележки (х!, х2) в любой момент времени. Тогда, зная эти
координаты и формулу (5.129), можно установить рули тележки в состояние «1» или <«-1>, обеспечивая оптимальное (по быстродействию) движение тележки. В общем случае синтезирующая функция удобна и тем, что
300
с ее помощью можно осуществлять коррекцию траектории в условиях,
когда на оптимальное движение процесса влияют какие-либо возмущающие факторы, ошибки измерений. Следует сказать, что задача синтеза
весьма сложна, ее решение в явном виде удается найти в редких случаях.
Один из методов получения приближенного решения этой задачи будет
рассмотрен в гл. 6.
СВ
Требуется перевести точку х = (х1, д?) из состояния 2 = (2, —2) на множество
5, = {ХЕ Е?: &'(х)=х! =0} быстрейшим образом, предполагая, что движение точки
подчиняется уравнениям
(О =х2(0, (0 =и®),
Е>0,
причем и(Ё)ЕУ ={иЕЁЕ!: [и |< 1}.
Как и в предыдущем примере, здесь Н =-а +1? +луои, малый лагранжиан
Кх,Т,а)=а +ах', сопряженная система имеет вид у! =0, > = —уу, откуда следует,
что
(©) =С, у.(=-СЁ+Ь,
С,Б=сопз.
Условия трансверсальности здесь дают
\:(Г)=-а, у›(Т)=0,
Следовательно,
—@а
+1 (Г)х2(Т)+ у (ТуиСТ) = Н |-г=0.
\у›(Ё) = С(Т - 1), 0<Е<Т.
Заметим,
что здесь С # 0, так как
при С = 0 получим \у1(#) = \у2(0 = 0, 0<ЕЗТ, а тогда а! = 0, из условия Н|,-т=0
вытекает а) = 0 — противоречие с условием (5.77). Итак, С + 0, у(® = ССТ-Э=0
при 0 < < Т. Максимизируя функцию Н по и таким, что |и| < 1, имеем
и(Е) = вту2(Е)=зе1С,
0<Е5<Т.
Подозрительными на оптимальность здесь могут быть лишь управления и(®) =
или и(® =-1, 0<Е<Т. Если и(®) = 1, то из краевой задачи
=,
42 =1 0<Е<Т;
1
х(0)=2, х2(0)=-2, х(Г)=0
получим Т= 2, х1(Ё) =5@- 2)2, х2(В=#-2,0<Е<2. Если и(®) = -1, то из задачи
И =,
42 =-1, 0<Е<Т;
будем иметь Т=\/8-2, х(В=4 — +2)
х1(0)=2, х2(0)=-2, хКТ)=0
х2()=-#-2,0<#<\8-2.
Таким образом, краевая задача принципа максимума здесь дает два решения.
Однако лишь управление 1(#) = -1, 0<Е<Т =\8 —2, может претендовать на оптимальность, так какТ =2> /8- 2, управление #({) = 1, 0<Е<Т заведомо неоптимально.
Рассмотрим задачу минимизации функционала
1
Ли) = (и
(0
++
а) + х2 (4)
(5.130)
0
при условиях
КО =и®, 42 =и?(8, 0<Е<1
х1(0)=0, х2(0)=0, х(1)<0, ((х2(1)-х)<0,
(5.131)
гдеи= и(® = ((и1(В), и2(1))).
301
Эта задача является частным случаем задачи (5.70)—(5.73) при п =т=
Т=1,т=2,5=0, У= Е, х= (1, 42), у = (1, у?),
№ =(и1)?+(и?},
(хи, в) =и,
&0(х, =
+2,
&(ху)=
У
2, ц = 0,
52 (х,у)=-и +(12),
левый конец траектории закреплен. Из условий (5.131) очевидно, что правый конец
любой допустимой траектории этой задачи удовлетворяет равенствам 11(1) = 0,
х2(1) = 0. Тогда Л (и) =“
а>0 для всех допустимых управлений. Поскольку
0
и = и(Ё) = 0 — допустимое управление и.Г(0) = 0, то .]. =0, м(Е) = 0 — единственное
оптимальное управление задачи (5.130), (5.131).
Воспользуемся принципом максимума. Функция Гамильтона — Понтрягина
Н=-а (и? + (и?
+ уци! + фри?
не зависит от х, поэтому сопряженная система имеет вид фу! =0 у. =0, 0 << 1.
Следовательно, \у1(#) = сц, уо(® = с», с1, с› — константы. Далее выпишем малый лагранжиан:
Кх, у,а) = а(у! + у?)+ ау +а>[-у'+(у?)?]
и сопряженную
систему с условиями
на а, а1, а:
—у! (1) =а :1+а,.1+а›-(-=щ+а-45;
(5.132)
—\>(1) =4% -1+а,-0+а2-2х2(1) =а5;
(5.133)
аз
(5.134)
+а?
+а2
=1,
а
>0,
а
>0,
а
>0.
Покажем, что в этой задаче а = 0. В самом деле, если ау > 0, то можем воспользо-
2
ваться условием нормировки а = 1. Тогда функция Н =-[ш|" + (\у, и) достигает своего
максимума на У = Р2 в точке и =1у/2 = с/2, с = (сц, со). Соответствующая траектория
х(®= [0
= оси, х (=
вы
может удовлетворять условию х(1) = 0 лишь при с! = с = 0. Таким образом, \у(#) = 0,
0 <Е< 1. Из условия (5.133) тогда следует, что ау = 0, что противоречит равенству
а = 1. Следовательно, а
= 0.
Но тогда линейная функция Н = (\у, и) на Е? может иметь конечный максимум
(который, кстати, должен достигаться на оптимальном управлении и(#) = 0) лишь
при\у = \(В =с= 0. Из условий (5.132)—(5.134), учитывая, что ау = 0, получаем а! =
= а. > 0. Таким образом, краевая задача принципа максимума здесь дает
а= (а
=0, а, =а,а›
=а),
а>0,
(Е)
=0,0<Е5<1.
Как видим, в этой задаче функция Н тождественно равна нулю, и условие максимума (5.78) не дает возможности отыскать оптимальное управление и = и(&) = 0,
0<Е<
1.
Говорят, что оптимальное управление и(-)
[05 В] < [Е; Т|, если Н(ж(®), и, & \(®), аз) при Ее
случае условие (5.78) для набора (х = х(®), 6
не дает никакой полезной информации об
является особым на отрезке
[о; В] не зависит от и. В этом
у = \(В, а) приёе
[0; В]
оптимальном управлении.
В частности, когда нарушается условие (5.96), т.е. ау = 0, у(Е) = 0,
<ЕЗТ,
мы имеем дело с одним из типичных случаев появления особого управления на всем отрезке [&; Т| — в этом случае из определения (5.74) функции
Гамильтона — Понтрягина следует, что Н= 0 и, следовательно, любое допу302
стимое управление удовлетворяет условию максимума (5.78). Так случилось в только что рассмотренном примере 5.11.
Приведем пример задачи оптимального управления со свободным правым концом, когда оптимальное управление является особым не на всем
отрезке [1у; Т|.
ИЕ
Требуется минимизировать функционал
1
(5.135)
Лиу= | ха
0
при условиях %(#) =и(1),0<#<1,
ление, и(В) Е У= {иЕ Е:
х(0)=ху, и = и(® — кусочно-непрерывное управ-
|и|< 1}.
Выпишем функцию Гамильтона — Понтрягина:
Н(х, и, у) = -х2+ ци.
В силу теоремы 5.3 сопряженная задача имеет вид
у
=-Н, =2»х(0, 0<:<
у%@=0,
а условие максимума (5.37) дает
и = и(в) = зщ (о.
Краевая задача принципа максимума запишется следующим образом:
#(О ЕЗЕ УСО, (О =2х(0),0<Е<Т,
х(0)=ж, (1 =0.
Здесь уместно вспомнить, что величина (5.135) выражает площадь криволинейной трапеции {< х):0<1<1 0<х< х2(6)}. Отсюда ясно, что эта площадь будет уменьшаться, если график решения задачи Коши %(#) = и(®), х(®) = ху, |и(6]| < 1 по возможности будет приближаться к числовой оси. Это значит, что при ху> 1 оптимальными
в этой задаче будет управление 1(#) = -1, 0 < Е< 1, и соответствующая траектория
жи) =-#+ ху; функция (1) =-Й + 2х. + 1 - 2ху в этом случае меньше нуля при всех
Е [0;1], и, как и положено, согласно принципу максимума и(#) = з5ту(#) = -1. Далее,
если 0 < ху < 1, то оптимальными будут управление
-,
0<#<ж,
х<#<1
9
и соответствующие ему траектория и функция \/(#)
9
—+%,
0,
0<#<ж,,
2 <Е<Ъ
У =
о
(Еж)
2 +2жЕ-х2 =-(-2),
0,
о
0<Е<ж,
№ <#<1
причем 1(#) = зещу(®), что снова согласуется с принципом максимума. Однако
на отрезке [ж; 1] функция Н(х(®), и, \(0) = 0 и достигает своего максимума при [и |< 1
не только при и = 0, но и в любой другой точке этого отрезка. Это значит, что управление и(1) = 0 приЕёе [ху; 1] является особым, его значение однозначно не определяется условием максимума, и это значение мы определили исходя из геометрических
соображений.Если 2 = 0, то оптимальны #(#) = 0, х(Ё) = 0, у(В) =0, 0 <Е< 1. Если же
—1 < у < 0, то оптимальна тройка
и(Е)=
1
0<1<—,
х()=
1+,
@©= #+2х1+ж =@(+2х),
0,
0<#<—,
0<#<-ж,
—№
<#<1.
303
Как видим, при —1< 2 < 0 управление и($) = 0 на отрезке —-л% < &< 1 также является особым. Наконец, если ху < -—1, то оптимальны
ие
=Е+ху, уФ=Е+2хи-1-2ж%>0,
и опять все соответствует принципу максимума: и(Е) = зв1у(#) =1,0<Е<
1.
В следующих примерах будет показано, как выписывается краевая
задача принципа максимума для некоторых задач оптимального управления движением математического маятника.
УБЕ
Рассмотрим задачу оптимального управления математическим маятником со свободным правым концом (5.2), (5.3), а именно
Ле = (КТ)? +(х2 (Г)? > пт
(5.136)
при условиях
ЖЕ) =х2 (1), 42 =-яахКИ-Вх2(Е)+и(Е),0<Е<Т,
х(0)=х;
(Р)ЕУ={иЕЕ!:|и|< 1},
(5.137)
(5.138)
где х = (21, 42) — фазовые координаты, ху = (11, х5) — заданная точка, Т> 0 — заданный момент времени.
В этой задаче правый конец траектории свободен, №Ю = 0, #5(иу) = (и1)2 + (у2)2.
Выпишем функцию Гамильтона — Понтрягина:
Н(х, и, у) = ух? + (-зтл1 — Вх? + и)
и сопряженную систему:
1 =-Н. = У с08х1, у›=-Н’› =-у:+Ву»,
0<Е<Т.
(5.139)
Из условий (5.36) имеем
(Г) =-в%, («(Г))=-2ж1(Т), у›(Г)=-ву› (ТУ) =-2х2(Т).
(5.140)
Из условия максимума функции Н по переменной и с учетом ограничения [и|< 1
следует, что и = з5туо. Тогда краевая задача принципа максимума запишется в виде
=,
42 =-5тл!
— Вх? + ву,
х(0)= хо,
У! = с0$1,
2 = бу, +Ву., 0<Е<Т;
(Г) =-2ж1(Г), у›(Т)=-2х2(Т).
(5.141)
(5.142)
Если краевая задача (5.141), (5.142) имеет решение (х(#), \(6)), 0 << Т, причем
лу›(Ё) обращается в нуль в конечном числе точек, то функция и(#) = з2пу(®) будет
управлением, подозрительным на оптимальность в задаче (5.136)—(5.138).
Как и в примере 5.6, явное решение краевой задачи (5.141) в аналитической форме
получить не удается, приходится искать ее решение численными методами [6].
Заметим, что если для некоторого управления 9 = 5(-) из (5.138) решение задачи
Коши (. ; 0) (5.137) таково, что х(Т; о) = 0, то.) = 0. Это значит, что 5(-) — оптимальное управление в задаче (5.136)—(5.138). Любопытно, что это управление является
особым — его нельзя получить из принципа максимума. В самом деле, при СТ. о) = 0
из формул (5.139), (5.140) следует у(Е; о) = 0, 0 <Е< Т, а тогда Н(х(Е о), и, у(6 о)) = 0,
0 <Е< Т, при всех ие Уи условие (5.37) не суживает исходное множество управлений, подозрительных на оптимальность.
304
ЗО
БУ
Рассмотрим задачу минимизации функционала
(и)= оо
о
при условиях
хр =х2(0, 42(® =-зтх КВ -Вх2(Е)+и(Е),0<Е<Т,
х(0)=ху,
и(КЕУ={иЕ
Е! |и|<1}
и закрепленном правом конце СТ) = 0, Т> 0 — задано.
Здесь У=Р,
Н=-аи? + 1х? +2 (-зт 1 Вх? + и),
сопряженная система имеет вид (5.139). В случае ау = 0 функция Н может достигать своей верхней грани на Ё! лишь при \у. = 0. Но если \у>(Ё) = 0, 0 <Е< Т, то
из второго уравнения (5.139) получим \у1(#) = 0, что противоречит условию (5.96).
Таким образом, можем положить а = 1. Тогда из условия максимума функции
Н по переменной и Е Еполучим и = \у./2. Краевая задача принципа максимума
будет иметь вид
= х2, 42 =-5тл! - Вх? +»
у! = 2 051,92 = у, +Ву»,
0<ЕЗТ,
х(0) =, (Г) =0.
Пример 5.15
Рассмотрим задачу быстрейшего перевода точки х = (^1, х2) из состояния 1 * 0
в начало координат (0; 0), предполагая, что движение точки подчиняется условиям
(5.137)—(5.138).
Здесь Л =
1, 20 = 0; функция
Гамильтона — Понтрягина имеет вид
Н=-а +\х? +. (-зтлх! — Вх? + и), ау > 0.
(5.143)
Отсюда ясно, что сопряженная система будет иметь вид (5.139), а условие
максимума функции Н по переменной и при ограничениях |и| < 1 выделит функЦИЮ и = $21уо. Краевая задача принципа максимума в этом случае будет состоять
из системы (5.141), граничных условий х(0) = хо, ^(Т) = 0, условия трансверсальности
Н\-т=-а +у5(Т)иТ)=0
и условия (5.96). Отметим, что в этой задаче \уо (Е) # 0. В самом деле, если бы \у(1) = 0,
то из формулы (5.139) будем иметь \у1 (2) = 0, а из условия Н |, -т=0 получим ау = 0,
что противоречит (5.96).
5.5.* Принцип максимума
и классическое вариационное исчисление
Основной задачей классического вариационного исчисления, как известно
[1, 12, 14, 15], является следующая задача: среди всех непрерывных кривых х = ^(Ы), & <ЕЗТ, имеющих кусочно-непрерывные производные 1(1)
305
и удовлетворяющих условиям х(&) е 5%, СТ) Е 51, найти такую, которая
доставляет функции (функционалу)
Т
Л= [еда
и
минимальное значение. Здесь х(®) = (х"(®), ..., ^(®)), 5% и 51 — заданные множества в Е”. Будем предполагать, что функция Д(х, и, Е) непрерывна и име-
ет непрерывные производные 0, [0, [0, /0, /0, [0 при (х, и, В Е Ех Ех
х [&; ==). Далее в этом параграфе для простоты мы ограничимся рассмотрением случая закрепленного левого конца: х(&) = ху, & задано, а правый
конец х(Т) либо закреплен: х(Т) = хи, Т задано, либо свободный: 51 = Е", Т
задано, либо является подвижным и лежит на заданной гладкой кривой
51 =5:(Г) ={уЕ Е": &(у,Т)=у-$(Т)=0},
ТЕ(—5; +05).
Обозначим %(Ё) = и(Ё) и запишем рассматриваемую задачу в эквивалент-
ном виде как задачу оптимального управления:
Т
Ли) = [ о(х@уи
„ВЕ > пап,
и
х=и(®,ц
<Е<Т,
х()=хо, (Г)е $4 (Т).
Для исследования этой задачи воспользуемся принципом максимума
Понтрягина. Выпишем функцию Гамильтона — Понтрягина:
Н(х,и,ь у, ад) = а ох, и,в)+ (у, и)
и сопряженную
систему:
У=-Н; = ани),
Для
(5.144)
решения
(и(8), х(0), & <Е<Т,
а 20.
(5.145)
рассматриваемой
задачи должно
выполняться необходимое условие
Н(х(@®), и, 6 у(®), ау) = зир Н(х(В, и,
У(Е), ау),
Ц <ЕЗТ,
(5.146)
иЕЕП
где \\(Е) — решение системы (5.145) при и = и(0), х = х(Б и), в <ЕЗТ. Так
как в данном случае множество У совпадает со всем пространством Ё*", то
условие (5.146) может соблюдаться лишь в стационарной точке, т.е.
Н, =-аО(х(Е), и),
+У(@=0,
К <ЕЗТ.
(5.147)
Отсюда ясно, что а + 0, так как при а = 0 из формулы (5.147) получаем
1/(0) = 0, что противоречит теореме 5.4. Следовательно, можно считать, что а =
= 1. Тогда соотношения (5.144)—(5.147) перепишутся соответственно в виде
Н(х, и,
у) =О (х, и, Е)+ (у, и);
Че) = 0 (х(Ё, и(®),Г),
Нож, (В,
(5.148)
в <ЕЗТ,;
у(р)) = зар Н(х(®), и, Е, \(Е)),
(5.149)
Ц <ЕЗТ,;
(5.150)
иЕЕП
и(Е) = 10 (х(®, и(Е,Ю,
306
в <ЕЗТ.
(5.151)
Из уравнения (5.149) имеем
1
(= [| Ох, и, +).
и
С учетом соотношения (5.151) отсюда получаем
Е
Ло (ж(@), и(г), 0 = | № (а(т), и(т),
т)
+у(&),
и
<Е<Т.
(5.152)
и
Уравнение (5.152) называется уравнением Эйлера в интегральной форме;
заметим, что здесь и(ё) = (8), & <Е<Т. Если уравнение (5.152) продифференцировать по &, то получим уравнение Эйлера классического вариационного исчисления в дифференциальной форме
(Е, и(в,г))- (Е, и, =0, и =,
Ч
в <ЕЗТ.
Далее, необходимым условием для достижения функцией Н(х(Ь), и(®,
(2) максимума при и = и(&) является неположительность квадратичной
формы
У Ни
що мЕЕ,
1]=1
при любых & = (&,, &,, ..., би), к <Е<Т. Отсюда, учитывая выражение (5.148)
для Н, имеем
Ух Л
О ЩООЕ;>0
УБЕ", в ЕТ.
(5.153)
р,
1=1
]=
Условие (5.153) называется необходимым условием Лежандра. В част-
ности, при и = 1 оно принимает вид
(ХВ, и,
>0,
В <ЕЗТ.
Теперь выведем необходимое условие Вейерштрасса. Для этого перепишем условие (5.150) с учетом (5.148), (5.151) таким образом:
0< Н(х(@, и, ь у(@))- Нок, 6 у(@))=
= (хо, - Ах, и, -®-и(, П(х, и, 1).
(5.154)
Это неравенство будет справедливо при любых ое Е, ЕЕ [1); Т|, если
пара (м({), х()), & <ЕЗТ, является решением исходной задачи. Введем
в рассмотрение функцию
Е(Ь х, и, и) =
10(х, 5,6) -
(хи, 6) (офи, 10(х,и,Г)), — (5.455)
называемую функцией Вейерштрасса. Известное в классическом вариационном исчислении необходимое условие Вейерштрасса
ЕСЕ, х(@), и(@),о)>0,
& <ЕЗТ, ЕЁ",
как видим, является следствием неравенства (5.154). Далее заметим (см.
формулу (5.82)), что функции \(®) и Н(@) = зир Н(х(,и лу), ау) непреиЕЁП
307
рывны на отрезке [1; Т]. Поэтому с учетом соотношений (5.148), (5.150),
(5.151) имеем
(ПО, и, 0), =0,
к <Е<Т.
(ис), Пе, и, 0) - Рок, и), 0), =0,
(5.156)
Здесь принято обозначение (2({)),= 2(Ё + 0) - 2(&- 0). Поскольку равен-
ства (5.156) выполнены при всех 5, & <Е<Т, то они сохраняют силу, в частности, и в те моменты &, когда функция х(Ё) может иметь излом, т.е. производная 1(#) терпит разрыв. Таким образом, если учесть связь и(Ё) = (Е),
условия (5.156) превращаются в известные из классического вариационного исчисления условия Эрдмана — Вейерштрасса в точках излома кривой х(®), ц <ЕЗТ.
Теперь перейдем к рассмотрению условий на правом конце оптимальной кривой х(®), К <Е<Т. Если конец х(Т) свободен, то в силу условия
(5.36) тогдам(Т) = 0. Отсюда с учетом выражения (5.151) имеем
(5.157)
ПСТ), Т),Т)=0.
Если правый конец х(Т) подвижен, точнее,
х(Г)е 51(Г)={уЕ Е": &/(у,Т)=у)-ФхТГ)=0, 1=1,..,п},
то согласно условиям (5.79) существуют постоянные 41, ..., а, такие, что
мг) =-Х= аа @Т),Т)
= -а
НОХТ), (Г), Т,\(Т))= х а’в/(х(Т),Т)= -5 а.ф;(Г)=
=
=
п
= ху Г) ‚СТ ) = (УСТ), ФСГ).
=
Так как Н(х, и, у)
= (у, и)- /0(х, и, 6) и У(Ё) выражается
(5.151), то последнее равенство можно переписать так:
формулой
Ло(ж(Г), Г), Т)+ (о(жСГ), и Т), Г), Ф(Г)-и(Т))=0. —
Условия
(5.157), (5.158) при учете связи х(Ё)
= и(Ё) выражают
(5.158)
собой
известные в классическом вариационном исчислении условия трансверсальности для свободного и соответственно подвижного правого конца.
Таким образом, в случае У = Е" из принципа максимума следуют все
основные необходимые условия, известные в классическом вариационном
исчислении. Однако, если У — замкнутое множество и У Е", то соотношение (5.147), вообще говоря, не выполняется. Более того, имеются примеры,
когда и условие Вейерштрасса в этом случае не имеет места [33].
Условие максимума (5.78), являясь естественным обобщением условия Вейерштрасса из классического вариационного исчисления, имеет то
существенное преимущество перед условием Вейерштрасса, что оно применимо для любого (в частности, и замкнутого) множества УЕ Е"и для более
общих задач. Заметим, что случай замкнутого множества наиболее интере308
сен
в прикладных
Чаще
всего
лежат
вопросах,
на
поскольку
границе
значения
множества
оптимальных
управлений
у
Упражнения
5.1. Найдите оптимальное управление в задаче
3
Ли) = [(«(+ и? (В) > тт,
(В =и(,0<Е<3,
0
если:
а)
6)
в)
г)
У={иЕЁЕ!:и|<1}, (0) =
У={иЕЕ!:и|<1}, х(3) =
У={иЕЁЕ!:и|<1}, (0) =
У={иЕЕ!: Ш < 1/2}, (0)
0;
0;
0, х(3) = 0;
= 0, х(3) = 0.
5.2. Найдите оптимальное управление в задаче
(и) = ера
> т,
0
перен (9) С
пн (2 94
где
2
=и(®,
х2(0)
0
х?(2)
0
5.3. Найдите решение краевой задачи принципа максимума, если
#2()
= и(В,
х2(0)|
|0} | х2(2)]
[0
а функционал имеет вид
Л(и)= [+
о
5.4.
Примените
принцип
(и)= [я (В
0
12 (КЕ -> п.
максимума
пш,
|
для
решения
задачи
(Вр =х2ЕщЬ,
(0, 0<Е<4,
|051
при условиях:
а) 12(0) = 0, х1(4) = 0, х2(4) = 0;
6) х!(0) = 0, х2(4) = 0;
в) 11(4) = 0, х2(4)=0.
5.5. Задача быстродействия является частным случаем задачи (5.70)—
(5.73), причем в функции (5.70) можно принять как Л = 1, 20(Т) = 0, так
и Ю= 0, =20(Т) = Т. Убедитесь, что обе формализации задачи быстродействия
приведут к одной и той же краевой задаче принципа максимума.
5.6. Найдите решение задачи быстродействия (5.108) в случае х(0) =
= (1;0), х(Т) = (0;0).
309
5.7. Решите задачу быстродействия
==,
що,
УЛ@)=Т > шш,
«ст
0515
о
при условиях:
а) л1(0) = 1, х2(0) = 0, ^(Т) = 5, х(Т) = 0, [и| < 1;
6) ^1(0) = 1, 42(0) = 1, (Г) = 0, [и|< 1;
в) х1(0) = 4, х2(0) = 1, х2(Т) = 0, и| < 1.
5.8. Решите задачу
1
Л) = Г [2 (К
‚_
-— пит,
|2мо.
=х2(),
и (©),
<Е<
0<#<1,
при условиях:
а) л1(0) = 0, х2(0) = 0, х1(1) = 1, 42(1) = 0;
6) х((0) = 0, х2(0) = 0, х1(1) = 0, х2(1) = 1;
в) (0) = 2, л2(0) = 0, х{(1) = 0, л2(1) = 0.
5.9. Решите задачу
Лад = изо - РЕ 5 пить
0
оо
0<#<л,
21(0)=0,х2(0)=Ь хп) =-1 х2(п)=-1.
5.10. Решите задачу
](м)= х?(1) > шт,
(О =и(®),0<Е<1
х(0)= х,
и = и(Е) — кусочно-непрерывное управление, |и(#)| < 1, 0 <Е< 1. Убедитесь, что при |х | > 1 задача имеет единственное оптимальное управление
и(В) =-1,0<1< 1, апри [х < 1 оптимальных управлений бесконечно много.
Указание. При || < 1 рассмотрите управления
—1 при0<Е<
жд <Ъ
ш@®=
Г прил
-1 при
.
. 1
<екаь+ [4]
+ [14 реж
ров
т
о,
Е =2, 3, ..., и покажите, что управление и,(Ё) при каждом # > 2 является
решением этой задачи.
5.11. Приведите пример задачи оптимального управления, которая сама
не имеет решения, но при этом краевая задача принципа максимума имеет
решение.
Указание. Рассмотрите задачу
Ли)= [а2@0
0
310
(ЮЖ
штн, ХФ =и®,0<Е=Т,
х(0)=0,(Г)=0.
Убедитесь, что при Т
+ пк, Т > п краевая задача принципа максимума
имеет единственное решение, при Т
решений.
= л/, А = 2, 3, ..., — бесконечно много
5.12. Приведите пример задачи оптимального управления, не имеющей
решения, у которой краевая задача принципа максимума также не имеет
решения.
Указание. Рассмотрите задачу
(и) = [@2@- и?(ВЕ— тт,
д
=и(,0<Е<1,
^(0)=0,
0
и(Е) — кусочно-непрерывная функция, и(Ё)ЕУ ={иЕЕ Ши |< 1} УЕЕ
[0; 1].
Покажите, что (и) > —1 при всех допустимых управлениях, в качестве
минимизирующей последовательности возьмите
и, (Г) =
1
1 при РЕ,
<# 51+,
8
рп,
р
и
р
2
23
ЕЕ
1=0,1,..,-1
=
р’
9.1)...
,
В
5.13. Минимизируйте функционал
Ли) = иде
-17&
0
при условиях
#(0 =и(0,0<Е<Т,
х(0)=0,х(Г)=Ь
ифеЕУ={иЕЕ!:05и<1.
Покажите, что:
а) при 0 < Т< 1 задача не имеет решения;
6) при Т = 1 задача имеет единственное решение и({) = 1, ]. =0;
в) при Т> 1 ], =0, имеется бесконечно много оптимальных управлений
вида
м
(Г) =
1, если Ее [а;; 5, < [0;Т], 1=1,...М№, У(В-а)=Ъ
121
0, в остальных точках ЕЕ
[0;Т],
[а;; 6; с[а;;;|=©, 1= 7. Примените принцип максимума к этой задаче.
5.14. Минимизируйте функционал
1
Ли) = [тиф
0
при условиях
Х(Е) = созх(Е),0<Е<1,
х(0)=0,х(1)=1
иВеЕУ= | ЕЁ! и |< т,
Покажите, что оптимальному управлению #(2) = 0, 0 < {< 1 в принципе
максимума соответствует лишь 44 = 0.
311
5.15. Сформулируйте краевую задачу принципа максимума для задачи
быстрейшего перевода математического маятника (5.137)—(5.138) из точки
х(0) = ху = ($, хо) в точку (Г) =Кх(Т), х2(Г)), удовлетворяющую условиям (= > 0 — заданное число):
2
а) «ТУ ==?;
6) |х(Г\|< =;
в) х(Т) = 0, [д2(Т)| < 5;
г) [ж1(Т)| < в, 2(Т) = 0;
д) [х1(Т)] < в, [&2(Т)| < в.
Глава 6
ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ
Метод динамического программирования широко применяется
для решения задач оптимизации, имеющих специальную структуру. Термин «динамическое программирование» был введен американским математиком Р. Беллманом, который поначалу разрабатывал его для решения
задач оптимального управления процессами, динамика которых описывалась обыкновенными дифференциальными уравнениями, а затем распространил этот метод и на другие классы оптимизационных задач. Следует
сказать, что идеи, на которых основывается метод динамического программирования, были известны давно, в частности они интенсивно развивались
русским математиком А. А. Марковым в теории вероятностей (марковские
процессы).
Мы не будем пытаться охарактеризовать этот метод в общем виде,
поскольку трудно унифицировать его многочисленные модификации, привязанные к конкретным приложениям, и отошлем читателя к книгам [7, 12,
27, 30, 36] и приведенным в них библиографическим источникам. Здесь
мы ограничимся изложением схемы Беллмана для задачи оптимального
управления с фазовыми ограничениями, обсудим ее применение к задаче
синтеза, а также рассмотрим приложения метода к некоторым классам
конечномерных задачам оптимизации.
6.1. Принцип оптимальности
Рассмотрим следующую задачу оптимального управления:
Лао, О», Т,х)= [ о (хе, ще, +ФОСТ)) шт;
(61)
у
#()= Ка, и(®,6, 5 <ЕЗТ, =
ЕС, в <ЕЗТ;
и=иФеЕУ(Ь,
в <Е<Т; и(® — кусочно-непрерывная функция;
(6.2)
(6.3)
(6.4)
моменты времени &, Т будем считать заданными (описание обозначений
см. в параграфе 5.1).
Заметим, что в отличие от задачи (5.98)—(5.101) в задаче (6.1)—(6.4) граничные условия проще, но зато имеются фазовые ограничения (6.3) и множество У = У(Ё в (6.4) зависит от времени. Принцип максимума в таких
задачах, как правило, приводит к довольно сложной краевой задаче [2, 3,
12], и может оказаться, что для поиска оптимального решения выгоднее
313
применять метод динамического программирования, к изложению которого мы переходим. Этот метод основывается на принципе оптимальности,
который мы сейчас уточним применительно к задаче (6.1)—(6.4). Пусть
(и (6), х.(9)), К <Е<Т, — оптимальное решение задачи (6.1)—(6.4) и пусть
{1 — произвольный промежуточный момент времени: & < & <Т. Рассмотрим
задачу оптимального управления на промежутке & <#<Т:
Лаб, жби, обо що,
Фок)
ши
И
2(В) = (ХВ, и(®,5, в <Е 5Т,;
жы)=м,
(ЕСО,
и=и(еЕУТ(Ь,
При Н=Ких! =
(6.5)
В <ЕЗТ,
В <Е<Т,
и(Ю-
кусочно-непрерывная функция.
^ задача (6.5) превращается в исходную задачу (6.1)—
(6.4), так что можно говорить о погружении исходной задачи в семейство
задач (6.5), зависящее от параметров &1 и х1. Задачу (6.5) можно рассматривать как самостоятельную задачу оптимального управления, в которой
значения # и х| выбраны независимо от исходной постановки (6.1)—(6.4).
Если же такую связь установить, выбрав в задаче (6.5) в качестве стартовой
точки х| фазовые координаты х.(Ё) оптимальной траектории задачи (6.1)—
(6.4) в момент &, то будет справедлив принцип оптимальности, который
гласит: оптимальным решением задачи (6.5) при х, =х.(&) является
сужение (м.(), х.(1)), В <ЕЗТ, на отрезок [#4; Т] оптимального решения
задачи (6.1)—(6.4). Покажем это.
Допустим, что задача (6.5) с начальной точкой х\ = х.(&) имеет оптимальное решение (и„«(1),х»» (Е), & <Е<Т, отличное от (№ (1), х.(0)), & <ЕЗТ,
такое что
Ли, ху, ы,Т, жа )) < ЛС), ху в,Т, х+(в)).
(6.6)
Определим управление
==
(Е),
(1), Цц <Е<Е,1
и. (Е), В <ЕЗТ.
Этому управлению соответствует траектория Х» = х(Е и), К <ЕЗТ.
Нетрудно заметить, что пара функций ((1), х.(0)), ц <Е<Т, является
допустимой в задаче (6.1)—(6.4), причем х.(Г) = х..(Т) и в силу (6.6)
й
Лао, =.
Т
,Т, ж)= / ож (Е), и (В, баЕ+ ] ож (Е), (Е, баЕ+
+Ф(е(Г))= ое.
и, + ох (О, и, О + (Т))<
< (и. 0), =) &,Т, хо),
что противоречит оптимальности пары (14+ (1), х.(#)), к <Е<Т. Таким обра-
зом, справедливость сформулированного принципа оптимальности установлена.
314
Спрашивается: зачем нужна задача (6.5), какую полезную информацию можно извлечь из приведенного и почти очевидного принципа оптимальности? Оказывается, опираясь на сформулированный принцип оптимальности, задачу (6.1)—(6.4) можно свести к специальной задаче Коши
для уравнений с частными производными, играющей такую же роль, какую
играет краевая задача принципа максимума в задаче (5.70)—(5.73).
Следует заметить, что сформулированный выше принцип оптимальности справедлив не для всякой задачи оптимального управления. Например, в задаче (5.98)—(5.101), в которой условия на левом и правом концах
связаны условием вида (5.97), принцип оптимальности может и не выполняться. Соответствующие примеры будут приведены ниже в параграфе 6.4.
6.2. Схема Беллмана
6.2.1. Разностная аппроксимация
задачи оптимального управления
Чтобы несколько упростить изложение метода динамического программирования и сделать его более алгоритмичным, мы сначала рассмотрим
применение принципа оптимальности не к задаче (6.1)—(6.4) напрямую,
а к ее разностной аппроксимации. А именно, разобъем отрезок [&; Т] на М
частей точками ц<&<...<&, <= Ги, приняв эти точки в качестве узловых, заменим интеграл в формуле (6.1) квадратурной формулой прямоугольников, а дифференциальные уравнения (6.2) — разностными уравнениями с помощью явной схемы Эйлера [6]. В результате придем к следующей
дискретной (разностной) задаче оптимального управления:
(х, [4
= $, Есенин)
х1=Е(хьи,),
1=0,..,М-1
хеЕС,
[ио = (мм,
Им):
06
ж=х;
1=0,..,М
ШЕУ,
(6.7)
(6.8)
(6.9)
1=0,..,М-1,
где Е(х,и)
= До (хьи, в, (и в), Е(х, и) = х+ Кх, и, Ца),
(6.10)
б;= С(@),
У. = ИЕ). Заметим, что задачи вида (6.7)—(6.10) имеют также и самостоя-
тельный интерес и могут возникать при непосредственном моделировании
управляемых дискретных (импульсных) процессов [13].
Если задать какое-либо дискретное управление [и] = (1%, №4, ..., Им-1)
и начальное условие ху =хЕ
Су, то система (6.8) однозначно определяет
соответствующую дискретную траекторию [хи = [х(х; [и]
о) о = (№, Ж, --.
хм). Зафиксируем некоторое хе Су и через Ду(х) обозначим множество
управлений [и], таких, что:
1) выполнены условия (6.10);
2) дискретная траектория [х;|, соответствующая управлению [и;]5
и выбранному начальному условию ху = х, удовлетворяет ограничениям (6.9).
315
Пару ([ийе, [хЛо), состоящую из управления и траектории, будем называть допустимой для задачи (6.7)—(6.10) или, короче, допустимой парой,
если эта пара удовлетворяет всем условиям (6.8)—(6.10) или, иначе говоря,
[и]ое До(х.
Множество Ду(х) может быть пустым или непустым. Если До(х) = ©
при всех хе С, то условия (6.8)—(6.10) несовместны и функция (6.7)
будет определена на пустом множестве. Поэтому, чтобы задача (6.7)—(6.10)
имела смысл, естественно предполагать, что существует хотя бы одна точка
ХЕ Су, для которой Ду(х) = ©. Обозначим Ху = {хе Со: Дь(х) = 8}. Тогда
задача (6.7)—(6.10) может быть сформулирована совсем кратко: миними-
зировать функцию [1(х, [и]о) на множестве [и ое До(х), хе Ху.
Положим
Пи о еЫЬ
._.
.
Допустимую пару ([м; |5, [х; 0) назовем решением задачи (6.7)—(6.10),
если 10 (хд,[м; 0)= 10; при этом компоненту [№] назовем оптимальным
управлением, а компоненту [х; | — оптимальной траекторией задачи (6.7)—
(6.10).
Задача (6.7)—(6.10) представляет собой задачу минимизации функции
п + № переменных х, №, №, ..., Им-1, И для ее решения в принципе могут быть
использованы методы, описанные в гл. 1—5. Однако в практических задачах число п + № обычно бывает столь большим, что непосредственная реализация методов гл. 1—5 становится технически сложной. Дополнительные
трудности вызывает и неявное описание множеств Ду(л), Ху, на которых
минимизируется
функция 1(х, [и;]о). Для преодоления этих трудностей
и используется метод динамического программирования, с помощью которого задача (6.7)—(6.10) большого числа переменных сводится к конечной
последовательности задач минимизации меньшей размерности.
6.2.2. Уравнение Беллмана
Для
бятся
изложения
следующие
метода динамического
вспомогательные
программирования
нам
понадо-
задачи:
М-—1
1х
[и ь)= У, Еб(х,, и,)+Ф(ху)
> ШЁ
(6.11)
1=
ха =Е(хьи;),
1=Ё,.,М-Ь
Хх. ЕС,
[и
При А = 0
1=Ё,..,М;
= инь
-- Им):
зависящие от целочисленного
х,=х;
Ш ЕМУ,
(6.12)
(6.13)
1=А,...М-Ъ
параметра А, 0<#<М-1,
(6.14)
и точки хЕ
С,
задача (6.11)—(6.14) превращается в исходную задачу (6.7)—
(6.10). Через Д,(х) обозначим множество всех управлений [и;», удовлетворяющих условиям (6.14) и таких, что соответствующие им траектории
[Ль=
= х, Хььа, -.. Ху), определяемые условиями (6.12), удовлетворяют
фазовым ограничениям (6.13). Пару ([иДь, [х/ +) назовем допустимой парой
316
для задачи (6.11)—(6.14), если [и+ьЕ А„(х). Допустимую пару ([м |ь,[х; |)
будем называть решением задачи (6.11)—(6.14) при фиксированном хЕ С,„,
если
жи)
=Т(х)=
Ш
[м;№веЕАь(х)
хи).
Компоненту [1; |, этого решения назовем оптимальным управлением,
а компоненту [х; |, — оптимальной траекторией задачи (6.11)—(6.14).
Используя семейство задач (6.11)—(6.14), сформулируем принцип оптимальности для разностной задачи (6.7)—(6.10): если [и; | = (№0,... им),
[29]= (%9,... Хм)
— оптимальные управление и траектория задачи (6.7)—
(6.10), то в задаче (6.11)—(6.14) при х, =х; оптимальными будут управ-
ление [№ |, = (№,..., им1) и траектория [х; | = (хь,...Хм_1). Справедливость
сформулированного принципа нетрудно доказать с помощью рассуждений, аналогичных уже применявшимся выше при сравнении решений
задач (6.1)—(6.4) и (6.5), а сам этот принцип является основой последующих рассмотрений.
Если Ху
©, то для любого &, 0 << М-1, множество Д,(х) = © хотя бы
для одного хе
С,. Введем функцию
Вь(х)=
Ш
[и вЕАу(х)
1х, [и |),
Ё=0,1,..,М-Ь
называемую функцией Беллмана задачи (6.7)—(6.10). Областью определения функции В,(х) является множество Х,= {хе С, А„(х) = 6}. Покажем,
что функция Беллмана задачи (6.7)—(6.10) удовлетворяет некоторым рекуррентным соотношениям, называемым уравнением Беллмана.
Теорема 6.1. Функция Беллмана задачи (6.7)—(6.10) необходимо является решением уравнения
Вь(х)=
Е
иЕеРь(х
В, (Е,
ЕР (к и)+
(х,и))), хЕХ,,
Ё=0,1,..М-1
(6.15)
в котором
Вил) = Ф(х), хе Су
а Ох)
— множество всех тех и Е
(6.16)
У„, для которых существует хотя бы
одно управление [и], Е А,„(х) с компонентой и, = и. Верно и обратное: функция Вх), хЕ ХЬЁ= 0, 1, ..., М- 1, определяемая условиями (6.15), (6.16),
является функцией Беллмана задачи (6.7)—(6.10).
Доказательство
Будем предполагать, что нижние грани в определении функции Беллмана и в уравнении Беллмана (6.15) конечны.
Необходимость. По определению функции Беллмана имеем соотношения
Вых)
=
Е ЛЬ,
[м],
хЕ
Хь
Вкл) =Ф(х),хЕ
в= 0, 1,
..
М- 1;
Ск.
Покажем, что значения функций В,(х) связаны рекуррентными соотношениями
(6.15). Непосредственно из определения очевидно, что мно317
жества Оь(х) и А, (х) пусты или непусты одновременно, а поскольку х,+1 =
= Ё/(х, и), то для непустоты этих множеств необходимо и достаточно, чтобы
Ду.
1( Ех,
и)) + ©. Справедливость соотношения (6.15) при А = М- 1 выте-
кает из условия В\(л) = Ф(л) и представления
Гуфи (х, [и м1) = Еу-1(х, и) +Ф(Еу_1(х,и)),
верного для любого
ие Оу 1(х) = Ам 1(х) = {и:иЕ У, ху= Е 1(х, и) Е СьхЕ
Докажем (6.15) при 0 <<
Су 1}.
М- 1. Для этого сначала убедимся в
том, что
ВИх)< Е [ВРбкьи)
+ В (Ех и)), хе
(6.17)
иЕБЬ(х
Под действием произвольного управления ие О„(х) дискретная траектория перемещается из точки л,=х в точку х‚ 1 =Ё(х, и), для которой ДА 1 (ху1) =
= ©. По определению
нижней грани В,,!(хь.1)=
т
У (нь [Ш
АС
для любого & > 0 найдется управление [1 |, Е Л‚.1(хь.1) такое, что
Ву
(хр)
< Ты (Хы, [и
1) < Вы
(хи) + 8.
Поскольку [и; |, = (и, и 1,... ИУ) Е Д,(х), то
Вь(х) < 1х, [иДь) = Е (х, и)+ Та
( хи, [и ыы) <
< Ер(х, и) + Ва (Хы) + &= Еб(х, и) + Вы (СЕиСх, и)) +8.
В силу произвольности ие О„(х) и величины & > 0 отсюда следует нера-
венство (6.17).
С другой стороны, по определению нижней грани ие 7 (хи) = Вь(х)
АХ
для каждого
> 0 найдется
такое управление
[52], ЕД,(х),
что В,(х)<
< [,(х, [9 |, )< Вь(х)+=. Если взять фрагмент этого управления [1
= (9 1›... 0/41), действующий от момента # +
1, то [9; Е. ЕЛ, (№
и поэтому
Еб(х, 02) + Вы
(Е,
„1 =
(х,52))
(х,0Е)) < ЕО (х, 9) + 1.1 (Е/(х, Е), [0 .1)=
= ь(х, [97 +) < Вь(х)+е.
Так как 5% Е О,(х), то отсюда имеем
т [Е (х, и) + В, (Е/(х,и))] < Вь(х)+,
ие
а тогда в силу
(х
произвольности
Е > 0
ии [Е0(х,и)+ Вы(ЕКх, и))]< ВИх), хеХ,
ие, (х)
Отсюда и из (6.17) следует равенство (6.15).
Достаточность. Пусть функции В, (х), хЕ Хь Ё = 0, 1, ..., М- 1, определены из условий (6.15), (6.16). Покажем, что при каждом хе Х, их зна-
чения В,(х) равны нижним граням функций (6.11) по переменным [1;]›
при соблюдении условий (6.12)—(6.14). Отметим, что из условий (6.15),
318
(6.16) функции В, (х), хЕ
Х, Е = 0,
1, ..., М, определяются
С другой стороны, как было установлено выше, функции
однозначно.
ПЕ Ти
ь,
(Хх
хЕ
Х, также удовлетворяют условиям (6.15), (6.16). Тогда из единствен-
ности решения системы (6.15), (6.16) следует, что Вь(х)= ПЕТЬ
[и ]ь),
ВХ
ХЕХ,
Ё=0, 1,..., М- 1. Теорема 6.1 доказана. №
6.2.3. Вычислительная схема
Пользуясь условиями (6.15), (6.16), можно последовательно определить функции В,(х) и их области определения Х,, двигаясь в направлении
убывания номера #Ё от №к 0. Функция В‚(х) = Ф(х) и множество Ху= Су
известны. Если найдены функция В,.1(х) и множество Х,+1,
< М- 1,
то для определения В,(х) нужно решить задачу минимизации функции
Ф(х, и) = Еб(х, и) + В,.1(Е/(х,и)) переменных и = (и1, ..., и’) на известном
множестве О,(х) = {и: иЕ У, Е/(х, и) Е Х,.1}. Здесь могут быть использованы методы гл. 1—5. Функция В, (х) определена в точке х тогда и только
тогда, когда О‚(х) + ©. Таким образом, при определении значений функ-
ции В, (х) одновременно находится и область ее определения Х,= {хе Сь
Ох) = ©} = {хх хЕ С, Ал) + 8}. Так как А,(х) * © хотя бы при одном
ХЕ Сьто Х,* @, Е =М, М- 1, ..., 1, 0.
Предположим, что нам удалось найти функции В,(х) из условий (6.15),
(6.16) и, кроме того, пусть также известны функции и, (1) Е О/(х), хе Хь
Е=0, 1, ..., М- 1, на которых достигается нижняя грань в правой части усло-
вия (6.15). Тогда, оказывается, решения задач (6.7)—(6.10) и (6.11)—(6.14)
выписываются совсем просто. А именно, оптимальное управление [и; |
и соответствующая траектория [с; |0 для задачи (6.7)—(6.10) определяются
следующим образом: сначала из условия
Ш Вь(х)= Ву(хо)
(6.18)
ХЕХо
находят 4 Е Ху, затем последовательно полагают
*
*
*
и =и0(%0),
*
*
*
*
м! =Е (%0,щ),
*
*
*
*
ш =щ(%1),
*
*
(6.19)
2 =ВЕ(хьщ), .., хм = Е -1(Хм-ьим-1).
Оптимальное управление [и; |, и траектория [х! |, для задачи (6.11)—
(6.14) определяются аналогично:
ж=х,
щи (ху),
хи = Е),
ху = Ру 1(ху-ь им).
(6.20)
Для доказательства этих утверждений введем вспомогательные функции
В,(х, и) = В.1(Е(х, и))- В,(х)+ Е (х,и),
1=0,1,.., М-1,
(6.21)
и перепишем уравнения Беллмана (6.15) в терминах К;
Ш
иеБ,(х)
В, (хи) = В, (х,и,(х))=0,
#=0,1,..,М-1.
(6.22)
С помощью функций К;(х, и) значения функции (6.11) на любом управлении [и]+Е А,(х) ихе
Х, записываются в виде
319
(хи) =
М-1
у В;(х, и;)+
В, (х)
(6.23)
при всех # = 0, 1, ..., М- 1. В самом деле, учитывая равенство В\(х) = Ф(х),
из (6.12), (6.21) получим
м1
м1
> Е; (хь и;)= > [Вн1(х
4) Вх; ) + Е (хи; )]=
М№-1
= Вм(хм)- Вь(х)+ > Еб(х,, и;) = 1,(х, [и №)
Вь(х).
что равносильно (6.23).
Теорема 6.2. Пусть найдены функции В‚(х) из (6.15)—(6.16) и их области определения Х,, а также функции и = и(х), хе
Хь Ё= О,
1, ..., М-1,
на которых достигается нижняя грань в уравнении (6.15) или (6.22), и пусть
ху определена условием (6.18). Тогда оптимальное управление [и; |] и траектория [х; | для задачи (6.7)—(6.10) определяются соотношениями (6.18)—
(6.19).
Доказательство
Из определения и(х), [и; |, [х; о и эквивалентности форм (6.15) и (6.22)
записи уравнения Беллмана имеем
В(х, и!)= В(х и (х;))=
ИЕ.
иЕП;(х;)
В(хр,и)=0,
1=0,1,.,№-1.
(6.24)
Возьмем произвольную точку х Е Ху, произвольное управление
[ие Ао(х) и соответствующую им траекторию [хи из (6.8). Так как
и;Е Окх,), то из уравнения (6.22) и определения и(х) следует неравенство
В(хьи)> ИН Вбиьи)= В(аьщби))=0, 1=0%..М-1
С помощью
формулы
(6.23) при Ё =
0 с учетом соотношений
(625)
(6.18),
(6.24), (6.25) получаем
По(х,[и о)
№М-—1
Тоха, [м; 6) = > [В(хьи;)- Вх, иг) + Ви(х)- Ву(хо)> 0
для любых хе Хуи [иоЕ До(х), что и требовалось доказать. №
Теорема 6.3. Пусть известны В,ь(х), хе Х, из (6.15), (6.16), а также
функции и, (х), на которых достигается нижняя грань в уравнении (6.15)
или (6.22). Тогда оптимальное управление [и;|, и траектория [х; |,
для задачи (6.11)—(6.14) определяются формулами (6.20).
Доказательство
Возьмем произвольное управление [и;|, Е Д,(х) и соответствующую
траекторию [х;]|, из (6.12). Соотношения (6.24), (6.25) остаются справедливыми и здесь при всех 1 = А, ..., М- 1. Отсюда с помощью (6.23) получим
М-1
Пики)
— Те [и №)= > [Е аьи)- Вафьиг
что и требовалось доказать. №
320
0,
6.2.4. Синтезирующая функция
В теории оптимального управления и ее приложениях важное место
занимает так называемая проблема синтеза, заключающаяся в построении
функции и = и, (х), выражающей собой оптимальное управление при условии, что в момент А объект находится в точке х фазового пространства.
Такая функция и,(х) называется синтезирующей.
Теорема 6.3 показывает, что решение уравнения Беллмана (6.15) равносильно решению проблемы синтеза для задачи (6.7)—(6.10). Действительно, та функция и,(х), на которой достигается нижняя грань в (6.15),
является синтезирующей, так как если в момент А объект находится в точке
хЕ Х, то дальнейшее оптимальное движение объекта определяется условиями ‚+1 = Е(х, и(х;))1=А, .., М- 1, х,=х, аеслихе Х„ то Д,(х) = © и тогда
движение с соблюдением условий (6.12)—(6.14) невозможно. Достаточные
условия существования функции Беллмана и синтезирующей функции
для задачи (6.7)—(6.10) даются в следующей теореме.
Теорема 6.4. Пусть множества С», Ё = 0, 1, ..., №, замкнуты, множества
У, Е = 0, 1, ..., М, замкнуты и ограничены, функция Е(х, и) полунепрерывна
снизу, а функция Ех, и) непрерывна по совокупности аргументов (х, и)
прихе СьиЕ У, Ё=0, 1,.., М- 1, Ф(х) полунепрерывна снизу на множестве Су. Тогда множества Х,, Ё = 0, 1, ..., М, замкнуты, множества Ох),
Е =0, 1,..., М- 1, замкнуты и ограничены равномерно по хЕ Х» нижняя
грань в правой части уравнения (6.15) достигается хотя бы при одном
и = и, (х) Е Оих) и функция В,(х) полунепрерывна снизу на Х, Е =0, 1, ..., М.
Доказательство
По условию множество Су= Хузамкнуто, а функция Ф(х) = В\(^) полунепрерывна снизу на Ху. Сделаем индуктивное предположение: пусть множество Х,,! замкнуто, а функция В,.!(х) полунепрерывна снизу на Х,,1
при некотором #, 0 < # < М- 1. Докажем, что тогда Х, замкнуто и на Х,
справедливы все утверждения теоремы. Так как О, (л) = {и: ие У, Е(х,
Е Хх, 1} с У, и У, ограничено, то О»(х) ограничено равномерно похе Х,,.
Докажем замкнутость О,(х) при любом фиксированном х Е Х,. Пусть
Е О/х), т = 1, 2, ..., и > 0 при т >> °®. Это значит, что оие У», Е(х,
и) Е Х,+1, т = 1, 2, .... Из замкнутости У», Х,+1 и непрерывности Ё/(х, и)
имеем:
Е У, Ш Е (хи) = Е, (х,0)Е Хи, те.ое О„(х). Замкнутость О, (х)
т- о
доказана.
Покажем замкнутость множества Х, = {; хЕ С, Окхл) = 8}. Пусть
УпЕ Хьт
= 1, 2, ..., у, > у при т > ®. Из замкнутости С, следует, что
УЕ С,. Остается убедиться в том, что Оку) + ©. Так как ОКу») = ©, то существует такое оие У», что Е/(ут, 0т) Е Хы, т = 1, 2, .... В силу компактности У, из последовательности {0„} можно выбрать подпоследовательность
{0п_} >9Е\, при р —> ®. Поскольку множество Х,,! замкнуто, а функция
Ех, и) непрерывна, то и Е,( Ут, От, )= Е (у, о)Е Хь.,т.е.ое Оку). Таким
образом, Оку) + © и, следовательно, множество Х, замкнуто.
Из непрерывности Ё/(х, и) и полунепрерывности снизу Е(х, и) и В,+1(х)
следует, что функция Ф(х, и) = Ро(х, и) + В,,1(Е/(х,и)) полунепрерывна
321
снизу по (х, и) прихЕе
ХьиеЕе
Окхл). Поскольку множество О,(х) замкнуто и ограничено, то в силу теоремы 1.2 функция Ф(х, и) при каждом фиксированном хЕ Х, достигает своей нижней грани на О,(х) хотя
бы в одной точке и = и,(х) Е Оих) и в силу уравнения Беллмана (6.15)
Вих)=
„Пи фи) =)
Остается доказать полунепрерывность снизу функции В,(х) на множестве Х,. Пусть х, УжЕ Х» и > х при т -> <, В„(уи) = Ф(у„, и (уи)). Так
как и,(у) Е Окуи) Е У» то в силу компактности У, последовательность
{иь(ут), т = 1, 2, ...} имеет хотя бы одну предельную точку ое У,. Будем
считать, что сама последовательность {и,(у„)} > о при т —> <. Поскольку
функция
Е(Ут
оЕ
Ё,(х, и) непрерывна,
(ут))
Е
Хы,
то
Па
множество
В»,
о, (Ут ))=
Х,,! замкнуто
Е (у, ОЕ
Хьы:
и, кроме
Это
того,
значит,
что
Окх), и тогда
Шо В,(у„)= Ша Ф(у„, и (уи))> Ф(х, 0) > „ПЕ
т->
® С, и) = В, (х).
т—о
Полунепрерывность В,(х) на Х, доказана, что и требовалось. №
Нетрудно
6.2.5. Оценка погрешности
привести примеры задач типа (6.7)—(6.10),
когда ниж-
няя грань в уравнении (6.15) или (6.18) не достигается. В таких задачах,
конечно, приходится пользоваться величинами, лишь приближенно реализующими нижнюю грань в уравнениях (6.15), (6.18). Но даже в том
случае, когда нижняя грань в них достигается, получить точные выражения для функций В,(х), и»(х) и точки ху из этих уравнений часто бывает
затруднительно. Поэтому на практике приходится иметь дело и с приближенными данными, и с приближенными решениями. Некоторое представление о величине погрешности, возникающей при приближенном решении
задачи (6.7)—(6.10), дает приводимая ниже оценка.
Пусть К(х) — приближенное значение функции Беллмана Вх), 1 = 0,
1, ..., М. По аналогии с (6.21) введем функции
5; (х,и) = К1(Е(х,и))-Ких)+ Еб(х,и),
1=0,..,М -1,
(6.26)
и, кроме того, положим
$мх) = Ф(х) - КИх),хЕ
Су.
(6.27)
Возьмем произвольную допустимую пару [и] = (№4, 4, ..., Им), [хо =
= (№, 21, .., Хм1) задачи (6.7)—(6.10). Тогда же Ху, [и] Е Ао(ж), м:> Окх,),
1= 0, 1, ..., М- 1. Учитывая условие (6.8), из соотношений (6.26) имеем
5 (ль ши) = К(хн1)- К/(х;)
+ Е (хьи,;),
1=0,.., М-1.
Суммируя эти равенства по {от 0 до М- 1, с помощью (6.27) получим
формулу
То(хо, [и
322
М-—1
)= у 5(хь и;)+5 (хм) + Ко(ж).
(6.28)
Если Кл) = В;х), то (сх) = 0 и (6.28) превратится в знакомую нам
формулу (6.23) при А = 0.
Предположим, что каким-либо образом найдены некоторое управление [1 | и соответствующая ему траектория [х, |, удовлетворяющие условиям (6.8)—(6.10), т.е. ху Е Ху, [1,0 ЕЛо(жЖ), и; Е 0;(х,), 1 = 0, 1, ..., М- 1.
Тогда согласно формуле (6.28) имеем
М-1
Го, [и] ) = > 5(Яь и, )+5м(Ям)+ Ко(%),
откуда для любых же Ху, [иДоЕ До(хо) получаем
—10 (о, [в 0) + 10 (хо, [м, 6) =
М-1
= х [5%
1)
+ 5(хь и; )]-зм(Ям)+5м(хм)Ко(®о)+ Ко(жо). (6.29)
Учитывая, что %,хо © Ху, [и |0 Е Ао (Жо), [и ое До(ж), (х, и;) Е Х,х ОКх)),
перейдем в формуле (6.29) к нижней грани по (ху, [м;]0):
М№-1
0= 1 (хо, [1:0
)- Г < У, [5(х,и;)- ШЕ
+5, (Ен)
1=0
Ш
ХЕХ; иеБ;(х)
5(х, и)]+
зу (а) + Ков) - ВИ Ко),
(6.30)
Полученные неравенства представляют собой оценку погрешности,
которая будет допущена при выборе [#,|и,[^,] в качестве приближенного
решения задачи р
Если Ккх)= В(х), 1 = 0, 1,..., М, то 5Кх, и)= Вх, и), 5х)= 0 и из формулы (6.22) будет следовать, что Е ВС, ‚ и) =0 для всех хе Х, так что
ие;
шШЁ
Ш
(х
В,(х,и)=0. Тем самым при К/(х)= В;(х) из оценки (6.30) получим
ХЕХ; ие; (х)
более компактную оценку
0< 10 (о, [#0 1% < 5 Вия,и) +В.
)- Е Ву(т).
(6.31)
Из оценки (6.31) следует, что чем точнее элементы #,(х)е А; (х), Ху Е Ху
приближают значения К, (х, и, (х)) к
Е УВ
и) =0, хе Х, и значение
1х
Ву)
— к ШЕВу(х), тем лучше строящиеся затем по правилам
Хо
1 =1(%),
я, =Е (Я, щ),
Ш =\(%1), -.. хм = Ру (Им
Ик)
управление [#,] и траектория [х,] будут приближать значение 1 (ху,
[и, |1)
к точной нижней грани 1.
Заметим, что на практике конструктивное описание множеств Х‚ О(х)
часто отсутствует и если в правой части оценки (6.30) вместо Х; и Ох)
взять более доступные множества С; и У; соответственно, то тогда правая
часть (6.30) может только увеличиться и вместо (6.30) мы получим более
грубую апостериорную оценку погрешности
323
0<
1 (мо, [#;
)-
0 <
У за
т)-
р
+5м(Жм)- иыс0+ Ко
„ПЕ,
5(х, и)] +
Вы
(6.32)
6.2.6. Построение минимизирующих последовательностей
Оценка (6.30) полезна также и тем, что она указывает пути получения
достаточных условий оптимальности для задачи (6.7)—(6.10).
Теорема 6.5. Для того чтобы управление [и, | и траектория [х, ], удовлетворяющие условиям (6.8)—(6.10), были решением задачи (6.7)—(6.10),
достаточно, чтобы существовали функции К;(х), 1 = 0, 1, ..., М, такие, что
для функций 5х, и) и $\(х), определяемых формулами (6.26), (6.27), выполняются соотношения
5;(х,и,)= Ш
Е 5} (ми)
=»
=0,1,..,М-&
(6.33)
Е Ко(х) = Кот.
(6.34)
ХЕХ; иеО;(
5м(Ям)=
м (х) =5мши;
Ко(Я)=
Доказательство
Справедливость утверждения теоремы следует из того, что при выполнении условий (6.33), (6.34) правая часть оценки (6.30) обращается в нуль,
а тогда 1 (о, [#10)= 1.
С помощью
оценки
(6.30) нетрудно также получить условия, доста-
точные для того, чтобы та или иная последовательность допустимых пар
управлений и траекторий была минимизирующей для задачи (6.7)—(6.10).
Теорема 6.6. Пусть последовательность управлений [ии] и траекто-
рий [хио, т = 1, 2, ..., удовлетворяет условиям (6.8)—(6.10). Для того чтобы
выполнялось соотношение
Па Пост,
[и |0) = 1,
достаточно существования функций К;(х), 1 =
Вт 5; (ии)=
5»
(6.35)
0, 1, ..., М, таких, что
1=0,1..,М-Ь
(6.36)
НП Ко(%т)= Копи»
(6.37)
т—о
Вт 5(Хм)=5мюи»
т—>оо
Т—>оо
где 5; ти» $у ть Ко ши ОИРеделены в формулах (6.33), (6.34).
Доказательство
Подставим в оценку (6.30) на место [и,| и [х;]о соответственно [ито
и [хи], после чего перейдем к пределу при т -> <. С учетом условий (6.36)—(6.37) получим равенство (6.35). №
Всякую функцию К;л), 1 = 0, 1, ..., М, удовлетворяющую условиям теоремы 6.5 или теоремы 6.6, назовем функцией Кротова [28] задачи (6.7)—
(6.10), соответствующей допустимой паре [м;]‹, [х;]о или соответственно
последовательности допустимых пар [иио, [Хто Т = 1, 2, ....
324
Заметим, что если существует хотя бы одна функция Кротова К;(х),
1=0, 1, ..., М, то функция КХх) + 0, 1= 0, 1, ..., М, при любых © также явля-
ется функцией Кротова. Это дает возможность без ограничения общности
считать, что в теоремах 6.5, 6.6 5;
= 0,2= 0, 1, ..., М- 1, мути = 0, ибо в противном случае функцию К;(лх) можно заменить на Кл) + ©, где
01; = би
+Эьты +---+Э мт»
22Ъ..М-Ъ
Ям = 5.
Таким образом, функция Кротова для допустимой пары ([1, о, [х, 0) или
последовательности ([ишо, [Хт|о), т = 1, 2, ..., согласно теоремам 6.5, 6.6
удовлетворяет условиям
5.(х,и) = К(Е(в, и))- КК) + Е (к, и)>0,
иЕО,(х), хЕХ,,
5м(х)=-Ки(х)+Ф(х)>0,
(6.38)
1=0,..,М-1;
хеЕХу=Су,
Ко(х)> Ки,
ХЕХ,
(6.39)
причем неравенства (6.38), (6.39) обращаются в равенства при и=и, х=х;
или при и = и, Хх = ха в пределе при т -> ®°.
Сравнение соотношений (6.38), (6.39) с соотношениями (6.15), (6.16),
(6.18), (6.22) показывает, что функция
Беллмана всегда является функ-
цией Кротова, а обратное, вообще говоря, неверно. Заметим также, что с помощью функции Кротова удается установить оптимальность допустимых
пар, не решая проблемы синтеза, так как согласно условиям (6.38), (6.39)
функция К(х) выбирается с учетом индивидуальных свойств конкретной
допустимой пары управления и траектории (или последовательности пар),
подозрительных на оптимальность.
6.2.7. Приложение к задачам конечномерной оптимизации
Остановимся
ЦИЙ
большого
ского
на одном
числа
программирования
минимизации
решается
специальном
переменных,
функций
могут
классе
которые
быть
меньшего
задач
сведены
числа
минимизации
с помощью
метода
функ-
динамиче-
к последовательности
переменных.
А
именно,
задач
пусть
задача минимизации
(и)
= 1 (о, м, „им
№М-—1
)= у Л (и;) > пи;
(6.40)
и,ЕУ, 1=0,1,..М-1
М—
.
.
У &] (и) <Ы,
1=0
№М-1
1=1,... р;
,
(6.41)
.
У &/ (и)
1=0
=,
1=р+%... п,
(6.42)
где У; — заданные множества из Е’; /9(и), 8; (и), иЕ\У, — заданные функции; Ь/ — заданные числа. В простейшем случае, когда 7 = 1 и
10)
= Си,
&/(и;)
= аи,
У
= {и;
Е Е!
: и;
> 0},
1 = 1,
..М-Ь
1 = 1,
.... И,
задача (6.40)—(6.42) превращается в задачу линейного программирования:
м1
У (и)
= сощ +...+смлини
> шиь
ш20,
1=0,1,..,М-1
1=0
325
№-1
№-1
1=0
=0
У аи: <Ы, 1=1..р;
Уаз =Ы, у=р+1..п.
Задачу (6.40)—(6.42) нетрудно записать в форме задачи (6.7)—(6.10).
Для этого введем переменные х; { = 0, 1, ..., №, как решение системы
Жи=л,+ &ки,), Е=0, 1,..., М-1, Хо= 0,
где &, (и) = (&1(и),...вР(и))Т,
(6.43)
= (х1,...хР)Г, Е =0,1,..., М. Так как из систе-
мы (6.43) следует, что ху = У, &, (и), то ограничения (6.42) равносильны
Ё=0
условию
ХуЕСх ={х:хЕЁ", х/ <, ]=1,..., р; х1 =51, }=р+1....п}.
(6.44)
Таким образом, задача (6.40)—(6.42) эквивалентна задаче минимизации функции (6.40) при условиях (6.41), (6.43), (6.44) и является частным
случаем задачи (6.7)—(6.10) при следующих данных: Е9(х,и) = [9 (и), Е(х,
и) =х+=(и), Ф(х) = 0, С; = Е", 1=1,..., М- 1; Су= {0}, Су определено соотношением (6.44). Это значит, что для исследования задачи (6.40)—(6.42)
может быть применен метод динамического программирования, изложенный выше. Пользуясь введенными ранее обозначениями, можем переписать
уравнение Беллмана (6.15), (6.16) применительно к задаче (6.40)—(6.42):
Вуд = и [Рад+ вые +в@д
ХЕХ,,
#=0,1,..., М-1,
Ву(х)=0.
Если ограничения (6.42) отсутствуют, то Су= Е" и в данной формуле
можно положить О‚(х) = У,, Ё = 0, 1, ..., М- 1. Этими уравнениями можно
пользоваться для решения задачи (6.40)—(6.42), как это показано выше
в подпараграфе 6.2.3.
Подчеркнем, что в задаче (6.40)—(6.42) функция и ограничения имеют
весьма специальный вид — это обстоятельство было весьма существенно
для применения метода динамического программирования. Другие классы
подобных задач описаны, например, в работах [7, 30].
6.2.8. Замечания к схеме Беллмана
Изложенный выше метод динамического программирования является
достаточно эффективным средством решения задач вида (6.7)—(6.10). С его
помощью исходная задача сводится к последовательности вспомогательных и, вообще говоря, более простых задач минимизации функций меньшего числа переменных для определения В,(х), и,(х) (см. условия (6.15),
(6.16). Метод динамического программирования относится к классу мето-
дов декомпозиции — так называются методы минимизации, которые позволяют задачи большой размерности свести к задачам меньшей размерности;
подробнее о методах декомпозиции см., например, в работе [39].
Этот метод дает значительный выигрыш в объеме вычислений по сравнению с простым перебором всевозможных допустимых управлений и тра326
екторий, поскольку при определении В,(х), и,(х) рассматриваются лишь
такие управления, которые переводят точку хЕ С, в точку х,.! = Ех, и) Е
Е С,,.1, а дальнейшее движение из точки х,,| осуществляется по оптимальной траектории, при этом неоптимальные траектории вовсе не рассматриваются. Указанные достоинства метода динамического программирования, простота схемы, применимость к задачам оптимального управления
с фазовыми ограничениями делают этот метод весьма привлекательным,
и его широко используют при решении задач типа (6.7)—(6.10). Что касается задачи (6.1)—(6.4), с которой мы начали изложение, то можно показать, что при некоторых ограничениях решение дискретной задачи (6.7)—
(6.10) при т 1 тах, (1.1-Е,)=0 будет приближаться в некотором смысле
<<
к _ешению - задачи (6.1)—(6.4).
Заметим, что аналитическое выражение для В,(х), и,(х) на множестве
хЕ
Х, удается найти редко, и на практике приходится ограничиваться
приближенным вычислением В,(х), и’(х) в некоторых заранее выбранных
узловых точках множества Х,. Однако согласно условию (6.15) при вычислении В,(х) нужно знать значение В,
1(Ёь(х, и)) при некоторых и, и здесь
вполне возможны случаи, когда точка х,.| = Ри(х, и) не будет принадлежать
заранее выбранному множеству узловых точек из Х,,1, а нужное значение
В, 1(хь+1) еще не будет вычислено. Если же мы захотим вычислить недостающее значение В, !(х,.1), то здесь могут понадобиться значения ранее
вычисленных функций В,.о(х), ..., Вл)
в новых дополнительных точках,
а для этого в свою очередь придется еще более расширить множества узловых точек в Х,.1, Ху+, ... и т.д. На практике в таких случаях недостающее
значение В, (х) получают с помощью интерполяции по значениям В,,1(х)
в близлежащих узловых точках, что, как правило, приводит к снижению
точности. Заметим также, что принятый выше способ аппроксимации
задачи (6.1)—(6.4) с помощью разностной задачи (6.7)—(6.10) довольно
груб, поскольку опирается на простейший метод ломаных Эйлера для интегрирования дифференциальных уравнений и квадратурную формулу
прямоугольников. Другие способы аппроксимации этой задачи, которые
не требуют интерполяции и оставляют достаточную свободу при выборе
способа аппроксимации задачи (6.1)—(6.4) см., например, в работе [12].
6.3.* Проблема синтеза для систем с непрерывным временем
Выше мы кратко рассмотрели проблему синтеза для задачи (6.7)—(6.10)
с дискретным временем. Рассмотрим проблему синтеза для задачи (6.1)—
(6.4)
с
непрерывно
меняющимся
временем.
Проблема
синтеза
для задачи (6.1)—(6.4) заключается в построении функции и = и(х, 9,
называемой
синтезирующей
функцией
этой задачи
и представляющей
собой значение оптимального управления при условии, что в момент Е
система (6.2) находится в точке х, т.е. х(Е) = х. Умение решать проблему
синтеза крайне важно в различных прикладных задачах оптимального
управления. В самом деле, если известна синтезирующая функция и(х, #),
то техническое осуществление оптимального хода процесса может быть
327
произведено по следующей схеме, называемой схемой с обратной связью.
С измерительного прибора, замеряющего в каждый момент # фазовое
состояние х(#), на ЭВМ или какое-либо другое вычислительное средство
подается величина х(#), вычисляется значение управления и(&) = и(х(®), 9,
после чего найденное значение и(Ё) оптимального управления передается
на исполнительный механизм, непосредственно реализующий требуемое
течение управляемого процесса.
6.3.1. Задача Коши — Беллмана
Проблема
синтеза для задачи
(6.1)—(6.4)
сводится
к определению
управления и. (т) = и» (т,х,{) из условий
Л, х,и())= [ 10(х(х), и(®), з)4+Ф(х(Г)) > шЕ;
(6.45)
1
(т) = Г((®), и(т), т),
хе
и=и(т)ЕУ(т),
Е<т<Т;
С(т),
Е<т<Т,
х(=х;
(6.46)
Е<т<Т;
(6.47)
и(т)-— кусочно-непрерывная функция,
где х — произвольная точка множества С(), а
ванный момент времени, & <{<Т.
(6.48)
— произвольный фиксиро-
Заметим, что при { = & задача (6.45)—
(6.48) превращается в исходную задачу (6.1)—(6.4).
Обозначим через Д(х, #) множество всех управлений и(т), # < т < Т, удов-
летворяющих условиям (6.48) и таких, что соответствующая траектория
х(т) = х(т, и), Е < т < Т, системы (6.46) определена на всем отрезке [Е Т]|
и удовлетворяет фазовому ограничению (6.47). Положим
Х@={х:хеС(®, А(х, р) #0}.
Пару (м(т), х(т)), Е < т < Т назовем допустимой парой задачи (6.45)—
(6.48), если х(Ё =хе Х(®), управление и(-) е А(х, в) и х(.) является траекторией системы (6.46), соответствующей управлению и(:). Аналогично
пару (и(т), х(т)), & < т < Т
будем называть допустимой
парой исходной
задачи (6.1)—(6.4), если х(К) = м. Е Х(), и(.) Е А(ж, &) и выполнены все
соотношения (6.2)—(6.4). Допустимую пару (м.(т),х.(т)), Е < т < Т, задачи
(6.45)—(6.48) будем называть оптимальным решением этой задачи, если
ЛЕ, х, и (.))= Е , (Е, х, и(.)), при этом и.(-) будем называть оптимальным
Хх,
управлением, а х.(.) — оптимальной траекторией задачи (6.45)—(6.48).
Зная
оптимальное
управление
и.(т)
= и. (т, х,Ё) задачи
(6.45)—(6.48)
при всех тех (х,2), хе С(®), ц <Е< Т, при которых эта задача имеет решение,
нетрудно получить синтезирующую функцию задачи (6.1)—(6.4): достаточно положить и(х, Е) = и»(& х,[). Однако получить явное аналитическое
выражение для оптимального управления 1. (т, х, Е) задачи (6.45)—(6.48)
удается лишь в редких случаях, поэтому желательно иметь другие подходы
к решению проблемы синтеза.
Вспомним, что при решении проблемы синтеза для дискретных систем
важную роль играло уравнение Беллмана (6.15), (6.16). Оказывается, ана328
логичное уравнение может быть получено и для задачи (6.45)—(6.48). Введем функцию
В(х,)= шЁ Л, х, и),
(6.49)
А(х,{)
называемую
функцией Беллмана задачи (6.1)—(6.4). Если задача (6.1)—
(6.4) удовлетворяет некоторым ограничениям и функция В(х, #) непрерывно дифференцируема, то можно показать, что функция Беллмана удовлетворяет следующим условиям, называемым уравнением Беллмана задачи
(6.1)—(6.4):
Ш „КВ, (х,8), (хи,
мех,
хЕХ(®),
В(х,Т)=Ф(х),
+ В,(х, 6) + Ю(х, и, 6)
=0,
(6.50)
Ц <Е ЧТ;
хе Х(Г)=С(Т),
(6.51)
где В, =(В.л,...В»), В, В, — частные производные функции В\х, #),
а О(х, в — множество всех тех ие УК®, для которых существует хотя бы
одно управление и(-) е Д(х, #) со значением и(1) = и(Е- 0) = и. Задачу (6.50),
(6.51) будем называть задачей Коши — Беллмана.
Изложим эвристические соображения, приводящие к соотношениям (6.50), (6.51). С этой целью воспроизведем уравнения (6.15), (6.16):
по
[Вы (Е (х,и))- Вь(х)+
ЕО (х, и)|=0, хеЕХ,, #=0,1,..,№М-1;
(6.52)
иЕ
Ву(х)=Ф(х),
ХЕХу
=Су.
(6.53)
Вспомним обозначения, связывающие задачи (6.1)—(6.4) и (6.7)—(6.10):
ЕР(х, и) = (и -
Ло (х, и, в),
Ех, и) =х+(ы в), иь а),
и подставим их в соотношения (6.52), (6.53), исключив индекс А, приняв
ВЕБ АЕ
- В, Ы ЕТ, Вх)= В(х, 9, В, (и) = В(у, 1+ А®, Ох)= О, 9,
Х,= Х(®. Тогда соотношения (6.52), (6.53) могут быть переписаны в следующей безындексной форме:
Ш Ве + Ах и, 6) 1+АЕ)-В(х, 6+ Ао (х,и,6)]|=0, хеЕХ(®, в <ЕЗ<Т;
иЕО(хЕ
В(х,Т)=Ф(х),
хЕХ(Г)=С(Г).
Поделив первое из этих равенств на ДЁи совершив формальный предель-
ный переход при ДЕ -> 0, придем к соотношениям (6.50)—(6.51). Разумеется, приведенные рассуждения не претендуют на строгость и служат лишь
наводящими соображениями при получении соотношений (6.50)—(6.51).
Заметим, что уравнение (6.50) является дифференциальным уравнением в частных производных первого порядка, левая часть которого осложнена взятием нижней грани.
Под решением задачи (6.50)—(6.51) мы будем понимать функцию
В(х, #), которая определена и непрерывна при всех (х, $), хе Х(®, к <Е<Т,
обладает кусочно-непрерывными частными производными В,, В,, удовлетворяет уравнению (6.50) всюду, где существуют эти производные, удовлет329
воряет условию (6.51) и, кроме того, для любой допустимой пары (и(-),
х(:)) задачи (6.45)—(6.48) при всех хе
Х(В) ик <Е< Т функция В(х(т), т)
переменной т имеет кусочно-непрерывную производную на отрезке [& Т].
Теорема 6.7. Пусть В(х, 6) — решение задачи (6.50), (6.51) и, кроме того,
пусть нижняя грань в левой части (6.50) достигается на кусочно непрерывной функции и(х, В Е О(х, р, хе
Х(®, в < Е <
Т. Тогда и(х, #) является
синтезирующей функцией задачи (6.1)—(6.4).
Доказательство
Возьмем произвольные $, & < {< ТГ ихе Х(®. Пусть функция д» (т), $ <т<
< Тявляется решением задачи Коши
2(т) = Г (х(т),и(х(т),т),®),
и пусть 1. (т)е Х(т) при всехте
в <т<Т;
х(Ы=х,
[& Т|. Положим и, (т) = и(х.(т), т) ц <т<
< Т. Ясно, что и. (Е Д(х, Ё) и (и. (.), х.(5)) — допустимая пара задачи (6.45)—
(6.48). Покажем, что пара (м»(.), х.(.)) является оптимальным решением задачи (6.45)—(6.48).
Заметим, что для любой допустимой пары (и(.), х(.)) задачи (6.45)—
(6.48) справедлива формула
Лехи О)= [Ве
и (<), )41+ В(х, В),
(6.54)
где
Е(х, и, В) =(В,(х,В), Г(х, и, [)) + В,(х,Е)+ 10 (х, и, Г).
(6.55)
В самом деле, по условию функция В(х(т), т) переменной т непрерывна
и имеет кусочно-непрерывную производную. Тогда в силу уравнения (6.46)
имеем
АВ(х(т), т)
Ин
= В(х(т), и(т), т) = р (х(т), и(т), т)
всюду на [& Т| за исключением, быть может, конечного числа точек. Интегрируя это тождество по т на [& Т] и учитывая формулу (6.51), получим
Ф(х(Г))- В(х, Е) = [веко
и(т), т)ах- [ До (х(®), и(з), тат,
1
1
что равносильно формуле (6.54). Заметим, что формула (6.54) является непрерывным аналогом формулы (6.23).
В терминах функции К из (6.55) уравнение (6.50) можно записать в краткой форме
р
Се, и, т) =0. Отсюда и из определения функции и(х, т)
иЕеБ(х,т
имеем
В(х, и(х,т),т)=0=
Ш
В(х, и, ®) < Е(х, и, т)
(6.56)
иЕО(х, т)
для всех ие ПО(х, т), хе Х(х), #<т<Т. Если (и(:), х(-)) — допустимая пара
задачи (6.45)—(6.48), то х(т) Е Х(т), и(т) = и(с+ 0) =ие О(ж(т), т), Е<т<Т,
поэтому из соотношения (6.56) получаем
330
В(х. (т), и(х.(с)), т) = В(х. (т), и. (т), т) =0< В(х(х), и(т), т),
Е<тЗТ,
(6.57)
для любой допустимой пары задачи (6.45)—(6.48). Отсюда и из формулы (6.54) с учетом условия х.(Е) = х(Р) =х имеем
Л, х, и
)- Ле хи. О) = [веко
и, 4 >0
(6.58)
1
для всех допустимых пар (и(-), х(-))) задачи (6.45)—(6.48).
Из соотношений (6.54), (6.57), (6.58) следует, что
Ла, х,и())=
Е
(х,6)
Л, х, и(.)) = В(х,в).
Тем самым доказано, что функция В\(х, #), определяемая соотношениями (6.50), (6.51), в самом деле является функцией Беллмана задачи (6.1)—
(6.4), а функция
и(х, #), на которой достигается
нижняя
грань в левой
части соотношения (6.50), является синтезирующей для этой задачи. №
С помощью функций В\(х, В), и(х, #) нетрудно получить решение
и для исходной задачи (6.1)—(6.4). А именно, верна следующая теорема.
Теорема 6.8. Пусть В\(х, Е) — решение задачи (6.50)—(6.51) и пусть
нижняя грань в левой части соотношения (6.50) достигается на кусочнонепрерывной функции и(х, ®). Кроме того, пусть точка ху Е Х(&) определена
из условия
(6.59)
Во»)= „ПЕ Ве то),
а пара (и-(.), х.(.)) является допустимой парой задачи (6.1)—(6.4), причем
х.(.) — это решение задачи Коши
2(т) = 1(х(е), и(х(т), т), т),
К <т<Т;
х()=,
аи» (т) = и(х.(т),®). Тогда пара (и (5), х.(.)) является оптимальным решением
задачи (6.1)—(6.4), т.е.
Лау
ши О)=
ни
Шо
Ла,х и) =],
хЕХ() и()ЕА(х, Ц)
Доказательство
Возьмем произвольную допустимую пару (и(т), х(т)), Ц < т < Т,
(0) =м Ее Х(®) задачи (6.1)—(6.4). Из формулы (6.54) и неравенств (6.57)
при { = & с учетом условия (6.59) имеем
т
Ли) Лу фу) = [ ВССд,и(9,туач+ Вет») Е ВСь 6) 20,
0
х
что и требовалось доказать. №
Рассмотрим
несколько
6.3.2. Примеры
примеров задач оптимального
в которых удается явно выписать функцию
управления,
Беллмана (6.49) и синтезиру-
ющую функцию.
331
О
Решается
задача
1
минимизации
Ли = [Фр
шт
(О =и(®, 0<Е<1, х(0)=хо,
|и( 1.
0
Эта задача уже исследовалась выше с помощью принципа максимума Понтрягина.
Для вычисления функции Беллмана В(х, 2) (6.49) запишем задачу (6.45)—(6.48):
1
1
Лехи ))=
0) [1 [х2 (т)4т-> пит,
1(т)= и(®), #<1<1 хр=х,
С(®=Е!
(6.60)
У={иЕЕ!:
< 1.
Рассуждая так же, как и в примере 5.12, убеждаемся, что оптимальное программное
управление и соответствующая ему траектория в задаче (6.60) имеют следующий вид:
при #<т< 1, х> 1 -Еи(®) = -1, х(т) = <+х+8
при < т<х+&0<х< 1 - Е и(т) = -1, х(т) = +х+6
прих+ЕЁ<т< 1, 0<х<1-Еи(т) = 0, х(т)
= 0;
при <т< 1, х=0и(т) = 0, х(т) = 0;
при < т<-х+&-1+#<х<0и(т) = 1, х(5) =т+х-&
при —х +Е<т< 1, -1+Е<х<0и(т) = 0, х(<) = 0;
при <т< 1, х<<-1+Е4(<)= 1, х(т) =ч+х-Ё
Значения функции Беллмана при 0 < &< 1 будут равны
3 -(и+1-03), х>1-&
3
В(х.в)=1
©.
3
0<х<1-&
3
5”, —-1+Е<х<0,
ася
+(х-#+1)3), х<1+Ь
а при {= 1, как ясно из соотношения (6.50), имеем В(х, 1) =0, хе Е!. Приведем выражения для ее производных:
х?-(х+Е-1)2>0, х>1-Ь
В,(х,)=
х2>0, 0<х<1-4,
—х? <0, -1+15х<0,
—(х+#-1)2, х>1-Ь
В,(х,Ё)=10,
-1+15х<1-Ь
—(х-#+1)2,
—-х2 +(х-#+1)2 <0, х<1+Е
Хх А +Е
Нетрудно проверить, что функция В\(х, 2) является решением задачи Коши —
Беллмана (6.50), (6.51) при {= и, Ю = л2, Ф(х) = 0, Х(® = Е!. Синтезирующая функция равна
—1
и=и(х)=-5818,(х,0)=41
х>0,
х<0,
0,
х=0.
ТОО
Пусть точка (11, х2) на плоскости Е? движется по закону
х(О=х2(,
ххр=иЬ),
0<ЕЗФТ,
и
|Е1.
Требуется найти такое кусочно-непрерывное управление, которое переводит
точку х из заданного начального состояния х(0)= (5х1, хё) в конечное состояние
х(Г) = (0; 0) за минимальное время Т.
332
Эта задача исследовалась выше с помощью принципа максимума (см. пример 5.9),
были найдены оптимальное программное управление, синтезирующая функция.
Проверим, как эти результаты согласуются с тем, что можно получить, применяя
метод динамического программирования.
В рассматриваемой задаче функция Беллмана В(х, #) выражает собой оптимальное время перевода точки х = (41, х2), находящейся в момент времени & в положении
х(Е) = х, в начало координат. Иначе говоря, В(х, #) — это минимальное значение функции
(6.61)
г =1,
а,
х,иС))=
Л
при условиях
Хит) = х2(т), 42(т) = и(®), &<1<Т;
хК=м,
Е?
Л=(а2?, и), х(т) Е С(*)= Е
и(т)ЕУ ={иЕЁ!:
[|< 1},
х2(=л?;
<т<Т,
(6.62)
т,
<т<Т, и(т) — кусочно-непрерывная функция.
Здесь хе Е? — произвольная точка, а & > 0 — произвольный момент времени.
Задача (6.61), (6.62) аналогична задаче (6.45)—(6.48), но здесь момент Т заранее
не задан и подлежит определению из условия минимума. Заметим, что при & = 0 эта
задача превращается в задачу (5.109). Выше было установлено, что в задаче (6.61),
(6.62) важную роль играет кривая АОВ (см. рис. 5.6, 5.7), составленная из кусков
параболы (5.124) х! 5562, х <0и (5.125) х! = —5 а,
Было показано, что если точка х = (х\,
оптимальное управление имеет вид
и(т) = 1 при
<т<
ж> 0.
х?) расположена ниже кривой АОВ, то
&, и(т) = -1 приё <т
(6.63)
и ему соответствует оптимальная траектория х(т) = (х{(т), х2(т)):
1
—12 +152 +51, Е<Т<Ё,
==
о
°|
1
7 +12(6+2х2(6))+х1(8) -56° -Ех2(6), 6 <т<Т;
(6.64)
_ |1+22, #5156,
(т)
—1+6+22(Е), Е<ЕЗТ,
1
и вполне определенное значение параметра & =-х? +. ей Уж.
Если точка х = (х!, х2) расположена выше кривой АОВ, то оптимальное управление имеет вид
и(т) =-1 при
Её <т< Ё&, и(1) = 1 при & <т,
(6.65)
и ему соответствует оптимальная траектория х(т) = (х"(т), х2(т)):
1
——12 +152 +41,
2")= |
5" +7 ё+
д2(®)=
Е<1<,
1
(6) +1 (6) +58? - 652), 5 515Т,
(6.66)
—1+22, Е<1<,
| 1-Е+22(Е), Е<ЕЗТ,
1
со значением & = х? + 5?
2+1.
333
Если начальная точка х лежит на кривой
то в формулах (6.63)—(6.66) надо принять &
Из формул (6.64), (6.66) и условия х(Т)
(6.62): минимальное время Т. = Т»(х, #) = В(х,
АО (5.124) или на кривой ОВ (5.125),
= &
= 0 находим решение задачи (6.61)—
Е) будет равно
Е-х2(&)=26-х2 =? +2]
+21,
если точка х расположена выше кривой АОВ или на кривой ОВ;
В(х.в)=
Е+х2(&)=2&+х2 =-х? +2562
(6.67)
—-ж,
если точка лх расположена ниже кривой АОВ или на кривой АО.
Получаем, функция Беллмана в рассматриваемой задаче быстродействия от времени Ё не зависит, непрерывна по х на Е? во всех точках, кроме точек кривой АОВ,
и имеет в области непрерывности частные производные В‚(х) = 0 и В, =(В
1, В,2):
2
1
Ви(х)= м
{52
* В,2(х)= ——
уча
+1
ВО,
ое
если х лежит выше АОВ;
2
Вх) =-1+
Е. ЗИ
_
если х лежит ниже АОВ.
лу
Отсюда имеем
шЕ(В,, 1) + В, + 10) = ШК(В1х? + В2и+1))=
“1
х2
.
Ш
1рЁ
м
“1
+|
течи
.
д?
и
пери
х2
1+
нижняя
|=0, если х лежит выше АОВ,
тени
х?
"
и+1 | = 0, если х лежит ниже АОВ,
и
2
причем
и+1
2
грань
здесь
достигается
при
—1, если х выше АОВ,
=—
В
и=-звпВ,»(х)
=
|
если х ниже АОВ.
(6.68)
Таким образом, вне кривой АОВ уравнение (6.50) выполняется, функция (6.68) —
синтезирующая. Кроме того, при Е = Т из соотношений (6.61)—(6.62) следует, что
В(х) [ес= В(0) =0, так что можно считать, что условие (6.51) также выполняется.
На кривой АОВ метод динамического программирования в рассматриваемой задаче
не работает [33].
6.3.3. Приближенный метод
Согласно теореме 6.7 для решения рассматриваемой проблемы синтеза
достаточно найти решение задачи (6.50), (6.51) при различных х, Е. Обсудим, как это можно сделать. Прежде всего заметим, что конструктивное
описание множеств Х(®, О(х, #), входящих в формулировку задачи (6.50),
(6.51), часто отсутствует, и поэтому на практике вместо задачи (6.50), (6.51)
обычно пользуются следующей «приближенной», но более конструктивной задачей:
„Е СВ, (х,в), /(х,и,Е)) + В,(х, 6) +
хеС(#), ц<Е<Т,
0 (х, и, Е) =0,
В(х,Т)=Ф(х),
хЕССТ),
(6.69)
получающейся из задачи (6.50)—(6.51) заменой П(х, 8), Х(Р) на УВ), С(®) соответственно. Конечно, здесь надо помнить, что задача (6.69) может и не иметь
решения, в то время как задача (6.50)—(6.51) может оказаться разрешимой.
Достаточно удобными и эффективными при решении задачи (6.50)—
(6.51) или задачи (6.69), по-видимому, являются методы, основанные
на рекуррентных соотношениях (6.15)—(6.16), представляющих собой
некоторую дискретную аппроксимацию задач (6.50)—(6.51) и (6.69)
и содержащих функции В„(х), являющиеся приближениями для В\(х, &,).
Существуют и другие подходы. Предположим, что удалось получить явное
выражение и = и(х, 5, В,.) для точки и, в которой достигается нижняя грань
шЕ ((В„, 1(х,и,Е))+ 10 (х, и, Г)
ие (Е)
при фиксированных значениях параметров (х, &, В). Подставив такое выра-
жение и = и(х, Е, В,) в формулу (6.69), приходим к следующей задаче Коши:
В,
+((В,, У (с
хЕС(®)
и, Е))+ 10 (х, и, Бык
в.)
0,
в <Е<Т, В(х,Г)=Ф(х), хеС(Т),
для нелинейного уравнения с частными производными первого порядка.
Для численного решения этой задачи Коши можно пользоваться извест-
ным арсеналом методов — разностными методами, методом характеристик,
методом прямых и т.г. [6].
Иногда удается найти решение В\(х, #) задачи (6.69) в виде многочлена
по переменным 41, ..., х" с неопределенными коэффициентами, зависящими
от времени:
В0-х
У. Уч
#=042=0
1,=0
Оо.”
При подстановке этого выражения для В\(х, #) в формулу (6.69) получим
дифференциальное уравнение для определения коэффициентов м... (Г):
В,(х,в)= >. 5% 5 (бала)=
#=0
= о
Е.
о(6),..
с дополнительными
1,=0
тат, (#);21,..,х”,и,р),
условиями
ХЕС(Е),
1,=0
(670)
вида
>. 5 ‚а (Гу(ж!н..(х")н =Ф(х),
#=0
К <Е<Т,
хеС(Т).
(6.71)
Если Ф(х), ШЕР, в свою очередь, являются многочленами относительно
УО
д, ..., хп, то, приравняв коэффициенты при одинаковых степенях в соот335
ношениях (6.70), (6.71), получим задачу Коши для системы обыкновен-
ных дифференциальных уравнений относительно \у,
__,; (#). Для решения
задачи Коши можно использовать различные численные методы: Эйлера,
Адамса, Рунге — Кутта и т.д. [6]. Если Ф(х) или т Е не являются многочленами относительно 41, ..., х”, то условия (6.70), (6.71) не могут быть,
вообще говоря, удовлетворены во всей области С(#), % <Е<Т, ни при каком
выборе М = (т! + 1). ... : (т„+ 1) коэффициентов м.
(1). В этом случае
можно задать в области С(Е) № кривых &1(1), ..., & (Е) и определять у _и()
из условия удовлетворения равенств (6.70), (6.71) не всюду в С(Ё), а лишь
на этих кривых. Этот подход приводит к задаче Коши для системы обыкновенных дифференциальных уравнений, не разрешенных относительно
производной №:
(В) (отметим, что эти производные
в уравнение будут
входить линейно). Кривые &1(1), ..., & (В) обычно выбирают так, чтобы они
имели достаточно простое аналитическое выражение (например, семейство
прямых, параллельных осям координат, семейство парабол и т.п.) и задавали достаточно густую сетку в области С(#), & <Е<Т. Для иллюстрации
вышесказанного приведем пример.
ТАУ
Рассматривается задача минимизации:
т
Ли) = [и (фа
0
х=и(Ъ, 0<Е<Т,
х(0)=ху,
Ах (Т) —> пил,
и(Ю- кусочно-непрерывная функция
при заданных значениях Т > 0, у, А > 0. Здесь С(®) = Е! У® = Е, 0<:<Т.
Задача (6.69) в рассматриваемом случае имеет вид
ПЕ ГВ, (х, Ви+ В,(х,6)+и?]=0,
хеЕЕ!
0<ЕЗТ,;
(6.72)
иЕ
В(х,Т)=Ал?,
ХЕЁЕ!.
(6.73)
Нижняя грань в соотношении (6.72) достигается при и = -В./2, поэтому уравнение (6.72) перепишется так:
В,(х,Е)- В2(х,
/4=0,
хеЕЕ!,
0<Е<Т.
(6.74)
Функцию В\(х, &) будем искать в виде многочлена переменной л:
В(х, ) = чо (В) +1 (Ох + у.
Подставив это выражение в соотношения (6.73), (6.74), получим
фо
+ 0х2 — (у +2уох)? /4=0, хЕЕ!, О<ЕЗТ,
мо (Г)-+ у: (Г)х + у2(Г)х? =Ах2, ХЕЕ!.
Приравнивая коэффициенты при одинаковых степенях х, придем к следующей
задаче Коши:
Фо-41/4=0,
у:-уу›=0,
чо(Г)=0,
у(Г)=0,
$›-\2=0,
у›(Г)=^,
которая легко решается аналитически:
№0(6)=0, 9050
336
А
= т
0<Е<Т,
Таким образом, в этом примере явно находятся и функция Беллмана, и синтезирующая функция:
Вр
Ах?
=—^
тет
В
Ах
шхи=-==—
^^
“0
ттт
ХЕ
хеЕР,
0
0<Е5Т.
6.3.4. Оценка погрешности
Предположим, что с помощью того или иного метода нам удалось
получить некоторое приближенное решение В\(х, #) задачи (6.50)—(6.51)
или (6.69). Если это решение получено разностным методом (например,
методами параграфа 6.2) на какой-то дискретной сетке точек, то доопределим ее (например, интерполяцией или с помощью сплайнов) во всех точках
области С(8), 0 < Е< Т, до некоторой непрерывной кусочно-гладкой функции
В(х, ©. Тогда функцию и = и(х, 0), на которой реализуется точная или приближенная нижняя грань функции К(х, и, #) из соотношения (6.55) на множестве О(х, &) или У(@), можем принять в качестве приближенного решения
проблемы синтеза для задачи (6.1)—(6.4). Это значит, что приближенное
решение (и(.), х(.)), задачи (6.45)—(6.48) будем определять из условий
(5) = Г((х), и(х(т), т), т), Е<т<Т, ЖГ)=х,
х(х)ЕС(т), и(®)=и(х(т),т), Е<т5Т.
(6.75)
Приближенное решение исходной задачи (6.1)—(6.4) находится анало-
гично: сначала определяем точку Ху, на которой точно или приближенно
реализуется нижняя грань функции В\(х, &) на множестве Х(ц) или С(&),
а затем, решая задачу (6.75) при & = &, х= у, находим траекторию Х(т)
и управление и(т) = и(х(т)), & <т<Т. Найденную пару (и(.), х(.)) принимаем
за приближенное решение задачи (6.1)—(6.4). Приведем оценку возникающей при этом погрешности. Пусть К(х, #) — какая-либо функция, которая
определена и непрерывна при всех хе Х(1), & <Е<Т, обладает кусочнонепрерывными производными К,, К, и такова, что для любой допустимой
пары (и(-), х(-)), задачи (6.45)—(6.48) при всех хе Х(®), & <Е<Т, функция
К(ж(т), т) переменной т
является кусочно-гладкой или абсолютно непре-
рывной на [& Т]|. На практике в качестве функции К(х, #) обычно берут
какое-либо приближенное решение В(х, #) задачи (6.50)—(6.51) или (6.69).
По аналогии с формулой (6.55) введем функцию
5(х, и, )=(К,(х, в), /(х,и,Е))+ К, (х,Е)+ Ро (хи, в),
хЕХ(®,
в <ЕЗТ,
(6.76)
и, кроме того, положим
5(х, Т) = Ф(х) - К(х, Г), хе С(Т).
(6.77)
Возьмем произвольную допустимую пару (и(.), х(-)) задачи (6.45)—
(6.48). В силу уравнения (6.46) тогда имеем
К
еее.)
= 5(х(т), и(т), <) - 10 (х(т), и(<), т),
в <т5Т.
337
Учитывая непрерывность и кусочную гладкость функции К(х(т), т),
проинтегрируем это тождество по т от Ё до Т:
Ле, х, и) = [96% и (т), ©) 4+ (СГ), Т)+ К(х, Г).
(6.78)
1
Если К(х, Е) = В(х, ©), то 5(х, и, т) = В(х, и, т), 5(х, Т) = 0 и эта формула
превратится в формулу (6.54).
Предположим, что каким-то образом получена пара (и(т),х(т)),
< т < Т,
удовлетворяющая условиям (6.47), (6.48) и уравнению (6.46) с начальным
условием х(Р) =ХЕ Х(®. Тогда согласно равенству (6.78)
Т
Ле, х, и())- Л@ х,и(.)) = [5 а), а), т) - $ (т), и(а), т)
+
Е
+[5Г), Т)- $(ж(Г), Т)]+[К(х,6)-К(х,1)]
(6.79)
для любой допустимой пары (и(-), х(-)) задачи (6.45)—(6.48). Из соотношения (6.79) уже нетрудно получить требуемые оценки погрешности для задач (6.45)—(6.48) и (6.1)—(6.4). Обозначим
о
би =
ето Се,
ВЕ 5, Т),
Ки (@®)=
, ЕК (х,0),
(6.80)
и предположим, что (и(.), х(.)) — некоторая допустимая пара задачи (6.45)—(6.48), которую мы хотим взять в качестве приближенного реше-
ния. Учитывая, что для любой допустимой пары (и(.), х(-)) задачи (6.45)—
(6.48) имеют место включения х(Ё) =хЕ Х(®, и(.)Е Д(х, В), х(Ф) Е Х(Ф),
и(т) Е О(х(т), т), < т < Т, из соотношений (6.79), (6.80) получим искомую
оценку погрешности
0< Лет.) Е Лехи) <
х,ё)
5 КОСО) (т), т) — би (т)
+ (5((Т), Т)- 5в)+К(х,)-Кив (0). (6.81)
1
Если же (и(т),х(<)), & < т< Т, — допустимая пара задачи (6.1)—(6.4),
которая берется за приближенное решение, и Х(&) = Ху, то из соотношений
(6.79), (6.80) имеем такую оценку погрешности:
0 Л(&, хи, и(.))-
ПЕ ов
< [ (5(%(т), и(т), <) - 5
х, и(:))<
(т)ах + (5(СГ), Т)— 5тш +
(6.82)
и
+К(%,&)-Киш (6).
Если К(х, #) = В(х, в), то 5(х, и, В) = В(х, и, 0, 5(х, Т) = 0 и, кроме того,
из соотношения (6.56) следует, что
Е
иеО(хЕ
338
‚Се, и, 6) =0 при всех хе Х(®) так
что
Ш
Ш
В(х, и, В) =0. Поэтому при К(х, #) = В(х, Ё) из соотношений
ХЕХ(Р) иеО(х,Е)
(6.81), (6.82) соответственно получим
0< Лет, що))-
ий
„Л
х,иб)<
и()ЕЛ(х, Е
< [еСгСо, (т),
<
0 — Л,
+ Ва.)
ОИ
№,
Е В(ь г);
.
#(
))
ЗаПЕ ума
т
< Г ва<), и(т),
5)
ВЬ
+В, к)-
Ю
9
х,
Ш
и(
(6.83)
<
)
—
В(х,Ы).
(6.84)
хЕХ(Ю)
Из оценок (6.83), (6.84) следует, что если определить и(х,Ё)
Е Д(х, 6),
хе Х(®) так, чтобы значение Ю(х, и(х, Е), В) было поближе к АЕ ‚ВСь, и, Г),
хх
значение В(х, Е) — поближе к
Е ‚Все, Г), а затем найти пару (#(х), х(х))
ХЕХ
из условий
(т) = 1 (%(т), их), т),
Х@а)ЕС(<),
Е<т<Т,
ЖЮ=х,
и
=и(т),т),
то величина ./(&, х, и()) (в случае задачи (6.1)—(6.4) величина Л(%, хо, #(:))
будет мало отличаться от искомого оптимального значения, а функция
и(х, Е) будет хорошим приближением для синтезирующей функции. Заме-
тим, что оценки (6.82), (6.84) являются аналогами оценок (6.30) и
Заметим также, что в приложениях могут оказаться удобнее более
оценки, получающиеся после замены в соотношениях (6.81)—(6.84)
структивно определенных множеств Д(х, #) и Х(Ё) множествами УКВ
соответственно.
(6.31).
грубые
некони С(Е)
6.4.* Контрпримеры
Как уже отмечалось выше, принцип оптимальности справедлив не для всякой непрерывной или дискретной задачи оптимального управления. Приведем примеры, показывающие, какие именно нарушения этого принципа
могут возникнуть, если в исходных оптимизационных задач присутствуют
ограничения, отличные от принятых в (6.1)—(6.4) или (6.7)—(6.10).
Рассмотрим задачу управления вида
Леш) = «(Т)
ти, (0) =и(о, |и(®) 51, в <Е<Т, х)-ж(Т)=1
с заданными значениями & < Т начального и конечного моментов
в задаче (6.85) существует допустимая траектория х(), то
т
т
т
1=ж(ц)- (Г) = - | хат =- | ибфат< [и
и
и
(6.85)
времени. Если
<Т-ц.
и
Это значит, что при Т- & < 1 в задаче (6.85) нет ни допустимых траекторий, ни
оптимальных решений. Если же Т- & > 1, то среди допустимых траекторий имеется
339
траектория ^.(Ё) со свойством х.(Т) = 0. Она также должна удовлетворять начальному
условию х.(&) =1. В таком случае допустимое кусочно-постоянное управление вида
и. =-Ь В Е +
и, (0 =0, 6 +1<ЕЗТ,
(6.86)
порождает допустимую траекторию х.(Ё) перехода из начального состояния х.(& )=1
в конечное состояние х»(Т)=0:
ж(В=-Е+Ь в < +1
(В =0, в +1<Е5Т.
Заметим, что (м) =]. = 0, значит, пара (№(#), х.(Е)) является оптимальным решением задачи (6.85). Рассмотрим для задачи (6.85) семейство задач вида (6.5), зависящих от параметра &, 5 <&<Т:
Ли) =ж2(Т)
пп, &(@) =и(®, |и(0К\ в <ЕЗТ, х()-ж(Т)=1.
(6887)
При &, = & эта задача превращается в задачу (6.85), но для нее, в отличие от задачи
(6.1)—(6.4), уже невозможно сформулировать принцип оптимальности в прежнем виде, поскольку для значений параметра &, близких к Т, а именно: Т - & < 1,
у задачи (6.87) не будет не только оптимальных, но даже и допустимых управлений.
Пример
6.5
Рассмотрим следующую конкретную дискретную задачу оптимального управления типа (6.7)—(6.10), в которой поточечные ограничения (6.10) на управления
замещены интегральными :
(хи; 0) =
Х;-1 =х;
+и,
— ШЁ
1=0, 1,..,М№М-Ъ
№
=х;
(6.88)
№-1
[и о = @4,щ, им):
у и? <1,
1=
а остальные элементы конструкции постановки (6.7)—(6.10) не нарушены: Еб(х, и) = 0,
Ф(х) = л2, Е(х, и) = и, С, = Е\, аипх,= 4ипи, = 1.
С помощью правила множителей Лагранжа задачу (6.88) можно решить явно.
Выразим в соотношениях (6.88) значение хх через [и] = (№, №4, ..., им1) и запишем
задачу в форме (1.20) задачи минимизации функции М переменных [и] = (%%, и, ...
им1) с единственным ограничением типа неравенства:
№1
побыйи
= [+
}
у “
1=0
:
м1
116
во([и]о)= У, и? <1.
20
(6.89)
Задача (6.89) представляет собой проблему минимизации непрерывной функции
на замкнутом ограниченном множестве №-мерного евклидова пространства, поэтому
в этой задаче минимум (как, впрочем, и максимум) обязательно достигается. Для
определения точки минимума рассмотрим функцию Лагранжа:
№4
Ц]
и],
А) =
№
[=
У
=0
\?
“
_
+
(
У
=0
и?
|
А = (№,
м),
№
>0,
м
>0,
запишем необходимые условия оптимальности в форме (1.32) из замечания 1.2 к теореме 1.9:
2 [=
м-1
У и
=0,
10
1=0,1,..,М-Ъ
№>0,^.>0,
^=0,
(6.90)
и присоединим к ним условия допустимости и условия дополняющей нежесткости (1.31):
М№М-—1
У и? <1
=0
340
№-1
-[$4-1-0
1=0
(6.91)
При Ад = 0 всилу того, что А. > 0, условия (6.90) и (6.91) оказываются несовместными, поэтому будем считать, что 4 = 1. Если при этом А. = 0, то из условий (6.90)
и (6.91) следует соотношение
М-—1
-[ =)
5
2
—1
<
[54
на М.
(6.92)
1=0
Получается, что для стартовых точек х, удовлетворяющих условию (6.92), имеющихся управляющих ресурсов достаточно для того, чтобы обеспечить перевод дискретного процесса (6.88) в конечное нулевое состояние ху = 0. Предположим теперь,
что условие (6.92) нарушено, т.е. х2 > М. Тогда обязательно А. > 0 и из (6.90) будет следовать, что у оптимального управления [и |0 все компоненты и; будут одинаковыми:
.
=.
Г
Из
условий
дополняющей
Хх
М+М
нежесткости
находим
значение
множителя Лагранжа
м = УМ —М и выражаем компоненты оптимального управления
траектории непосредственно через хи №
и оптимальной
ш=-И к, 1=0,1,.,М-1,
|х ММ
р
ж=—|х|С}
1
и
Ум
(6.93)
#=0,1,..., М.
Предположим, что начальная точка процесса х расположена вдали от нуля и условие (6.92) нарушено с запасом, а именно: 12 > 4М. Тогда условие (6.92) будет нарушаться и для всех без исключения текущих положений х! оптимальной траектории:
х}2>М,1= 0, 1, ..., М. Рассмотрим для задачи (6.88) семейство задач типа (6.11)—
(6.14), зависящих от целочисленного параметра А =
х;
0, 1, ..., М- 1:
Тихи) =ха, > Е
Ем, +и, 1=1,..М-Ь х,=х;
(6.94)
№М-1
[ие = (Мы Мы, > Им -1): 1=у и} <1.
В формулировке принципа оптимальности в задачах (6.11)—(6.14) предполага-
лось, что стартовая точка х процесса (6.12) совпадает с положением х; оптимальной траектории, поэтому возьмем в задаче (6.94) х = х, и найдем оптимальное решение [1 |», [х;], задачи (6.94). Для стартовой точки х; нарушено условие типа (6.92):
2 >М>М-А, поэтому задача (6.94) будет иметь единственное оптимальное решение, имеющее подобную соотношениям (6.93) структуру:
и=
‚
1+1...
М-Ь
Е
.
=
м,
Нея
1
ты)
|,
.
1=А,А+1,...М
Подставляя на место х; их явное выражение из соотношений (6.93), получим
х
ШЕ-РА,
"ХЫМ-Ё
1=А,Ё+1,..,М-1.
(6.95)
Сопоставляя соотношения (6.93) и (6.95), заключаем, что сужения оптимальных управлений [и; | задачи (6.88) на промежуток # = А, # +1, ..., М- 1 не совпадают
с оптимальными управлениями [и; |, для задач (6.94) ни при каких # = 1, 2, .., М-1,
т.е. принцип оптимальности нарушается.
341
Пример
6.6
Рассмотрим задачу оптимального управления типа (6.1)—(6.4),
непрерывным аналогом задачи (6.88) из предыдущего примера 6.5:
т
Л
и)= х?(Т)> пп,
(В) =и(®, & <Е<Т, х(ц)=х,
являющуюся
|и?(0@<1.
(6.96)
®
Единственным, но важным отличием задачи (6.96) от (6.1)—(6.4) является присутствие в постановке задачи (6.96) интегральных ограничений на управления. Для
строгого обоснования приводимых ниже выводов требуется знакомство с понятиями измеримых и интегрируемых по Лебегу функций, а также с определением дифференцирумости и формулировкой правила множителей Лагранжа в бесконечномерном гильбертовом пространстве. Заинтересованным читателям, желающим разобраться в этих вопросах, порекомендуем книги [12, 29], а здесь ограничимся кратким
изложением основных результатов, полностью аналогичных тем, которые были подробно описаны в примере 6.5.
Аналогом условия (6.92) будет неравенство 4? < Т- Е, а при 1? > Т-в& у задачи (6.96)
будет существовать единственное оптимальное решение 1. ({), х.(Е), аналогичное соотношениям соотношениям (6.93):
х
и, (1) = Пыг-ь'
ы
х.(Е)= Ея
6и
‚ в <ЕЗТ.
(6.97)
Если начальная точка процесса х расположена вдали от нуля, так что х2 >
> 4(Т-®), то, как ясно из соотношений (6.97), для всех промежуточных положений
х.(Г) оптимальной траектории будет выполняться неравенство 42 (#) >Т-&,& <Е<Т.
Рассмотрим семейство задач типа (6.5), зависящих от параметра &, & < & <Т:
Л, и)=х?(Т)> ши,
(0 =и(®), в <Е<Т, жы)=х,
т
[и?(@®<1.
(6.98)
и
Найдем оптимальное управление и» ({) в задаче (6.98) при х = х.(&), как это делается в формулировке принципа оптимальности:
х
и (Е-,
В <#5Т.
(6.99)
[хУТ-&
Как и в предыдущем примере, непосредственно из соотношений (6.97) и (6.99) очевидно, что сужение оптимального управления и, ({) на промежуток & <
<Т не
совпа-
дает с оптимальным управлением и. () задачи (6.98) при выборе стартовой позиции
х=лх.(Ы), те. принцип оптимальности нарушается, а «виновником» этого нарушения
являются присутствующие в задаче (6.96) ограничения на управления интегрального
типа, не вписывающиеся в постановку задачи (6.1)—(6.4).
6.5.* Применение метода динамического программирования
к задачам дискретной оптимизации
Выше мы изложили один из вариантов метода динамического программирования. Существует большое количество модификаций этого метода,
основанных на различных формулировках принципа оптимальности, учитывающих структуру и специфические особенности конкретных классов
задач оптимизации. Мы здесь не будем пытаться охарактеризовать метод
динамического программирования в общем случае, отсылая читателя
342
к имеющейся обширной литературе (см., например, [7, 12, 27, 28, 30, 36]),
и ограничимся рассмотрением некоторых задач дискретной оптимизации.
Так принято называть задачи оптимизации, в которых допустимое множество ИП состоит из точек и = (11, ..., и") с координатами, принимающими
отдельные дискретные (например, целочисленные) значения.
Типичным примером такой задачи является классическая задача о рюкзаке. Пусть имеется М предметов и пусть а;> 0 — вес, а с;> 0 — ценность
1-го предмета, # = 1, ..., М. Требуется загрузить рюкзак, выдерживающий вес
Ь, набором предметов, суммарная ценность которых максимальна. Введем
переменную и, принимающую значение 1, если ]-й предмет грузится в рюкзак, и 0 — в противном случае, 1 = 1, 2, ..., М. Тогда задачу о рюкзаке можно
сформулировать в следующем виде:
м
Л,
..ик)= У, си; > тах;
(6.100)
1=1
о
И
ЧИ
ам;
<Ь,
1
и 1 =0У1,
1=1,...,М.
(6.101)
1
В этой задаче допустимое множество состоит из конечного числа элементов, и в принципе ее решение можно получить простым перебором. Однако
даже при сравнительно небольших М такой перебор практически неосуществим из-за слишком большого объема вычислительной работы. Из-за
дискретности допустимого множества здесь неприемлемы многие известные методы (например, градиентный метод, метод Ньютона), не работают
известные условия оптимальности. Поэтому для решения задач дискретной
оптимизации приходится создавать специальные методы [7, 27, 30, 36].
На примере задачи о рюкзаке покажем, что для ее решения можно
использовать метод динамического программирования. Переменные и, ..., и,
в задаче (6.100), (6.101) назовем управлением системы. Введем переменные
А
№,
которые
будем
стояние
системы
называть
=
Ха,
состоянием
удовлетворяет
=
1... М,
системы. Нетрудно
убедиться, что со-
условиям
Че!
Ар = Хр-1
— ри,
=ж>
В=Т, 2,
„М,
№
= В;
М
д >...2 ху =Ь- Хам, >0.
#1
(6.102)
(6.103)
Исходную задачу (6.100), (6.101) вложим в семейство задач того же типа:
м
Лир, -.ик)= Ус, — тах,
1=
М
Уащ<х, 4,
Ё=М,М-,...,1, (6.104)
1=Ё
где и; =0\1,1=А, ..., М. Максимальное значение функции.]„(и,, ..., им) в за-
даче (6.104) назовем функцией Беллмана и обозначим
Вх,1) = тах]ь(иь ..., им).
(6.105)
343
Если на А-м шаге при решении задачи (6.104) выбрано некоторое управление и,, траектория перейдет из состояния х,_ в состояние х, = ль1 -— ар.
Принцип оптимальности гласит: при любом выборе и, на последующих
шагах управления #1}1, ++, .., их должны выбираться так, чтобы функция
Лна(иььь -.. им) достигала своего максимального значения В, 1(хь), и, следовательно, при выборе и, нужно позаботиться о том, чтобы совокупный
набор (и, у 1, ..., им), полученный добавлением элемента и, к оптимальному набору (1+1, ..., им), приводил бы к максимальному значению В,(х, 1).
Иначе говоря, функция Беллмана должна удовлетворять условиям, назы-
ваемым уравнением Беллмана:
В (ль)
=
Шах
0=иь [1
м
+ Вы
(Хь
— ави,)},
В= 1, 2, „5 М,
(6.106)
Иа
деЁ
(6.107)
Ву.1(хм) = 0,
где [х,./а,| — целая часть числа х,_1/а,. Напомним, что управление и, принимает всего два значения: и, = 0 \ 1, поэтому условие 0, < и, < [х,4/а,|
в соотношении (6.106) равносильно системе неравенств х, = х, | - а > 0
или 0<аи, <х,,Ё=0,1,..., М. Равенства (6.106), (6.107) являются след-
ствием сформулированного выше принципа оптимальности и доказываются с помощью рассуждений, использованных при выводе уравнений (6.15),
(6.16); в данном случае эти рассуждения даже упрощаются, так как допустимое множество в задачах (6.104) состоит из конечного числа элементов,
и максимум в (6.105) достигается.
В задаче (6.106) допустимое множество состоит из одного или двух элементов, и вычисление значений функции В,(х, 1) не представляет трудно-
стей. Начинать нужно с построения множества Хх | состояний, состоящего
М-1
из точек ху! =6- У, ам, где и,= 0 или и, = 1, так что
#1
Ху! = о
№-1
У, “
1
в-тах
.
Далее вычисляем значения функции Беллмана
Ви(ху—)
= Пахсуху
= тах{ху
.0 = 0,см
1
= см}
\
Ам
Е
Ху!
и определяем точки их» (ху), Ху Е Ху, в которых этот максимум достигается. Если уже вычислены В,+1(хь), Ир 1» (хь), ХьЕ Хь то находим множество состояний
#+1
Ха = хи: 6,6 -1,..,Б- тах [ у але (Хь ) .
=
По формуле (6.106), сравнивая величины В, 1(хь1) и с,+ Ву 1(хь1- аь),
определяем Ву(хь 1), ив ль (1) У хьаЕ Хь 1 и тд. до номера # = 1, пока
не будут определены множества Ху, В\(х9), ш» (хо) У хоЕ
Ху. Далее идем
обратным ходом и последовательно определяем точку хд+ Е Ху, в которой
В,(х*)= пах В,(хо), управление щ: =щ.(х»), величины 44» = Хд+ — @щЩ»,
0=^0
344
В(х)
= ых,
Во(ж1 ),
Ш»
= 1» (м
), №2»
= №1»
— @2Ио*,
..
Хм-1*
= Хм-2*
— @мЩИмМ-1*,
1
Ви(ху»)=
„тах
Ву (ху), им+ =иИк*(хи-). Решением задачи (6.100),
4ЕХМ-1
(6.101) будет, набор их = (\», Ил», ... Им»), тах
.Л1 (1, ... им) = Вм(Хм-1»).
Для иллюстрации вышеизложенного рассмотрим пример задачи о рюкзаке:
Л,
ил, из, ид) = \ + и> + Зиз+ 2и, > тах
при условиях и +2и. + 2и3 + и, < 4, ии=0\У
1,1=1,..., 4. Множество Х. состояний х = 4 — и! - 2и>- 2и; содержит элементы Х. = 44, 3, 2, 1, 0}, поэтому
2 при х; = 4, 3, 2,1,
В
=
2и
(хз) = 0<иши]
=[| при хз =0;
1 при хз= 4, 3, 2,1,
.
ме (яз)= | при хз=0.
Далее находим
Х, ={х. =4-щ-2и.:4,3,2,1},
_
“3
Вз(х2) =
зах
(Зиз
+ В, (4-2из)),
|1 при х. =4, 3,2,
10 при хо =1,
Х, = {1 =4-щ :4, 3}, В.(ж)= ое аХ „(2 + В (м -2и2)),
0525
В›(ж)=5 при д, = 4, 3,
12» (м
= 4) = 1,
12» (1
= 3) = 0,
Хо {и 4}, ВИ) = ах (+ В4-ш)), 846, ие тши=4) 51.
Обратным
ходом
В
И»
= ш+ (4)
Хо* =Х|*
= 1,
—2и.,.
Хз» = Хож — диз,
находим:
(жо»)
№*
= мех
= №0»
В, (х ),
— №4»
Хо*
= 4-1= 3,
= 4,
В(ж»
В, (хо»
= 4) = 6,
= 3)= 5,
=3-0= 3,
Вз(хо»
= 3)= 5,
3+
= Из+ (Жо»
=3-2=1
Ва (хз
=1)=2,
Ид* = Иж (Хз
Ш»
= иж (ж*
=3)
= 0,
= 3)= 1,
ЕТ) Е1.
Отсюда получаем решение задачи: 1» =1, и» = 0, 3» =1, ил» =1, т.е. в рюк-
зак нужно взять предметы с номерами 1, 3, 4; ценность взятых предметов
максимальна
и равна В (4)
=1.1+2.0+3.1+2.1=6.
Кратко остановимся еще на одной классической задаче дискретного
программирования, известной как задача коммивояжера. Имеется М городов, пронумерованных числами 0, 1, ...., М- 1. Для любой пары городов ($ 7)
задано расстояние с, между ними. Выехав из исходного города, комммивояжер должен вернуться в него, побывав во всех остальных городах ровно
по одному разу. Требуется найти маршрут наименьшей длины или наименьшей стоимости.
345
Без ограничения общности можем считать, что любой маршрут начинается
и заканчивается в городе с номером 0. Чтобы запретить переезды вида (4 1),
будем считать, что с; = +, # = 1, 2, ..., п. Предполагать, что с,= с„, необязательно. Таким образом, задача коммивояжера сводится к задаче минимизации
Ли) = со + св 4..4
на множестве 0 допустимых маршрутов и
10 > тт
(6.108)
= (0, 1, 1, ..., уч, 0), где (4, ...,
1) — произвольна перестановка чисел 1, ..., М- 1. Заметим, что постановки вида (6.108) возникают при описании практически важных задач опти-
мизации стоимости или времени доставки готовой продукции заказчикам,
а также при моделировании многих других практически важных процессов
с целью их оптимизации.
Обозначим через В,_1(0, 1, ..., %) функцию Беллмана, выражающую
длину кратчайшего из путей, соединяющих города 0 и 1, и проходящих
в произвольном порядке через города #,, ..., &, предполагая, что числа 0,
и, .... % попарно различны
при # < М- 1.
Принцип оптимальности
при-
менительно к задаче (6.108) можно сформулировать следующим образом:
поведение оптимально, если какими бы ни были решение на первом шаге
и состояние процесса после первого шага, последующие решения должны
быть оптимальными. Из этого принципа вытекает, что функция Беллмана
при всех # = 0, 1, ..., М- 1 удовлетворяет уравнениям
Вь(0,
1,
...) 1, 11)
= п
{В
1 (0,
ъ,
..
1,
1)+
С
;
Ву (О, и, 13, 1) + Сы;
В (О,
(6.109)
ыы
Ву-1 (0,1,
ь
+}.
Другие примеры применения метода динамического программирования
к задачам дискретной оптимизации и обсуждения возникающих при этом
достаточно сложных проблем читатель найдет, например, в работах [4, 27,
30, 36].
Упражнения
6.1. Найдите функцию Беллмана и синтезирующую функцию в задаче
Л(и)=х?(1) > па,
Х(=и(®,
0<Е<1
х(0)=ж,
где и = и(0), 0<Е<1, — кусочно-непрерывная функция, и(®) Е Ус Р!. Рассмотрите случаи:
а) У= [0; 1];
6) У= [-1; 1].
6.2. Найдите синтезирующую функцию в задаче быстродействия, в которой требуется перевести точку х(0) = х в точку х(Т) = 0 за минимальное
время Т, соблюдая условия:
#(9 =ах(-+и(®),
где а = сопз > 0, [х| < 1/а.
346
[и
<
0<Е<Т,
х(0)=х,
Указание. Убедитесь, что в этой задаче функция Беллмана равна
1
|< а.
В(х)=-—шА-а),
а
6.3. Найдите функцию Беллмана и синтезируюущую функцию в задаче
перевода точки х = (41, х2) в точку х(Т) =
(0; 1) за минимальное время Т
при условиях:
(=х2(®),
22 =и(®,
х(0)=(2х2),
и]
0<ЕЗТ.
6.4. Найдите функцию Беллмана для задачи
т
Лизжнио)= [ (а, х@))+ Ки) + (с, х(Г)) — тай
2
0
=А(Ох(@+В@и@®),
иФеУ@,
& <ЕЗТ,
Жк)=мЮ
с кусочно-непрерывными управлениями и = и(#). Считаются заданными
моменты времени (, Т, матрицы А(й), В(Р) порядка п х п, п х г соответственно, скалярные функции а(#), Б(и, #), векторы с, ху Е ЕЁ" и множества
ИбсЕ, в <ЕЗТ.
Указание. 'Требуемую функцию Беллмана В\(х, #) ищите в виде скалярного произведения В\(х, #) = (у(Р), х), а для определения значений функции
(0), & <Е<Т, составьте соответствующую задачу Коши.
6.5. Найдите функцию Беллмана для задачи
№М-1
Ли)= =х ((а,х;) +6, (и;))+(с, ху) > пи;
41
=Азх;
+С,(и;),
и; ЕУ,,
1=0,..., М,
хо
=а,
в которой считаются известными векторы а, с, а, матрицы А; порядка пхп,
функции С;(и) = (СКи),...СР(и)), БКи) переменной и Е У, С Е’ и множества
У, 1=0, 1, .., М-1.
Указание. Функцию Беллмана ищите в виде скалярного произведения
В, (х)=
(№,
х), в= 0, 1,
.. М.
6.6. Найдите решение задачи о рюкзаке методом динамического программирования:
а) Зи+ 2и2+ из+ 2,>> шах, 21+ и›+ 23+ и. <4, и, =0\ 1,1=1, 2, 3,4;
6) 2, + и> + из+ 24+ 4и;>> тах, и + 2и2+ 2из+ Зи+ и < 7, ии=0\1,
1= 1, 2, 3, 4, 5.
6.7. Методом
динамического
программирования
найдите
решение
задачи коммивояжера для пяти городов с матрицей расстояний [27]
©о
4
9
2
9
3
348
64
=
17.
325
=8
8 96
8 =>
347
6.8. Методом динамического программирования решите задачу линейного программирования в пространстве Е:
(с) = 31 + 2х3+ 44+ хб —>ех,
х= (21, 42, 43, 4, 5) Е Х={х>
0, 41+ 42+ 43+
=1,-11+22+13+2= 1}.
Практикум
К главе 1
1.1. Найдите все значения параметров # и т, при которых квадратичная
функция /(х, и) = Ах? + 2аху + 6292 + сх + ту имеет точку глобального минимума на Р2.
№мМаь
112
2
с
3
1
8
№
6
а|Ь
6
1-17
с|№ма
1
4 | —-2 | 11|
3
2
3131416181513
4 | 4
51-89
2
515
21101104
с
5
9
|121
15
113
5 | —4 |
14|
3
15|
|-121
№
а
Ь|с
2 |
15 | 16 | 4
3 |
4
|-3 |
6
17|
5
4151-1183
2
3
3
8
|191
7
6
|20
16
|-10
|4 | -15
1
3
|2
4
5 | -2
1.2. Найдите точки глобального максимума функции /(х, у) = х? + ау?
на множестве Х = {(х, у) Е Е: [х|+В|у}. Нарисуйте линии уровня /(х, у) =
= с018$.
№мМаьЬ
с
№
ав
1131214161513
2111213171101
с|№
121|11|
а
с
2
№ма|
вс
11311616129
31411211/21112]17]112
4/5
|1
|4
3151212181114
11131
1118151215
4|121314|91314
|2
1|14|
121316 |
19|
5 |
10
5113131101204
|3
|151]
8
20 | 30 | 5 |
20
|3[4 |
20|
1.3. Найдите все значения параметра А, при которых функция /(х, у) =
= ах - у имеет точку глобального минимума на множестве Х = {(х, у) Е
Е Е? : -х+Ь|х| + с}, и найдите эту точку.
№мМаьЬ
№
ав
см
а
|
с|№
1161315161412]
21|11181214|1661
2171212171713
13112|
3181413118191
41311
119
5151214110211
415113|]
1101314114
10141
а|в]с
13
11]|171912
41115118511]
1
2
6121311919315
1115181312120
1101|12
|4
349
1.4. Найдите точку глобального минимума функции /(х, у) = ах? + 2ху +
+ 62 — 2х - Зу на пространстве Е?.
№
а
Ь
№
№
№
1
1
2
6
11
16
2
1
3
12
17
3
1
4
13
18
4
1
5
9
14
19
5
1
6
10
15
20
1.5. Найдите точки экстремума функции /(х,у)=е-@? +) (ах? +Ву?)
на пространстве Р2.
№
а
Ь
№
№
№
1
1
2
6
11
16
2
7
3
7
12
17
3
4
8
13
18
4
5
9
14
19
5
6
10
15
20
1.6. Найдите точки экстремума функции /(х, у) = хЗу?(ах + Бу + с) на пространстве Е?.
№
а
см
11|
-11|
1
21-3
|-119
31-11113]
А
|5
|1]
1.7.
с|№мМ
а
|]
с
51|
161-31
-1|
7
2 |
17|
-2
1-11
2
8 |
13 | -1 | -119 |
18|
-9
|1
4 |
141-33
|1
8 | 191-21-11
|115
|1
5 | 201-211
6
|-21-113
7
||
8
4
51-11-11
а
1
7110
|-2|
-1|
1
6
|
-5 | -1|
21121-11
1-21-11
91—41
|111 |
а
|1
|4
с|№
|3
9
Найдите точки экстремума функции /(х, у) = ах + Бу при условии
+ у? = с?.
№мМ
ав
1
с|№мМ
21-315
214
1
3
ас
6
7
7
|-2
31314121811
4
|-2
|1
1
5121314110
350
2
6
№м
4 | 11|
211215
а
Ь|с|№м
-2 | 5
|-3|
а
Ё|с
1
|5 |
16
|5
1]
17|
-1|5
3
1
715113 | -5 | -112 | 18121512
9 | 41-113 |
| -21-3 |
141-71-11
1115]
1|-7|1
|4 |
19 | 5 |
31201117
3
5
|4
1.8. Найдите точки экстремума функции /(х, у) = ах? + 2ху + Ву?
при выполнении условия 441? + су? = 9.
№
а
см
ас
11111316131
213141517
|№м
а
|
с|№[ГА
21211115181
6|
Ь
с
16
|7
4
|2
1514131
121513121
17 |
13 |
4
1
31111121
81315161]
13191311]
18
|7
11
|6
4
9171|91511419173|19
|9
5
|2
|7
13
|7
111216]
51111111
101512111
15
131617]
20
1.9. Найдите точки экстремума функции Хх, у) = ах3 + Вуз при условии
х2 + у? = с?.
мас
№мМ
а
см
а
Вс
№
а
Вс
1
3
2
2
6
3
1
3
11
1
8
1
16
|2
3
4
2
7
3
3
7
4
3
4
12
4
1
5
17
2
7
1
13
151314]
14
2
311121518
4
7
2
114151
1
9
5
51314121101
2
2
3151|11
5
18181112
3
151211121
19
1
3
5
201317 |3
К главе 2
2.1. Решите с помощью
ного программирования
симплекс-метода
каноническую
задачу линей-
ДК) = 1+ ах? -243+24+ 25-46—> тах,
х/> 0,1 =1, ..., 6,
—%1+2+23+(Ь-6)4+
(с+ 1)25+416=3,
2ж%1+ 2+ 2л3- 2(6+3)л4
+ (26+ 1)х5+ 546
= 6,
31+ 2+ 2х3 - З(Ь + 2)л4 + (2с + 1)х5+ 6х6
= 6,
взяв в качестве начальной точки 5 = (0, 0, 3, 0, 0, 0) с базисом (А/, А», Аз).
№
а
с|№м
11-11456
213131417
31412131]
4
1—5
11121]
5 | -2
15111
а
| 51|
с|№мМ
411|
111-2131
|312]
№
13|
а
2116 |
121-3143]
81-12131
9
ас
17|
41514118
1-21
4|
141-1121
51|
101-3151
5|
15 | 51111120
|Ь]с
|414
31313
|-212]2
19|]
| -6
1|1
|5 |5
2.2. Решите с помощью симплекс-метода каноническую задачу линейного программирования
(х) = ах1 + х3+ 55+ 6х6 —> тах,
351
х7> 0,]=1,..., 6,
201+
2+ 23+ (6+ 1)^4+ (с- 3)
- 26
=1,
Зал + 3х2
+ хЗ+ фа+ (с- 12)х5- 116
= 3,
—ж1+ 2х2 - хЗ- (Б+3)хА- (с+11)х5- 126=2,
взяв в качестве начальной точки 5 =
ма
с|№маЬ
1 |1 4121216
(0, 1, 0, 0, 0, 0) с базисом (А, А», Аз).
см
1—1
313|
ас
№
111-7161
а |
с
4116 | 6
|412
21-—61312171|-715131121-513121|171|-7|12]|2
31-31211
816121
131-6151
4
1-7]
4|2
—-5
14|
5
1-9
1311110
|-817151|
2.3.
Решите
14111
5118
413111
1151-91613]
симплекс-методом
каноническую
|5
|413
19 | -815|1
20 |
задачу
-7311
линейного
про-
граммирования
К) =-м- 32+ 23+
> шш,
21>0,]=1,..4,
ах!
л2+ 3+ рлА= 120,
+2
-л3+44=0,
21+л2+л3+ сдА= 120,
предварительно найдя какую-либо угловую точку.
№
1
а
Ь
с
№
а
1
2
2
6
1
Ь
5
2131512171218
315181218
4
7
11
|2
51911412110
9
с
№|а|с|
№
а|Ь
5
11
16
|1
151
1213111011712
11010
с
3
513
1311115113
1512101183173
4
14
171310
|151
1715115
|5
14
19
|9141|01|20151|
3
|4
9
3
113
2.4. С помощью симплекс-метода решите каноническую задачу линейного программирования
Кх) = -х2+х3- 3х5 -> шах,
х7> 0,1
2 х-х
1
2+
=1,..., 5,
Ь
Хх 3—4
х
+1” $ =1,
2+2
+м9-ж=а,
1472 — 9 73+_б
+2
+—— 14415
4+2 ==86,
с+
предварительно найдя какую-либо угловую точку.
352
№
а
с|№
1
1
112
2
2
1
3
3
112
4
4
1
5
51212
2
2
ап
с|№м
ав
с|
№
а
Ь|с
6
61212
11121213
161312]
7
71212
12141213
17161214
8
2
113
131612131
18131314
9
4
1
3
14 |
3
1
4
1016113115161
19
4
161314
4|2003]|
44
2.5. Решите симплекс-методом задачу
(х) =-м+ 2+ л3- ах4 > Ш,
ж> 0,]=1,..., 4,
—%1+ 22 -23+44<2,
жи + х2+ д3- 244 <12,
221+
сх? + 4х3 + 2^4< 6,
предварительно приведя ее к каноническому виду.
№
аЬ
1
2131
2
311
314121
4
7
с
-
ма
с№
а
Ь
с
№
а
Вс
6
51213111211
2
160131311
1
7
41316112313
4
17
-1
8
611151
1315121
3
9
21212
1417
4
10
151317115
|2
51813
-1
14|
112
18131110
]|1
5
19
14113
|6 |3
8
20
151216
2.6. Приведите пример таких значений параметров р
задача
и 4, при которых
К) = ах! + 6х? —> тах,
> 0, х1 + рх. < 1,1 -22>4:
а) имеет пустое допустимое множество Х;
6) имеет бесконечную верхнюю грань /[* =зир/(х);
х
в) имеет единственное решение;
г) имеет бесконечно много решений.
№
Ь
№
№
1
5
6
11
2
7
7
12
3
3
8
13
4
3
9
14
5
4
15
353
2.7. Приведите задачу линейного программирования к канонической
форме и найдите ее решение с помощью симплекс-метода:
(х) = ах! +х? + 843 > тах,
27> 0,7 =1,2, 3,
2х + р? +43> 1,^1+42+ с3< 1.
№ма
с
№,
а
1 | 4/3
1415|
6 |
4/3
|141
2 | 3/2
|6
16/5
|4
|
с|
№
а
61|11|
с
№
а
Ь |с
7/3
[413116 |
3/2
|2]|5
1312112 |
19/5
16121
17|
7/4
|5
|4
3 | 7/312131|
8 |
6/5
[12161
13|
3/2
12141
18 |
15/4
|7
|2
4 | 65
|316]
9 |
9/5
|314]
14|
5/3
|1615|
19|
4/3
|5
|6
5 | 5/4 | 2171
10|
7/2
|415]
15|
7/2
|512|
20|
7/3
|6
|3
2.8. В пекарне для выпечки четырех видов хлеба используются мука
двух сортов, маргарин и яйца. Имеющееся оборудование, производственные площади и поставки продуктов таковы, что в сутки можно переработать не более а кг муки сорта Т, 6 кг муки сорта П, с кг маргарина, 4 штук
яиц. В таблице приведены нормы расхода продуктов, а также прибыль
от продажи 1 кг хлеба каждого вида.
Наименование продукта
Нормы расхода 1 кг хлеба
1
2
3
4
Мука Г, кг
0,5
0,5
0
0
Мука П, кг
0
0
0,5
0,5
0,125
0
0
0,125
Яйцо, шт.
2
1
1
1
Прибыль, руб/кг
14
12
5
6
Маргарин, кг
Требуется найти суточный план выпечки хлеба, максимизирующий
прибыль.
№
354
а
Ь
с
а
№
а
Ь
с
а
1
250
200
60
1380
11
210
180
50
1180
2
290
200
70
1540
12
260
190
60
1380
3
350
200
80
1740
13
300
200
70
1560
4
380
200
90
1880
14
330
210
80
1720
5
290
150
50
1280
15
370
220
90
1900
6
300
150
60
1380
16
220
160
50
1160
7
310
150
70
1480
17
270
210
60
1440
8
330
150
80
1600
18
310
190
70
1560
Окончание таблицы
№
а
Ь
с
а
№
а
Ь
с
а
9
400
150
90
1820
19
340
200
80
1720
10
240
100
50
1080
20
390
180
90
1860
2.9.
состоит
пилить
занных
№
Строителям требуются комплекты досок, каждый из которых
из а досок длиной 1,5 м и В досок длиной 0,6 м. Как следует расс четырехметровых досок, чтобы получить наибольшее число укакомплектов?
а
с
№
а
Ь
с
111131
660
16
|215]
211131
№
а
Ь
с
№|а|Ь
с
770 | 1113171
960 |
16
14|
91|
630
7201712151
880 |
1213181
510 |
17 | 41|
9|
660
311131
7801
8
|215]
990 |
13
|3 |
81|
680 |
18
|9|
690
411131
8401
9
|317|
640 |
141
3|
81|
850 |
19149]
720
51215|
660 |
1013171
800 |
15
|141
91|
600 |
20
750
|4
|4 | 91|
К главе 3
3.1. Докажите, что множество Х = {(х, у) Е Е? : ах? + Блу + су? < 0, у>0}
является выпуклым конусом и изобразите его на плоскости (х, у).
№Ма
1
с
2
|716
213
4
№
а
Ь
с
61415
[47
|5
|
|-13|
31215121815
|-17|
№
а
В
|]с
2
11-3|
16|
6 |
-1|
5
6 |
3
1 | —4
117
|2
7
3
12|
6 |
13|
14|
|5
31913|-1|
41|
514
|-15|
9
4115]
-81
|с|№
-6111|
412
11013 |
ав
31-11
5 |
-2 |
-8|—4|
5|-2|-3|
1812
|-3 | -5
191611]
20|
-—
4 | -5|-6
3.2. Изобразите на плоскости сумму двух выпуклых множеств: отрезка
Х = [ж, х>], где / = (4, а), х›= (4, 3), и
1) круга Х; = {х = (21, 42) Е ЕР:
(м -
2+ (л2- с)? < 1};
2) квадрата Х. = {х = (11, 22) Е Р: |1
-Ь|< 1,2 -с|< 1};
3) треугольника Хз с вершинами (-2; -1), (1; 5), (3; —с).
мам
1
1
2
2
0
31-114]
4
2
|1
а
см
31|
В
11
0
2111
-2
с|№
а
Ь|с
16
2
4
|2
|312 |
17
1
2
|3
18
0
311
6
-2
312
7
1
3111
12 |
3
8
0
2121
13
1
4131
211
9
1
|1313|
14
0
21311914]
4111
15|
-11311|
5101312110121
14|
а
201212]
2
3
355
3.3. Найдите минимальное значение параметра А, при котором выпукло
множество Х = {(ху)Е Е: (ах+ Ту, у>л}.
№
Ь
1
№
№
№
6
11
16
12
17
2
3
8
13
18
4
9
14
19
5
10
15
20
3.4. В пространстве Е найдите проекцию начала координат на множество
Х=
№
{х = (41, 42, 43, 44) Е №:
а|Ь
с | №
|а|Ь
с | №
1121916161219
|
212191-6|171|21-9|
3121-9161]
3.5. На параболе 2и
№Ма
в
аа
5
9
Ь
9
1-6
1|
18
18
14
1|
-6|-61|
19 |1
15|
11619120
а
Ь
2
10|
|
122%]
3
6
-6 |
12
|-23]
3
9
а
(а; Ь).
Ь
с
11|
5| 2
5
4
|1
2
|183 43| _3 | 2
9| 2
|197 | 2
4 | 4
|115
2
|4
-9
12
|1 | 17146]
3
9
|1 | 13-28] 3
3
9|4
|9
3
|16|
-9
9
|1
с | №
2
21212
2
17|
-6 | 6 |
та
5153-31
|
|-6|
1|
с | №
8139
3
4
6116116
13
4
|2
9
31|
с
= сд? найдите точку,у ближайшую к точке м 0 =
ва
2
[83|
9
61|
а
-9 |
91-18 |
с!№а
2 |627
9
с | №
121116
|219
12191911012]
а|Ь
-91|111
8121-9|
4 | 21-91-6119
5
1+ ах? - 44 =Б, 1+ адЗ+ А = (}.
8|
311
|023]
2
3
8
э
|1
6
3.6. С помощью теоремы Куна — Таккера решите выпуклую задачу
минимизации
(и) = ах? + Бху + су? > шп иЕ Х={и=(х,у)Е
№|
а
с
№|а
Е?: 2+у? <1,х+у> 1}.
Ь
с | №
а
Ь
с | №
а
Ь
с
1
1
1
3
6
2
3
2
11
4
5
2
16
|5
4
1
2
4
4
3
7
20
|4
111
12
9
6
5
17 | 27
3
11
Окончание таблицы
ма
с|№мМа
3
-2
12|
41
21|1—]5
51
11|
-8
8 |
16|
10 |
3.7. С помощью
с
№
ав
|131
11|
16|
4
|7
1
|-21
3114
12 | -6
теоремы
|7
|
|115 |
Куна
с|№
-2|
3 |
а
Ь
с
1815
|-2 |1
11-215 |
1913 |
-10 |
19
12|
20|
—6 |
12
-—4 |
13|
— Таккера решите
7
выпуклую
задачу
минимизации
Ки) =[х-а|+|у-6|
> шт иЕ Х={и=(хуЕ
№|
а
Ь
1 |114 |
2 |-30|
3116 |
4 -18 |
5 -8 |
В | №|а
Ь
в
№|а
Ь
Р: х+у2< 82}.
в№|а
15 13216
|5 | 15| 13|1|315|6
|
-7 | 2517
[8 | -7 [6/2] 12 | -10 | 14 [9/2]
15| 17| 8 | 16| 8 | 17| 13| 9 | 16| 15]
12 | 20
9 —16 | -14 | 20 | 14 |-10|-30| 26 ||
11 | 10|
3.8. С помощью
10|
-6
|4 | -5|
теоремы
Куна
15
Ь
16| -9 | 10 | 16
17 | -9 | -11 |7
18 |-12]| 11 | 15
19 | 24
|3 | 1019 | 20| -7|
— Таккера решите
В
|-13| 36
-6 |522
выпуклую
задачу
минимизации
Ки) = (х- а)? + (и-Ь)>
тие
№мМаьЬ
1
в
№
а
|
111716
21-6
|-11|1
|-15|
в|№
1517
а
[х|+у|< Е}.
№
111141917 |
16
ав
|-11|
817 | -2
|-131
8|
1217 | -8|
81|
17|
81|-—
115
|9 |
13 | -5 | 1319
|
18 | -12
3 | 1214191]
4 | -8
Х={и=(хуЕР:
101913
514 | 151111]
10
|-18|
|-15|
10 || 14 | 3
4 | 11|
15 | -3
-3
|7
141-18
|-101
10 | 19 | 14
|-14|
11120 |
9
|3 |
10
16 | -5 | 11
К главе 4
4.1. Для решения задачи условной минимизации
Га) = [х- а —>шш,
ХЕХ ={хЕЁ":
Р <2(Ь,х), [ЫР
<(5,х)},
где а, 6 — заданные векторы из Ё", воспользуйтесь методом проекции градиента с постоянным шагом о, = 1, взяв в качестве начального приближения
ху = 6. Остановите процесс при первом попадании в множество решений.
№
а
Ь
№
а
Ь
1
(1,1, 1, 1)
(1, —3, 1, 1)
11
(1,2, 0, 1)
(-1, 1,2, 1)
(2, —1, 1, 0, 1)
(0, 1, 3, 0, —2)
(1, 3, 1,2)
(0, —1, 1, 1)
3
12 |
13
(3,0,1,0,-1) |
(2, 1, 3, 0)
(1-2, 0, -1)
(1,1, -1,3)
357
Окончание таблицы
№
а
4 |
5
6|
7
8 |
9 |
10 |
Ь
№
а
Ь
@Ф-зью | @-ь-ьь-ю | 14|
660,2
(1,2, 3, -1)
(-1, 2, 0, 3)
15 | (1,-3,3,0)
(2. -3,11-0 | (1,0,-,-60 | 16|
(2.1120
(1,0,2, -2)
(2,0,-3,-2)
|17|
(2,2,-2,1)
(2.0.120 | (0,3, -3,-6-0 | 18|
(З-6ььь
(1./-1-1-0
(0,2, -3, 1)
19 | (1,2,-3,0)
(3,-2,0,0,1) | (1,0,2,0,3) | 20| Сььь-ьь
|
(,0,-12,-0
(3,2, 1,1)
| (,3-6-ь2)
(-2, 1, 1,0)
| (С60,0,12)
(-3, 0, 1,2)
| @Фьььо
4.2. Для решения задачи условной минимизации
Год
-аР
ти,
хЕХ= {хе Е": |
< 2%, х), |? <(5,х)},
где а, 6 — заданные векторы из Е", воспользуйтесь методом условного градиента, взяв в качестве начального приближения ху = 5. Остановите процесс при первом попадании в множество решений.
№
а
Ь
№
а
Ь
1
(1,1, 1, 1)
(1,3, —1, 3)
11
(1,2, 0, 1)
(-1, 1, 3, 1)
2
(2, —1, 1, 0, 1)
12
(3, 0, 1, 0, —1)
(-1, 2, 1, 0, —2)
3
(1, 3, 2, 1)
13
(1, 2, 3, 0)
(1,1, -1, 3)
4
(2, —1, 3, 1, 1)
(3, 1, 1, 0, 2)
(1, 0, —1, 3, —1)
5
(-1, 2, 3, 1)
15
(1, —3, 3, 0)
(3, 1, 0, 3)
16
(-2, 1, 1, 0, 1)
(1, 3, —1, —1, 0)
17
(2, -2, —2, 1)
(-2, —1, —1, 0)
18
(3, 2, 0, 1, 1)
(—1, 0, 0, 1, 2)
19
(1, —2, —3, 0)
(-3, 0, —1, 2)
6|
(0,-1,2,0,-3) |
(0, —1, 1, 1)
(1, -—1, —1, -1, 1) || 14
(1,2, 0, 3)
(2,-3,1,-1,-10) |
(-10,1,-1,0) |
7
(1,0, —2, —2)
(2, 0, 3, —2)
8
(-2, 0, —1, 2, 1)
9
(3, —1, —1, -1)
(0, 2, —3, 1)
10
(3, —2, 0, 0, 1)
(-1, 0, 0, 2, 3)
(0, 3, 3, —1, -1) |
20 | (-1,-1,1,-1,1) |
(2,-1,111)
4.3. Для решения задачи безусловной минимизации
1) =<(а, ху +25
где а, Ь—
заданные
Ньютона,
взяв
векторы
в качестве
из Е”,
—>шш,
хЕХ=РЁ",
воспользуйтесь
начального
классическим
приближения
№
методом
56. Остановите
процесс при первом попадании в множество решений.
:]
(3, -1, 1, -2)
11
|
Ь
а
4 _2
7
“>
3
=,-=,0,-
№
,
1
22.1
(Е
Ь
| сл
а
(0, —1, 7, 2)
Окончание таблицы
№
а
2
Ь
[-ы
№
(-2,4, 1,2, -2) | 12
а
Ь
[4-Я
(2,0, 1,4, 1)
3
[21-3
(5,-2,0,1)
|13
(2,4, —1, 1)
4
[223-22
(0,5, 0,-1,1)
|14
[424-82]
(2, -7,1, 0,2)
5
[5.03.2
(1,3,2,7)
|15
[5202
(6, 1,3, -1)
6
[58-14-5
(1,4, -2,0,1)
|16
[2-1588]
(-1,2, 0, 7, 2)
7
[24.-2.-2)
(1,-1,0,-2)
|17
(8-2
(-2, 5,2, -3)
8
[А-а]
(0,5,2,-2,1)
|18
9
[--
(-3,1,2,-2)
|19
10
ыы
(2,4,3,3,0)
|20
[[2
(4, —1,1,0, 1)
>, 3
(-7,2,-1,2)
от]
(2,2, —3, —14, 0)
К главе5
5.1. Пользуясь принципом максимума Понтрягина, найдите оптимальное управление в задаче
Т
Ли) = [рае @) + (и) АЕ — пит
0
при условиях
х= |=.
#0= [о] - [4
1
1
(0) = [о
- [+|Ь
х?(0)}
№
Ты
0<#<Т;
2
«(Г)= х?(Т))
ыы
= ||0
а|6|№|т
|
а
УЕ!
№ГП|тТ
|
а|Ь
1
1
4
1
0
9
1
4
0
1
17
1
4
1
1
2
2
4
1
0
10
2
4
0
1
18
2
4
1
1
3
3
4
0
1
11
3
4
1
0
19
3
4
1
1
4
2
8
0
1
12
2
8
1
0
20
2
8
1
1
5
1
—4
0
1
13
1
—
1
0
21
1
—4
1
1
6
2
—4
1
0
14
2
—
0
1
22
2
—4
1
1
359
Окончание таблицы
№т
7
и
а
|
№
Т
ы
15
121
|1
1101
8121-8111
0116
а
65|
Т
и
а|Ь
-81011123
12|
-8
|1
1
4
|3 |
-2
|1
1
1
№
1124
5.2. Пользуясь принципом максимума, найдите управление и соответствующую траекторию, подозрительную на оптимальность, если
(и) = [(а=®) +и2? (ВЖЕ
0
пит,
при условиях
ж=и(р,0<1<Т,
х(0)=0,
и(Ё) — кусочно-непрерывное управление, такое что |и(#)| <
Т|.
Т
№
У
2
8
2
2
9
2
10
2
1
3
3
3
2
5.3.
Примените
11
12
13
ыы
ыы.
№
14
принцип
№
15
16
17
18
19
20
3/2 |
3/2 |
3/2 |
3/2
максимума
при всех ЕЕ [0;
в задаче
быстродействия
(С) =Т —> та при условиях
21() =х2(1), 0<+#<Т
х2(=и®,
—
21 (0) = а, х?(Г) =, х2(0)=0, х2(Г)=0,
управление и(#) — кусочно-непрерывное, |#(#)| < у при всех ЁЕ
№
а
1
1
2
1
7
1
2
2
1
1
8
3
1
3
1
4
3
1
5
2
6
3
360
ум
ав
у№
[0; Т].
|у|№м
ав
а
Ву
2
2
13
|3
4
1
1913]
2
1
2
14
4
|3
1
20
4
|3
2
9
1
3
2
15
2
4
1
21
2
4
2
1
10
3
1
2
16 | 4
2
1
22
4
2
2
3
1
11
2
3
2
17
1
4
1
23
1
4
2
2
1
12
3
2
2
18 | 4
1
1
24 | 4
1
2
4
2
К главе 6
6.1. Пользуясь методом динамического программирования, найдите
решение задачи минимизации
Лен, Хо, ..Жма) = ах + а2хожз + ... + ах
м1 + Хы — Ш
при условиях х;Е Х,= {хЕ Е, |х| < 1},1=1,..., М+ 1, полагая М =
№
аа
||
№
аа
||
№
11-11-2111
аа
|
1
1
1
2
6
2
1
2
1
71-11-2111
121-212 |
1
1
8
13 | -2
2
91-11-11
312
4
5
|-1|1
1
21-11
1—2
1-1
|2
2
1-11
15|
1
-2 |
1
1812-11
111912
3
1
х!
аз
17131-11 | 1
1
6.2. Для задачи быстрейшего перевода точки х = 12
при условиях Х1(® = х2(8), 42(® =и(®,0<Е<Т,
а |а |
2 | 16111-31
1-11-11
211413
101-112
а | №
3.
|201
-—3
|-1|
-1
|1
1
а
в точку х(ТГ) =
Ь
|[\(8) Е1:
1) с помощью принципа максимума Понтрягина найдите оптимальное
программное управление;
2) вычислите функцию Беллмана;
3) укажите синтезирующую функцию.
№112345617|8
1111011]
9110
-11-11001-1
11011-11100
111
1121210]
121
13|
14 | 15|
16 | 17|
18
-112|-2|0|-2|-1
-11211012121-110|-21-1-2
6.3. Имеются пункты ($]),1= 1, ..., т, = 1, ..., п, т < п, соединенные дорогами. Предполагается, что из каждого пункта (1,1), 1 <1<т - 1, 1<1<п-1,
можно проехать либо на «север» в пункт (1+1, 1), удаленный от пункта ($, ])
на расстояние с; либо на «восток» в пункт ($1 + 1), удаленный от пункта
(1,7) на расстояние В; ‚ Других дорог, по которым можно выехать из пункта
(1, ]), нет. Из «пограничных» пунктов (т, 1), 1 <] <п - 1, можно выехать
только на «восток» в пункт (т, ] + 1), удаленный от пункта (т, ]) на расстояние В „а из пунктов (п), 1<1< т -
1, можно выехать только на «север»
в пункт (1 + 1, п), удаленный от пункта ($ п) на расстояние с,„. Требуется
с помощью метода динамического программирования указать кратчайший
путь из любого пункта (1, ]) в «финальный» пункт (т, п).
Найдите синтезирующую функцию, если т = 5, п = 10,
с; =|а; + (04|,
1=1,..4,}=1,...10;
в; =@-К-Ю4|,
1=1,..,5,7=1,..9,
число 4 равно 2 или 3, варианты чисел а1, а, аз, ад, аз приведены в таблице.
361
№
а!
а
1
10
2
@3
а
@5
№
а
а
аз
а
@5,
4
13
2
11
3
13
6
14
7
1
7
15
12
12
5
14
7
15
6
1
13
9
14
7
15
3
7
14
14
6
15
3
16
3
8
9
2
4
7
11
12
5
16
5
7
8
4
15
5
15
3
16
4
6
5
13
9
10
16
16
15
3
16
4
17
7
14
6
11
12
13
17
6
16
4
17
5
8
3
13
5
17
18
16
4
17
5
12
9
12
2
16
8
19
7
17
5
12
2
10
11
3
12
4
20
17
4
12
2
18
Литература
1. Алексеев, В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление / В. М. Алексеев, В. М. Тихомиров, С. В. Фомин. — М. : Наука, 1979.
2. Арутюнов, А. В. Принцип максимума Понтрягина: доказательство
и приложения / А. В. Арутюнов, Г. Г. Магарил-Ильяев, В. М. Тихомиров. — М. : Факториал-Пресс, 2005.
3. Арутюнов, А. В. Условия экстремума. Анормальные и вырожденные
задачи / А. В. Арутюнов. — М. : Факториал Пресс, 1997.
4. Ашманов, С. А. Линейное программирование / С. А. Ашманов. — М. :
Наука, 1981.
5. Ашманов, С. А. Теория оптимизации в задачах и приложениях /
С. А. Ашманов, А. В. Тимохов. — СПб. ; М. ; Краснодар : Лань, 2012.
6. Бахвалов, Н. С. Численные методы / Н. С. Бахвалов, Н. П. Жидков,
Г. М. Кобельков. — М. : Наука, 1987.
7. Беллман, Р. Динамическое программирование / Р. Беллман. — М. :
Издательство иностранной литературы, 1960.
8. Благодатских, В. И. Введение в оптимальное управление / В. И. Благодатских. — М. : Высшая школа, 2001.
9. Бурмистрова, Е. Б. Линейная алгебра / Е. Б. Бурмистрова, С. Г. Лобанов. — М. : Юрайт, 2014.
10. Васин, А. А. Теория игр и модели математической
А. А. Васин, В. В. Морозов. — М. : МАКС Пресс, 2008.
экономики
/
11. Васильев, Ф. П. Линейное программирование / Ф. П. Васильев,
А. Ю. Иваницкий. — М. : Факториал Пресс, 2008.
12. Васильев, Ф. П. Методы оптимизации. Т. Г, П / Ф. П. Васильев. —
М. : МЦНМО, 2011.
13. Гайиун, И. В. Системы с дискретным временем / И. В. Гайшун. —
Минск : Институт математики НАН Белоруссии, 2001.
14. Галеев, Э. М. Оптимальное управление / Э. М. Галеев [и др.]. — М. :
МЦНМО, 2008.
15. Галеев, Э. М. Оптимизация: теория, примеры, задачи / Э. М. Галеев,
В. М. Тихомиров. — М. : 985$, 2000.
16. Гончаров, В. А. Методы оптимизации / В. А. Гончаров. — М. : Юрайт,
2014.
17. Денисов, А. М., Разгулин, А. В. Обыкновенные дифференциальные
уравнения. — М. : МАКС Пресс, 2009.
18. Деннис, Дж. Численные методы безусловной оптимизации и решения нелинейных уравнений / Дж. Деннис, Р. Шнабель. — М. : Мир, 1988.
19. Евтушенко, Ю. Г. Методы решения экстремальных задач и их применение в системах оптимизации / Ю. Г. Евтушенко. — М. : Наука, 1982.
363
20. Зорич, В. А. Математический анализ / В. А. Зорич. — М. : МЦНМО,
2007.
21. Измаилов, А. Ф. Численные методы оптимизации / А. Ф. Измаилов,
М. В. Солодов. — М. : Физматлит, 2008.
22. Ильин, В. А. Математический анализ : комплект в 2 ч. : учебник
для бакалавров / В. А. Ильин, В. А. Садовничий, Б. Х. Сендов. — М. :
Юрайт, 2013.
23. Карманов, В. Г. Математическое программирование / В.
Г. Карма-
нов. — М. : Физматлит, 2000.
24. Киселев, Ю. Н. Оптимальное управление. Линейная теория и приложения / Ю. Н. Киселев, С. Н. Аввакумов, М. В. Орлов. — М. : МАКС
Пресс,
2007.
25. Краснощеков, П. С. Оптимизация в автоматизированном проектировании / П. С. Краснощеков, В. В. Морозов, Н. М. Попов. — М. : МАКС
Пресс, 2008.
26. Коннов, И. В. Нелинейная оптимизация и вариационные неравен-
ства / И. В. Коннов. — Казань : Издательство Казанского университета,
2013.
27. Корнеенко, В. П. Методы оптимизации / В. П. Корнеенко. — М. :
Высшая школа, 2007.
28. Кротов, В. Ф. Методы и задачи оптимального управления / В. Ф. Кротов, В. И. Гурман. — М. : Наука, 1973.
29. Кудрявцев, Л. Д. Курс математического анализа : комплект в Зт:
учебник для бакалавров / Л. Д. Кудрявцев. — М. : Юрайт, 2014.
30. Мину, М. Математическое программирование. Теория и алгоритмы /
М. Мину. — М. : Наука, 1990.
31. Орлова, И. В. Линейная алгебра и аналитическая геометрия для экономистов / И. В. Орлова, В. В. Угрозов, Е. С. Филонова. — М. : Юрайт,
2014.
32. Поляк, Б. Т. Введение в оптимизацию / Б.
Т. Поляк. — М. : Наука,
1983.
33. Понтрягин, Л. С. Математическая теория оптимальных процессов /
Л. С. Понтрягин [и др.]|. — М. : Наука, 1976.
З4. Срочко, В. А. Итерационные
методы решения задач оптимального
управления / В. А. Срочко. — М. : Физматлит, 2000.
35. Стрекаловский,
А.
С.
Элементы
невыпуклой
оптимизации
/
А. С. Стрекаловский. — Новосибирск : Наука, 2003.
36. Тимохов, А. В. Методы оптимизации : учебник и практикум для бакалавриата и магистратуры / А. В. Тимохов, А. Г. Сухарев, В. В. Федоров. —
М. : Юрайт, 2014.
37. Тихонов, А. Н. Методы решения некорректных задач / А. Н. Тихонов,
В. Я. Арсенин. — М. : Наука, 1979.
38. Фурсиков, А. В. Оптимальное управление распределенными системами. Теория и приложения / А. В. Фурсиков. — Новосибирск : Научная
книга, 1999.
39. Цурков, В. И. Декомпозиция
В. И. Цурков. — М. : Наука, 1981.
364
в задачах большой
размерности /
40. Вепзесаз, О. Р. МопПпеаг ргортатпиие / О. Р. Вег(зесаз. — Ветоп& :
Аепа,
1999.
41. Воппапз, ]. Е. Регеифайоп апа[у$1$ о орИт1хаНоп ргоетз /
]. Е. Воппапз, А. ЗВарго. — М. У. : Зриавег, 2000.
42. Воппап$, ]. Е. Митетса| орИит12айоп. ТВеогейса| ап ргасйса|
азресв$ / ]. Е. Воппапз [еб а|.]. — ВегИп : Зрипрег, 2006.
43. Витас, В. 5. Зе-уае4 тарри15$ ап ешагретеп{$ оЁ{ топоюпе
орегахогз / В. $. ВигасЫ\К, А. М. Газет. — М. У. : Зриаеег, 2008.
44. Потейев,
А. [.. ПарИсй лпс@опз$ ап4 зо оп тпаррип$$ / А. Г.. РопёсВех,
В. Т. ВоскаПаг. — М. У. : Зрипеег, 2009.
45. [2тайоо, А. Е. Ме\боп-вуре тево4$ юг орипигайоп ап4 уамайопа|
ргоЫетз / А. Е. [2таЙох, М. У. боюодох. — М. У. : Зрипеег, 2014.
46. Межетоо, Уи. Пигодисвогу |есбигез оп сопуех орипигаНоп. А Бас
соигзе / Уи. Мезегоу. — Возюп : С]а\ег, 2004 (русское издание: Нестеров, Ю. Е. Введение в выпуклую оптимизацию / Ю. Е. Нестеров. — М. :
МЦНМО, 2010).
47. Мозеда[, ]. Матенса| орипитаоп / ]. М№озеда1, 5. ]. У/иеве. — М. У. :
орипеег, 2006.
48. 5топЕт,
В. С. СЛора| орипихайоп
\ИВ
поп-сопуех
сопзга1т$.
Зерпепиа| ап4 рагаПе| а1тогИттз / В. С. Згопетю, У. О. Зегвеуеу. — Возбоп :
С]и\ег, 2000.
Ответы к упражнениям
Глава 1
1.1. Если т = 2, то Ива, =-1
по
0 а, =-яп
по
мА
‚ па, =т
26-1]
+°°); при /(0)>—
м
п
1.2. При /(0)< >
нк
Ша, =6; Если т = 2# - 1,
то
п>>
28-1
.
функция /(х) будет полунепрерывной снизу на (—э;
(х) будет полунепрерывной сверху на (—©э; +оэ).
1.3. В задаче О = шх > ша, хЕ
(0; 1) функция /(х) непрерывна
на Х, Х — не компактно, / = ©, Х. =); если положить &(х) = —х прил < 0,
&(х) =л? + 1 прих > 0, то в задаче &(х) = > шш, хе [-1; 1] функция &(х)
не полунепрерывна снизу вх = 0, Х — компактно, /+ =0,Х. = ©.
1.4. Не следует.
1.5. Не следует.
1.7. а) Будет; 6) не будет; в) будет.
д
минимума и, = | =Ъу= [тез
1.8. а) Точки локального
п
глобального минимума и, = | =-2, у= > + 2иё
максимума из, = | = 0, у 5+ 24
|
точки
ЁЕХ, точки локального
ЕЁ;
6) точки глобального минимума и = (х=Т, у=0), и = (х = -Ту=0),
точек локального или глобального мокеимума нет;
1
У У=+ Те} точки локаль-
в) точки локального минимума и › = [ =
1
ного максимума и; 4 =[= =+——,и=
у
1.9. Если
< 0, то }. = —\ =
Ь2,Х,
ых
если
В > 0, то + =-[а| Х.=2;
если В = 0, то при а = 0 {. =0, Х, = Е", приа#0
Х=-[а| Х. =©
1.13. Нет.
1.14. Нет.
1.15. Нет.
1.16. а) Точка глобального минимума и = (х = -1, у = 0), точка глобального максимума и = (х=1Т,у=0);
366
1
2}
6) точки глобального минимума и, › = [ =-—иу=+—
2’
2
точка глобального максимума 14 = (х = 1, и=0);
точка локального минимума и =
(х= -1, у=0);
в) точка глобального минимума и = (х= 0, у=0);
3
_1
точка глобального максимума и. =| х= >, у= 5 ;
г) точка глобального минимума 1 = (х = 0, у= 1);
точка глобального максимума и. = (х =1, у=0);
д
д) точки глобального минимума щ, =| х =+1 у= 3 + 2и4
п
точки глобального максимума ил, = Г =+Ьу= = + 2
е) ТОЧКИ
глобального
“
ТОЧКИ
Зе |.
в"
3
глобального
3’
Е
2)
3’
3)
У
‚2=-—=
\5}
—}
=
ЕД;
минимума:
в =)
==
иА
РЕЙ;
Е,а=-- |
В
"]
в)
8) -{:
5"
и
-|
1
ХЕНРИ
ж) точки глобального минимума:
И.
ея
/6”
№’
6
[а=ики=-
№6”
точки
Е
и
№’
глобального
6
№
№
№)?
шеи
6”
и)
максимума:
№
ие
6
№’
6”
№
сия
6
№
3) точки глобального минимума:
щ
39
ш=[ хе,
3-
2-2
3’
3
р
[21,2
2
239
3’
3
,
2, 2=-1
2373,
3}
точки глобального максимума:
ид = (х=Ту=0,2=0),
и; = (х=0,у=1,2=0),
и = (х=0,у=0,2=1);
367
11
и) точка глобального минимума и. = [++
пт
глобального максимума нет, / = +;
[#7]
где а
|, точек локального или
а
ЕТ точка глобального максимума
а
к) точка глобального минимума и =
и =,
1
...—
т
= (а4, ... а,).
1.18. а) х, =1 — точка строгого локального минимума, х“ =-1 — точка
строгого локального максимума, /+ = —©э, [* = +;
а?
Ь?
6) при аб > 0 и. =| х. = -—, у. = | — |
Ь
а
минимума,
+ =,
|" = +,
— точка строгого локального
|а 2
при ар < 0 и. = 2% =, 9. =
[Ь 2
а
— точка
строгого локального максимума, / = ©, [* = +;
в) м» = (х+ =32, у, = 32, 2. = 3/2) — точка глобального минимума, + = +<о;
г) м, = (х+ = у, =1, 2, =1) — точка глобального минимума, /+ = +=.
1.19. а) При п = 2 точка глобального максимума и" = В
11
— |, точек локаль22
ного или глобального минимума нет, / = ©, при п = 3 точки глобального
максимума и" =
1.1
вой
‚ точек локального
или глобального
минимума
нет,/ =-<°, прии>
4 }, =-©э, [* =4ю°;
6) некоторые
точки
глобального
максимума
и;-(°
... 0.5.5.0... с]
некоторые точки глобального минимума 1; = (0,..., 0,1, 0,...,0).
1.20. Если п — четное, то и» = (х» =0, у, =0, 2, =0) — точка глобального
минимума, и = (х.+ = 0, у, =0, 2, = 1) — точка локального максимума, точек
глобального максимума нет; если и — нечетное, то и. = (х. = 0, у. = 0, 2. =-1) —
точка глобального минимума, точек локального или глобального максимума нет.
1.21. х = 0 — изолированная точка экстремума.
1.22. и, = (х=0, у=0) — точка глобального минимума, и = (х = 1,
у = 0) — точка глобального максимума.
1.23. Приа=0х= 0 — точка глобального минимума, сфера ||х|=1 — точки
локального минимума, сфера |х| = 2 — точки глобального максимума; при
1
а
0<[а|< 5 х = 0 — точка глобального минимума, х = | точка локального
а
а
1
минимума, х = т] — точка глобального максимума; при [а| =7*= Ои
а
х= Мо
а
точки глобального минимума, х = 21] — точка глобального мак-
1
а
симума; при 5< [@]|<1х= тт
а
368
точка глобального минимума, х = 0 — изо-
лированная точка экстремума, х =
при 1 <|а|<2х=а-
а
1] — точка глобального максимума;
а
точка глобального минимума, х = 0 — изолированная
точка экстремума, х = 2
а
— точка глобального максимума; при [а|| > 2
=]Г — точка глобального минимума, х = 0 — изолированная точка экса
а
тремума, х = 1] — точка глобального максимума.
а
Глава 2
2.3. и\ = (1/3, 2/3, 0, 0, 0) — угловая точка с базисом (А/, Ао); в. = (0, 0,
1, 0, 0) — вырожденная угловая точка, ее базисы (Аз, А/), (Аз, А), (Аз, Ал),
(Аз, А); оз = (1, 0, 0, 0, 2) с базисом (А/, Аз), од = (0, 1/2, 0, 1/2, 0) с базисом
(А», А), 95 = (0, 0, 0, 1, 1) с базисом (А., А5); базисным парам (А/, Ал), (А»,
А5) соответствуют точки не из Х.
2.5. Минимальное значение /.; = 1 достигается
ющем собой отрезок [92, 03] = {0
+ (1 — 0), 0
0) — вырожденная угловая точка, оз = (1, 0, 0, 0,
Г’ =4 достигается в единственной точке и, = (0,
Л =1= Ло) =
еь) < Лав) =3< Ладе
на множестве, представля< а < 1}, где о. = (0, 0, 1, 0,
2); максимальное значение
1/2, 0, 1/2, 0);
< Лан) = Г =4
2.6. Угловые точки: 91 = (1, 1, 0, 0, 0), о = (3/2, 0, 1/2, 0, 0), оз = (0, 3/2,
0, 1/2, 0), ол = (0, 0, 1, 1,0), о = (0, 0, 0, 0, 1);
Л =Л (4) =0< Л (05) =1< /(0,)=3/2< (и) =5< Л (из) =6.
2.17.а) х. = (11,0,0), + =2;6) Х. = [ж/, х>] = {0х +(1-9)хо}, м! = (0, 1, 0,0),
х, = (0,0,0, 1), =; в) х. = (0,3,0,1/2,3/2), =3/2; г) х. =(,2,7,0,0,4);
д) Х # © (например, (0, 1 +а, 0, а, 0) Е ХУа>0), но /. =-©°, поскольку,
например, /(0, 1 +а, 0, а, 0) -> -< при а -> °°; е) х* =(7,5,0,0,0), }* =17;
ж) х" =(7,5,0,0), /* =12; з) х, = (0,1,0,1,1), + =5.
29. а) х. = (0,3,8,0,0),
=-5;6) Х= В.
Глава 3
3.1. а) Ни выпукла, ни вогнута; 6) выпукла, не сильно выпукла; в) вы-
пукла, не сильно выпукла; г) ни выпукла, ни вогнута; д) ни выпукла, ни
вогнута.
3.2. а) При а > 0 сильно выпукла, и = 2а; при а < 0 сильно вогнута,
и = 2а; при а = 0 выпукла и вогнута, не сильно выпукла, не сильно
вогнута; 6) прире (-э; 0] ‹ [1; 2) ‹ (2; +=) выпукла, не сильно выпукла;
прире (0; 1) вогнута, не сильно вогнута; при р = 2 сильно выпукла, х = 2;
в) при п = 1 сильно выпукла, и = 2; при п > 2 ни выпукла, ни вогнута;
г) при 0 <р < 1 ни выпукла, ни вогнута; при р > 1 выпукла, но не сильно
выпукла; д) на Х\ при 0 <р < 1 ни выпукла, ни вогнута; при 1 <р<2 сильно
выпукла; при р > 2 выпукла, но не сильно выпукла; на Х. прире (0;
1]
369
вогнута, но не сильно вогнута; при р > 1 ни выпукла, ни вогнута; на Хз ни
выпукла, ни вогнута ни при каких р.
3.4.а) Приа>0,с> 0, ас- 52 > 0 сильно выпукла, х =а+с-\/(а-с)? +462;
приа<0,с<0, ас - 52 > 0 сильно вогнута,
х =а+с+\/(а-с)? +462; приа> 0,
с> 0, ас = 2 выпукла, но не сильно выпукла; при а < 0, с < 0, ас = Ь? вогнута,
но не сильно вогнута; при а = В = 0, с> 0 или в =с =
0, а> 0 выпукла,
но не сильно выпукла; при а =В = 0, с < 0 или в =с = 0, а < 0 вогнута,
но не сильно вогнута; при а = 6 =с = 0 выпукла и вогнута; ни выпукла,
ни вогнута в иных случаях; 6) выпукла, но не сильно выпукла в случае
РФ - 0 > 0, 4(а- 1) > 0, ра -р-а) > 0; вогнута, но не сильно вогнута
в случае 0 <р<1,0<4<1,р+а< 1; ни выпукла, ни вогнута в остальных случаях; в) сильно выпукла, если а + 0, а? 22; выпукла в остальных
случаях; г) при а > 0, а? > 22 сильно выпукла; при а < 0, а? > 262 сильно
вогнута; при а > 0, а? = 22 выпукла, но не сильно выпукла; при а < 0,
а? = 22 вогнута, но не сильно вогнута; при а = В = 0 выпукла и вогнута; ни
выпукла, ни вогнута в остальных случаях.
3.5. Если |с| < 1, то сильно выпукла, х = 2(1 - |с|); если ||с| = 1, то
выпукла, но не сильно выпукла; ни выпукла, ни вогнута, если ||с| > 1.
3.6. На множестве Х/ ни выпукла, ни вогнута при всех ^ > 0; на Х,
сильно выпукла в случае А, |с|? < 2; выпукла, но не сильно выпукла в слу-
чае А |с|? = 2; ни выпукла, ни вогнута, если А.с]? > 2.
3.7. К) = 22, 2(х) = д? - 1.
3.8. /(х) = —ех.
3.9. Нет, например /(х) = х, =(х) = 22.
3.11.Х =
[-1; 1], (<) = 22, если —1 <х< 1, К+1) =2.
3.16. а) м» = (х+ =Ф у, =-1), / =3; 6) и, = (м. =-Ъу, =-1),
=-
17. 9+.
ыы
3.18.
0, если х!<-—\/(х2)? +...+(х")?,
х, если х* > \/(х2)? +...+(х”)?,
чув
+. .+(х")?
ры
2\/(х2)? +...+(х")?
м
21+ (2)? +.. НУ
9.
[(ж2
п)2
У
+. +(а”)
2
‚ иначе.
3.19. а) В исходной задаче и, = (0,0,0,0,1), /, =1, двойственная задача
имеет вид \у(Л,)= —2^,— А. >> з1р, А = (А4, А2): -А4 + А. < -2, —2№ —А. < 1,
Ла —2^> < 1, для нее Л" ={А= 04, ”»): М+2^.=-Ъ М >-1/3}, ли" =1;
6) в исходной задаче Х. ={х= (2х1, д?,..,х?): м =а,-0,А, 1=1,2,...,п}, где
А=а!+а2+...+а» 0; > 0,1=1,2,..., п, 04 +02 +...+0,=1, "у =| А} двойственная задача имеет вид \у(^.) = (а! + а. +... +а,) > зар, Ле [-1; 1], для нее
=|А|, Л* =[-11] в случае А = 0, иначе Л* = {Л" = 5814}.
370
Глава 5
—1, 0<Е<1,
и(Ё)=11
а)1.
5.
5-3), 1513;
6) и()= >. 0=Е52,
21< 3;
=> 0<# (<>
в) що= 2,
и,
0<153; г) (=
55155,
5553
5.2. и(в) = 3 - 1).
5.3. и(В =-32+6-2.
1, 0<Е<2,
5.4. а) «о-|
6) и(в =1,051< 4; в) и(® =-10<1<4.
—1, 2<Е<4;
5.6. и(Ё) =
—1 0<#<1,
1, 1<#<2=Т..
О!
—1 0<Е<2,
1< < 4Т: 6) и(в) =-1,0<#<1=Т.;
в) и(Е)= -1, 0<Е<4=Т..
5.8. а) и(Е) = —12Е+ 6, 0 <Е<1; 6) и(® =24%- 12; в) и(®) = 12: -—4.
5.9. и(® =-5т6 0 <Е<п.
Глава 6
6.1. а) Функция Беллмана В\(х, №) = х? при х> 0, В(х, Е) = 0 при -1 +
< 0, В(х, В = (1-#+х)? при
х< -1 +6 синтезирующая функция и(х, ® =0
при х > 0, и(х, В = 1 при х < 0; 6) функция Беллмана В(х, 6) = (&Е+х- 1)?
при х>1-&В В(х, № = 0 при -1 +#5х<1-6 В(х, В) = (1+х- 0)? при х<
< -1 + & синтезирующая функция и(х, Е) = —1 прих > 0, и(х, 0) =0 при х= 0;
и(х, © = 1 при х < 0, или, короче, и(х, #) = $51 х.
6.2. и(х) = $51 х.
6.3. и(х1, х2) = -1, если точках = (х\, х2) лежит выше и правее кривой АВС,
и(х!, х2) = 1, если точка х = (^х\, х?) лежит ниже и левее кривой АВС. Кривая АВС составлена из фрагментов двух парабол. Дуга АВ является частью
параболы х! 5562
>. а дуга ВС — частью параболы х! =
ету
+.
расположенной во второй четверти д! < 0, л2 > 0.
6.6. а)
ах
= 6, м!
=
1, и
=
1, из =
1,
= 0; 6)
ак = 9,
м
=
1, мо =
1, из = 0,
щ=1, 5 =1.
6.7. Оптимальный маршрут 3 > 4 21-5
> 3, его длина 1+2 +
+3+9
+6 = 21.
6.8. тах = 5, Хнах = (1, 0, 0, 0, 2), Ди = 1/2, ха = (0, 1/2, 0, 1/2, 0).
Предметный указатель
А
Антициклин
114
Б
Базисная матрица 95
Базисные координаты угловой точки 93
Базисные переменные
Базис угловой точки
93
93
В
Вектор лексикографически отрицательный
114
Вектор лексикографически положительный 114
Вторая производная (гессиан)
Г
Гиперплоскость
34
24
Главный минор квадратной матрицы 37
Главный угловой минор квадратной
матрицы 37
Градиент 33
д
Двойственные переменные
175
Допустимая пара 316, 328
Задача Коши 206, 269
Задача Коши — Беллмана 329
Задача линейного программирования вырожденная 111
Задача линейного программирования двойственная 129
Задача линейного программирования каноническая 85
Задача линейного программирования невырожденная 111
Задача линейного программирования общая 81
Задача линейного программирования основная (стандартная) 86
Задача оптимального управления
275
Задача оптимального управления
с закрепленным
— временем 274
— концом 274
Задача оптимального управления
со свободным концом 274
Задача оптимального управления
с подвижным концом 274
Задача оптимального управления
с фазовыми ограничениями 274
Задача о рюкзаке 343
Задача первого типа
Задача синтеза
3
Задача анормальная
Задача сопряженная
60
Задача
Задача
Задача
Задача
быстродействия 276
второго типа 19, 21
выпуклая 146
двойственная 175
Задача
классического
го исчисления
305
Задача коммивояжера
372
вариационно-
345
19, 21
300
278
Задача с согласованной постановкой 68
Зацикливание 112
Значение функции наибольшее
(максимальное) 20
Значение функции наименьшее
(минимальное) 16
Золотое сечение отрезка 188
И
Игольчатая вариация 286
Краевая задача принципа максимума 290
Критерий Сильвестра 37, 155
Критерий сильной выпуклости 154
Л
Лексикографический минимум 115
Лексикографическое правило 117
Луч
24
Метод последовательного перебора
195
Метод последовательного улучшения плана 94
Метод проекции градиента 208
Метод равномерного перебора 194
Метод скорейшего спуска 200
Метод условного градиента 211
Метод штрафных функций
61
Метод экстраполяционный градиентный 259
Множество выпуклое 41
М
Малый лагранжиан 288
Матрица, определенная неотрицательно 35
Множество допустимое
Матрица, определенная неположи-
Множество неограниченное 23
Множество ограниченное 23
Множитель Лагранжа 44
тельно 35
Матрица, определенная отрицательно 35
Множество многогранное
103
Метод градиентный 199
Метод градиентный непрерывный
(дифференциальный) 206
Метод декомпозиции 326
Метод деления отрезка пополам
187
Метод золотого сечения 188
Метод искусственного базиса 122
Метод касательных 198
Метод квазиньютоновский 233
Неравенство Йенсена
141
Неравенство треугольника
Нижний предел
25
Норма вектора
Норма матрицы
Норма матрицы
16
последовательности
15
операторная
Фробениуса
235
236
О
Метод квазиньютоновский ранга
Ограничения активные
Метод квазиньютоновский ранга
Ограничения
Ограничения
Ограничения
Окрестность
235
классический 33
локальный 249
ломаных 191
47
типа неравенств 43
типа равенств 43
фазовые 274
точки 20
Ортант неотрицательный
Метод модифицированных функ-
ций Лагранжа 255
Метод наименьших квадратов 32
Метод Ньютона 216
Метод переменной метрики 223
Метод покоординатного спуска
Метод покрытия 194, 250
148
Неравенство Коши — Буняковского
16
два 244
один
Метод
Метод
Метод
82
Н
Надграфик (эпиграф) функции
Направление возможное 171
Неравенство Гронуолла 283
Матрица, определенная положи-
тельно 35
Метод Бройдена 235
Метод Гаусса — Жордана
22
Множество замкнутое 23
Множество компактное 24
245
Ортогональные вектора
Отрезок 24
24
15
П
Параллелепипед 24
Переменная метрика (С-метрика)
224
373
Позином 181
Полупространство 24
Последовательность максимизирующая 28
Последовательность минимизирующая 28
Постоянная Липшица 74
Постоянная сильной выпуклости
151
Приведенная система угловой точки
96
Приведенная форма целевой функции 96
Принцип максимума 278
Принцип оптимальности
314, 344
Проблема синтеза 327
Программирование выпуклое 164
Программирование геометрическое
181
Программирование динамическое
313
Производная по направлению 42
Прямая 24
Р
Разностная аппроксимация
Разрешающий элемент 99
Расстояние между точками
Решение задачи Коши 270
Решение оптимальное
315
16
276
С
Симплекс 94
Симплекс-метод 94
Симплекс-таблица 96
Скорость сходимости сверхлинейная 237
Скорость сходимости квадратичная
219
Скорость сходимости линейная
204
Сложность полиномиальная 126
Сложность экспоненциальная 126
Сфера
24
Т
Теорема Вейерштрасса 22
Теорема Куна — Таккера 168
374
Теорема Фаркаша
Точка глобального
минимума 20
Точка внешняя 23
Точка внутренняя
Точка глобального
максимума
136
(абсолютного)
23
(абсолютного)
20, 22
Точка глобального (абсолютного)
минимума 16
Точка граничная 23
Точка допустимая 22
Точка изолированная 23
Точка критическая 47
Точка локального максимума
22
Точка локального минимума 20
Точка локального экстремума 22
Точка множества предельная 23
Точка подозрительная на экстремум
36
Точка последовательности предельная 23
Точка седловая 133, 165
Точка слейтерова 168
Точка стационарная 36
Точка строгого локального
максимума 22
Точка строгого локального минимума 20
Точка угловая 91
Точка угловая вырожденная 93
Точка угловая невырожденная 93
Точка экстремума 22
Точная верхняя грань 21
Точная нижняя грань
19
Траектория (решение) задачи Коши
274
Траектория (решение) задачи Коши
оптимальная 276
У
Управление
Управление
Управление
Управление
допустимое 270
оптимальное 276
особое 302
программное 300
Уравнение Беллмана
317, 329
Уравнение Эйлера 307
Условие Вейерштрасса 307
Условие дополнительности (допол-
Функция Кротова
няющей нежесткости) 45, 289, 292
Условие достаточное оптимально-
Функция кусочно-гладкая
сти
47
Условие Лежандра 307
Условие Слейтера 168
Условие трансверсальности
289
Условие Эрдмана — Вейерштрасса
308
Условия трансверсальности
292
Ф
Фазовые координаты 268
Фазовые ограничения 274
Формулы конечных приращений
73
Функционал 276
Функция Лагранжа нормальная
165
Функция Беллмана 317, 329
Функция Вейерштрасса 307
Функция вогнутая 141
Функция выпуклая 141
Функция Гамильтона — Понтрягина 277
Функция гладкая 32
Функция дважды дифференцируемая 34
Функция дважды непрерывно дифференцируемая 35
Функция двойственная
175
Функция дифференцируемая
Функция Кобба — Дугласа
32
33
324
271
Функция кусочно-непрерывная 270
Функция Лагранжа 44
Функция Лагранжа модифицированная 254
Функция Ляпунова 207
Функция непрерывная 24
Функция непрерывно дифференцируемая (дважды гладкая) 34
Функция ограниченная 20
Функция ограниченная сверху 20
Функция ограниченная снизу 19
Функция полунепрерывная сверху
25
Функция полунепрерывная снизу
25
Функция производственная 32
Функция сильно вогнутая 151
Функция сильно выпуклая 151
Функция синтезирующая 300, 321,
327
Функция строго вогнутая 141
Функция строго выпуклая 141
Функция, удовлетворяющая условию Липшица 74
Функция унимодальная 187
Функция целевая 22
Функция штрафная 62
Ш
Шар 24
Штрафной коэффициент
63
Наши книги можно приобрести:
Учебным заведениям и библиотекам:
в отделе по работе с вузами
тел.: (495) 744-00-12, е-та!: уц@игай.ги
Частным лицам:
список магазинов смотрите на сайте игай.ги
в разделе «Частным лицам»
Магазинам и корпоративным клиентам:
в отделе продаж
тел.: (495) 744-00-12, е-тай: заез@игай.ги
Отзывы об издании присылайте в редакцию
е-та!: гед@игай.ги
Новые издания и дополнительные материалы доступны
в электронной библиотечной системе «Юрайт»
ЫЬ1о-оп[пе.ги
Учебное издание
МЕТОДЫ
ОПТИМИЗАЦИИ
Учебник и практикум для бакалавриата и магистратуры
Под редакцией профессора,
доктора физико-математических наук Ф. П. Васильева
Формат 70х100 1/1в.
Гарнитура «Ре{егзБигё». Печать цифровая.
Усл. печ. л. 29,06. Тираж 1000 экз. Заказ № 7837, 20 экз.
ООО
«Издательство Юрайт»
111123, г. Москва, ул. Плеханова, д. 4а.
Тел.: (495) 744-00-12. Е-тай: 12Ча@игай.ги, ум. игаг.ги