Лекция № 11. Метод штрафных функций. Большим классом

Лекция № 11.
Метод штрафных функций.
Большим классом методов, использующих безусловную минимизацию как
инструмент своей работы, является класс методов последовательной безусловной
минимизации. На каждой итерации этих методов ставится и решается задачи безусловной
минимизации некоторой специальным образом сконструированной функции, называемой
вспомогательной.
Достаточно
часто
вспомогательная
функция
оказывается
недифференцируемой. К указанному классу методов относятся методы штрафных
функций, методы центров и методы модифицированных функций Лагранжа.
Пусть функции f (x) и g (x) определены и непрерывны в Rn (функция g (x) , в
частности, может иметь вид функции максимума). Требуется найти f *  min f ( x) , где
xD
D  {x : x  Rn , g ( x)  0} .
Для метода штрафных функций семейство вспомогательных функций (семейство
штрафных функций) имеет вид:
F ( x,  )  f ( x)   ( x) ,
где   0 , а в качестве функции штрафа (x) выбирается непрерывная функция,
определенная на всем пространстве и удовлетворяющая условию
 0, если x  D
 ( x)  
 0, если x  D
Одним из наиболее применяемых видов функции штрафа является:
( x)  max{g ( x),0}q при q  1 .
Очевидно, что при q  1 указанная функция является недиференцируемой.
Таким образом, на каждой итерации метода штрафных функций будет задаваться
параметр   0 и искаться точка абсолютного минимума функции F ( x,  ) . Если
функции f (x) и g (x) окажутся выпуклыми, то и функция F ( x,  ) является выпуклой.
Поэтому задача, возникающая на каждой итерации метода штрафных функции окажется
задачей отыскания абсолютного минимума выпуклой функции.
F(x,2)
F(x,1)
1<2
f(x)
D
x
*
x2
x1
Предположим, что f *   и существует точка x *  D , что f ( x* )  f * , т.е.
задача разрешима. Пусть также множество M ( x* )  {x : x  Rn , f ( x)  f *} ограничено. В
силу непрерывности функции f (x) множество M ( x* ) является также замкнутым. При
таких условиях функция F ( x,  ) будет достигать своего абсолютного минимума при
каждом значении   0 . Будем обозначать через y  точку пространства Rn такую, что
min F ( x,  )  F ( y  ,  ) при некотором фиксированном   0 .
xRn
Теорема 1. При приведенных выше условиях существуют конечные пределы и
выполнены соотношения:
lim
 
1

F ( y ,  )  0 ,
(1)
lim  ( y  )  0 .
(2)
 
Доказательство. Пусть 0  1   2 . Из определения минимального значения
справедливо неравенство F ( y 1 , 1 )  min F ( x, 1 )  F ( y 2 , 1 ) , которое вместе с
xRn
соотношением 1   2 определяет справедливость цепочки неравенств:
F ( y 1 , 1 )  f ( y 2 )  1( y 2 )  f ( y 2 )   2 ( y 2 )  F ( y 2 ,  2 ) .
Так как x*  D , то ( x* )  0 . Следовательно, при любом
F ( y  ,  )  F ( x * ,  )  f ( x * )   ( x * )  f ( x * ) ,
(3)
  0 выполняется
Отсюда
F ( y  ,  )  f ( x* ) .
следует, что функция F ( y  ,  ) как функция от переменной   0 является ограниченной
т.е.
сверху, в силу же (3) эта функция является неубывающей. Следовательно, существует
конечный предел F *  lim F ( y  ,  ) , причем F *  f ( x* ) , т.е. выполнено соотношение
 
(1).
Пусть опять зафиксированы числа 0  1   2 . Из неравенств
1
1
1
1
F ( y 1 , 1 ) 
f ( y 1 )   ( y 1 ) 
1
1
1
1
F ( y  2 , 1 ) и
1
2
f ( y 2 )  ( y 2 ) и
F ( y 2 ,  2 ) 
1
2
1
2

1
1
2
F ( y 1 ,  2 ) следует, что
f ( y 2 )  ( y 2 ) 
Складывая последние два неравенства, получаем (
а так как (
1
1
2

1
1
1
2
f ( y 1 )   ( y 1 ) .
)( f ( y  2 )  f ( y 1 ))  0 ,
)  0 , то f ( y 2 )  f ( y 1 ) , т.е. при возрастании  увеличивается
значение функции в соответствующей точке.
Далее,
так
как
 ( x)  0
по
определению,
то
f ( y  )  f ( y  )   ( y  )  F ( y  ,  )  f ( x ) . Отсюда, в частности, следует, что все
*
y   D , а если найдется при некотором   0 y   D , то эта точка является решением
исходной задачи. Кроме того, { f ( y  )} ограничена сверху, что означает существование
конечного
предела
lim  ( y  )  lim [
 
 
1

lim f ( y  )  f .
 
F ( y ,  ) 
1

Следовательно,
в
силу
(1)
справедливо
f ( y  )]  0 . 
Основной проблемой метода штрафных функций является способ выбора
последовательности значений параметра { k } . Если сразу задать этот параметр очень
большим, то функция F ( x,  ) будет иметь сильно овражный характер, что обычно
приводит к трудностям при минимизации этой функции, однако точка абсолютного
минимума этой функции будет ближе к решению задачи.
Теорема 2 (сходимости). Пусть существует такое замкнутое ограниченное
множество Y  Rn , что для всех   0 y   Y , то
lim f ( y  )  f ( x * ) .
 
Доказательство. Предположим, что утверждение теоремы неверно, т.е. существует
такое число   0 и такая последовательность { k }   при k   , что для всех
номеров k  L будет выполняться неравенство: | f ( y k )  f ( x* ) |   . Так как ( x)  0
для всех x  Rn по определению, а ( x* )  0 , то
f ( y  k )  f ( y  k )   k ( y  k )  F ( y  k ,  k )  F ( x * ,  k )  f ( x * ) .
(4)
Поскольку последовательность { y  k } k  L лежит в замкнутом ограниченном
множестве Y , то из нее можно выделить сходящуюся подпоследовательность { y  k }
k  L1  L . Пусть z - ее предельная точка. В силу непрерывности функции f (x) и в
силу (4) получим, что f ( z )  f ( x* ) .
В силу (2) и непрерывности
функции
(x)
( z )  lim ( y k )  0 .
k 
Следовательно, z  D . Таким образом, неравенство f ( z )  f ( x ) переходит в равенство
*
f ( z)  f ( x* ) , однако этот факт противоречит сделанному предположению. 
Определение. Точной функцией штрафа называется функция (x) такая, что при
ее применении при построении вспомогательной функции, существует  0  0 такое, что
при всех    0 точка абсолютного минимума функции F ( x,  ) является решением
исходной задачи минимизации.
Для некоторых частных видов задач удалось построить точные штрафные
функции и оценить значение  0  0 . Однако чаще всего полученная функция F ( x,  )
минимизируется с большими вычислительными трудностями. Таким образом,
вычислительные затраты оказываются слишком большими и неоправданными.
Зачастую при решении практических задач не требуется получить точное решение,
а требуется получить решение, удовлетворяющее заданной заранее точности   0 . Один
из подходов к получению таких решений за конечное число итераций методом штрафов
заключается в следующем. Для    0 строится множество D  {x : x  Rn , g ( x)     0} ,
которое является вложенным в допустимое. Далее метод штрафных функций применяется
для задачи минимизации функции f (x) на множестве D . Требуется указать условия
фиксации параметров, чтобы при попадании итерационной точки в разность исходного и
вложенного множеств можно было бы утверждать, что получено решение,
удовлетворяющее заданной точности. Функция штрафа тогда выглядит так:
( x)  max{g ( x)   ,0}q при q  1 .
f(x)
D
x*
D( ‘)
x2
x1
Пусть множество D является регулярным по Слейтеру, существует точка x  Rn
такая, что f ( x)  min f ( x) , т.е. абсолютный минимум целевой функцией достигается все
xD
допустимого множества. Обозначим x  arg min f ( x) , Q  {x : x  D, f ( x)  f ( x)}.
xD
Теорема 3 (о способе аппроксимации). Пусть функция f (x) выпукла и
удовлетворяет на D условию Липшица с константой M , функция g (x) сильно выпукла
с постоянной   0 и     2  M . Тогда | f ( y)  f ( x* ) |  для всех y  Q .
Доказательство. Предположим, что существует   [0;1] такое, что точка
2
такова, что g ( z)  g ( x) . Следовательно, z
принадлежит внутренности множества D' , причем точка x этой внутренности не
принадлежит как точка минимума функции f (x) а множестве D' , т.е. f ( z)  f ( x) .
z   x*  (1   ) x  x   ( x*  x)
Таким образом, z  Q , но x*  Q , x  Q , причем Q - множество выпуклое, а
следовательно, должно содержать точку z . Таким образом,
g ( x)  g ( x) x  x   ( x*  x),   [0;1] .
Следовательно,
g '( x, x*  x)  0 , т.е.
max  c, x*  x   0 . Для сильно
cg ( x)
выпуклой функции g (x) выполняется g ( x* )  g ( x)  c, x*  x   || x*  x || 2 , где
с  g (x) . Следовательно, существует субградиент с  g (x) , при котором
g ( x* )  g ( x)   || x*  x || 2 ,
а
так
как
g ( x* )  0 ,
а
g (x)    ,
то
2
 || x *  x || 2      2  M , т.е. || x*  x ||  M . Отсюда с учетом условия Липшица и
неравенства для y  Q f ( x* )  f ( y)  f ( x) следует, что
| f ( y)  f ( x* ) || f ( x)  f ( x* ) | M || x  x* ||  . 
Определение. Функция g (x) , определяющая множество D , называется  регулярной с параметрами  ,   0 , если для всех x U  ( D) \ D справедливо
U  ( D)  {x : x  Rn ,  ( x, D)   } ,
неравенство
где
g ( x)   ( x, D) ,
 ( x, D)  min || x  y || . Следует заметить, что сильно выпуклые функции являются  yD
регулярными, для них существуют параметры  ,   0 .
Теорема 4 (о штрафном коэффициенте). Пусть функция g (x)     -регулярна с
параметрами  ,   0 и g (x) удовлетворяет на D условию Липшица с константой L ,
функция f (x) выпукла и удовлетворяет на D условию Липшица с константой M . Тогда
MLq 1
для z  Arg min F ( x,  ) выполняется z  D .
xRn
 q   q 1
Доказательство. Пусть z  D' (случай z  D ' неинтересен и очевиден). Возьмем
любое x  D' . Так как g ( x)     0 , то ( z)  max{g ( z)   ,0}q  (max{g ( z)   ,0}  .
 max{g ( x)   ,0})q  ( g ( z)     g ( x)   ) q  ( g ( z)  g ( x))q  Lq || z  x || q . Последнее
неравенство выполняется и для той точки x  D' , в которой достигается
min || z  x ||  ( z, D' ) . Таким образом, ( z)  Lq  ( z, D' ) q . Известно (Сухарев,
при  
xD '
Тимохов, Федоров), что

q
LM

q
q 1
qq
q 1
q 1
q
q
 1
  '
  q 1 
L M 
q
 M
 ( z, D' )  
1
 q 1


  
q
( z) 
. Следовательно,
q
LM

qq
q 1
q
q 1

q
q 1

  ' q . Таким образом, max{g ( z)   ' ,0}q   'q , или g ( z)  0 ,
т.е. z  D . 
Таким образом, если функция f (x) выпукла и удовлетворяет на D условию
Липшица с константой M , функция g (x) сильно выпукла с постоянной   0 ,
удовлетворяет на D условию Липшица с константой L (следовательно, функция
g (x)     -регулярна с параметрами  ,   0 ) и     2  M , то при фиксации
2
MLq 1
штрафного параметра так, что   q q 1 , точка абсолютного минимума функции
 
F ( x,  ) является  -оптимальным решением исходной задачи.