УДК 517.948 В.М. Мадорский ЛОКАЛИЗАЦИЯ РЕШЕНИЙ НЕЛИНЕЙНЫХ УРАВНЕНИЙ МЕТОДАМИ ТРЕТЬЕГО ПОРЯДКА Итерационные процессы, локально сходящиеся с кубической скоростью, обладают тем достоинством, что «разболтка» процесса наступает часто на один-два порядка позже по норме невязке, чем при применении итерационных процессов, локально сходящихся с квадратичной скоростью (как правило, если методы второго 12 13 10 по порядка позволяют получить приближённое решение с точностью до 10 норме невязки, то методы третьего порядка часто позволяют получать приближённое 12 15 10 по норме невязки) решение с точностью 10 Рассматривается уравнение f x 0, f D R n R n . Относительно нелинейного оператора f предполагается, что f C D2 и f x 1 (1) B0 0 . Для решения уравнения (1) применяем итерационный процесс: Шаг 1. Решается линейная система f ' ( xn )( yn xn ) f ' ( xn )yn f ( xn ), n 0,1, ... Шаг 2. Вносится поправка в вектор xn для определения вектора yn y n xn y n , n 0,1, ... (2) (3) Шаг 3. Решается линейная система f ' ( xn )( xn 1 xn ) f ' ( xn )xn n f ( xn ) n f ( yn ) , n 0,1, ... (4) Шаг 4. Вносится поправка в вектор xn для определения вектора очередного приближения xn 1 xn xn , n 0,1, ... (5) Шаг 5. Проверяется окончание итерационного процесса: если f ( xn 1 ) и (или) xn – конец просчетов, иначе – переход на шаг 6. Шаг 6. Производится пересчет шаговой длины по правилу, если f ( xn 1 ) f ( xn ) , то n 1 : 1 , иначе n1 находим по одной из формул монографии [2, стр. 174-176] и переходим на шаг 1. Характеристическим свойством этих формул является выполнение соотношений: 0 f ( x0 ) 1 f ( x1 ) ... n 1 f ( xn 1 ) , n 1 k. (6) Описанный выше итерационный процесс символически можно записать в виде xn 1 xn n f ( xn ) 1 f ( x ) f x n n n f ( xn ) f ( xn ) 1 xn n xn , n 0,1,...; 0 10 4 ,10 1 . (7) Здесь f xn 1 – оператор, обратный оператору f xn – производной Фреше оператора f на элементе xn . Локальная кубическая скорость процесса (2)-(5) доказана в работе [1, стр. 306]. 2 Так как f C D , то имеют место соотношения f x1 f x2 L x1 x2 , x1 , x2 D , f x1 f x0 f x0 x1 x0 0.5K x1 x0 , x, x0 D . Далее, полагаем M max L, K . Относительно процесса (2)-(5) заметим, что при применении LU – разложения 2 объём вычислительной работы при решении СЛАУ (2) и (4) лишь незначительно больше, чем при решении одной линейной системы, поскольку матрицы этих систем одинаковые. В силу того, что f C D , справедлива оценка ( 2) f ( xn 1 ) f ( xn ) f ' ( xn )( xn 1 xn ) K 2 xn , n 0,1, ... 2 (8) С учетом (4), соотношение (8) можно переписать в виде f ( xn1 ) f ( xn ) n f ( xn ) n2 f ( yn ) Из (9) имеем оценку f ( xn1 ) 1 n f ( xn ) n2 f ( yn ) K 2 xn . 2 K xn 2 2 . (9) (10) Оценим f ( yn ) и xn . Используя теорему о среднем, имеем f ( yn ) f ( xn ) f ' ( xn )( yn xn ) K 2 y n xn , 2 (11) откуда в силу (2), (11) справедлива оценка для f ( yn ) : f ( yn ) K 2 2 B f ( xn ) ; 2 n f ( yn ) hn f ( xn ) (12) K 2 B f ( xn ) . Далее, из (7), (12) имеем: 2 xn n B f ( xn ) n f ( yn ) n B1 hn f ( xn ) . Здесь hn n (13) Подстановка (12), (13) в соотношение (10) позволяет выразить связь между нормами невязок на соседних шагах f ( xn1 ) 1 n f ( xn ) n hn f ( xn ) n hn 1 hn 2 1 n 1 hn 2 2hn hn2 Если положить n hn 2 2hn hn можно переписать в более компактном виде 2 и q n f ( x ) . (14) n 1 n (1 n ) , неравенство (14) f ( xn1 ) 1 n 1 n f ( xn ) qn f ( xn ) Соотношение (15) является базовым при доказательстве итерационных процессов, локально сходящихся с кубической скоростью. (15) сходимости Теорема 1. Пусть в области D S x0 , B f ( x0 ) 2 h0 существует x * – 1 q0 решение уравнения (1), оператор f удовлетворяет перечисленным выше условиям и 0 h0 2 2h0 h02 1 . (16) Тогда итерационный процесс (2)-(5) со сверхлинейной (локально с кубической) * скоростью сходится к x . Доказательство. При n 0 из (15), (16) следует, что f ( x1 ) 1 0 1 0 f ( x0 ) q0 f ( x0 ) ; (17) q0 1 0 1 0 1, q0 1. Из (6) и (17) следует, что f ( x1 ) f ( x0 ) , При n 1 имеем, что h1 1 1 0 . K 2 B f ( x1 ) h0 , 2 1 h1 2 2h1 h12 0 1, f ( x2 ) 1 1 (1 1 ) f ( x1 ) q1 f ( x1 ) , q1 q0 . Индуктивные рассуждения позволяют утверждать, что последовательность q n n монотонно возрастает к 1 и f ( xn1 ) qi f ( x0 ) , (18) монотонно убывает к нулю, последовательность справедлива оценка n i 1 из которой следует, что последовательность элементов xn по функционалу стремится к нулю, lim hn 0 и при некотором k n0 итеративный процесс (2)-(5) n входит в область притяжения процесса с xn , y n D n 1 n 1 k 1 . Нетрудно проверить, что все xn x0 xi 1 xi xi B f ( x0 ) 1 h0 ; 1 q0 i 0 i 0 B f ( x0 ) 1 h0 B f ( x0 ) yn x0 yn xn xn x0 B f ( xn ) (2 h0 ). 1 q0 1 q0 Стандартным образом можно показать не только слабую последовательности x n к x , но и сильную сходимость x n к x * xn p xn n p 1 xn i n сходимость * n1 B f ( x0 ) (1 h0 ) qi . (19) i 0 Из (19) следует фундаментальность последовательности элементов n * xn , а в силу полноты пространства R существование предельного элемента x , который как просто проверить, является решением уравнения (1). Теорема доказана. Пусть на некотором шаге итерационного процесса шаговая длина (параметр β) 1 становится равным 1 и в этой точке (назовем ее х0) существует оператор f x0 . Найдём условия, при которых при переходе от точки x0 , в которой f x0 1 существует, к точке f x1 1 x1 будет существовать ограниченный обратный оператор . В силу (7) имеем E f x0 f x1 f x0 1 f x0 1 1 f x0 f x1 f x1 f x0 B0 M x1 x0 B0 M x0 . Далее, с учётом (7), (9) при βn = 1 справедлива оценка x1 x0 B0 f x0 0,5MB02 f x0 2 (20) B0 f x0 1 h0 ; h0 0.5MB02 f x0 . (21) Подставляя (21) в правую часть (20), имеем B0 M x1 x0 B02 M f x0 1 h0 2h0 1 h0 . Если в качестве l 0 взять l0 2h0 1 h0 и потребовать, чтобы E f x0 f x1 l0 2h0 1 h0 1, 1 (22) то из (22) в силу теоремы Банаха существует оператор, обратный оператору f x0 1 f x1 и справедлива оценка f x1 1 Из (22) имеем, что h0 B0 1 l0 . 1 3 1 / 2 . Найдём оценку для f x1 . f x1 f x0 f x0 f x0 0,5M f x0 f x0 f x0 f x0 f x0 1 1 0,5MB02 f x0 0,5MB02 f x0 1 0,5MB02 f x0 2 2 1 2 2 (23) h0 f x0 1 1 h0 . Поскольку l1 2h1 1 h1 , выясним, при каких условиях следовательно, l1 l0 . Из (23) и оценки B1 имеем 2 2 h1 h0 и, B 2 2 h1 0,5MB f x1 0,5M 0 h0 f x0 1 1 h0 h02 2 2h0 h02 / 1 l0 . Требован 1 l0 ие h1 h0 приводит к соотношению 2 1 h0 2 2h0 h02 1 2h0 1 h0 , которое справедливо при h0 0,1633 . 2 Таким образом, если начальное приближение x0 таково, что существует оператор f x0 и h0 0,1633 , то процесс (шаг 1 – шаг 6) продолжаем. Найдём условия, при которых решение уравнения (1) в области D существует 1 x1 x0 B0 f x0 1 h0 ; x2 x1 B1 f x1 1 h1 B0 h0 f x0 2 2h0 h02 1 h0 B0 f x0 1 h0 q0 ; 1 l0 здесь q0 h0 2 2h0 h02 / 1 l0 x3 x2 B2 f x2 1 h2 B0 f x0 1 h0 q02 . Индуктивно получим оценку: xn1 xn B0 f x0 1 h0 q0n . (24) Из (24) следует оценка для радиуса области существования решения r для сходящегося процесса (шаг 1 – шаг 6): r xi B0 f x0 1 h0 1 q0 q02 ... B0 f x0 1 h0 / 1 q0 . (25) i 0 Наряду с оценкой (25) может быть получена оценка (26) i 0 i 1 r xi x0 xi B0 f x0 1 h0 B1 f x1 1 h0 1 q1 q12 ... B0 f x0 1 h0 B1 f x1 1 h0 / 1 q0 . (26) Найдём условия, при выполнении которых в области D S x0 , r не более одного решения. Положим, что в S x0 , r существует два решения x справедлива оценка f x f x f x f x B Mr x x x x x x f x0 1 B0 f x0 x x Если в (27) 0 потребовать, чтобы и x . Тогда . B0 Mr q 1 (27) или q0,5B0 f x0 , q 0,1 , то в сфере x0 , r будет не более одного h0 решения. В условиях сходящегося процесса (шаг 1 – шаг 6) рассмотрим неравенство B0 f x0 1 h0 0,5qB0 f x0 q , (28) 1 q0 B0 M h0 r q / B0 M которое равносильно утверждению r r . Из (17) следует оценка для h0 : 1 (29) h0 0,25 0,1841q F q 0,159 . 2 Так, что при h0 0,159 решение в сфере S x0 , r существует и единственно. Если в качестве r взять правую часть соотношения (26) и потребовать выполнения условия B0 f x0 1 h0 B1 f x1 1 h0 0,5qB0 f x0 , 1 q0 h0 то неравенство (30) также равносильно условию r r . (30) Из (30) имеем соотношение, связывающее нормы B0 f x0 и B1 f x1 (нормы на соседних шагах). B1 f x1 0,5q h0 h02 1 q0 ; B0 f x0 h0 1 h0 И пусть B1 f x1 B0 f x0 0,5q h h02 1 q0 1 . h0 1 h0 0 Рассмотрим соотношения: 2 B1 f x1 0,5q F q F q 1 q0 F q B0 f x0 F q 1 F q B1 f x1 B0 f x0 (31) 0,5q F q F q 1 q F q 1 2 F q 1 F q (32) 0 q0 F q F q 2 2F q F q / 1 2F q 1 F q . Соотношение (31) эквивалентно неравенству 2 B0 f x0 1 F q B1 f x1 1 F q B1 f x1 1 F q q0 F q ... 0,5B0 f x0 q / F q . (33) Левая часть (33) эквивалентно вычислению радиуса области существования решения уравнения (1) с условным коэффициентом сжатия (УКС) q0 F q 0,159 , правая часть этого неравенства – эквивалентное вычисление радиуса области единственности с тем же УКС. Предположением о том, что при выполнении (31) h0 F q приводит к тому, что при подстановке в (33) вместо F q величины h0 F q левая часть этого неравенства увеличивается, а правая уменьшается, что невозможно в силу (32). Таким образом, при выполнении (31), (32) на некотором шаге немедленно выполняется условие h0 F q 0,159 , что эквивалентно выполнению достаточного условия существования и единственности решения в сфере S x0 , r , r 0,5qB0 f x0 F q . Таким образом, справедлива Теорема 2. Пусть выполняются перечисленные выше условия на оператор f . Если на некотором шаге сходящегося процесса (шаг 1 – шаг 6) выполняются условия (31), (32), тогда в сфере S x0 , r решение x существует и единственно. До сих пор мы рассматривали итерационные процессы с гладкими операторами. В практически важных случаях оператор f часто лишь непрерывен. Для решения нелинейного уравнения f ( x) 0; f ( D R n R n ), f CD применяем итерационный процесс: шаг 1. Решается линейная система f ( xn , yn )yn f ( xn ); yn xn f ( xn ), n 0,1,2... (34) шаг 2. Вносится поправка в элемент x n yn 1 xn yn , n 0,1,2... шаг 3. Решается вторая линейная система f ( xn , yn )xn n ( f ( xn ) n f yn ), n 0,1,2... шаг 4. Находится очередное приближение xn1 xn xn (35) (36) (37) шаг 5. Проводится проверка окончания вычислительного процесса – если f ( xn1 ) 1, то процесс вычислений заканчивается, иначе мы вновь возвращаемся на шаг 1. Итерационный процесс (шаг 1 – шаг 5) символически может быть записан в виде 1 1 (38) xn1 xn n f ( xn , yn ) ( f ( xn ) n f ( xn f ( xn , yn ) f ( xn ))) Доказательство сходимости процесса (34)–(37) (шаг 1 – шаг 5) проводится вполне аналогично тому, как это имеет место при доказательстве теоремы 1. При доказательстве сходимости используем аналог интерполяционной формулы Ньютона для операторов [2], из которой следует неравенство: f ( xn1 ) f ( xn ) f ( xn , yn )( xn1 xn ) K ( xn1 xn ) ( xn1 yn ) , n 0,1, ... , здесь f ( x, y, z ) K , x, y, z D . Как и выше, полагаем, что существует ограниченный обратный оператор [ f ( xn , yn )]1 , xn , yn D . Вначале найдем условия, при которых процесс (шаг 1 – шаг 5) является релаксационным. Из (34), (38) и условий, накладываемых на оператор f, следуют оценки: f ( xn , yn )1 B. 2 2 f ( xn 1 ) 1 n f ( xn ) n f ( yn ) K n2 B 2 f ( xn ) 1 n hn N n hn 1 n 1 n hn KB 2 n f ( xn ) 1 n hn N n hn f ( xn ) 1 n 1 n f ( xn ) qn f ( xn ) . f ( yn ) KB 2 f ( xn ) N , 2 Здесь f ( xn , yn ) E N , (39) n n hn KB2 n f ( xn ) 1 n hn N n hn , qn 1 n 1 n , hn KB2 N f ( xn ) , n 0, 1, ... . С учетом характеристического свойства (6) имеем, что все i 0 , i 0, 1, ... . Если 0 1, то из (39) следует, что f ( x1 ) f ( x0 ) , а из (6) при n 0 имеем, что 1 0 . Индуктивные рассуждения позволяют утверждать, что последовательность итерационных параметров n , монотонно возрастая, стремиться к 1, последовательность норм невязок f ( x ) , n монотонно убывая, стремиться к 0, последовательность qn , монотонно убывая, стремиться к 0, и справедлива оценка: n f ( xn 1 ) q f ( x0 ) q0n1 f ( x0 ) , i 0 (40) Из (40) следует, что при q0 1 последовательность элементов хn x * – решению уравнения (1), если x* D . Таким образом, можно сформулировать Теорему 3. Пусть в сфере S x0 , r D существует х* – решение уравнения (1), 0 1. Тогда оператор f удовлетворяет перечисленным выше условиям и итерационный процесс (шаг 1 – шаг 5) со сверхлинейной скоростью сходится к х*. Процесс (34)–(37) является нелокальным и, начиная с некоторого номера k, переходит в процесс с βi = 1, i ≥ k. Если положить, что, начиная с этого номера, в некоторой окрестности решения, например, в сфере S(х0, r), существует ограниченный оператор f ( x0 , y0 ) , то можно отказаться от требования того, что бы всюду в интересующей нас области S x0 , r D , был ограничен. 1 Пусть существует ограниченный обратный оператор f ( x0 , y0 ) B0 и найдем 1 условия, при которых будет существовать ограниченный оператор f ( x1 , y1 ) . Имеем 1 E f ( x0 , y0 ) f ( x1 , y1 ) f ( x0 , y0 ) ( f ( x0 , y0 ) f ( x1 , y1 )) 1 1 f ( x0 , y0 ) ( f ( x0 , y0 ) f ( y0 , x1 ) f ( y0 , x1 ) f ( x1 , y1 )) 1 (41) Всюду ниже будем предполагать, что для всех x,y,zD имеют место соотношения (42) E f ( x, y) M , f ( x, y) f ( y, z ) L x z . f ( x) f ( y) f ( y, z )( xy ) K x y x z . Тогда с учетом (42) соотношение (41) имеет вид: E f ( x0 , y 0 ) f ( x1 , y1 ) B0 L( x1 x0 y1 y0 ) 1 B0 L( x0 y0 ) B0 L(1 M ) x0 B02 L(1 M ( f ( x0 ) KB02 f ( x0 ) M )) B02 A(1 M ) f ( x0 ) (1 AB 2 (1 M ) f ( x0 ) ) 2 h0 (1 h0 ) l0 2 Здесь A max( L, K ), h0 AB0 (1 M ) f ( x0 ) . Если потребовать, чтобы l0 было меньше единицы, то в силу теоремы Банаха существует оператор, обратный оператору f ( x0 , y0 )1 f ( x1 , y1 ) и f ( x1 , y1 )1 B0 . Найдем оценку для f ( x1 ) . 1 l0 f ( x1 ) f ( x0 f ( x0 , y0 ) ( f ( x0 ) f ( x0 f ( x0 , y0 ) f ( x0 )))) 1 1 f ( x0 f ( x0 , y0 ) f ( x0 )) 1 AB0 f ( x0 ) f ( x0 f ( x0 , y0 ) f ( x0 )) 1 (43) x0 y0 f ( x0 , y0 ) ( f ( x0 ) f ( x0 f ( x0 , y0 ) f ( x0 ))) 1 1 h0 f ( x0 ) h0 f ( x0 ) (1 h0 ) h0 f ( x0 ) (2 h0 ) Далее находим оценку для h1 и выясняем при каких условиях h1 h0 . Имеем с учетом (43): B02 (1 M ) h1 AB (1 M ) f ( x1 ) A h0 f ( x0 ) (2 h0 ) (1 l0 ) 2 2 1 h (2 h0 ) /(1 l0 ) . 2 0 2 С учетом (44), соотношение h1 h0 приводит к неравенству h0 (2 h0 ) (1 l0 ) 2 (1 h0 (1 h0 )) 2 . После простых преобразований имеем неравенство относительно h0 (44) (45) h04 2h03 2h02 4h0 1 0, которое справедливо при h0<0.23. Поскольку l1 h1 (1 h1 ) l0 , то при переходе от точки x0 ( y 0 ) к точке x1 ( y1 ) соотношения, гарантирующие продолжимость итерационного процесса, остаются в силе. Из (45) имеем, что h0 0,23. Найдем r – радиус области, где решение существует. n r lim xi lim Bi f ( xi ) (1 hi ) lim B0 f ( x0 ) (1 h0 ) n n n i 0 B f ( x0 ) (1 h0 ) h (2 h0 ) (1 q0 q ... q ) 0 ; q0 0 1 q0 1 l0 2 0 (46) n 0 Может быть получен и другой вид оценки радиуса области S ( x0 , r ) , где решение существует n r x0 lim xi B0 f ( x0 ) (1 h0 ) Bi f ( xi ) (1 h0 ) /(1 q0 ) n (47) i 1 Найдем условия, при выполнении которых в области S ( x0 , r ) будет не более одного решения. Положим, что в тогда справедлива оценка S ( x0 , r ) существуют два решения х* и х**, x* x** x* x** f ( x0 , y0 ) ( f ( x* ) f ( x** )) 1 B0 f ( x0 , y0 )( x* x** ) f ( x* , x** )( x* x** ) B0 ( f ( x0 , y0 ) f ( y0 , x* ) f ( y0 , x* ) f ( x* , x** ) ) x* x** AB0 ( x0 x* y0 x** ) x* x** AB0 ( x0 x* (48) x0 x** f ( x0 ) f ( x** ) ) x* x** AB0 ( x0 x* M x0 x** ) x* x** AB0 (1 M )r x* x** Если в (48) потребовать, чтобы AB0 (1 M )r q 1 или r qB f ( x0 ) q 0 , то в сфере S ( x0 , r ) будет не более одного решения. AB0 (1 M ) h0 В условиях сходящегося процесса (34)-(37) с βk = 1 рассмотрим неравенство B0 f ( x0 ) (1 h0 ) qB0 f ( x0 ) , 1 q0 h0 которое равносильно утверждению r r , а это означает, что в сфере S ( x0 , r ) (49) находится единственное решение уравнения (1). Из (49) следует оценка для h0 (1 h0 )(1 h0 h02 ) q 1 3h0 2h02 h0 Соотношение (50) выполняется при h0 F(q) 0,3q. (50). Используя (47) и требование r r , получим соотношение, связывающее нормы B0 f x0 и B1 f x1 на соседних шагах. B1 f ( x1 ) q 1 q0 1 h0 . B0 f ( x0 ) h0 1 h0 Вполне аналогично тому, как это было сделано выше, можно утверждать, что при выполнении условий (51)–(52) B1 f ( x1 ) q 1 q0 F (q ) 1 F (q ) , (51) B0 f ( x0 ) F (q ) 1 F (q) B1 f ( x1 ) q 1 q0 F (q) 1 F (q) 1, (52) B0 f ( x0 ) F (q) 1 F (q) B f ( x0 ) 1 F (q) , существует и единственно. решение в сфере S ( x0 , r ) , r 0 1 q0 F (q) Как показывает практика решения существенно нелинейных задач, применение изложенного выше нелокального нерегуляризованного итерационного процесса, локально сходящегося с кубической скоростью, оказывается более эффективным, если этот процесс «работает» в связке с нелокальным регуляризованным итерационным процессом, локально сходящимся с квадратичной скоростью, который может быть как процессом полного, так и не полного прогноза. Такую связку обычно принято называть гибрид-процесс. Гибридизация производится обычно следующим образом: вначале для нахождения приближенного решения стартует нелокальный регуляризованный итерационный процесс, локально сходящимся с квадратичной скоростью. Как только норма невязки на приближенном решении становится порядка 0,1 – 0,0001, подключается нерегуляризованный итерационный процесс, локально сходящийся с кубической скоростью. Вычислительный эксперимент проводился на ряде нелинейных задач теории колебаний (задачи типа задач Дуффинга) и на ряде жестких модельных задач Коши [3, стр. 156], а также при решении нелинейных систем численных уравнений большой размерности. К числу достоинств предлагаемых подходов можно отнести то, что знания глобальных констант не требуется, важен лишь факт их существования. В рассматриваемой работе с помощью самого вычислительного процесса есть возможность дать ответ на вопрос: существует ли решение нелинейной задачи в интересующей нас области, а также эффективная процедура поиска радиуса этой области. Таким образом, предлагаемые теоремы можно отнести к классу, так называемых, доказательных вычислений. СПИСОК ЛИТЕРАТУРЫ 1. Ортега, Дж. Итерационные методы решения нелинейных систем уравнений со многими неизвестными / Дж. Ортега, В. Рейнболдт. – М.: Мир, 1975. – 558 с. 2. Мадорский, В. М. Квазиньютоновские процессы для решения нелинейных уравнений / В. М. Мадорский. – Брест: БрГУ, 2005. – 186 с. 3. Хайрер, Э., Ваннер, Г. Решение обыкновенных дифференциальных уравнений. Жесткие и дифференциально-алгебраические задачи. – М.: Мир, 1999. – 685 с.