Лекция 5. Вычислительная линейная алгебра.

ВВЕДЕНИЕ В ВЫЧИСЛИТЕЛЬНУЮ
МАТЕМАТИКУ
Лекция 5
6 октября 2009
ВЫЧИСЛИТЕЛЬНАЯ ЛИНЕЙНАЯ
АЛГЕБРА
2. Вычислительная линейная
алгебра
Неявные итерационные методы
Метод Якоби
Представим матрицу А в виде
А = L + D + U,
где L и U — нижняя и верхняя треугольные
матрицы с нулевыми элементами на
главной диагонали, D — диагональная
матрица. Рассматриваемая СЛАУ может
быть переписана в следующем
эквивалентном виде
Lu + Du + Uu = f
2. Вычислительная линейная
алгебра
Luk + Duk+1 + Uuk = f
 uk+1 = –D–1(L+U)uk + D–1f

u
k 1
k
 Βu  F,
B =  D1 (L  U), F  D1f
2. Вычислительная линейная
алгебра
u1k 1  (a12u2k  a13u3k  ...  a1nunk  f1 ) / a11 ,
u2k 1  (a21u1k  a23u3k  ...  a2 nunk  f 2 ) / a22 ,
k 1
n
u
 (a u  a u  ...  a
k
n1 1
k
n2 2
k
n, n 1 n 1
u
 f n ) / ann .
2. Вычислительная линейная
алгебра
Каноническая форма записи
D
u
k 1
u
k 1
k
k
 Au  f ,   1.
2. Вычислительная линейная
алгебра

Теорема (достаточное условие
сходимости метода Якоби).
Итерационный метод Якоби сходится
к решению соответствующей СЛАУ,
если выполнено условие
диагонального преобладания
aii 
n

j 1
( j i )
aij ,
2. Вычислительная линейная
алгебра

Доказательство. Выполненные
условия диагонального преобладания
означает, что в любой строке матрицы
перехода

 0

 a
  21
В   a22
 .

 an1

 ann
a
 12
a11
0

.

an 2
ann

a1,n1
a23
a22
... 
a2,n1
.
.
a
 13
a11

an3
ann
...
a11
a22
.

an,n1
ann
a1n 

a11 
a2 n 


a22 
. 


0 


2. Вычислительная линейная
алгебра

сумма модулей элементов меньше
единицы. В этом случае по крайней
мере одна из норм матрицы В
меньше единицы. Тогда выполняется
достаточное условие сходимости
метода простых итераций.
2. Вычислительная линейная
алгебра

Теорема (критерий сходимости
итерационного метода Якоби). Для
сходимости итерационного метода Якоби
необходимо и достаточно, чтобы все корни
уравнения
a11 a12
a21 a22
a1n
a2 n
an1
ann
an 2
0
по модулю не превосходили единицы
2. Вычислительная линейная
алгебра

Доказательство
det(B  E)  det D1(L  U)  E 


 det(D )  det (L  U)  D .
1
2. Вычислительная линейная
алгебра
Метод Зейделя
 Luk+1 + Duk+1 + Uuk = f
 uk+1 = –(D+L)–1Uuk +( D+L)–1f
u
k 1
k
 Βu  F,
B =  (D  L)1 U, F  (D  L)1f
2. Вычислительная линейная
алгебра

Каноническая
форма
( D  L)
u
k 1
u
k 1
k
k
 Au  f ,   1.
2. Вычислительная линейная
алгебра

Компонентная форма
k 1
1
u
 (a u  a u  ...  a u  f1 ) / a11 ,
k
12 2
k
13 3
k
1n n
u2k 1  (a21u1k 1  a23u3k  ...  a2 nunk  f 2 ) / a22 ,
unk 1  (an1u1k 1  an 2u2k 1  ...  an,n1unk11  f n ) / ann .
2. Вычислительная линейная
алгебра

Теорема (достаточное условие
сходимости метода Зейделя, без
доказательства). Пусть А —
вещественная, симметричная,
положительно определенная матрица.
В этом случае итерационный метод
Зейделя сходится.
2. Вычислительная линейная
алгебра

Метод релаксации
(Lu
k 1
 Du
k 1
k
k
)  (  1)Du  Uu  f
u k1  (D  L)1 (  1)D  L u k  (D  L)1f .
2. Вычислительная линейная
алгебра
Вариационные методы
Функционал энергии

(u)  ( Au,u)  2(f,u)  c,
( v)  min (u)
uLn
2. Вычислительная линейная
алгебра

Теорема Пусть А = А* > 0. В этом
случае существует единственный
элемент , придающий наименьшее
значение
функционалу
энергии,
являющийся решением СЛАУ Аu = f.
2. Вычислительная линейная
алгебра
( v  Δ)  ( A( v  Δ), v  Δ)  2(f, v  Δ)  c  ( Av  AΔ, v  Δ)  2(f, v  Δ)  c 
 ( Av, v)  ( Av, Δ)  ( AΔ, v)  ( AΔ, Δ)  2(f, v)  2(f, Δ)  c 
( Av, v)  2( Av, Δ)  ( AΔ, Δ)  2(f, v)  2(f, Δ)  c 
(Av, v)  2(f, v)  c  2(Av, Δ)  2(f,Δ)  (AΔ,Δ) 
 ( v)  2( Av  f , Δ)  ( AΔ, Δ)  ( v)  ( AΔ, Δ)  ( v),
2. Вычислительная линейная
алгебра
Докажем, что верно и обратное
утверждение. Если элемент
доставляет минимальное значение
функционалу энергии, то он является
решением системы линейных
уравнений
2. Вычислительная линейная
алгебра
Метод наискорейшего спуска
(u)  ( Au,u)  2(f,u)
u
k 1
k
k
 u   k  grad (u )
grad (u)  2( Au  f ),
u
k 1
k
k
 u  k ( Au  f ),
2. Вычислительная линейная
алгебра
 u k   k  grad  (u k )  .


0  k (k , u k 1 )  ( A(u k 1 )k , u k 1 )  ( Au k 1 , (u k 1 )k )  2(f , (u k 1 )k ) 
 2( Au k 1  f, (u k 1 )k )  2( Au k 1  f , Au k  f ).
2. Вычислительная линейная
алгебра
( Au k  f  k A( Au k  f ), Au k  f )  0,
(Au k  f , Au k  f )  k ( A( Au k  f ), Au k  f )  0,
(rk , rk )
k 
,
( Ark , rk )
2. Вычислительная линейная
алгебра
Метод минимальных невязок
 Итерационный параметр τk на каждой
итерации выбирается так, чтобы
минимизировать, евклидову норму
невязки

rn1  rn  n Arn
2. Вычислительная линейная
алгебра

Метод минимальных невязок
2
(rk 1 , rk 1 )  (rk , rk )  2k ( Ark , rk )  k ( Ark , Ark
k 
( Ark , rk )
( Ark , Ark )
.
).
2. Вычислительная линейная
алгебра
Идея метода сопряженных градиентов
Оптимизируем градиентный метод, выбирая параметры τ
таким образом, чтобы на последующем шаге невязка
была ортогональна всем предыдущим. На первом
шаге ищем аналогично методу наискорейшего спуска.
Получим невязки, образующие ортогональный базис.
На последнем шаге невязка становится равна нулю,
так как пространство конечномерно, и единственный
элемент, ортогональный всем базисным векторам
конечномерного пространства — нулевой. Получаем
точное решение за конечное число шагов (прямой
метод). Однако этот метод работает не всегда, так как
при плохой обусловленности матрицы он становится
вычислительно неустойчивым.

2. Вычислительная линейная
алгебра

Идея метода сопряженных
градиентов


Ar n2 , r n1  0
2. Вычислительная линейная
алгебра
0
r

0
Au
f
u1  u0  0r0
(r 0 , r 0 )
0 
.
( Ar 0 , r 0 )
2. Вычислительная линейная
алгебра
uk 1  k 1 (E  k 1A)u k  (1  k 1 )uk 1  k 1k 1f ,
2. Вычислительная линейная
алгебра

Вопросы?