Тема 4
Метод найменших
квадратів
Лектор: к.е.н., доц., доцент кафедри вищої математики,
економетрії і статистики ДЕМЧИШИН М.Я.
1
План
4.1. Суть методу найменших квадратів (МНК).
4.2. Передумови застосування МНК.
4.3. Система нормальних рівнянь.
2
4.1. Суть методу найменших
квадратів
y
0
y
x
0
y
x
0
x
Рис. 4.1. Способи знаходження прямих регресії
3
y
0
x
Рис. 4.2. Геометрична інтерпретація методу найменших квадратів
4
Суть методу найменших
квадратів (МНК)
полягає у знаходженні такої теоретичної лінії
регресії, яка в порівнянні з іншими проходить
найближче до емпіричної лінії регресії,
тобто дає
найменшу суму квадратів відхилень
фактичних значень результативної ознаки від
розрахункових (теоретичних) значень
5
n
2
~
y
y
min
i i
i 1
• де y – емпіричні (вихідні) дані
показника
• ỹ– теоретичні (розраховані за
рівнянням регресії)
6
4.2. Передумови застосування
МНК
1) Існує лінійний зв’язок між
результуючою змінною у та факторною
змінною x, який описується рівняннями
регресії
y 0 1x
~
y b0 b1 x
7
i j
,
2) Факторна змінна x є детерміністичною (невипадковою)
величиною.
3) Математичне сподівання (середнє значення) випадкового вектора
дорівнює нулю, а дисперсія є невеликою постійною додатньою
величиною, яка не залежить від індексу i, тобто
. E i 0
D i E i2 2
4) Компоненти вектора є некорельованими випадковими
величинами, тобто для кожного i, j 1,2,..., n
.
cov i , j 0
5) Часто вважають, що випадкова величина має нормальний закон
розподілу з рівним нулю математичним сподіванням і постійною
додатньою невеликою дисперсією
~ N 0, 2
У даному випадку модель називається класичною нормальною лінійною
регресійною моделлю.
• Зауваження. У випадку класичної нормальної лінійної регресійної
моделі умова 4 еквівалентна умові статистичної незалежності помилок .
4.3. Система нормальних
рівнянь
Будемо вважати, що зв’язок між ознаками
х та у є лінійним і описується лінійним
рівнянням регресії
y b0 b1 x
(4.3)
де у – результуюча змінна; b0, b1–
параметри рівняння регресії; х – факторна
змінна; ε– випадкова величина.
9
У загальному випадку nарна лінійна регресія є
лінійною функцією мiж залежною змінною У i
однiєю пояснюючою змінною Х:
y b0 b1 x
Це спiввiдношення називається теоретичною
лінійною регресiйною моделлю
b0 i b1 - теоретичні параметри
(теоретичні коефіцієнти) peгpeciї.
10
x1
x2
x3
. . . xn-1
xn
y1
y2
y3
. . . yn-1
yn
11
n
n
n
i 1
i 1
i 1
ui ( yi yi ) ( yi b0 b1xi )
n
n
u y
i 1
n
ui
i 1
2
i
i 1
n
n
i
yˆ i yi aˆ0 aˆ1 xi
метод найменших
модулів (МНМ).
i 1
n
( yi yˆi ) ( yi b0 b1xi )
i 1
2
i 1
2
метод найменших
квадратів (МНК).
2
~
Q y y min
12
y
u1{
.
u2{ .
.
..
.
.
.
.
.
. ui . .
0
x1
xi
x
13
n
n
n
i 1
i 1
2
2
ˆ
u
Q
(
b
,
b
)
(
y
y
)
(
y
b
b
x
)
i
i i i 0 1 i min
0 1
2
i 1
Необхідною умовою існування мінімуму неперервно
диференційованої функції двох змінних є рівність нулю її
частинних похідних.
Так як
y
x;
b1
y
xi ;
b1 i
y
1;
b0
y
1;
b0 i
14
n
Q
b 2 yi b1xi b0 xi 0
i 1
1
n
Q
2 yi b1xi b0 0
i 1
b0
n
n
n 2
b1 xi b0 xi xi yi ;
i 1
i 1
i 1
n
n
b x b n y
1
i
0
i
i 1
i 1
15
Система нормальних рівнянь
b0 n b1 x y
2
b0 x b1 x xy
16
n
n
n 2
xi xi yi ;
xi
b0 i 1 i 1
b1 i 1
n
n
n
n
n
x
yi ;
i
i 1
i 1
b
b
0
1 n
n n
Позначимо:
xi
x
n
x2
xi
i 1
n
n
y
i 1
n
y
i 1
i
n
n
2
xy
x y
i
i 1
i
n
17
одержимо
b1 x 2 b0 x xy
b1x b0 y
звідки маємо
xy x y
b1 2
2
x x
b y b x
1
0
18
Неважко помітити, що
за формулою:
b1
можна обчислити
n
b1
( xi x )( yi y )
i 1
n
( xi x )
2
S xy
S x2
i 1
S xy
1 n
cov( x, y ) ( xi x )( y i y ) -вибірковий кореляційний
n i 1
момент випадкових
величин X і Y;
19
n
n
1
1
2
2
2
S x ( xi x ) xi x 2 x 2 x 2
n i 1
n i 1
вибіркова дисперсія X
S x S x2
aˆ1
S xy
S
2
x
—стандартне відхилення X.
S xy
Sy
Sx S y Sx
rxy
Sy
Sx
rxy
—вибірковий коефіцієнт кореляції;
Sy
—стандартне відхилення Y.
20
Коефіцієнт кореляції
rxy
S xy
Sx S y
xy x y
x x y y
2
2
2
2
0 rxy 1
21
