Лекция 6.5 Тест Chow CHOW TEST 700000 600000 COST 500000 400000 300000 200000 100000 0 0 200 400 600 800 1000 1200 1400 N Occupational schools Regular schools Иногда в данных встречаются наблюдения, которые естественным образом можно разделить на две группы. 1 CHOW TEST 700000 600000 COST 500000 400000 300000 200000 100000 0 0 200 400 600 800 1000 1200 1400 N Профессиональные школы Обычные школы Воспользуемся опять наблюдениями о расходах на обучение для 74 школ в Шанхае, которые можно разделить на профессиональные и обычные. 2 CHOW TEST . reg COST N if OCC==1 Source | SS df MS ---------+-----------------------------Model | 6.0538e+11 1 6.0538e+11 Residual | 3.4895e+11 32 1.0905e+10 ---------+-----------------------------Total | 9.5433e+11 33 2.8919e+10 Number of obs F( 1, 32) Prob > F R-squared Adj R-squared Root MSE = 34 = 55.52 = 0.0000 = 0.6344 = 0.6229 = 1.0e+05 -----------------------------------------------------------------------------COST | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---------+-------------------------------------------------------------------N | 436.7769 58.62085 7.451 0.000 317.3701 556.1836 _cons | 47974.07 33879.03 1.416 0.166 -21035.26 116983.4 ------------------------------------------------------------------------------ Регрессия для 34 профессиональных школ. 3 CHOW TEST . reg COST N if OCC==0 Source | SS df MS ---------+-----------------------------Model | 4.3273e+10 1 4.3273e+10 Residual | 1.2150e+11 38 3.1973e+09 ---------+-----------------------------Total | 1.6477e+11 39 4.2249e+09 Number of obs F( 1, 38) Prob > F R-squared Adj R-squared Root MSE = = = = = = 40 13.53 0.0007 0.2626 0.2432 56545 -----------------------------------------------------------------------------COST | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---------+-------------------------------------------------------------------N | 152.2982 41.39782 3.679 0.001 68.49275 236.1037 _cons | 51475.25 21599.14 2.383 0.022 7750.064 95200.43 ------------------------------------------------------------------------------ Регрессия для 40 обычных школ. 4 CHOW TEST 700000 600000 COST 500000 400000 300000 200000 100000 0 0 200 400 600 800 1000 1200 1400 N Профессиональные школы Обычные школы Линии регрессий для двух видов школ, оцененные поотдельности. 5 CHOW TEST 700000 600000 COST 500000 400000 300000 200000 100000 0 0 200 400 600 800 1000 1200 1400 N Профессиональные школы Обычные школы В середине линия регрессии, оцененной по всем наблюдениям. 6 CHOW TEST 700000 600000 COST 500000 400000 300000 200000 100000 0 0 200 400 600 800 1000 1200 1400 N Профессиональные школы Обычные школы Остатки регрессии для профессиональных школ. 7 CHOW TEST 700000 600000 COST 500000 400000 300000 200000 100000 0 0 200 400 600 800 1000 1200 1400 N Профессиональные школы Обычные школы Остатки общей регрессии для наблюдений, относящимся к профессиональным школам. 8 CHOW TEST 700000 600000 COST 500000 RSS = 3.49 x 1011 400000 700000 300000 600000 200000 500000 0 0 COST 100000 400000 200 300000 400 600 800 1000 1200 1400 N 200000 Occupational schools Regular schools RSS = 5.55 x 1011 100000 0 0 200 400 600 800 1000 1200 Из двух предыдущих слайдов очевидно, что сумма квадратов N остатков для общей регрессии будет больше. Occupational schools 1400 Regular schools 9 CHOW TEST 700000 600000 COST 500000 RSS = 3.49 x 1011 400000 700000 300000 600000 200000 500000 0 0 COST 100000 400000 200 300000 400 600 800 1000 1200 1400 N 200000 Occupational schools Regular schools RSS = 5.55 x 1011 100000 0 0 200 400 600 Две линии дают более точную подгонку.N Occupational schools 800 1000 1200 1400 Regular schools 10 CHOW TEST RESIDUAL SUM OF SQUARES (x1011) Regression Separate Pooled Occupational Regular Total RSS1 3.49 RSS2 1.22 (RSS1+RSS2) 4.71 3.36 RSSP 8.91 5.55 RSS для общей регрессии будет больше суммы RSS двух отдельных регрессий, что и подтверждает таблица. 11 CHOW TEST Тест Chow дает ответ на вопрос, можно ли считать что две выборки принадлежат одной генеральной совокупности, т.е. лучше оценивать одну регрессию, или к разным, тогда лучше оценивать две отдельные регрессии. 12 Основная и альтернативная гипотезы в тесте Chow Модель для первого набора наблюдений: Модель для второго Набора наблюдений: Y 1 2 X 2 ... k X k u Y 1 2X 2 ... k X k u 2 2 H 0 : 1 1 ,..., k k , u u H 1 : i : i i 13 Тестовая статистика в тесте Chow ( RSS P [ RSS 1 RSS 2 ]) / k F ~ F ( k , n 2k ) ( RSS 1 RSS 2 ) /( n 2k ) Если F > Fcr (при выбранном уровне значимости), то основная гипотеза отвергается. 14 CHOW TEST F(k, n – 2k) = (RSSP [RSS1 RSS2 ]) / k (RSS1 RSS2 ) /(n 2k ) (RSS1+RSS2) (8.91 10 [3.49 10 1.22 10 ]) / 2 4.71 F (2,70) 31.2 11 11 (3.49 10 1.22 10 ) / 70 RSSP 8.91 11 11 11 Вернемся к рассматриваемому примеру. 15 CHOW TEST F(k, n – 2k) = (RSSP [RSS1 RSS2 ]) / k (RSS1 RSS2 ) /(n 2k ) (8.91 1011 [3.49 1011 1.22 1011 ]) / 2 F (2,70) 31.2 11 11 (3.49 10 1.22 10 ) / 70 F (2,70)crit, 0.1% 7.6 Полученное значение F- статистики превышает критическое при любом разумном уровне значимости, следовательно, нулевая гипотеза отвергается, для профессиональных и обычных школ имеет место разная зависимость. 16