IRO2013_Schls&Nghbhds

Проблема контекстуализации
образовательных результатов:
школа, социальный состав учащихся
и депривация территорий
Ястребов Г. А., Бессуднов А. Р., Пинская М. А., Косарецкий С. Г.
Высшая школа экономики, Москва, 2013
www.hse.ru
Общая концептуальная схема
Высшая школа экономики, Москва, 2013
Связь результатов ЕГЭ в школах
и характеристик контингента (r = 0.41**)
Высшая школа экономики, Москва, 2013
Связь результатов ЕГЭ в школах
и кадрового обеспечения (r = 0.33**)
Высшая школа экономики, Москва, 2013
Связь характеристик кадрового обеспечения
школ и размера поселения (r = 0.35**)
Высшая школа экономики, Москва, 2013
Связь характеристик контингента
школ и размера поселения (r = 0.66**)
Высшая школа экономики, Москва, 2013
Фактор социально-экономической
депривации территорий
• Школы не сами по себе, а в контексте социальноэкономических условий, заданных принадлежностью к
определенной территории (поселению)
• Территория как источник экономических, человеческих,
финансовых, социальных и прочих ресурсов
• Neighbourhood effects [Wilson 1987;
Jencks, Mayer 1990; etc.]
• Концепция депривации [Townsend 1979]
Высшая школа экономики, Москва, 2013
Способы измерения депривации
на уровне территорий
•
«Территории»: районы (districts, neighbourhoods), в нашем случае –
муниципальные образования
•
Более дифференцированный подход, чем различия между «селом» фото
и
«городом»
•
С помощью отдельных аппроксимирующих показателей
–
–
–
–
–
•
доля лиц с высшим образованием
уровень безработицы
уровень преступности
ожидаемая продолжительность жизни
и др.
фото
С помощью интегрированных показателей
–
–
–
–
Index of Multiple Deprivation (Великобритания)
New Zealand Deprivation Index (Новая Зеландия)
Index of Community Socio–Educational Advantage (Австралия)
синтетический Индекс качества жизни (Айвазян С.А, только
по муниципальным образованиям Самарской области)
Высшая школа экономики, Москва, 2013
фото
Реалии российской статистики
• Статистические паспорта муниципальных образований
(Росстат)
– Более 900 различных показателей, охватывающих различные
фото
аспекты жизнедеятельности поселений,
НО:
– Фрагментарность (отсутствие данных за отдельные годы и не по
всем показателям)
– Неаккуратность заполнения (несоответствие на уровне единиц
измерения; неадекватность)
фото
– Неудобность использования
• Всероссийская перепись населения (микроданные, Росстат)
– 2002: доступны
– 2010: обещают опубликовать в 2013 г., пока нет
Высшая школа экономики, Москва, 2013
фото
Перечень доступных показателей
по данным Росстата (после выбраковки)
Итоговый перечень характеристик муниципального уровня
после выбраковки данных:
фото
1.
2.
3.
4.
5.
6.
7.
Численность населения
Доля ветхого и аварийного жилья в общем жилом фонде
Доля семей, пользующихся льготами по оплате жилья и услуг ЖКХ
Численность медицинского персонала в расчете на 1 тыс. населения
фото
Расходы местного бюджета на образование в расчете на душу
населения
Доля освещенных улиц, проездов и набережных
Среднемесячная заработная плата работников предприятий и
некоммерческих организаций
фото
Высшая школа экономики, Москва, 2013
Характеристики контингента обучающихся
(данные социальных паспортов школ)
Доля детей...
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
из многодетных семей
из неполных семей
из семей, находящихся под опекой
из семей, где работает один из родителей
из семей, где оба родителя являются безработными
из семей, где один из родителей является безработным
из семей, где хотя бы один из родителей является инвалидом
из семей, где оба родителя имеют высшее образование
из семей, где один из родителей имеет высшее образование
из семей, находящихся в социально опасном положении
из семей, проживающих в благоустроенных квартирах
из семей, проживающих в квартирах с частичными удобствами
из семей, проживающих в частном секторе
для которых русский не является родными языком
проживающих в приемных семьях
состоящих на внутришкольном учете
состоящих на учете в комиссиях на делам несовершеннолетних
Высшая школа экономики, Москва, 2013
фото
фото
фото
Контекстные данные (характеристики
контингента), учитывающиеся в странах OECD
•
•
•
•
•
•
•
•
•
•
•
•
Возраст
Пол
фото
Страна рождения ученика и родителей / Этническая принадлежность
Родной язык, на котором говорят дома
Образование матери
Занятость родителей / Социальный статус
Доходы семьи
Культурные и иные ресурсы семьи
фото
Жилищные условия семьи
Наличие специальных учебных потребностей
Выявленные затруднения в учёбе
Ученик воспитывается вне дома (рассматривается как основание для
статуса ребёнок группы риска (BAR)
• Социальные пособия / Право на бесплатное питание в школе
фото
Высшая школа экономики, Москва, 2013
Эмпирическая база исследования
• Социальные паспорта школ:
– 1294 школы
• 854 в Московской области
• 440 в Ярославской области
фото
• Статистические паспорта
фото
муниципальных образований:
– 309 муниципальных образований
• 228 в Московской области (118 из них – сельские)
• 81 в Ярославской области (68 из них – сельские)
фото
Высшая школа экономики, Москва, 2013
Аналитическая модель
•
Множественная регрессия, 2-хуровневая иерархическая модель (HLM):
– 1-й уровень (школы):
i = 1, …, n
– 2-й уровень (поселения):
j = 1, …, m
общий вид модели в упрощенной векторной форме:
фото
Yij = β0j + Bnj×(ХАРАКТЕРИСТИКИ КОНТИНГЕНТАij) +
+ Bmj×(ХАРАКТЕРИСТИКИ ШКОЛij) + εij
β0j = ϒ00 + Сs0×(ХАРАКТЕРИСТИКИ ПОСЕЛЕНИЯ)j + μ0j
и далее для всех z = 1, 2, …, n+m
βzj = ϒz0 + Сsz×(ХАРАКТЕРИСТИКИ ПОСЕЛЕНИЯ)j + μzj
•
•
•
•
•
фото
Yij – средний результат ЕГЭ в i-й школе j-го поселения
вектор коэффициентов ϒz0 – чувствительность ЕГЭ к соответствующим
характеристикам школ и контингента;
вектор коэффициентов Сs0 – чувствительность ЕГЭ к соответствующим характеристикам
поселения;
вектор коэффициентов Сsz – предположение о неодинаковой чувствительности результатов
фото
ЕГЭ к характеристикам контингента и самих школ в зависимости от характеристик
поселения
εij, μ0j, …, μzj – допущение о случайных эффектах
Высшая школа экономики, Москва, 2013
Распределение средних результатов ЕГЭ в
школах Московской и Ярославской областей
ЕГЭ по русскому языку
ЕГЭ по математике
Московская
область
Ярославская
область
Московская
область
62,6
62
44,9
7,4
7,3
7,4
8,4
0,12
0,12
0,16
0.19
минимум
30
38,7
21
24,4
Q1 (нижний квартиль – нижние 25%)
58
58
40,7
39,4
медиана
63
62,5
45,5
Q3 (верхний квартиль – верхние 25%)
67,9
66,8
49,4
максимум
87,4
86,8
77
71,3
N (число школ)
785
248
785
248
среднее значение
стандартное отклонение
коэффициент вариации (стандартное
отклонение / среднее значение)
Ярославская
область
44,3
фото
44,8
фото
50,6
• Средние показатели и характер распределения результатов
ЕГЭ примерно одинаковы в обеих областях
• Характер распределения свидетельствует о значительной фото
дифференциации результатов ЕГЭ между школами
Высшая школа экономики, Москва, 2013
Параметры регрессирования для модели без
предикторов (базовая модель)
Параметры модели
ЕГЭ по математике
ЕГЭ по русскому языку
Фиксиров.
эффекты
Случайные
эффекты
Фиксиров.
эффекты
44.6***
(0.3)
-
61.8***
(0.3)
ОСТАТОЧНАЯ ВНУТРИГРУППОВАЯ ДИСПЕРСИЯ
-
53.4 (2.6)
-
49.7 (2.5)
ОСТАТОЧНАЯ МЕЖГРУППОВАЯ ДИСПЕРСИЯ
-
4.4 (1.7)
-
4.9 (1.9)
Фиксированный (не связанный с предикторами модели)
уровень средних результатов ЕГЭ (иначе – константа)
Случайные
эффекты
фото
• Около 90% дисперсии средних результатов ЕГЭ по школам
фото
содержится внутри поселений и лишь 10% - между ними
• Т.е. источники возникающего неравенства в успеваемости
учащихся, по всей видимости, сосредоточены не столько между
поселениями, сколько между школами!
фото
Высшая школа экономики, Москва, 2013
-
Параметры регрессирования:
характеристики контингента (только значимые)
Параметры модели
Фиксированный (не связанный с предикторами
модели) уровень средних результатов ЕГЭ (иначе –
константа)
ЕГЭ по математике
Фиксиров.
Случайные
эффекты
эффекты
36.5*** (1.5)
Доля учащихся из неполных семей
-8.4*** (2.2)
Доля учащихся из семей, где оба родителя имеют
5.5*** (1.3)
высшее образование
Доля учащихся из семей, проживающих в
3.9*** (1.0)
благоустроенных квартирах
Доля учащихся, для которых русский язык не является
-4.8 (3.0)
родным
Доля учащихся, состоящих на учете в
-59.9***
КДН и ЗП
(11.9)
ОСТАТОЧНАЯ ВНУТРИГРУППОВАЯ ДИСПЕРСИЯ
ОСТАТОЧНАЯ МЕЖГРУППОВАЯ ДИСПЕРСИЯ
-
ЕГЭ по русскому языку
Фиксиров.
Случайные
эффекты
эффекты
-
56.8*** (1.1)
-
9.2 (18.3)
0.0 (0.0)
-7.9*** (2.0)
5.8*** (1.2)
0.0 (0.0)
0.8 (5.8)
0.0 (0.0)
3.4*** (0.9)
0.5 (3.0)
0.0 (0.0)
-7.0** (2.8)
0.0 (0.0)
469.8
(1065.9)
31.3 (1.7)
0.0 (0.0)
-47.0***
(12.9)
-
587.1 (955.0)
фото
фото
27.2 (1.6)
3.7 (2.1)
фото
Высшая школа экономики, Москва, 2013
Параметры регрессирования:
характеристики школ (только значимые)
Параметры модели
Фиксированный (не связанный с предикторами
модели) уровень средних результатов ЕГЭ (иначе –
константа)
ЕГЭ по математике
Фиксиров.
Случайные
эффекты
эффекты
ЕГЭ по русскому языку
Фиксиров.
Случайные
эффекты
эффекты
36.5*** (1.5)
-
56.8*** (1.1)
-
2.3*** (0.6)
0.0 (0.0)
3.8*** (0.6)
0.0 (0.0)
1.3* (0.7)
0.0 (0.0)
1.6** (0.7)
0.0 (0.0)
-
-
-5.7*** (1.6)
0.4 (9.7)
0.007*** (0.0)
0.0 (0.0)
0.005*** (0.0)
0.0 (0.0)
Число учащихся, приходящихся на одного учителя
-0.09 (0.06)
0.005 (0.004)
-0.07 (0.05)
0.0 (0.0)
Доля учителей высшей категории
6.1*** (1.3)
0.0 (0.0)
Лицей, гимназия
Школа с углубленным изучением предметов
Вечерняя (сменная) школа
Численность контингента
Число компьютеров на одного ученика
ОСТАТОЧНАЯ ВНУТРИГРУППОВАЯ ДИСПЕРСИЯ
ОСТАТОЧНАЯ МЕЖГРУППОВАЯ ДИСПЕРСИЯ
15.6*** (4.3) 249.3 (103.7)
-
31.3 (1.7)
0.0 (0.0)
фото
4.2*** (1.2)фото
0.0 (0.0)
-
-
-
27.2 (1.6)
3.7 (2.1)
фото
Высшая школа экономики, Москва, 2013
Параметры регрессирования:
характеристики поселений (отдельная модель
для поселений с 3 и более школами)
Параметры модели
Фиксированный (не связанный с предикторами модели) уровень средних результатов ЕГЭ
(иначе – константа)
Фиксиров. эффекты
ЕГЭ по математике
ЕГЭ по русскому
языку
40.7*** (2.3)
56.8*** (1.9)
фото
ЦЕНТРИРОВАНЫЕ ЗНАЧЕНИЯ ПО ШКОЛАМ
Доля учащихся из семей, где оба родителя имеют высшее образование
6.4*** (1.5)
-5.9*** (2.4)
Доля учащихся из семей, проживающих в благоустроенных квартирах
3.6*** (1.3)
6.2*** (1.4)
4.4 (5.3)
3.7*** (1.2)
-59.2*** (12.2)
-6.9 (4.8)
7.7*** (1.9)
8.8*** (1.7)
Доля учащихся, для которых русский язык не является родным
Доля учащихся, состоящих на учете в КДН и ЗП
Доля учителей высшей категории
СРЕДНИЕ ЗНАЧЕНИЯ ДЛЯ ПОСЕЛЕНИЙ
фото
10.7** (4.4)
Доля учащихся из семей, где оба родителя имеют высшее образование
6.9 (5.3)
Доля учащихся из семей, проживающих в благоустроенных квартирах
2.2 (2.8)
3.3 (2.4)
Доля учащихся, для которых русский язык не является родным
-13.8 (17.9)
-9.9 (14.9)
Доля учащихся, состоящих на учете в КДН и ЗП
-57.2 (36.0)
-22.4 (30.3)
Доля учителей высшей категории
7.3* (3.8)
2.9 (3.1)
ОСТАТОЧНАЯ ВНУТРИГРУППОВАЯ ДИСПЕРСИЯ
31.5 (1.9)
26.1 (1.6)
ОСТАТОЧНАЯ МЕЖГРУППОВАЯ ДИСПЕРСИЯ
Высшая школа экономики, Москва, 2013
3.9 (1.5)
2.0 (1.2)
фото
Резюме из результатов анализа
• Характеристики контингента и характеристики школ – около 40%
исходной дисперсии средних результатов ЕГЭ
фото
• Характеристики поселений практически не имеют
самостоятельного эффекта после включения в модель
характеристик контингента и школ и не позволяют объяснить
сколько-нибудь существенную часть дисперсии между
поселениями
• После учета дифференциации между школами было установлено,
фотоот
что результаты ЕГЭ в школах Ярославской области отличаются
результатов школ Московской области примерно на 4 балла по
математике и 3.5 балла по русскому языку
• Аппроксимация с помощью представленной модели позволяет
идентифицировать школы с аномально высокими и аномально
низкими результатами ЕГЭ с учетом контекста
фото
Высшая школа экономики, Москва, 2013
Выводы по результатам анализа
• Важность контекстуализации в системе оценки
качества образования и информационного
взаимодействия с общественностью
фото
• Тривиальность механизма трансформации
территориального неравенства в неравенство
жизненных шансов:
– В менее развитых территориях концентрируется социальное
фото
неблагополучие, которое в совокупности с типичной для
данных территорий нехваткой ресурсов в школах, влечет за
собой низкие результаты обучения
– Самостоятельный эффект территориального неравенства
(см. Wilson 1987; Jencks, Mayer 1990; etc.) практически
фото
отсутствует!
Высшая школа экономики, Москва, 2013
Выводы, связанные с ограничениями анализа
• Нереалистичность предпосылки об одномоментном влиянии факторов
(контингент, ресурсы школы) на результаты ЕГЭ
– Необходимость панельных данных
фото
• Ограниченная выборка исследования (с учетом выраженного
регионального неравенства в России)
• Анализ проводился на агрегированных данных по школам, но нужно
выходить на индивидуальный уровень анализа
фото
– Объединение данных социальных паспортов и панельных данных
по
школьникам из Ярославской области
• Для уточнения результатов необходимо использовать более точные и
адекватные показатели
– Например, через итоги ВПН 2010: образовательная структура населения,
уровень безработицы, уровень преступности, уровень смертности,
фото
ожидаемая продолжительность жизни
Высшая школа экономики, Москва, 2013
фото
ПРИЛОЖЕНИЯ
фото
фото
Высшая школа экономики, Москва, 2013
(1) Территориальный контекст VS
Характеристики контингента
фото
фото
фото
Высшая школа экономики, Москва, 2013
(1) Территориальный контекст VS
Характеристики контингента
фото
фото
фото
Высшая школа экономики, Москва, 2013
(2) Территориальный контекст VS
Средняя успеваемость
фото
фото
фото
Высшая школа экономики, Москва, 2013
(3) Территориальный контекст VS
Ресурсы школы
фото
фото
фото
Высшая школа экономики, Москва, 2013
(4) Характеристика контингента VS
Средняя успеваемость
фото
фото
фото
Высшая школа экономики, Москва, 2013
(5) Ресурсы школы VS
Средняя успеваемость
фото
фото
фото
Высшая школа экономики, Москва, 2013
(6) Ресурсы школы VS
Характеристика контингента
фото
фото
фото
Высшая школа экономики, Москва, 2013
Размер школы и средние результаты ЕГЭ
в сельских (слева) и городских школах (справа)
фото
фото
фото
Высшая школа экономики, Москва, 2013
Зависимость результатов ЕГЭ от социальноэкономических характеристик контингента
в продвинутых (слева) и обычных школах (справа)
фото
фото
Высшая школа экономики, Москва, 2013
ПРИМЕР: Index of Multiple Deprivation
(Великобритания)
7 зон депривации:
1.
2.
3.
4.
5.
6.
7.
ДОХОД
доли лиц, получающих различные виды пособий
фото
ЗАНЯТОСТЬ
уровень безработицы
ЗДОРОВЬЕ И МЕДИЦИНА
доступность базовых медицинских услуг, уровень заболеваемости, ож.
продолжительность жизни
ОБРАЗОВАНИЕ
доля drop-outs, средняя успеваемость, коэффициент посещаемостифото
ЖИЛИЩНЫЕ УСЛОВИЯ
состояние жилого фонда, обеспеченность жильем по установленным нормам
БЕЗОПАСНОСТЬ
уровень преступности
СРЕДА ОБИТАНИЯ
различные экологические аспекты
фото
Высшая школа экономики, Москва, 2013
Связь между социальными
показателями и результатами ЕГЭ
Русский язык
Математика
Value
Approx. Sig.
Value
Approx. Sig.
работают оба родителя
,310
,000c
,297
,000c
оба родителя являются
безработными
-,100
,003c
-,073
,032c
один (единственный)
родитель является
безработным
-,059
,084c
-,057
,093c
оба родителя имеют
высшее образование
,471
,000c
,461
,000c
один родитель имеет
высшее образование
,290
,000c
,302
,000c
воспитывающих
одного ребенка
,239
,000c
,239
,000c
полные семей
,385
,000c
,370
,000c
семьи находятся в соц.
опасном положении
-,225
,000c
-,213
,000c
Связь между социальными
показателями и результатами ЕГЭ
Русский язык
проживают в
благоустроенных
квартирах
русский язык не
является родным
дети проживают в
приемных семьях
дети находятся под
опекой
дети состоят на
внутришкольном учете
дети состоят на учете
в ОДН УВД
дети состоят на учете
в КДН и ЗП
доля всех
коррекционных
классов
Математика
Value
Approx. Sig.
Value
Approx. Sig.
,217
,000c
,216
,000c
-,084
,004c
-,103
,002c
-,086
,011c
-,275
,000c
-,307
,000c
-,414
,000c
-,446
,000c
-,382
,000c
-,384
,000c
-,350
,000c
-,364
,000c
-,093
,006c
Результаты ЕГЭ в городских школах с различным
индексом социального благополучия
Индекс социального
благополучия
ЕГЭ.
Русский язык
средний балл
ЕГЭ
Математика
средний балл
Социально неблагополучная среда
52,5
36,1
Социально нейтральная среда
58,8
43,2
Социально благополучная среда
62,5
47,5
101000, Россия, Москва, Мясницкая ул., д. 20
Тел.: (495) 621-7983, факс: (495) 628-7931
www.hse.ru