Эффективность года школьного обучения для результатов PISA
реклама
Эффективность года школьного обучения для результатов PISA 2009 Тюменева Ю.А. Кузьмина Ю.В. Проблемы и возможности Необходимость оценки эффективности школьного обучения в отсутствие лонгитюдных исследований Выделение других индикаторов (помимо средних результатов) для оценки эффективности (эффекта) образования Оценка школьной эффективности на данных «срезовых» исследований (PISA) Ограничения в интерпретации средних результатов международных исследований (PISA в том числе) как показателей эффективности образовательной системы страны Оценка школьной эффективности на примере «срезовых» данных Направления исследований: 1) Абсолютный эффект школьного обучения 2) Факторы, сопряженные с эффективностью обучения в школе 3) Определение оптимального возраста для начала школьного обучения 4) Сравнение эффекта обучения и эффекта возраста PISA: цели, выборка Programm For International Student Assessment Цель: оценка того, в какой степени в разных странах школьники, завершая обязательное среднее образование, имеют необходимые умения для решения практических социальных и жизненных задач. Области: чтение, математика, естественные науки Выборка: 15-летние школьники, учащиеся в разных классах (с 7-ого по 12-ый). Максимальная разница в возрасте – 1 год (без 1-го дня) Ограничения в интерпретации средних результатов PISA: состав имеет значение 1) Разное время начала обучения в школе разный по длительности учебный опыт к моменту тестирования 2) Разные образовательные траектории: кроме общеобразовательных есть профессиональные и пред-профессиональные школы. 3) Множество других факторов, связанных с показателями PISA: социально-экономический статус семьи, материальные ресурсы и т.п. Ест.науки Чтение Математика Ученики «старших» классов имеют выше результаты в PISA, чем их сверстники из «младших» классов Россия Чехия Словакия Венгрия средние 468 493 496 490 8 класс 426 380 363 387 9 класс 463 478 483 496 10 класс 494 520 506 524 средние 459 478 477 494 8 класс 418 366 346 391 9 класс 455 464 457 499 10 класс 485 505 492 534 средние 478 501 490 503 8 класс 434 382 368 400 9 класс 477 487 473 508 10 класс 499 526 502 538 Ученики профессиональных школ показывают более низкие результаты Ест.науки Чтение Матем Россия Общее Профес Венгрия 10кл. 9кл. 10кл. 9кл. 10кл. 9кл. 10кл. 463 506 478 604 483 580 514 537 443 406 425 442 455 498 493 464 425 Профес Общее Словакия 9кл. Профес Общее Чехия 477 510 449 590 457 477 487 609 500 473 558 517 420 404 567 525 440 424 547 435 548 454 Выборка по классам и видам траекторий Россия Словакия Чехия Венгрия 9 класс 60% 36% 49% 67% 10 класс 28% 57% 47% 22% общее 94% 60% 72% 84% профессиональное 6% 16% 28% 16% 9 класс, проф. (от общего числа 9-классников) 0% 0% 0% 18% 10 класс, проф. (от общего числа 10-классников) 19% 29% 61% 14% Эффект одного года обучения как показатель эффективности обучения Показателем эффективности обучения может выступать эффект одного года обучения для образовательных результатов. Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым). Однако есть серьезные проблемы с прямой интерпретацией величины «прироста» баллов за один год! Почему нельзя просто сравнить результаты двух «соседних» классов - Разница в результатах между 9-ти и 10-классниками может быть связана с… эффектом взросления Как проконтролировать? Учет эффекта возраста тем, что более подготовленные или «ресурсные» ученики идут в школу раньше Учет времени старта обучения и семейных характеристик Разделением на траектории и уходом «слабых» после 9 класса Учет эффекта селекции на разных образовательных программах Метод оценки 1) Для учета возраста и времени начала школьного обучения сравнивались достижения учеников, имеющих одинаковую вероятность быть в 10 классе исходя из даты рождения – «до или после пороговой даты» (Regression Discontinuity design, Instrumental Variable analysis) и контролируются семейные характеристики ученика. 2) Для учета программы обучения и эффекта селекции производился отбор 9-классников, имеющих высокую вероятность учиться в 10 классе школы соответствующей ориентации: профессиональной или общеобразовательной (Propensity Score Matching) Пороговая дата начала обучения Пороговая дата Число учеников, пошедших в школу с нарушением правила % 10 -классников, пошедших в школу раньше % 9-классников, пошедших в школу позже Россия 1 октября 52% 11% 74% Словакия Чехия Венгрия 1 сентября 17% 20% 20% 7% 1% 6% 26% 38% 25% 1 сентября 1 июня Последовательность оценки Оцениваемые модели: Первая Только эффект дополнительного года обучения Вторая Эффект дополнительного года обучения + социально-демографические показатели ученика (пол, СЭС, местоположение школы Третья и Четвертая: Эффект дополнительного года + социально-демографические характеристики + переменные взаимодействия (пол и СЭС) Оценка эффекта дополнительного года обучения без учета разделения на программы Эффект дополнительного года (PISA scores) 30 25 20 математика 15 чтение естественные науки 10 5 0 Россия Словакия Чехия Венгрия Отбор 9-классников для оценки эффекта одного года на общеобразовательной программе 1) 2) 3) 4) Для 10-классников проведена оценка вероятности обучения в общеобразовательной школе исходя из пола и СЭС Полученные коэффициенты для переменных «пол» и «СЭС» использованы для расчета вероятности продолжения обучения в общеобразовательной школе для 9-классников Отобраны 9-классники с высокой вероятностью (выше, чем в среднем по выборке) продолжения обучения в общеобразовательной школе Анализ проведен на выборке 9-классников с высокой вероятностью и 10классников из общеобразовательных школ Россия Словакия Чехия Средняя вероятность (для 9 класса) 0,79 0,28 0,37 % 9-классников с высокой вероятностью продолжить обучение в общеобразовательной школе 58% 35% 41% Оценка эффекта дополнительного года обучения для общеобразовательной школы 100 Эффект дополнительного года обучения (PISA scores) 90 80 70 60 Математика 50 Чтение 40 ест.науки 30 20 10 0 Россия Словакия Чехия Венгрия Связь социально-демографических характеристик и эффекта дополнительного года обучения (без учета разделения на программы) Словакия Венгрия Россия, Чехия – нет различий в зависимости от СЭС и пола Словакия, Венгрия – эффект дополнительного года выше для учеников с высоким СЭС ест.науки чтение математика СЭС выше среднего ест.науки средний СЭС чтение математика 0 10 20 30 Эффект дополнительного года обучения (PISA scores) Связь социально-демографических характеристик и эффекта дополнительного года обучения (на общеобразовательной программе) Эффект дополнительного года обучения (PISA scores) Россия – нет различий в зависимости от СЭС и пола Словакия – эффект дополнительного года выше для мальчиков, Венгрия – выше для девочек (для математики) 90 80 70 60 50 40 мальчики 30 девочки 20 10 0 математика чтение Словакия ест.науки математика Венгрия Связь социально-демографических характеристик и эффекта дополнительного года обучения (на общеобразовательной программе) . Продолжение Чехия – эффект дополнительного года обучения ниже для учеников с высоким СЭС Венгрия – эффект дополнительного года обучения выше для учеников с высоким СЭС (для естественных наук) Эффект дополнительного года (PISA scores) Изменение эффекта дополнительного года обучения для учеников с разным СЭС (Чехия) на общеобразовательной программе 120 100 80 60 средний СЭС 40 СЭС выше среднего 20 0 математика чтение ест.науки Основные выводы (методологические) 1) Средние данные PISA не могут быть основанием для выводов об эффективности образовательной системы без учета таких факторов как СЭС, класс и программа обучения, возраст и пр. 2) RD design в приложении к данным PISA позволяет оценить эффект одного года обучения, не прибегая к данным лонгитюдных исследований 3) Оценка эффекта дополнительного года обучения может быть показателем «добавочной стоимости» образования в отношении результатов PISA Основные выводы (по российским данным) 1) Эффект одного года обучения для всей выборки является незначимым. 2) Эффект одного года обучения для общеобразовательных школ выше, чем всей выборки в целом (без учета разделения на программы). Это может быть свидетельством того, что для профессиональных школ эффект одного года - отрицательный. 3) Эффект одного года обучения не зависит от пола и социально-экономического статуса учеников. Основные выводы (сравнительные) 1) Для всей выборки в целом эффект одного года обучения ниже, чем в других оцениваемых странах за исключением Словакии. 2) Для общеобразовательной программы эффект одного года обучения ниже, чем в других оцениваемых странах. 3) В России эффект одного года не зависит от пола и социально-экономического статуса учеников в отличие от других стран, где эффективность обучения меняется в зависимости от социальноэкономических факторов. Возможные направления будущих исследований 1) Динамика эффективности школьного обучения с 2000 по 2012 2) Выделение факторов, связанных с высоким эффектом дополнительного года обучения 3) Эффект раннего и позднего разделения на разные треки (до 7 класса, после 7, после 8 класса, после 9 класса, после 10 класса): для оценки эффективности в целом по стране и для профессионального образования. 4) Изменение эффекта в разных ступенях (между 8 и 9 классом, между 9 и 10) Спасибо! Спасибо! Динамика результатов по математике PISA в некоторых странах 550 516 510 493 500 468 476 468 450 Россия 386 400 356 369 350 300 2003 2006 2009 Бразилия Чехия Изменение пропорций учеников из разных классов Россия 9 класс Бразилия 10 класс 9 класс 10 класс Чехия 9 класс 10 класс 2003 29% 68% 43% 18% 45% 52% 2006 30% 62% 47% 18% 44% 52% 2009 60% 28% 37% 36% 49% 47% Оценка эффекта дополнительного года для стран с отсутствием разделения на разные программы Эффект одного года (PISA scores) 35 30 25 20 математика чтение 15 ест.науки 10 5 0 Бразилия Германия Канада
