(pisa, timss * **.). - Социально-педагогические измерения как

Международные сравнительные
мониторинговые исследования
(PISA, TIMSS и др.). Рейтинговые
процедуры и получаемые
рейтинги образовательных
организаций (лучшие школы
Санкт-Петербурга и др.).
Белоусов К.Ю.
Измерение в науке
Магия чисел
Анекдот
начинающий исследователь, оценивая привлекательность
населенных пунктов для строительства горнолыжных
курортов в регионе, использовал 3 критерия для расчета
«интегрального показателя привлекательности». В
результате «исследования» был выявлен «лучший» пункт с
максимальным рейтингом:
Население, чел.
3012
Высота над уровнем моря, м
1753
Дата основания, г.
1925
Итого:
6690
Реальный случай: Рейтинг мест отдыха
американских пенсионеров
(Forman, 1997)
 В 1990 в США был опубликован Рейтинг мест отдыха
пенсионеров, в котором был ранжирован 151 город
по 7 критериям, и в результате суммирования
получен итоговый показатель
 На основе этой «методологии» Лас-Вегас оказался на
105 месте
 В 1994 г. была использована иная шкала оценки и
иная процедура обработки данных
 В результате Лас-Вегас оказался первым в рейтинге
 Причина столь радикальных перемен – не в
изменении условий проживания в Лас-Вегасе, а
в изменении методологии измерений!
• Измерение – отображение некоторой
эмпирической системы в числовую
систему
• Измерение –кодирование признаков
эмпирических объектов или событий
с помощью чисел в соответствии с
определенными правилами
измерения, или измерительными
шкалами.
• Измеряют только те свойства
предмета, которые можно измерить
Мода на измерение всего
• Измеряем счастье – самые счастливые страны
• Измеряем коррупцию – самые коррумпированные
государства
• Измеряем и высчитываем индекс доверия потребителей
(Consumer Confidence)
• Культурные измерения (индекс дистанции власти)
• Измерение стран по уровню экономической свободы
• Измерение стран по уровню религиозной свободы Global
Index of Religion and Atheism
• Рейтинг свободы СМИ
• Рейтинг стран наиболее привлекательных для ведения
бизнеса
И множество других рейтингов, индексов, мониторингов
Институт образования как поле для
измерений
• Опрашиваем учащихся колледжей и
университетов
• Школьники как основная категория для
социально-педагогических исследований
(самые разнообразные аспекты учебы и
жизни)
• Педагоги, преподаватели, воспитатели,
менеджмент учебных заведений
Школьники как основная категория для
социально-педагогических исследований
•
•
•
•
•
•
О чём спрашиваем? Что измеряем?
О здоровье
Об отклонениях
Об увлечениях
Образовательных стратегиях
Перспективах на будущее
Уровень знаний (в широком контексте)
Ох, уж эти рейтинги!
•
•
•
•
•
•
•
Лучшая школа(ы) страны (РФ)
Лучшая школа Санкт-Петербурга
Лучший ВУЗ
Лучший детский сад России
Лучший директор
Лучший педагог
Независимые рейтинги системы образования,
проводимые негосударственными структурами
ТОТАЛЬНЫЙ ДИКТАНТ!!!
• «Безграмотность стала
общественным явлением,
поэтому и нужен тотальный
диктант, тотальная проверка
грамотности и внимание к
тому, что мы пишем».
• «Безграмотность – это
снижение планки. Я не верю,
что кто-то в записке или чате
пишет с ошибками, а в
другом месте – грамотно»
Евгений Водолазкин
• Т.Д. состоится в апреле 2015
г., участие на добровольной
основе
Кто знает, может, придёт день,
когда всё население воодушевится
идеей грамотности и пойдет
писать диктант. Это будет
праздник русского языка
Мониторинг
• МОНИТОРИНГ (от лат. monitor — напоминающий, надзирающий)
— непрерывное наблюдение за исследуемыми объектами,
анализ их деятельности как составная часть управления.
• Мониторинг — это систематическое и плановое наблюдение за
состоянием объекта с целью его оценки, изучения трендов
(тенденций), исследования определённой среды.
• Мониторинг — систематический сбор и обработка информации,
которая может быть использована для улучшения процесса
принятия решения, а также, косвенно, для информирования
общественности или прямо как инструмент обратной связи в
целях осуществления проектов, оценки программ или выработки
политики.
• Мониторинг образования — это систематическая и регулярная
процедура сбора данных по важным аспектам образования на
федеральном, региональном, муниципальном и международном
уровнях. Образовательный мониторинг необходим для
эффективной реализации процесса образования.
Число стран, проводящих, по
крайней мере, одно национальное
тестирование в год
Изменение числа стран, проводящих
национальное оценивание, по регионам мира
11. Развитые страны
Почему более 60 стран мира участвуют в
международных сравнительных исследованиях?
•
•
•
•
•
Высокое научное и техническое качество проводимых исследований и
вследствие этого высокое доверие к их результатам. Страны используют
результаты международных исследований для реформирования системы
образования.
Во многих странах больше доверия к международным исследованиям, чем
к национальным
Результаты исследований помогают понять систему образования в стране в
сравнении с другими странами
Международные исследования способствуют обеспечению качества
проведения национальных исследований в области образования
В рамках международных исследований наиболее эффективно
отрабатываются новые методики и технологии в области оценки качества
образования
Что дает России участие в международных
исследованиях качества общего образования
Полученная в результате данных исследований
информация позволяет судить о качестве образования
в стране и ее относительном положении в мировой
системе образования с учетом международных
образовательных стандартов.
Аналитический материал о программах, учебниках и
требованиях к учебным достижениям школьников в
странах мира дает возможность специалистам страны
принимать обоснованные решения о реформировании
содержания образования и создании российских
образовательных стандартов, создавать новые
учебники, а также обновлять программы повышения
квалификации учителей
Что дает России участие в международных
исследованиях качества общего образования
Использование технологий педагогических измерений,
разработанных ведущими специалистами мира,
позволяет с наибольшим экономическим эффектом
создать в России систему оценки качества
образования на уровне мировых стандартов.
Активное участие России в международных
исследованиях и привлечение специалистов из
разных организаций и практически всех субъектов РФ
способствовало распространению международных
стандартов качества педагогических измерений,
формированию культуры проведения мониторинговых
исследований.
Измерение изменений требует измерительных
инструментов, которые остаются неизменными по
крайней мере по 6 показателям
Измеряют одни и те же возрастные когорты
Измеряют одни и те же области знания
При выборочном тестировании применяют одни и те же
процедуры составления выборки
Применяются измерители с неизменными уровнями трудности
Применяются измерители с неизменными уровнями надежности
Доказывается эквивалентность тестовых измерителей через
эмпирическое выравнивание.
Ежегодные измерения дополнительно требуют наличия ресурсов,
обеспечивающих возможность постоянного обновления тестовых
заданий на условиях психометрической эквивалентности и
валидности, а также подсчетов результатов и их обобщения и
анализа.
Международные программы оценки качества
образования
Международная Ассоциация
по оценке образовательных
достижений - IEA
TIMSS (1995, 1999, 2003,
2007, 2008, 2011, 2015
годы)
PIRLS (1991, 2001, 2006,
2011 годы)
ICCS (1999, 2000, 2008
годы)
TEDS (2008 год)
ICILS (2012)
Организация
экономического
сотрудничества и
развития – OECD
PISA (2000, 2003, 2006,
2009 годы)
TALIS (2008 год)
В каком направлении развиваются
международные исследования качества
образования
• Совершенствование методологии и
инструментария исследований (повышение
качества проведения исследования, введение
стандартов качества, использование новых
подходов при разработке инструментария, PISA2011, theory of planning behavior)
• Совершенствование теории и практики
педагогических измерений в рамках
мониторинговых исследований (шкалирование)
• Расширение сферы научно-практических
исследований по результатам проведенных
международных исследований
ТIMSS
• Международное сравнительное мониторинговое исследование качества
математического и естественнонаучного образования ТIMSS (TIMSS – Trends
in Mathematics and Science Study) является первым мониторинговым
исследованием в области общего образования, которое позволяет
проследить тенденции развития математического и естественнонаучного
общего образования с 1995 года (проводится каждые 4 года).
• В исследовании оцениваются образовательные достижения учащихся 4-х
классов начальной школы и учащихся 8-х классов. Дополнительно
изучаются особенности содержания школьного математического и
естественнонаучного образования в странах-участницах, особенности
учебного процесса, а также факторы, связанные с характеристиками
образовательных учреждений, учителей, учащихся и их семей.
Исследование организовано Международной ассоциацией по оценке
образовательных достижений (IEA International Assosiation for the Evaluation
of Educational Achievement).
Ключевые вопросы, на которые отвечает
исследование:
• Каково состояние математического и
естественнонаучного образования с точки зрения
международных образовательных стандартов?
• Как изменились результаты российских учащихся за
последнее десятилетие?
• Что происходит с результатами российских
учащихся при переходе из начальной школы в
основную?
• Какие факторы определяют наивысшие результаты
учащихся по математике и естествознанию?
• В каком направлении следует совершенствовать
российское образование?
Математика. Основные результаты исследования
• В исследовании ТIMSS 2011 года
результаты российских школьников
4-го и 8-го классов по математике
существенно превышают средние
результаты стран-частниц.
• 4-й класс
• Средний балл российских учащихся
равен 539.
• Российские учащиеся 4-го класса
находятся во второй группе из 9
стран, показавших примерно
одинаковые результаты и занявших
места с 7-е по 15-е. Результаты
остальных 35 стран, участвовавших в
исследовании, существенно ниже
российских (среди них Германия,
Австралия, Чешская Республика,
Венгрия, Австрия).
Математика. Основные результаты исследования
• 8-й класс
• Средний балл российских
учащихся равен 539.
• Результаты российских
учащихся 8-го класса
значимо ниже результатов
учащихся лидирующих
стран и выше результатов
учащихся 36 стран (среди
них такие страны как
Финляндия, США, Англия,
Австралия, Венгрия).
Математика. Основные результаты исследования
Математика. Основные результаты
исследования
Примеры тестовых заданий
Естествознание. Основные результаты тестирования
Примеры заданий по естествознанию
На рисунке показаны четыре положения парашютиста.
1. В самолете перед прыжком
2. В свободном полете перед
раскрытием парашюта
3. В полете после раскрытия
парашюта
4. На земле сразу после
приземления
В каких из этих положений на парашютиста действует сила тяжести?
А. Только в положении 2.
В. Только в положениях 2 и 3.
С. Только в положениях 1, 2 и 3.
D. В положениях 1, 2, 3 и 4.
Хорошая дошкольная подготовка способствует
успешному обучению математике и естествознанию в
начальной школе
Семья как ресурс для обучения.
Связь результатов учащихся 8-х
классов по математике и уровня
ресурсов семьи
Связь результатов учащихся 4-х
классов по математике и показателя
«безопасность в школе» (Как часто с
ребенком что-то случается в школе)
Результаты международного мониторинга
PIRLS - 2011
• Российские учащиеся 4-го класса подтвердили свой статус
лидеров в области чтения и понимания текстов.
• Как показали результаты международного исследования PIRLS в
2011 году в группу лидирующих стран вошли Гонконг, Российская
Федерация, Финляндия и Сингапур. Сравнение результатов
учащихся этих стран не выявило значимых различий между
ними. Результаты учащихся других стран значительно ниже.
• Международный проект «Исследование качества чтения и
понимания текста» (Progress in International Reading Literacy Study)
является мониторинговым исследованием качества начального
образования (проводится каждые пять лет). Его цель — сравнить
уровень и качество чтения и понимания текста учащимися
начальной школы в странах мира, а также выявить различия в
национальных системах образования с целью совершенствования
процесса обучения чтению. Исследование организовано Международной Ассоциацией по оценке учебных достижений.
Результаты международного
мониторинга PIRLS - 2011
Тест PIRLS
Распределение учащихся по уровням чтения
и понимания текста (в %)
Семья и чтение
Курите ли Вы?
Курил ли кто-нибудь в Вашей семье?
Курят
все
Курит Курит
члены Курят один из брат/ Никт
моей
оба родителе сестр о не
семьи родителя
й
а курит Итого
Курю
50,8%
51,8%
34,7% 40,0% 22,1% 35,2%
Курил(а) в
прошлом, но
сейчас нет
16,9%
14,1%
18,3%
Не курю и
никогда не
курил(а)
32,3%
34,1%
46,9% 40,0% 63,7 48,5%
%
20,0 14,2% 16,3%
%
Итого
100,0% 100,0% 100,0% 100,0 100,0 100,0
%
%
%
Назовите, пожалуйста, Ваше любимое художественное
произведение
Авторы и литературные работы
Кол-во упоминаний
М. Булгаков «мастер и Маргарита
29
Л. Толстой «Война и мир
14
Ф. Достаевский «Преступление и наказание»
14
И.Тургенев «Отцы и дети»
8
А.С. Пушкин «Евгений Онегин»
7
М. Лермонтов «Герой нашего времени»
6
Р. Р. Толкин «Властелин колец»
6
Э.М. Ремарк «Три товарища»
5
Дж. Сэлинджер «Над пропастью во ржи»
5
Ф. Достоевский «Идиот»
4
Дж. Оруэлл «1984»
4
У. Шеспир «Ромео и Джульетта»
4
С. Кинг, рассказы
4
И. Гончаров «Обломов»
3
К. Маккалоу «Поющие в терновнике»
3
Э. Хемингуэй «Старик и море»
3
Дж. Роулинг «Гарри Поттер»
3
О. Уайльд «Портрет Дориана Грея»
3
Дж. Лондон «Морской волк»
3
Р.Р. Толкин «Хоббит, или Туда и обратно»
2
В. Скотт «Айвенго»
2
А. Грибоедов «Горе от ума»
2
Н. Гоголь «Ревизор»
2
А. де Сент-Экзюпери «Маленький принц»
2
Дж. С. Фоер «Жутко, громко и запредельно близко»
2
А. Пушкин "Капитанская дочка"
2
Ф. Достоевский «Братья Карамазовы»
2
Т. Драйзер «Финансист»
2
Н. Гоголь «Мертвые души»
2
Н. Гоголь «Тарас Бульба»
2
Не знаю/не читаю
2
Международная программа
по оценке образовательных достижений
учащихся PISA
Основная цель: оценка способности 15-летних учащихся
использовать приобретенные в школе знания и опыт
для широкого диапазона жизненных задач в различных
сферах человеческой деятельности.
Основные задачи:
• Оценить функциональную грамотность 15-летних
учащихся в области математики, чтения и
естествознания
• Выявить динамику результатов (2000, 2003, 2006,
2009, 2012 годы)
• Выявить факторы, позволяющие объяснить различия
в результатах
Изменилось ли состояние российского
образования с позиций международных
стандартов, основанных на
компетентностном подходе?
Средний балл в исследовании 500
По сравнению с 2009 годом:
на 8 баллов
на 14 баллов
на 16 баллов
Результаты стран по
математической грамотности
Лидирующие страны и территории:
Шанхай (Китай), Сингапур, Гонконг
(Китай), Тайвань, Республика Корея 29
стран,
средний
балл
которых
статистически значимо выше среднего
балла России
9 стран, средний балл которых не отличается
от балла России (Норвегия, Португалия,
Италия, Испания, Словацкая Республика, США,
Литва, Швеция, Венгрия)
26 стран, средний балл которых
статистически значимо ниже
среднего балла России
Результаты РФ в сравнении с средним по OECD 2006 г. Естествознание
Уровни достижений
Ниже уровня
1
357
Уровень 1
(357-420)
Уровень 2
(420-482)
Уровень 3
(482-544)
Уровень 4
(544-606)
Уровень 5
(606-669)
Уровень 6
(669)
%
%
%
%
%
%
%
OECD
среднее
5,16
14,06
24,04
27,40
20,34
7,70
1,29
РФ
5,24
16,96
30,20
28,34
15,07
3,67
0,51
Результаты РФ в сравнении с средним по OECD 2006 г. Грамотность чтения
Уровни достижений
Ниже уровня 1
357
Уровень 1 (357-420)
Уровень 2
(420-482)
Уровень 3
(482-544)
Уровень 4
(544-606)
Уровень 5 (606669)
%
%
%
%
%
%
OECD
среднее
7,39
12,73
22,74
27,85
20,73
8,56
РФ
13,58
21,67
30,02
23,99
9,04
1,70
Все
ли
«за»?
Немецкие ученые критикуют тест на образованность европейских школьников
•
PISA-тестирование, подводя образование под единый стандарт, способствует
духовному и интеллектуальному обнищанию
•
исследование PISA научно несостоятельным, так как собранные данные были оценены
неправильно
Тестирование не отражает, к примеру, действительных знаний немецких школьников
по математике. Оценка компетенции PISA не имеет смысла, уровень сложности
неверный.
•
•
•
"Исследование PISA не является показательным и в связи с неодинаковым процентом
участия в разных странах
15-летние немецкие участники еще являются обычными школьниками, тогда как во
многих других странах ступень среднего образования в этом возрасте уже позади.
• В России
Международные сравнительные исследования не могут служить инструментом для
анализа ситуации в российском образовании. На основании PIRLS, TIMSS и PISA
невозможно сделать выводы о причинах тех или иных результатов школьников.
TIMSS проверяет полученные в школе знания и навыки, а PISA — умение их применять.
Однако никаких дополнительных исследований, проверяющих, действительно ли это так,
никогда нигде не проводилось. Так что относиться к данным международных
сравнительных исследований нужно критически
Российская система оценки качества
образования
«Россия не имеет своей системы национального оценивания.
Более того, даже перспективы создания такой системы не
обсуждаются. Хотя и появляются попытки трактовать
результаты Единого государственного экзамена как основание
для системы национального оценивания, как мы увидим, эти
попытки несостоятельны поскольку экзамен, от которого
зависит дальнейшая судьба абитуриента, в принципе не могут
служить целям национального оценивания (что, естественно,
не мешает проводить анализ этих результатов, и даже делать
некоторые выводы). Такому игнорированию этой проблемы
есть свои причины …»
К.П. Поливанова «Национальные и международные программы
оценки качества образования» . Учебное пособие. М., 2011
Рособрнадзор начинает национальные исследования
качества образования
или
НИКО – это не ЕГЭ
• «НИКО – это не ЕГЭ!
НИКО – это наш ответ
международным
исследованиям вроде
TIMSS, PIRLS, PISA и
предполагает
выборочную проверку
знаний по
определенному
предмету. Разумеется,
это проект со своими
особенностями».
http://www.eduniko.ru/
Лучшие школы России.
500 лучших образовательных организаций,
продемонстрировавших высокие образовательные
результаты в 2013–2014 учебном году
• 1ГБОУ Лицей №1535 (г. Москва)
• 2Специализированный учебно-научный центр (факультет) - школаинтернат им. А.Н. Колмогорова МГУ им. М.В.Ломоносова (г. Москва)
• 3ГБОУ «Президентский физико-математический лицей №239» (г.
Санкт-Петербург)
• 4Специализированный учебно-научный центр НГУ (г. Новосибирск)
• 5 ГБОУ Центр образования №57 (г. Москва)
• 6 ГАОУ ВПО «Московский институт открытого образования» (СОШ
№179) (г. Москва)
• 7 ГБОУ «Московская гимназия на Юго-Западе №1543» (г. Москва)
• 8 Специализированный учебно-научный центр ФГАОУ ВПО «Уральский
федеральный университет имени первого Президента России Б.Н.
Ельцина» (г. Екатеринбург)
• 9ГБ НОУ «Республиканский лицей для одарённых детей» (г. Саранск)
• 10 ГБОУ Лицей №1580 при МГТУ имени Н.Э.Баумана (г. Москва)
Лучшие школы России.
Рейтинговая процедура
• 1 этап. Для включения в перечь необходимо наличие призера
(ов) олимпиад (региональных или всероссийских)
• 2 этап. Для каждой из таких школ формировались
рейтинговые баллы по итогам ЕГЭ 2014 года и по итогам
Всероссийской олимпиады школьников 2013-2014 учебного
года с учетом параметров «ЕГЭ» и «Олимпиада»
• 3 этап. Формировался упорядоченный список ОУ, по
убыванию суммарного рейтингового бала
• За каждого выпускника 2014 года, набравшего в сумме по
каким-либо трём общеобразовательным предметам ЕГЭ 2014
года не менее 220 баллов, начисляется 1 балл, а от 190 до 219
баллов начисляется 0,5 балла.
• Баллы по параметру «ЕГЭ» и баллы по параметру
«Олимпиады» складывались. Результат умножался на
коэффициент конкурсного набора (1,2 или 1).
Рейтинг школ Санкт-Петербурга по итогам ЕГЭ за 5 лет
• 1. 75.15 № 30, физико-математический лицей
• 2. 74.54 ФТШ, лицей «Физико-техническая школа» Академического
университета
• 3. 73.59 № 366, физико-математический лицей
• 4. 73.44 № 239, физико-математический лицей
• 5. 72.11 № 610, классическая гимназия
• 6. 70.59 Школа им. А. М. Горчакова (по итогам за 2 года)
• 7. 70.52 № 470, лицей
• 8. 69.17 № 116, гимназия
• 9. 68.77 № 64, лицей
• 10. 68.41 Академическая гимназия СПбГУ
• 11. 67.99 № 628, Александринская гимназия (по итогам за 4 года)
• 12. 67.92 № 526, гимназия
• 13. 67.83 № 261, гимназия
• 14. 67.81 Аничков лицей (по итогам за 4 года)
• 15. 67.41 № 292, школа с углубленным изучением математики
• 16. 67.17 № 631, гимназия глобального гуманитарного образования
• 17. 66.99 № 393, информационно-математический лицей
• 18. 66.53 № 248, гимназия с углубленным изучением английского языка
• 19. 66.40 № 73, Ломоносовская гимназия
• 20. 66.24 Вторая Санкт-Петербургская гимназия
Спасибо за внимание и терпение!