О проведении международных сравнительных исследований

Российская академия
образования
О проведении
международных
сравнительных
исследований TIMSS, PISA и
PIRLS в 2015 году
Совещание региональных координаторов
Москва, 30 марта - 1 апреля 2015 года
Международные сравнительные исследования качества
общего образования в России (1991 – 2015)
Международная Ассоциация
по оценке образовательных
достижений - IEA
TIMSS (1995, 1999, 2003,
2007, 2008, 2011, 2015 годы)
PIRLS (1991, 2001, 2006,
2011, 2016 годы)
ICCS (1999, 2000, 2008, 2016
годы)
TEDS (2008 год)
ICILS (2013, 2018 годы)
Организация
экономического
сотрудничества и
развития – OECD
PISA (2000, 2003,
2006, 2009, 2012, 2015
годы)
TALIS (2008, 2014
годы)
Краткая информация об исследованиях
Цели и задачи
•
•
•
•
Исследования TIMSS и PIRLS
TIMSS- Оценка качества
математического и
естественнонаучного образования
в начальной, основной и средней
школе
(4, 8 и 11 классы)
PIRLS - Оценка качества чтения и
понимания текста учащимися
начальной школы (4 класс)
Выявление динамики в
результатах (TIMSS: 1995, 1999,
2003, 2007, 2011, 2015; PIRLS:
2001, 2006, 2011, 2016)
Выявление факторов,
позволяющих объяснить различия
в результатах
Исследование PISA
Оценка функциональной
грамотности 15-летних
учащихся в области
математики, естествознания
и чтения
Оценка качества и
доступности образования
Выявление динамики
результатов (2000, 2003,
2006, 2009, 2012, 2015)
Выявление факторов,
позволяющих объяснить
различия в результатах
Модель системы образования IEA и OECD
Институционные
структуры
Планируемый
уровень
образования
Характеристика
школьного
окружения, школы,
учителя
Учебный процесс и
условия обучения в
школе и классе
Реализуемый
уровень
образования
Характеристика
ученика
Деятельность
ученика
Достигнутый
уровень
образования
Характеристика
системы
Система
Школа
или класс
Учащийся
Особенности проведения
исследования TIMSS в 2015 году
Реализация нового дополнительного направления
TIMSS-numeracy для учащихся 4 класса для стран
с низкими результатами (единая шкала по
математике для 4 класса)
Реализация третьего цикла исследования
образовательных достижений выпускников
средней школы, изучавших углубленные
(профильные) курсы математики и физики (1995,
2008, 2015)
Начало перевода исследования TIMSS на
компьютерную платформу
Страны, участвующие в TIMSS 2015 (4 и 8 классы)
Армения 4, 8
Австралия 4, 8
Бахрейн N, 4, 8
Бельгия (флам) 4
Ботсвана N, 9
Болгария 4
Канада 4, 8
Чили 4, 8
Тайвань 4, 8
Хорватия N, 4
Кипр 4
Чешская республика 4
Дания 4
Египет 8
Англия 4, 8
Финляндия 4
Франция 4
Грузия 4, 8
Германия 4
Гонконг 4, 8
Венгрия 4, 8
Иран 4, 8
Индонезия 4
Ирландия 4,8
Израиль 8
Италия 4, 8
Япония 4, 8
Иордания N, 8
Казахстан 4, 8
Южная Корея 4, 8
Кувейт N, 4, 8
Ливан 8
Литва 4, 8
Малайзия 8
Мальта 8
Марокко 4, 8
Нидерланды 4
Новая Зеландия 4, 8
Северная Ирландия 4
Норвегия 4/5, 8/9
Оман 4, 8
Польша 4
Португалия 4
Катар N, 4, 8
Российская Федерация 4, 8
Саудовская Аравия 4, 8
Сербия 4
Сингапур 4, 8
Словацкая Республика 4
Словения 4, 8
ЮАР, N, 9
Испания 4
Швеция 4, 8
Таиланд 8
Турция 4, 8
ОАЭ 4, 8
США 4, 8
Палестина N
4 класс: 48 страны
8 класс: 40 стран
Всего: 57 стран
Характеристика российской выборки
TIMSS-2015
Направление
регионы
образ.
орг-ции
классы
учащиеся
4 класс (отражает
генеральную
совокупность)
42
208
217
5132
8 класс (отражает
генеральную
совокупность)
42
204
221
5016
42
346
374
8000
42
193
200
3900
11 класс (профильная
математика - 20%
учащихся; углубленная
математика – 3%
учащихся)
11 класс (профильная
физика – 20%
учащихся)
Особенности тестов TIMSS (4 и 8 класс)
Номер
тетради
Часть 1
Часть 2
Тетрадь 1
M01
M02
S01
S02
Тетрадь 2
S02
S03
M02
M03
Тетрадь 3
M03
M04
S03
S04
Тетрадь 4
S04
S05
M04
M05
Тетрадь 5
M05
M06
S05
S06
Тетрадь 6
S06
S07
M06
M07
Тетрадь 7
M07
M08
S07
S08
Тетрадь 8
S08
S09
M08
M09
Тетрадь 9
M09
M10
S09
S10
Тетрадь 10
S10
S11
M10
M11
Тетрадь 11
M11
M12
S11
S12
Тетрадь 12
S12
S13
M12
M13
Тетрадь 13
M13
M14
S13
S14
Тетрадь 14
S14
S01
M14
M01
1. Включение заданий
по математике и
естествознанию в
каждый вариант теста
2. Наличие блоков из
нескольких циклов
3. Ротационная
модель
4. Учет эффекта
расположения
заданий в тесте
5. Единая шкала по
математике 4 класса
для 2-х тестов
Основные характеристики заданий
TIMSS
Проверяемый элемент содержания
Планируемый уровень познавательной
деятельности
Тип задания (с закрытым или открытым
ответом)
Содержание и виды
познавательной деятельности
TIMSS-2015 (4 класс)
Математическая часть
теста
–
Числа (50%)
–
Геометрические
фигуры и
измерения (35%)
–
Представление
данных (15%)
–
–
–
Знание (40%)
Применение (40%)
Рассуждение (20%)
Естественнонаучная
часть теста
–
Биология (45%)
–
Физика и
химия (35%)
–
География и
астрономия (20%)
–
–
–
Знание (40%)
Применение (40%)
Рассуждение (20%)
Особенности проведения
исследования PISA в 2015 году
Переход на компьютерный формат:
– лучше отражает реальную ситуацию получения и
использования информации учащимися
– позволяет расширить спектр оцениваемых умений
(проведение исследований, совместное решение
проблем)
– Позволяет повысить эффективность измерения
посредством введения адаптивного тестирования
• Сохранение основных направлений (математическая,
естественнонаучная, читательская и финансовая
грамотности); приоритетная область –
естественнонаучная грамотность
Особенности проведения
исследования PISA в 2015 году
Переход на компьютерный формат:
– изменение формата заданий из предыдущих циклов;
– отбор заданий со стабильными характеристиками;
– разработка заданий нового типа (интерактивных
заданий с симуляциями и заданий для совместного
решения проблем);
– определение модели перевода шкалы
Характеристика российской выборки
PISA-2015
–
42 региона
210 образовательных организаций общего и
профессионального образования (200 –
основного и среднего образования; 10 –
начального и среднего профессионального
образования)
6300 учащихся 15-летнего возраста (87% учащиеся 7-9 классов, 10% - учащиеся 1011 классов, 3% - учащиеся из организаций
профессионального образования)
Дизайн компьютерного варианта теста
PISA
Первый час Второй час
P=0.33
P=0.33
6300
150 школ
42
учащихся
66 вариантов
P=0.04
12 вариантов
ЕСТ
ЧТ
12 вариантов
ЕСТ, МАТ
12 вариантов
ЕСТ, ЧТ, МАТ
P=0.04
12 вариантов
ЕСТ, МАТ,
CPП
P=0.04
12 вариантов
ЕСТ, ЧТ, СРП
P=0.22
6 вариантов
ЕСТ, СРП
S
S
S
S
S
S
R1
R2
R3
R4
R5
R6ab
S
S
S
S
S
S
M1
M2
M3
M4
M5
M6ab
S
S
S
S
S
S
R1
M2
R3
M4
R5
M6ab
S
S
S
S
S
S
M1
C3
M3
C1
M5
C2
S
S
S
S
S
S
C2
R2
C1
R4
C3
R6ab
S
S
S
S
S
S
S
S
S
R3
R4
R5
R6ab
R1
R2
S
S
S
S
S
S
M3
M4
M5
M6ab
M1
M2
S
S
S
S
S
S
M1
R2
M3
R4
M5
R6ab
S
S
S
S
S
S
C2
M2
C1
M4
C3
M6ab
S
S
S
S
S
S
R1
C3
R3
C1
R5
C2
S
S
S
R1
R2
R3
R4
R5
R6ab
S
S
S
S
S
S
M1
M2
M3
M4
M5
M6ab
S
S
S
S
S
S
M1
R2
M3
R4
M5
R6ab
S
S
S
S
S
S
C1
M2
C3
M4
C2
M6ab
S
S
S
S
S
S
R1
C2
R3
C3
R5
C1
S
S
S
S
S
S
C1
C2
C3
C2
C1
S
R2
R3
R4
R5
R6ab
R1
S
S
S
S
S
S
M2
M3
M4
M5
M6ab
M1
S
S
S
S
S
S
R1
M2
R3
M4
R5
M6ab
S
S
S
S
S
S
M1
C2
M3
C3
M5
C1
S
S
S
S
S
S
C1
R2
C3
R4
C2
R6ab
S
S
S
S
S
S
C2
C3
сайт:
www.centeroko.ru
S
сайт:
www.centeroko.ru
Общая структура теста PISA-2015
N=6300 учащихся
Область
Блок
Математика
6
Число учащихся на
задание/блок
777
Чтение
6
777
Естествознание/тренд
6
700
Естествознание/
новые
Совместное решение
проблем
6
1400
3
1092
Основные характеристики заданий PISA
Типы знаний (содержательное, процессуальное,
методологическое)
Компетенции (научное объяснение явлений, …)
Контекcт/ситуация (здоровье; природные
ресурсы; окружающая среда; опасности и риски;
новые знания в области науки и технологии)
/личная, местная/ национальная, глобальная
Когнитивный уровень (низкий, средний, высокий)
Тип задания (стандартное или интерактивное)
Форма задания (с закрытым или открытым
ответом)
Совместное решение проблем: основные
компетенции
•
•
Компетенции совместного взаимодействия:
Установление и поддержание общего понимания
проблемы
Принятие соответствующего действия для решения
проблемы
Организация деятельности группы
Компетенции решения проблем:
Изучение проблемы
Представление и формулирование проблемы
Планирование и выполнение действий
Мониторинг и рефлексия
Совместное решение проблем: матрица
компетенций
Совместное решение проблем: описание
задания
Совместное решение проблем: пример
задания
Особенности проведения
исследования PIRLS в 2015 году
Новое направление – чтение электронных
текстов (информационных текстов)
Введение дополнительной части
исследования для учащихся с низкими
результатами чтения – структурированный
текст с заданиями после отдельных частей
текста
Проведение апробационного исследования в
3-х регионах (Ленинградской, Курской и
Ярославской областях)
В помощь школам и учащимся
На сайте Центра оценки качества
образования Института стратегии развития
образования РАО www.centeroko.ru
размещены примеры заданий международных
исследований TIMSS и PISA, а также
инструктивно-методические материалы.
Для дополнительной информации
Исследования TIMSS, PIRLS, ICCS, ICILS
сайт Международной Ассоциации по Оценке Учебных
Достижений - IEA (International Association for the
Evaluation of Educational Achievement):
http://www.iea.nl/ http://timss.bc.edu/ :
http://pirls.bc.edu/
Исследования PISA, TALIS
сайт Организации Экономического Сотрудничества и
Развития - OECD (Organisation for Economic Cooperation and Development): www.oecd.org
Исследовательский институт IEA-ETS Research
Institute (IERI).
ссылка на сайт: http://www.ierinstitute.org
Спасибо за внимание!
Ковалева Галина Сергеевна, руководитель
Центра оценки качества образования
Института стратегии развития образования РАО
Тел./факс: (495)-621-76-36
e-mail: centeroko@mail.ru
сайт: www.centeroko.ru