Первые результаты международного исследования

ВЕБИНАР РТЦ ИнОбра НИУ ВШЭ
27 февраля 2015 года
Первые результаты международного исследования
первоклассников iPIPS: от стартовой диагностики к
измерению индивидуального прогресса обучения в
первом классе начальной школы
Карданова Елена Юрьевна, директор Центра мониторинга
качества образования Института образования НИУ ВШЭ
Якушкина Анна Анатольевна, заведующая кафедрой
начального образования ГАОУ ВПО МИОО
План презентации
•
•
•
•
•
•
•
•
•
•
•
Краткое описание исследования iPIPS
Структура iPIPS
Процедура диагностики
Адаптация инструмента iPIPS для применения в российских школах
Апробация iPIPS: измерение прогресса, первые результаты
Представление первых результатов исследования iPIPS в России
Исследование некогнитивного развития ребенка
Формы предоставляемой отчетности
Что iPIPS может дать школе?
Что iPIPS может дать региону?
Перспективы развития исследования iPIPS в России.
Цель проекта iPIPS
Cтартовая диагностика на входе
в систему образования
(выявление индивидуальных
особенностей ребенка) и
оценивание индивидуального
прогресса ребенка в течение
первого года обучения
фото
фото
фото
Высшая школа экономики, Москва, 2014
Что такое iPIPS?
• The International Performance Indicators in Primary Schools project
• Инструмент стартовой диагностики ребенка на входе в начальную школу и
измерения его индивидуального прогресса в течение 1-го года обучения
• Разрабатывается с 1994 г. Центром оценивания и мониторинга Университета Дарема
• Объект изучения – весь спектр навыков ребенка, как когнитивных, так и
некогнитивных
• Более 1 млн опрошенных детей за 19 лет
• Сопутствующие исследования: высокая надежность, высокая прогностическая
валидность
• Использование – Англия, Австралия, Шотландия, Гонконг, Новая Зелландия, ОАЭ
• Адаптация и пилоты - ЮАР, Германия, Нидерланды, США, Словения,
Россия
Достоинства iPIPS
•
•
•
•
•
•
Инструмент индивидуального оценивания
Разработан в соответствии с последними достижениями мировой тестологической
науки
фото
Стандартизированный инструмент с доказанными психометрическими свойствами и
валидностью, признанный в мире
Позволяет измерить индивидуальный прогресс ребенка в течение первого года
обучения
Создан в формате компьютерного адаптивного тестирования
фото
Позволяет максимально мягко и с большой точностью оценить каждого конкретного
ребенка
Уникальный инструмент, не имеющий аналогов в российской образовательной
системе
фото
Высшая школа экономики, Москва, 2014
Адаптивное тестирование
Адаптивные алгоритмы позволяют тесту подстраиваться под испытуемого,
меняя трудность в зависимости от полученных ответов
Преимущества адаптивного тестирования:
 ученики не тратят время и силы на задания,
не соответствующие их уровню подготовки
(слишком легкие для них или слишком
трудные)
 уменьшается влияние на результаты
дополнительных факторов (утомление,
беспокойство, неаккуратность)
 участники тестирования более
мотивированы и спокойны
Объект изучения
• Когнитивное развитие ребенка
(словарный запас, базовые навыки по чтению и математике,
фонологическая грамотность)
• Социальное и эмоциональное развитие ребенка
(адаптация к школе, личностное развитие, социальное
развитие)
• Физическое развитие ребенка
(мелкая и крупная моторика, рост и вес ребенка)
Контекстная информация
Анализ контекстной информации позволяет исследовать
связь прогресса с образовательной средой в школе и до
школы, с родительскими и учительскими характеристиками, с
социальным и психологическим развитием ребенка.
Комплексная диагностика ребенка:
структура iPIPS
• Набор заданий для детей
• Анкета для родителей
• Опросники для учителя:
 Анкета социального и
эмоционального развития
ребенка
 Анкета поведенческих
характеристик ребенка (только
весной)
 Анкета учителя
Структура буклета
 Письмо







Словарный запас
Идеи о чтении
Повторение слов
Рифмование слов
Буквы
Слова
Чтение короткой
истории
 Понимание текста
 Простой счет
 Простое сложение и
вычитание
 Цифры
 Логические задачи
 Задачи с символами
 Контекстные задачи
 Отношения
Примеры заданий
Процедура диагностики
Бланковая форма
 Буклет для ребенка
 Планшет с ПО для
интервьюера
(полуадаптивный
алгоритм)

Индивидуальная работа с каждым
ребенком

Время - 20-30 минут

Оценивание в игровой форме
Компьютерная форма
 Специальная
компьютерная программа
(адаптивный алгоритм)
Процедура диагностики:
сбор контекстной информации
• Опрос родителей (заполнение анкеты, 10 минут) фото
• Опрос учителей (заполнение электронных анкет)
– Анкета социального и эмоционального развития ребенка
(30-40 минут)
фото
– Анкета поведенческих характеристик ребенка (только
весной, 20 минут)
– Анкета учителя (10 минут)
фото
,
Использование iPIPS в России
• Инструмент международного сравнительного
исследования первоклассников
• Инструмент исследования в российских школах,
позволяющий провести комплексную диагностику
детей на входе в систему образования и измерить их
индивидуальный прогресс в конце первого года
обучения
Апробация iPIPS в России
•
•
•
•
Осень 2013 г. - весна 2014 г.
Регион: г. Великий Новгород и Новгородская область
фото
Объем выборки: 310 учеников первого класса (5% генеральной совокупности)
Метод формирования выборки: стратифицированный рандомизированный
отбор
Пол, %
Окт.
Апр.
Жен.
49
Муж.
51
фото
Окт.
Апр.
Тип школы, %
Окт.
Апр.
50
Нас. пункт,
%
Город
71.6
70.8
Гимназия
16.1
16.6
50
Село
28.4
29.2
С углублубленным изучением
предметов
Общеобразовательная
21.9
20.9
61.9
фото
62.5
Всего: 310 первоклассников
Высшая школа экономики, Москва, 2014
Измерение прогресса:
исследовательские вопросы
 В какой степени и каким образом раннее когнитивное развитие ребенка
связано с его дальнейшей успешностью в начальной школе?
 Каким образом некогнитивное развитие ребенка (личностное, социальное
развитие, а также его поведенческие характеристики) определяют успешность
ребенка в начальной школе?
 Какова связь социально-экономического статуса семьи с базовыми
когнитивными навыками ребенка и его прогрессом в течение первого года
обучения?
 Какова роль школьной образовательной среды в индивидуальном прогрессе
ребенка в начальной школе?
Средний балл по математике в группе
Связь прогресса и возраста детей:
первые результаты
2.00
1.50
1.00
0.50
0.00
Стартовая точка
-0.50
Конец 1 класса
-1.00
-1.50
-2.00
>7
7-7,5
7,5-8
Возраст детей
>8
2.00
1.50
1.00
.50
.00
-.50
-1.00
-1.50
-2.00
СОШ
УИОП
Тип школы
Гимназии
Средний балл по математике по типу
школы
Связь прогресса и типа школы:
первые результаты
Стартовая точка
Конец 1 класса
Измерение прогресса: первые результаты
• Дети в гимназиях и школах с УИОП более подготовлены, чем дети в обычных
школах. Прогресс по математике в специализированных школах также больше.
Однако регрессионный анализ показал:
• При учете СЭС семьи различия в результатах детей по типу школы перестают быть
значимыми.
• Реальный вклад в развитие и прогресс ребенка обычной школы может оказаться
ничуть не меньше, чем специализированной.
=
Связь когнитивного развития ребенка на входе
с дальнейшей успешностью в обучении
0.90
0.80
числа, 0.72
0.70
0.60
буквы, 0.45
0.50
0.40
сложение с
опорой, 0.45
0.30
больше /
меньше;
0.57
0.20
0.10
почерк, 0.30
счет, 0.20
0.00
Блоки заданий:
корреляция с баллом по математике в конце года
Первое широкомасштабное исследование:
2014-2015 гг.
1 этап исследования: стартовая диагностика



Октябрь 2014 г.
Регионы: Красноярск, Татарстан, Москва
Выборка: более 4000 человек
2 этап исследования: оценивание индивидуального прогресса


Апрель - май 2015 г.
Выборка - та же
Тип школы и подготовка детей
Связь подготовки детей и возраста
52
51
50
Математика
49
Чтение
48
Фон.грамотность
47
46
Менее 7
7 - 7,5
Более 7,5
Связь подготовки детей и
количества книг в доме
56
54
52
50
48
математика
46
чтение
44
42
0 - 25
26 - 100
100 - 500
количество книг в доме
более 500
Образование матери
Образование матери и подготовка детей
Образование матери: нет высшего
Образование матери: высшее
53
52
48
47
математика
чтение
Материальное положение семьи и
подготовка детей
Материальное положение семьи: малообеспеченные
Материальное положение семьи: обеспеченные
51
51
48
47
математика
чтение
Посещение детского сада и
подготовка детей
51
50
49
48
Балл по математике
47
Балл по чтению
46
45
Не ходил в Менее года
детский сад
1-2 года
3 года и
более
Восприятие детского сада родителями
100
90
80
70
60
50
40
30
20
10
0
86.4
86.1
Да
Нет
6.5
6.5
В целом, были ли вы довольны
Считаете ли вы, что в целом вашему
воспитателями в вашем детском саду, ребенку нравилось проводить время в
последнем по времени посещения?
детском саду?
Отношение учеников к школе
Отношение



Ходить в школу
Класс «А»
Класс «Б»
85%
60%
8%
20%
8%
20%
Что дает стартовая диагностика педагогу?
• Ориентировка относительно уровня знаний и умений новых учеников
школы
• Точка отсчета для выбора и дальнейшего развертывания стратегий
обучения
• Основание для планирования индивидуальной работы с отдельными
детьми.
Чем более деятельный интерес будет проявлен учителем к
результатам стартовой диагностики, тем более значимым может
оказаться прогресс каждого ребенка в конце учебного года.
Исследование некогнитивного развития
ребенка
 PSED – опросник личностного, социального, эмоционального развития
ребенка в рамках инструмента iPIPS
 11 шкал с подробными индикаторами, описывающими поведение
ребенка
 Заполняется учителем на каждого ребенка, участвующего в исследовании
 Время заполнения опросника для всех учеников – около 30 – 40 минут
 Проводится в электронной форме
 Заполняется дважды: в начале и в конце учебного года
Цели опросника PSED
 Оценить степень личностного, социального и эмоционального развития ребёнка на
входе в обучение;
 Задать стартовую точку для оценки прогресса в личностном, социальном и
эмоциональном развитии ребёнка за первый год обучения;
 Выявить детей, требующих особого внимания учителя;
 Показать проблемы и точки роста в различных областях личностного, социального и
эмоционального развития каждого ребёнка в классе.
 Дополнить информацию о когнитивном развитии ребёнка данными о его
личностном, социальном и эмоциональном развитии.
Высшая школа экономики, Москва, 2014
Шкалы PSED
Адаптация к
школе
- Привыкание: привыкание
ребёнка к новым условиям
- Независимость:
зависимость ребёнка от
взрослых и других детей
Личностное
развитие
- Уверенность
- Сосредоточенность под
руководством учителя
- Сосредоточенность в
самостоятельных занятиях
- Поведение: способность
контролировать своё
поведение
Социальное
развитие
- Взаимоотношения со
сверстникам
- Взаимоотношения со
взрослыми
- Правила
- Культурное развитие
 Учитель получает отчет, содержащий средние результаты по классу, а также индивидуальные результаты
каждого ученика.
 В результатах каждого ребенка особо выделяются области, на которые стоит обратить внимание в первую
очередь.
 Даются подробные рекомендации: как помочь ребёнку в развитии, на какие его сильные стороны можно
Высшая школа экономики, Москва, 2014
опереться.
Профили социального и эмоционального
развития ребенка
Высшая школа экономики, Москва, 2014
Кластеры личностного и социального
развития: первые результаты
5
4.5
4
3.5
3
2.5
2
Кластер 1
1.5
Кластер 2
1
Кластер 3
Кластер 4
По результатам анализа выделяется 4
группы детей:
1. С равномерно высоким уровнем
личностного и социального развития;
2. Ориентированные на соблюдение
правил;
3. С равномерно низким уровнем
личностного и социального развития;
4. С развитыми коммуникативными
навыками.
Ресурсы:
1. Для группы 2 – через создание понятной и предсказуемой среды;
2. Для группы 3 – через постепенное привыкание к новому;
3. Для группы 4 – через активное общение, как с другими детьми, так и
со взрослыми.
Формы предоставляемой отчетности
По результатам исследования предоставляются
отчеты:
 для региональных органов управления образованием
 для каждой школы и каждого класса, участвующих в
обследовании
Для органов управления
По результатам каждого цикла тестирования
 Подробные информативные аналитические отчеты:
 Общая оценка стартовой точки (и прогресса) первоклассников по региону
 Анализ результатов детей по отдельным блокам (вербальный,
математический, некогнитивный)
 Сравнение школ разного типа
 Анализ связи результатов тестирования и факторов семейной и
образовательной среды
 Отдельные виды анализа по запросу
 Качественно подготовленные и обработанные массивы данных
Для школы
Через 2 недели после тестирования школы получают отчет:
 с результатами сравнения средних показателей школы и других школ региона
 с результатами сравнения классов данной школы между собой
 с индивидуальными результатами когнитивного и некогнитивного оценивания
каждого ребенка
 с рекомендациями для более продуктивной работы с детьми
 в конце года - с детальной информацией о прогрессе детей
Учитель может использовать диагностику, чтобы глубже понять возможности и
потребности ребенка в начале года, а затем, получив независимую оценку
прогресса ребенка в конце года, увидеть реальный индивидуальный прогресс
каждого ученика.
iPIPS для учителя
• Объективные данные
• Небольшой промежуток
времени
• Помощь в определении
причин
•
Портрет класса – уровень знаний
и умений - степень различий в
подготовленности (дошкольный
опыт):
выбор стратегии
обучения
•
Индивидуальная работа с
конкретным ребёнком:
планирование
•
Что произошло за первый год
обучения? И при чём тут учитель?
Верно ли выбрана стратегия
обучения?
iPIPS для школы
• Объективные данные
• Небольшой промежуток
времени
• Помощь в определении
причин
• Портреты классов корректировка ООП: содержание
предшкольной подготовки,
преемственность, методическая
работа, коррекционная работа,
работа с родителями,
дополнительное образование,
повышение квалификации и пр.
• Результативность стратегий
обучения в разных классах
iPIPS для региональной системы
образования
• содержание предшкольной подготовки, ее адекватность и
актуальность
• обеспечение преемственности между уровнями дошкольного
и начального образования
• уточнение портрета современного первоклассника
• диагностика индивидуального развития современного
ребенка в течение первого года обучения
• возможность выстраивания и коррекции индивидуальной
траектории обучения ребенка в начальной школе
• методическое сопровождение учителя начальных классов по
сложным вопросам, направления повышения квалификации
Два способа использования iPIPS
Анализ функционирования системы
Индивидуальная диагностика
Участники
Репрезентативная выборка
на уровне муниципалитета/региона
(единица выборки – 1 класс)
Все дети
фото
школы/ муниципалитета/региона
Кто проводит
Внешние интервьюеры
Учителя, школьные психологи
Потребители
результатов
Органы управления образованием
Учителя, школьная администрация,
фото родители
Использование
результатов
Выявление трендов, факторов, влияющих на
прогресс детей; сравнение УМК, проверка
гипотез, повышение квалификации учителей
Построение индивидуальной
образовательной траектории ребенка,
измерение индивидуального прогресса,
выявление детей из групп
риска,
фото
корректировка образовательного процесса
Высшая школа экономики, Москва, 2014
Перспективы развития исследования iPIPS
в России
• Увеличение числа регионов и школ, участвующих
в исследовании iPIPS
• Проведение первого
этапа
международного
исследования iPIPS
Почему iPIPS?
• Компьютерное адаптивное
тестирование точно гибко современно
• Оценка индивидуального
прогресса объективно научно достоверно
• Комплексное обследование
ребенка когнитивное и некогнитивное развитие, моторика, контекст
Сайт проекта: ioe.hse.ru/ipips
Приглашаем к сотрудничеству!
Иванова Алина Евгеньевна
aeivanova@hse.ru
Карданова Елена Юрьевна
ekardanova@hse.ru
Центр мониторинга качества образования
Институт образования
НИУ Высшая школа экономики
http://ioe.hse.ru/monitoring/