Проведение международного исследования TIMSS

Проведение международного
исследования TIMSS-2015 в
образовательных учреждениях в
54 субъектах Российской
Федерации.
Совещание региональных координаторов
международных сравнительных исследований
качества общего образования
Москва,
30 марта-1 апреля 2015
Этапы проведения исследования
• Разработка инструментария исследования
• Подготовка к проведению апробационного
исследования
• Проведение апробационного исследования в 3-х
регионах России (Орловская, Тамбовская, Тверская
области)
• Анализ данных апробационного исследования и
корректировка инструментария исследования
• Подготовка к проведению основного исследования в
России
Этапы проведения исследования
(продолжение)
• Совещание региональных координаторов
• Подготовка к проведению в регионах, отправка
материалов в школы
• Проведение исследования
• Сбор материалов исследования
• Отправка материалов в национальный центр
Этапы проведения исследования
(продолжение)
• Подготовка к проведению проверки тетрадей с
тестами
• Проведение проверки и перепроверки тетрадей с
тестами
• Ввод информации об ответах учащихся на
вопросы анкет и результатов тестирования в
национальную базу данных
• Отправка национальной базы данных в
Международный центр
Этапы проведения исследования
(продолжение)
• Обработка результатов исследования в
Международном центре
• Анализ результатов исследования. Подготовка
Национального отчета о результатах
Сроки проведения исследования
в Регионах и передача
материалов в Национальный
центр
Сроки проведения:
 вторая - третья недели апреля
Передача материалов:
 Все материалы исследования должны
быть получены в Национальном центре не
позднее 30 мая 2015 года.
Материалы тестирования:
• Материалы для Регионального координатора:
Тестовые тетради – по 4 тетради для
каждой исследуемой параллели в TIMSS 4
класс и 8 класс.
Тестовые тетради – по 1 тетради по
физике (профильная школа).
Анкеты для учащихся, родителей,
учителей и администрации школ.
Руководства для проведения тестирования
Школьный
координатор
Сотрудник образовательного
учреждения, отобранного для
тестирования, основной задачей
которого является помощь
Национальному и Региональному
центрам в организации и проведении
исследования в школе
Обязанности Школьного
координатора
- подготовка информации об учащихся
и учителях школы (подготовка списков
классов и списков учащихся);
- проверка и хранение материалов,
полученных от Национального центра;
- подготовка к проведению
исследования в школе;
Обязанности Школьного
координатора
- контроль за качеством проведения
тестирования и анкетирования;
- сбор материалов исследования;
- отправка материалов в Региональный
или Национальный центр
Обязанности Школьного
координатора
Подготовка информации об учителях и
учащихся – составление списков:
– Список классов
Номер/название школы, адрес и телефон;
Номер/название классов параллели и
наполняемость каждого класса;
Ф.И.О. учителей (математика,
естествознание);
Статус класса, программа обучения
Пример заполнения Списка
классов (4 класс)
TIMSS 2015. Список 4 классов
Регион:
Название школы:
Адрес школы:
Телефон:
e-mail:

Класс

Число
учащихся
в классе
4А
18
4Б
19
Кировская область
МОУ «Старовятская СОШ»
123123, Вятский р-н, с. Старая Вятка, ул. Школьная, д. 1
2-12-85
[email protected]

Статус класса,
программа
обучения
общеобразовательный,
«Школа 2100»
общеобразовательный,
«Перспектива»

Предмет

Фамилия и
инициалы учителя
Математика
Завьялова М.В.
«Окружающий мир»
Завьялова М.В.
Математика
Терехова Н.И.
«Окружающий мир»
Петров С.А.
Пример заполнения Списка
классов (8 класс)
TIMSS 2015. Список 8 классов
Регион:
Название школы:
Адрес школы:
Телефон:
e-mail:

Класс
8А
8Б

Число
учащихся
в классе
Кировская область
МОУ «Старовятская СОШ»
123123, Вятский р-н, с. Старая Вятка, ул. Школьная, д. 1
2-12-85
[email protected]

Статус класса,
программа
обучения
22
общеобразовательный
23
предпрофильное
изучение
математики


Предмет
Фамилия и
инициалы учителя
Алгебра
Геометрия
Физика
Химия
Биология
География
Алгебра
Геометрия
Физика
Химия
Биология
География
Жукова Е.А.
Жукова Е.А.
Терентьев М.И.
Костина Т.М.
Чичерина А.Н.
Котов В.П.
Власова И.П.
Захаренко А.Л.
Терентьев М.И.
Костина Т.М.
Ершов И.В.
Котов В.П.
Пример заполнения Списка
классов (11 класс)
TIMSS 2015. 11 класс, физика (профильный уровень)
Список 11 классов (групп)
Регион:
Название школы:
Адрес школы:
Телефон:
e-mail:


Класс
Число
учащихся
в классе
(группе)
11а
22
11бв
15
Ф1
2
Кировская область
МОУ «Нововятская гимназия»
123123, Вятский р-н, г. Новая Вятка, ул. Гимназическая, д. 10
(4815)-16-23-42
[email protected]

Профиль (в
рамках которого
изучается
физика на
профильном
уровне)
Физикоматематический
Физикохимический
Физикоматематический



Число
уроков
физики
в
неделю
Предмет (на
профильном
уровне)
Фамилия и
инициалы
учителя
5
Физика
Задорина Н.А
5
Физика
Коновалов П.Г
6
Физика
Мережко Р.О.
Обязанности Школьного
координатора
Подготовка информации об учителях
и учащихся – составление списков:
– Список учащихся:
Фамилия и имя учащихся классов;
Дата рождения;
Пол;
Код исключения
Пример Списка учащихся (4 класс)
TIMSS 2015. Список учащихся 4 класса
Регион:
Район:
Город/пос./село:
Школа:
Класс:

№ по
журналу
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Кировская область
Вятский
с. Старая Вятка
МОУ «Старовятская СОШ»
4А

Фамилия, имя учащегося
Аристова Ольга
Банников Сергей
Буряк Евгений
Воронин Андрей
Демьяненко Светлана
Егорова Екатерина
Жмыхова Анастасия
Коновязов Владимир
Коляева Ольга
Левченко Алексей
Монина Любовь
Назаров Юрий
Огурцова Наталья
Пустовалов Илья
Рощина Дарья


Дата рождения
ДД
ММ
ГГГГ
17
06
25
12
04
02
29
14
07
16
29
26
15
23
04
11
02
03
03
11
11
03
06
04
05
02
04
07
08
11
2004
2004
2004
2004
2004
2005
2004
2004
2004
2004
2004
2004
2004
2004
2005
Пол
1
2
2
2
1
1
1
2
1
2
1
2
1
2
1

Причина
исключения
3
1
2
Материалы тестирования:
отправляемые в школы
• «закрытые» пакеты:
для школ, участвующих в тестировании TIMSS
учащихся 8 классов – желтые;
4 классов - синие
для школ, участвующих в тестировании TIMSS
учащихся 11 классов: по математике –
черные, по физике - фиолетовые
• пакет с анкетами для родителей
учащихся 4 классов
• «открытые» конверты
«Открытый» конверт содержит:
• Руководство по проведению тестирования
• Анкета для администрации школы
• Список учащихся
• Список учителей
• Анкета(-ы) для учителя(-ей)
Руководство по проведению
тестирования
Руководство по проведению тестирования
содержит всю необходимую информацию:
• О подготовке к тестированию и
анкетированию;
• О требованиях, предъявляемых к
тестированию и анкетированию;
• О процедуре проведения исследования
(Сценарий проведения тестирования);
• О подготовке материалов к отправке в
Национальный центр
Что делать с материалами
тестирования?
«Закрытый» пакет
откладывается до тестирования –
его можно вскрыть только за
1 час до начала проведения
исследования
С содержимым конверта
необходимо ознакомиться заранее.
Обязанности Проводящего
тестирование
– проверка и хранение материалов, полученных от
Регионального координатора;
– подготовка к проведению исследования;
– проведение тестирования и анкетирования;
– обеспечение стандартизированной процедуры
тестирования;
– документальное подтверждение того, что
исследование в школе проводилось в
соответствии с международными требованиями:
• Заполнение Списков учащихся
• Заполнение Протокола проведения тестирования
– сбор материалов исследования
Кто проводит тестирование?
Опытный учитель школы, не
преподающий в отобранном для
тестирования классе и
предварительно ознакомленный с
методикой проведения тестирования
ИЛИ
Школьный координатор
Обеспечение стандартизированной
процедуры тестирования:
– Обеспечение правильного распределения тестовых
материалов между учащимися
Важно!!!
- удостовериться в том, что учащиеся, сидящие
за одной партой, выполняют разные варианты
теста. (При необходимости нужно рассадить
учащихся.)
Обеспечение стандартизированной
процедуры тестирования:
– Обеспечение правильного распределения тестовых
материалов между учащимися
Важно!!!
- удостовериться в том, что каждый учащийся
получил свою тетрадь с предусмотренным
именно для него номером (на тетрадях имеются
наклейки с указанием фамилии ученика)
Обеспечение стандартизированной
процедуры тестирования:
• Тестирование должно проходить строго по
Сценарию, приведенному в Руководстве по
проведению тестирования
• Проводящий тестирование должен проследить за
тем, что дети правильно работают с тетрадью
• Проводящий тестирование должен следить за тем,
чтобы учащиеся работали только над первой или
второй частью теста (в 4 и 8 классах)
Обеспечение стандартизированной
процедуры тестирования:
• Во время тестирования можно отвечать на
вопросы только по процедуре тестирования, но не
по содержанию вопроса
• Проводящий тестирование должен следить за
правильным распределением времени и
правильно заполнять документы
Этапы тестирования
(4 класс)
1. Организационная часть: раздача тетрадей, чтение
инструкции и т.д.
10-15 мин
2. Выполнение первой части теста
36 мин
3. Перерыв
10-20 мин
4. Организационная часть: подготовка учащихся к
выполнению второй части теста
5 мин
5. Выполнение второй части теста
36 мин
6. Перерыв
10-20 мин
7. Организационная часть: раздача анкет, чтение
инструкции
10 мин
8. Заполнение анкет
30 мин
Всего:
147-167 мин
Этапы тестирования
(8 класс)
1. Организационная часть: раздача тетрадей, чтение
инструкции и т.д.
10-15 мин
2. Выполнение первой части теста
45 мин
3. Перерыв
10-20 мин
4. Организационная часть: подготовка учащихся к
выполнению второй части теста
5 мин
5. Выполнение второй части теста
45 мин
6. Перерыв
10-20 мин
7. Организационная часть: раздача анкет, чтение
инструкции
10 мин
8. Заполнение анкет
30 мин
Всего:
165-185 мин
Этапы тестирования
(11 класс)
1. Организационная часть: раздача тетрадей, чтение
инструкции и т.д.
10 мин
2. Выполнение теста
90 мин
3. Ответы на вопросы об использовании
калькулятора, расположенные в
конце тетради
5 мин
4. Перерыв
10-20 мин
5. Организационная часть: раздача анкет, чтение
инструкции
10 мин
6. Заполнение анкет
30 мин
Всего:
155-165 мин
Заполнение Списка
учащихся
Список учащихся полностью повторяет список
из классного журнала на момент отправки его в
Национальный центр.
В случае появления в классе нового учащегося
информация о нем вносится в конец Списка.
Для этих учащихся предусмотрены
дополнительные тетради и анкеты; на обложки
тетради и анкеты вносится информация об
учащемся
Пример заполнения Списка
учащихся
(информация о вновь прибывших
учащихся)
Рощина Дарья
Суриков Александр
Уфимцев Анатолий
Ханина Софья
Баранова Виктория
(А)
70010115
70010116
70010117
70010118
70010119
70010120
4 11 2005
30 3 2004
7 5 2004
15 9 2004
23 3 2004
1
2
2
1
1
3
4
2
5
6
7
R
R
Заполнение Списка
учащихся
Присутствие или отсутствие учащегося на
каждом из этапов исследования
(тестировании и анкетировании) отмечается
в списке учащихся:
«С» – означает, что учащийся присутствовал
и выполнял работу на данном этапе;
«А» – означает, что учащийся отсутствовал
и не выполнял работу на данном этапе;
«NА» – означает, что на момент проведения
тестирования учащийся не являлся
учеником данной школы
Пример Списка учащихся
TIMSS 2015 - Список учащихся - 4 класс
Страна:
Российская Федерация
[a]
Класс
7001
700101
4а
17
6
ММ
11
2



Статус участия
Основное
Дополнит.
тестирование тестирование
ГГГГ
2004
2004
1
2
2
3
С
С
С
С
A
С
С
Буряк Евгений
Воронин Андрей
Демьяненко Светлана
Егорова Екатерина
70010103
70010104
70010105
70010106
25
12
4
2
3
3
11
11
2004
2004
2004
2005
2
2
1
1
3
R
A
С
С
Жмыхова Анастасия
Коновязов Владимир
Коляева Ольга
Левченко Алексей
70010107
70010108
70010109
70010110
29
14
7
16
3
6
4
5
2004
2004
2004
2004
1
2
1
2
1
8
9
10 R
11
С
С
С
С
С
С
Монина Любовь
Назаров Юрий
Огурцова Наталья
70010111
70010112
70010113
29
26
15
2
4
7
2004
2004
2004
1
2
1
2
12
13
14 R
A
NA
A
NA
5
7
4
R
R
6
R
Статус участия
родителей в
анкетировании
ДД

Русский
Анкетирование
70010101
70010102

[e]
4
Анкетирование
ID
учащегося

[d]
ПаралЯзык
лель тестирования
Тестирование

Номер тетради
Аристова Ольга
Банников Сергей
ID класса
Дата рождения
Фамилия, имя
учащегося
[c]
ID школы
Исключение
СОШ"
Кировская область
[b]
Пол
МОУ "Старовятская

Регион:
Тестирование
Номер или
название школы:
R
R
С
С
R
R
R
R
R
R
С
С
R
N
Заполнение Протокола
проведения тестирования
В протоколе указывается:
• номер или название школы;
• класс;
• Ф.И.О. Школьного координатора;
• Ф.И.О. и статус лица, проводящего тестирование;
• Тип тестирования (основное или дополнительное) и дата
проведения;
• Время проведения каждого из этапов исследования;
• Комментарии к ходу тестирования (проблемы,
происшествия и т.п.)
Расчет коэффициента
участия
Коэффициент участия рассчитывается как
процент числа принявших участие в
основном тестировании от общего числа
допущенных к тестированию учащихся
класса (за исключением выбывших
(отмеченных «NA»))
Расчет коэффициента
участия
Пример:
В тестируемом классе 16 человек по списку;
2 учащихся отсутствовали на тестировании,
1 учащийся выбыл
Коэффициент участия = (16-3)/(16-1) х100=86,6%
Полученный процент участия менее 90%.
Это означает, что необходимо провести
дополнительное тестирование для
отсутствующих учащихся!
Проведение дополнительного
тестирования
• Если в основном тестировании приняло
участие менее 90% учащихся класса, то
в школе проводится дополнительное
тестирование
• В дополнительном тестировании
принимают участие лишь учащиеся,
включенные в список и не
участвовавшие в основном тестировании.
Заменять учащихся НЕЛЬЗЯ!
Проведение анкетирования
учащихся
Способ 1. Если учащиеся класса не очень
подготовлены к самостоятельному
заполнению анкет, то учитель вслух читает
им каждый вопрос и дает всем время
ответить на прочитанный вопрос, поясняя,
если что-то непонятно.
Проведение анкетирования
учащихся
Способ 2. Учащиеся читают вопросы и
отвечают на них самостоятельно. Если
возникают вопросы, то они разъясняются
учителем.
Проведение анкетирования
учащихся
Обязательное условие!
В конце анкетирования нужно просмотреть
анкеты – на все ли вопросы ответили учащиеся.
Проведение анкетирования
родителей
Проводится по схеме, которая наиболее
удобна для каждой школы.
• Раздать учащимся и собрать на следующий
день;
• Провести анкетирование в ходе родительского
собрания.
Участие родителей в анкетировании отмечается в
колонке (8) Списка учащихся:
«R» – анкета заполнена и получена;
«N» – анкета не заполнена или не возвращена.
Сбор и отправка
материалов
• После окончания тестирования и анкетирования
Проводящий тестирование должен вернуть
Школьному координатору ВСЕ тетради и анкеты
вместе со Списком учащихся и Протоколом
проведения тестирования
• Статус участия учащегося должен быть зафиксирован
в Списке учащихся
• Все пункты Протокола проведения тестирования
должны быть заполнены
• Форма расчета коэффициента участия в тестировании
должна быть заполнена.
Сбор и отправка материалов
При отправке пакета с материалами в
Национальный центр Школьный координатор
должен проверить наличие следующих
материалов:
Сбор и отправка материалов
• Заполненный Список учащихся;
• Тетради с тестами для каждого учащегося в классе;
• Заполненные анкеты для учащихся;
• Заполненная анкета для учителя;
• Заполненная анкета для администрации школы;
• Заполненные анкеты для родителей учащихся (4 класс);
• Заполненный Протокол проведения тестирования (два, если
было дополнительное тестирование);
• Заполненная Форма для расчета коэффициента участия в
тестировании;
• Незаполненные тетради и анкеты.
Убедительная просьба!
Просим Вас сообщить в
Национальный центр об отправке
материалов.
Мониторинг качества
Наблюдатель за качеством
проведения исследования:
• Прошел подготовку в Международном центре
исследования TIMSS
• Досконально знает все процедуры проведения
исследования
Мониторинг качества
Обязанности Наблюдателя за качеством
проведения исследования:
• Проверка тестовых материалов
• Проверка аудитории
• Контроль за проведением тестирования
• Интервью со Школьным координатором
• Проверка Протоколов проведения
тестирования
• Заполнение соответствующих форм
Функции наблюдателя
• «Наблюдает», а не «проводит»
• Проводит экспертизу всего комплекта
инструментария исследования (руководств,
тестовых тетрадей и анкет) на предмет их
соответствия английскому оригиналу
• Совместно с Национальным координатором
выбирает для посещения 15 школ,
участвующих в исследовании
• Посещает выбранные школы
Функции наблюдателя
• Передает в Международный центр
исследования TIMSS полный комплект
инструментария, использовавшегося в
исследовании
• Передает в Международный центр
исследования TIMSS отчеты о посещении
каждой школы
Спасибо!
Успехов в проведении!
Ковалёва Галина Сергеевна
Смирнова Елена Сергеевна
Центр ОКО ИСРО РАО
[email protected]
8 (495) 621-76-36