Семинар «Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов» 28-29 ноября 2013 года, г. Москва Обработка результатов тестирования Тестирование компетентности в области использования информационно-коммуникационных (ИК) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка Автоматическая обработка результатов тестирования: сети Байеса 2 ОЦЕНКА ИЯ ИНТЕГРАЦ НИЕ ОПРЕДЕЛЕ СОЗДАНИЕ ПЕРЕДАЧА ИЕ ДОСТУП УПРАВЛЕН Процедура установки тестовых стандартов ПРОДВИНУТЫЙ В В В В В В В ВЫШЕ БАЗОВОГО В В В В В С С БАЗОВЫЙ С С С С С С С НИЖЕ БАЗОВОГО С С С С С Н Н РАЗВИВАЮЩИЙСЯ Н Н Н Н Н Н Н 3 Результаты тестирования школьников 4 О результатах психометрических исследований 5 Психометрические исследования • Исследование валидности текущей, очевидной) (конвергентной, дивергентной, • Корреляционный анализ • Факторный анализ • Анализ внутренней согласованности • Анализ параметров заданий • Анализ DIF (различного функционирования заданий) • Анализ функционирования сети Байеса (model criticism) Конвергентная, дивергентная и текущая валидность Коэффициент корреляции Спирмана Измерение Собственная оценка своих навыков Уверенность в собственных ИК-способностях 0.22 – 0.3 Частота обращения к навыкам ИКТ -0.08 – 0.12 Техническая грамотность 0.04 – 0.12 Самодостаточность Просил помощи (обратное кодирование) 0.05 – 0.22 Самостоятельно решал проблемы 0.06 – 0.25 Успеваемость Средняя оценка успеваемости в школе 0.32 – 0.48 Факторный анализ Эксплораторный и конфирматорный факторный анализ: ФА на уровне наблюдаемых переменных ФА на уровне заданий Факторная структура отражает контекст заданий Превалирует решение с одним фактором ИКТ-компетентность – сложный конструкт, части которого связаны между собой; Использование единого показателя ИКТкомпетентности оправдано. Надежность (внутренняя согласованность) 61-64 наблюдаемых переменных: • Альфа Кронбаха 0.72-0.95 • Метод расщепления с коррекцией 0.65-0.86 16 заданий: • Альфа Кронбаха 0.35-0.86 • Метод расщепления с коррекцией 0.38-0.86 [email protected] WWW.RTC-EDU.RU Дополнительные измерения, Белоруссия 2013 Измерение Количество вопросов Среднее Стандартное отклонение Альфа Кронбаха Собственная оценка своих навыков Уверенность в собственных ИКспособностях 23 88.7 18 0.96 Частота обращения к навыкам ИКТ 13 37.2 10.9 0.81 Техническая грамотность 12 19.7 6.3 0.89 Самодостаточность Просил помощи (обратное кодирование) 1 0.48 0.5 NA Самостоятельно решал проблемы 1 1.4 0.8 NA Успеваемость Средняя оценка [email protected] по предметам в школе 14 92.8 WWW.RTC-EDU.RU 18.8 0.96 Model criticism • • • • • • • Weaver’s surprise index Logarithmic and quadratic loss Spherical payoff Error rate Confusion matrix Calibration table Test sensitivity [email protected] WWW.RTC-EDU.RU Дальнейшее развитие инструмента • Переход к адаптивному тестированию • Администрирование с параллельным обучением сети [email protected] WWW.RTC-EDU.RU ОЦЕНКА ИЯ ИНТЕГРАЦ НИЕ ОПРЕДЕЛЕ СОЗДАНИЕ ПЕРЕДАЧА ИЕ ДОСТУП УПРАВЛЕН Процедура установки тестовых стандартов ПРОДВИНУТЫЙ В В В В В В В ВЫШЕ БАЗОВОГО В В В В В С С БАЗОВЫЙ С С С С С С С НИЖЕ БАЗОВОГО С С С С С Н Н РАЗВИВАЮЩИЙСЯ Н Н Н Н Н Н Н 17 Что думают школьники о тестировании ИК- компетентности Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87% 18 Семинар «Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов» 28-29 ноября 2013 года, г. Москва Спасибо за внимание !