Влияние характеристик образовательной среды на результаты обучения в начальной школе (на основе SAM
реклама
Влияние характеристик образовательной среды на результаты обучения в начальной школе (на основе SAM - Student Achievement Monitoring) Карданова Е.Ю. НИУ ВШЭ 2013 Цели презентации • Рассказать про SAM • Представить психометрические характеристики тестовых заданий и тестов • Представить свидетельства валидности • Описать методику оценивания и шкалирования участников тестирования SAM • Проанализировать факторы, влияющие на результаты Цель SAM: оценивание предметных компетенций учащихся начальной школы по математике и русскому языку Отличительная черта SAM : модель оценивания основана на теории Л. Выготского и предполагает оценивание компетенций учащихся на трех базовых уровнях: формальном, рефлексивном и функциональном Особенности инструмента SAM: • SAM выполняет две функции: а) измерения учебной успешности и б) диагностики уровня освоения материала • Для каждого раздела учебного предмета разрабатываются задачи, соответствующие критериям трех уровней (формального, рефлексивного и функционального) • Каждый такой блок выполняет функцию детектора, определяющего качественный уровень усвоения соответствующего раздела учебной программы • Разработка блоков опирается на систему индикаторов (типологию задач), соответствующую обобщенным критериям уровней освоения способа действия Реализация теоретической модели SAM • • • • • • В рамках модели SAM разработаны тесты по двум предметам – математике и русскому языку – имеющие общую структуру Тесты рассчитаны на выпускников начальной школы и могут выполняться учащимися 4-го и 5-го классов. Тест включает основные разделы содержания, представленные в программах для начальной школы Структурной единицей теста является блок из трех заданий (1-го, 2-го и 3-го уровня), соответствующий одному разделу предметного содержания. Задачи предъявляются блоками. Используются задания открытой формы с кратким ответом, закрытой с выбором одного ответа из 4-5 предложенных, задания на установление соответствия, требующие построений и другие. Для оценивания заданий используется дихотомическая оценка: за правильный ответ ученик получает 1 балл, за неправильный ответ (или отсутствие ответа) – 0 баллов. Структура теста Проверка качества: апробационное тестирование • Цель – проверка функционирования заданий (анализ тестовых заданий) и всего теста в целом, исследование системообразующих свойств теста, оценивание его надежности и валидности Характеристики заданий в классической теории тестирования • Трудность задания (коэффициент решаемости): доля испытуемых, выполнивших задание верно (получивших 1 балл за выполнение задания для дихотомических заданий определяется) • Дискриминативность (дифференцирующая способность задания): способность задания различать испытуемых с различным уровнем подготовки. Связь между надежностью и валидностью Надежность – характеристика точности и устойчивости результатов оценки Валидность – характеристика пригодности оценочной информации для принятия правильных решений на ее основе Анализ данных апробации (весна 2012 г.) (КТТ, Математика, бланковая форма, более 5000 учащихся) Число испытуемых Средний первичный балл Стандартное отклонение Коэффициент асимметрии Коэффициент эксцесса Средний коэффициент решаемости Средний индекс дискриминативности Средний скор. коэф. точ.-бис. корреляции Показатель надежности (KR20) Стандартная ошибка измерения 1 вариант 2 вариант 3018 26 8.37 -0.21 -0.56 0.59 0.44 0.39 0.90 2.61 2941 27 8.55 -0.37 -0.36 0.61 0.46 0.39 0.91 2.61 • все задания имеют удовлетворительные показатели • коэффициенты решаемости заданий находятся в промежутке от 0,16 до 0,98 • 4 задания 1-го уровня обладают низкой дискриминативностью (это объясняется их легкостью - эти задания выполняют более 90% испытуемых). М-С-01-1-1 М-С-01-1-2 М-С-01-1-3 М-С-03-1-1 М-С-03-1-2 М-С-03-1-3 М-M-02-1-1 М-М-02-1-2 М-М-02-1-3 М-М-03-1-1 М-М-03-1-2 М-М-03-1-3 М-М-06-1-1 М-М-06-1-2 М-М-06-1-3 М-М-11-1-1 М-М-11-1-2 М-М-11-1-3 М-R-02-1-1 М-R-02-1-2 М-R-02-1-3 М-R-05-1-1 М-R-05-1-2 М-R-05-1-3 М-G-01-1-1 М-G-01-1-2 М-G-01-1-3 М-D-03-1-1 М-D-03-1-2 М-D-03-1-3 М-D-05-1-1 М-D-05-1-2 М-D-05-1-3 М-D-08-1-1 М-D-08-1-2 М-D-08-1-3 М-R-03-1-1 М-R-03-1-2 М-R-03-1-3 М-С-05-1-1 М-С-05-1-2 М-С-05-1-3 М-М-08-1-1 М-М-08-1-2 М-М-08-1-3 Иерархия заданий по уровню трудности (математика) 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Задания трех уровней, относящиеся к одному блоку, должны образовывать иерархию по трудности Коэффициенты решаемости тестовых заданий в зависимости от их уровня (математика) Уровень трудности Кол-во заданий Среднее значение Ст. отклон. Миним. значение Максим. значение Задания 1-го уровня Задания 2-го уровня 15 15 0,86 0,60 0,07 0,09 0,73 0,46 0,98 0,73 Задания 3-го уровня 15 0,30 0,09 0,16 0,45 Всего 45 0,59 0,25 0,16 0,98 Содержательная область Числа и вычисления Измерение величин Закономерности Зависимости Элементы геометрии Весь тест 1-й уровень 2-й уровень 3-й уровень 0,61 0,59 0,59 0,58 0,51 0,91 0,85 0,86 0,85 0,82 0,64 0,58 0,61 0,64 0,49 0,29 0,35 0,29 0,25 0,20 Совместное распределение коэффициентов решаемости и показателей дискриминативности (математика, вариант 1) Анализ дистракторов заданий закрытой формы с выбором ответа Задание М-М-03-1-2 Варианты ответов Распределение ответов испытуемых Коэффициент корреляции А Б* В Г 11% -0,22 66% 0,54 7% -0,29 6% -0,23 Задание L- F-2-02-1-2 Варианты ответов Распределение ответов испытуемых Коэффициент корреляции А Б В* Г 17% -0,09 8% -0,29 61% 0,25 12% 0,01 Анализ в современной теории тестирования IRT • тесты могут быть признаны существенно одномерными • тесты оптимальны по трудности и хорошо центрированы относительно контингента тестируемых • абсолютное большинство заданий демонстрируют хорошие психометрические показатели и хорошее согласие с используемой моделью измерения Таким образом, тесты SAM могут быть признаны качественными измерительными инструментами математической и языковой компетенций учащихся начальной школы. Карта переменных (математика, вариант 1) Характеристические кривые двух заданий Задание 2-го уровня, средней трудности Задание очень трудное, 3-го уровня (выполнили 19% участников тестирования) Выравнивание вариантов • Метод общих заданий • Процедура: отдельная калибровка с фиксацией общих параметров и отражением всех параметров на общей шкале Обоснование валидности SAM: основные направления • Валидность по содержанию, • Валидность конструкта • Критериальная валидность (текущая и прогностическая) Характеристика различных показателей валидности • показатель валидности по содержанию характеризует меру адекватности тестовых материалов проверяемой компетенции • показатель валидности конструкта устанавливает меру согласованности результатов тестирования с психологической моделью тестируемой способности • показатель критериальной валидности фиксирует меру согласованности результатов тестирования с известными объективными критериями Валидность конструкта • В модели SAM основным конструктом, подлежащим верификации, является трехуровневая таксономия освоения учебного содержания, вписанная в возрастной контекст. • Этот конструкт связан как минимум с двумя гипотетическими утверждениями, требующими проверки: 1) Задания трех уровней, относящиеся к одному блоку и отвечающие теоретически заданным критериям трех уровней, должны обнаруживать соответствующую иерархию по трудности. 2) В начальной школе предметный материал в норме может и должен усваиваться на втором (рефлексивном) уровне, т.е. на уровне понимания. Освоение этого материала на третьем (функциональном) уровне может и должно происходить в рамках основной школы. Проверка второй гипотезы • Исследование проводилось в 2011-2012 гг. • В 2011 г. тесты по математике и русскому языку были предложены учащимся 4-х возрастных групп – 4-х, 6-х, 8-х и 10-х классов (тестировались по две параллели в каждой школе). Через год, в 2012 г. те же тесты были предложены тем же учащимся, которые в тот момент были учащимися 5-х, 7-х, 9х и 11-х классов. Тестирование проходило весной, в конце учебного года • Выборка включала около 100 человек в каждой параллели Оценивание участников тестирования: ступени мастерства • Ниже первой ступени – не освоен даже первый: учащийся выполняет менее 50% заданий 1-го уровня • Первая ступень – освоен первый уровень: учащийся выполняет не менее 50% заданий 1-го уровня • Вторая ступень – освоен второй уровень: учащийся выполняет не менее 50% заданий 2-го уровня • Третья ступень – освоен третий уровень: учащийся выполняет не менее 50% заданий 3-го уровня Распределение участников тестирования по ступеням достижений в зависимости от класса (математика) 4 grade 16 5 grade 64 10 6 grade 18 60 7 30 55 38 Level 1 7 grade 4 44 53 Level 2 Level 3 8 grade 1 9 grade 29 2 10 grade 1 11 grade 1 0% 70 24 74 17 82 15 10% 84 20% 30% 40% 50% 60% 70% 80% 90% 100% Распределение участников тестирования по ступеням достижений в зависимости от класса (русский язык) Исследование прогностической валидности SAM • Исследование проводилось на базе данных апробации тестов SAM в одном из регионов РФ весной 2011 г. • Общий объем выборки составил 941 человек из 12 школ. • Тестирование проходило в конце 4-го класса, т.е. по окончании начальной школы. • Были собраны оценки по математике этих же учащихся в 5-м классе (т.е. через год после проведения тестирования). • Распределение участников тестирования по ступеням достижений (математика) Распределение оценок учащихся в зависимости от ступени достижений (математика) Распределение учащихся по ступеням достижений в зависимости от оценки (математика) Коэффициенты корреляции между тестовым баллом учащихся и их школьными оценками, а также между ступенью, к которой был отнесен учащийся, и его школьной оценкой соответственно равны 0,6 и 0,56. Оценивание участников тестирования • Нормативно-ориентированный подход позволяет сравнить результаты различных участников между собой, а также с ранее полученными результатами. С этой целью каждому участнику тестирования в результате математической обработки результатов присваивается интегральный тестовый балл. Тестовые баллы всех участников тестирования находятся на единой шкале, независимо от времени прохождения теста и конкретного набора выполненных заданий. • Критериально-ориентированный подход – обеспечивает возможность качественной оценки усвоения предметного содержания через указание ведущего типа ориентировки в решении задач. Для его реализации был разработан ступенчатый вариант шкалы достижений, основанный на интегральных баллах участников тестирования и пороговых значениях, делящих всех участников на группы, соответствующие различным качественным ступеням достижений . Разработка методики оценивания участников тестирования • Выбор модели для оценивания участников тестирования • Выбор базовой выборки для создания единой шкалы представления результатов тестирования • Создание единой шкалы для представления результатов тестирования • Установление пороговых оценок (benchmarks) и интерпретация отдельных уровней достижений • Выравнивание результатов последующих тестирований (нанесение всех результатов на созданную ранее единую шкалу) • Представление результатов тестирования Создание единой шкалы для представления результатов тестирования • Специальное исследование (объем выборки 939 учащихся) • Получение оценок мер испытуемых в логитах • Выбор подходящего линейного преобразования для перехода на 1000-балльную шкалу • Все результаты будущих тестирований будут преобразовываться на эту шкалу с помощью того же линейного преобразования Шкала математической компетенции Ступень 3 Ученик A 570 Задания 3-го уровня Ступень 2 Ученик B 500 Задания 2-го уровня Ступень1 Ученик C 430 Задания 1-го уровня Ниже 1-ой ступени Ученик D Ожидается, что ученик А выполнит, по крайней мере, 50% заданий 3-го уровня Ожидается, что ученик В выполнит, по крайней мере, 50% заданий 2-го уровня Ожидается, что ученик С выполнит, по крайней мере, 50% заданий 1-го уровня Ожидается, что ученик D не сможет выполнить даже 50% заданий 1-го уровня Интерпретация пороговых оценок Пороги: 430 (граница между 0 и 1 ступенями) 500 (граница между 1 и 2 ступенями) 570 (граница между 1 и 2 ступенями) Распределение участников апробации 2012г. по ступеням достижений (математика, около 5000 человек) • В настоящее время установлены следующие пороговые оценки для математики: переход со ступени 0 на ступень 1 – 430 баллов; со ступени 1 на ступень 2 – 500 баллов; со ступени 2 на ступень 3 – 570 баллов. Различная степень достижения ступеней • • • • Степень достижения ступени может быть различной: учащийся может только-только достигнуть ступени, «зацепиться» за нее, а может уже ее освоить, т.е. стоять на ней уверенно. Ступень считается достигнутой, если, по крайней мере, 50% заданий данного уровня выполнены правильно. Будем считать, что ступень не только достигнута, но и освоена, если правильно выполнены не менее 75% заданий данного уровня. Такая интерпретация результатов тестирования позволит выделить учащихся, уверенно стоящих на ступени и готовых к переходу на следующую ступень. Распределение участников тестирования по ступеням (математика) Ступень Всего Процент Степень человек освоения 1725 29 2974 50 1124 19 1 2 3 достиг освоил достиг освоил достиг освоил Всего человек 665 1060 1864 1110 760 364 Процент от общего 11 18 32 18 13 6 Процент от ступени 39 61 63 37 68 32 Первичный анализ данных тестирования - был проведен на базе данных апробации тестов SAM в одном из регионов РФ весной 2012 г. - были протестированы практически все учащиеся 4-го класса начальной школы данного региона: общий объем выборки составил 4406 человек по математике и 4385 по русскому языку. Распределение учащихся по ступеням достижений в зависимости от предмета Профиль образовательных результатов по математике для данной выборки учащихся (средние проценты решенных задач в зависимости от уровня). Нормы выполнения теста • Среднестатистическая групповая норма – средний по школам показатель выполнения теста и его стандартное отклонение Среднее значение Математика 517 Стандартное отклонение 34 Русский язык 499 36 • Социокультурная норма – средний показатель группы школ-лидеров Тестовый балл Математика 561 Русский язык 543 Сравнение показателей школ РУССКИЙ ЯЗЫК Descriptives тестовый балл МАТЕМАТИКА тестовый балл РУССКИЙ МАТЕМАТИКА социокультурная норма остальные школы социокультурная норма остальные школы 558 507 568 504 Std. Deviation Minimum Maximum Mean 29,8 491,5 639,1 31,1 429,1 584,0 20,7 543,0 639,1 27,0 429,1 542,3 549,9 483,3 541,2 486,2 Std. Deviation Minimum Maximum 16,6 532,6 606,1 30,3 338,0 531,8 25,9 480,0 606,1 33,8 338,0 576,7 Mean Распределение учащихся разных школ по ступеням достижений (математика) Некоторые результаты исследования : • Результат SAM статистически значимо зависит от типа населенного пункта: учащиеся городов и поселков выполняют тест лучше, чем учащиеся сельской местности • Результат SAM статистически значимо зависит от пола участника: девочки выполняют тест лучше, чем мальчики • Результат SAM статистически значимо зависит от типа учебного заведения: учащиеся гимназий выполняют тест лучше, чем учащиеся общеобразовательных школ Сравнение достижений учащихся различных классов одной школы • Русский язык (вверху) • Математика (справа) Исследование характеристик образовательной среды Выборка: Один регион РФ весна 2012 Учащиеся 4-го класса: Математика - 4406 Русский язык - 4385 Размер класса и образовательные результаты Распределение учащихся по ступеням (в %) 60 50 40 30 20 10 large classes small classes <11 students below 1 * 1 level 2 level 3 level** * Asymp. Sig. (2-tailed) <0.05 ** Asymp. Sig. (2-tailed) < 0.01 • Малые классы более однородны – больший процент учащихся на ступенях 1 и 2 • Большие классы имеют больший процент в крайних категориях Педагогические подходы к преподаванию Traditional Задания KR-20 надежность Среднее значение Станд. отклонение Конструктивисткий 22 0,82 1,54 1,075 Традиционный 16 0,69 -,23 ,667 Correlation -,204** is significant at the 0.05 (2tailed) Constructivist Педагогические подходы и образовательные результаты Pearson Correlation Test score Test score Below 1 level 2 level 3 level Russian language Mathematics 1 level ** Constructivist ,235 Traditional -,163 * ** ** ,256 -,117 -,226 -,110 ,006 * ,138 ** ,065 ,294 -,079 -,126 **. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed) • Конструктивистский подход ассоциируется с лучшими образовательными результатами • Традиционный подход имет отрицательную связь или не имеет связи с результатами Кластеризация классов Размер кластера 100 80 60 40 20 0 Ступени внутри кластеров 20 78 75 below 1 15 52 23 1 level 10 2 level 5 Small classes 1 2 3 level 3 Small classes Сравнение кластеров Кластер 3 2 1 Подход > Constructivist, < Traditional > Constructivist > Constructivist > Constructivist = Кластер 2 1 Малые классы 1 Малые классы = Малые классы *. The mean difference is significant at the 0.05 level 1 2 3 Благодарю за внимание! Карданова Елена Юрьевна: [email protected]
