Оценка результатов обучения подходы, средства, технологии

Оценка результатов обучения:
подходы, средства, технологии
Медведева Ирина Николаевна
Мартынюк Оксана Ивановна
18 апреля 2013 г.
Три основные задачи
• Формулировка результатов обучения.
• Выбор методов и технологий обучения,
обеспечивающих достижение установленных
результатов обучения.
• Оценка результатов обучения; проверка
того, в какой степени они совпадают с тем,
что было запланировано.
Разработка средств оценки
• Требование измеримости в отношении
компетенций как предмета контроля результатов
обучения составляет на сегодняшний день
главную трудность, как в теоретическом, так и в
практическом плане, так как общепризнанные
методы измерения компетенций в системе
образования на сегодня отсутствуют.
• Необходимы комплексные измерители,
требующие включения различных оценочных
средств
Особенности
•
•
•
•
•
•
Надпредметность;
Междисциплинарность;
Многомерность, многофакторность;
Проявляются в деятельности;
Латентность;
Связанность с уровнем способностей
обучаемых;
• Отсроченность характера проявления
компетенций;
Требования к компетентностноориентированным оценочным средствам
•
•
•
•
•
•
Содержательная интеграция.
Проблемность
Многовариантность.
Использование знаний из соответствующей
предметной области.
Деятельностная ориентация.
Практикосообразность.
• …
Инновационные измерители
•
•
•
•
Компетентностные тесты
Кейсы
Анкетирование, интервью, опросники
Рейтинговая модель, определяющая степень
продвижения обучающегося по лестнице успеха в
однотипной среде
• Портфолио
• Мониторинговая модель, предусматривающая
создание «портфолио» достижений
• Метод ассессмент-центра
№
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Методы оценки компетенций
Интервью (стандартные)
Рекомендации
Неструктурированное интервью
Биография (анализ резюме)
Тесты личностные
Тесты-опросники (профессиональные)
Личностные опросники
Интервью (поведенческие)
Тесты способностей
Ситуационные тесты
Тесты учебных достижений
Кейс-методики
Структурированное интервью
Ассессмент-центр, центры оценивания
надежность
0,05–0,19
0,13–0,23
0,15
0,38
0,38
0,39
0,42
0,48–0,61
0,54
0,54
0,55-0,60
0,62
0,63
0,65–0,68
Фонд оценочных средств
• Комплекты оценочных средств и технологий
• Критерии оценки соответствия требованиям ФГОС
• Методические материалы, инструкции
•Методические
материалы и
инструкции
•ФОС –
•фонды
•оценочных
•средств
•Критерии оценки
соответствия
(несоответствия)
•ответа
требованиям
•ФГОС и ООП ВПО
•Оценочные
•средства и
технологии
•Результаты
•Портфолио
•Документация системы
качества образовательного
учреждения (СК ОУ)
•СОРО
•Концепция ФОС ОУ
•Положение о ФОС ОУ
•Положение о системе
оценивания
•Методические указания по формированию комплекта оценочных
средств образовательной программы (КОС ОП)
•Регламенты
•формирования
•КОС ОП и ФОС ОУ
•использования КОС ОП
•хранения и
безопасности ФОС ОУ
•сбора и обработки результатов
использования КОС ОП
•принятия управленческих
решений и корректирующих
воздействий
•итераций КОС ОП
•Модели оценочных средств
•Фонд оценочных средств образовательного учреждения (ФОС ОУ)
•ФОС
•ОП 1
•ФОС
•ФОС
•ФОС
•ФОС
•ОП 2
•ОП 3
•ОП 3
•ОП
•Совокупность образовательных программ ОУ N
Мониторинг качества подготовки
•
•
•
Структура организации мониторинга
Входной этап.
Промежуточные этапы.
Заключительный этап (ИГА).
Фонд оценочных средств
Методическое сопровождение
мониторинга
Промежуточная аттестация.
• Первый этап - сформированность общекультурных
компетенций
• Второй этап - сформированность
общепрофессиональных компетенций и некоторых
профессиональных компетенций.
• Третий этап – сформированность профессиональных
компетенций, обусловленных профилем.
• Четвертый этап - сформированность
профессиональных компетенций в определенной
области
( по видам деятельности)
Презентация уровня освоения компетенций студентом
первого курса
Портфолио
• Целевая подборка работ студента, раскрывающая
его поэтапные успехи и достижения по освоению
ООП
• Содержит лучшие работы студента, которые
оцениваются на основе четко определенных
критериев выставления баллов независимыми
экспертами(преподавателями, работодателями,
сокурсниками и т.д.)
• Сопровождается свидетельствами
самостоятельной работы обучаемого
On-line портфолио
Структура
Форма
Часть общего
сайта курса
Материалы
подтверждающие
достижения
Материалы,
представляющие
собственное
видение студента
Собственная
Веб-страничка
Результаты
осмысления
самостоятельной
работы
Отчет
о результатах
выполнения
завершающего
проекта
Итоговая государственная аттестация
• Комплексный тест ( знаниевая
составляющая)
• Квалификационные задания
( проверяется способность решать модельные
профессиональные задачи, проявляя при этом
общекультурные и профессиональные компетенции,
сформированные в процессе обучения)
• Портфолио
• Выпускная квалификационная работа
Объекты оценки, типы аттестаций и оценочных
средств
Объекты оценки
Тип аттестации
Формы заданий
Квалификация
Государственная итоговая
аттестация
Независимое оценивание
Выпускная квалификационная
работа
Вид профессиональной
деятельности
(часть квалификации)
Профессиональные и
общие компетенции
Промежуточная аттестация
Комплексный
(междисциплинарный?)
экзамен
Независимое оценивание
Практическое задание
Проект
Портфолио
Практический опыт
Умения
Промежуточная аттестация по
практике
Независимое оценивание
Практическое задание,
направленное на решение
локальной проф.задачи
и/или портфолио
Умения
Промежуточная аттестация
Экзамен (зачет) по дисциплине
Независимое оценивание
Практическое задание,
предполагающее решение
типовых учебных,
учебно-профессиональных
задач
Знания
Промежуточная аттестация
Экзамен (зачет) по дисциплине
Независимое оценивание
Теоретическое задание
на воспроизведение,
понимание, анализ информации
Способен ли студент
• распознавать проблемы, возникающие в практических,
жизненных ситуациях, которые могут быть решены
средствами предмета.
• Использовать знания предмета в условиях
неопределенности, когда проблема, которую
необходимо решить, не задана явно.
• Проводить анализ предложенной ситуации и принимать
решение.
• Объединять информацию из различных источников,
одновременно учитывать значительное число
различных условий и ограничений.
• Интерпретировать полученные результаты с учетом
поставленной проблемы;
Оценка в рамках дисциплины.
1.
2.
3.
4.
5.
Умение аргументировать или опровергнуть
имеющееся высказывание;
Умение проанализировать условие задачи на
определенность (возможность получить
однозначный ответ) и корректность
(непротиворечивость условия);
Умение установить наличие или отсутствие
связей между данными высказываниями;
Умение проанализировать логическую структуру
высказывания;
Способность студента к рефлексии, то есть
способность отделить личное знание от незнания;
Компетентностно-ориентированное задание
Компетентностно-ориентированное задание это задание, которое требует
• использования знаний в условиях
неопределенности, за пределами учебной
ситуации,
• организует деятельность учащегося, а не
требует воспроизведения им информации
или отдельных действий
Болотов В.А.
Типы заданий
 задания с лишними данными;
 задания с противоречивыми
данными;
 задания, в которых недостаточно
данных для решения;
 многовариантные задания
Для ответов используются символы:
+
означает «да» ;
–
означает «нет»
0 означает
«не знаю»
в задании имеются лишние данные
(данных больше, чем надо)
для выполнения задания данных

недостаточно

?
!
в задании имеются противоречивые
данные
задание многовариантное
Ответ "не знаю" позитивен, поскольку демонстрирует
способность обучающегося к рефлексии и
позволяет работать в режиме, который не
провоцирует на угадывание ответа.
Последовательность ответов может быть такова:
++-0!
• Оценка: +1 балл за верный ответ,
• -1 балл за неверный,
• 0 баллов за ответ «не знаю».
Гистограмма плотности распределения результатов
педагогических измерений
100
Процент студентов
90
90
85
80
70
59
60
44
50
59
51
Ряд2
40
24
30
20
7
10
7
2
0
1
2
3
4
5
6
7
Номера заданий
8
9
10
Конструирование заданий
• Дан квадрат со стороной равной 5. Тогда его
площадь равна 25.
• Дан квадрат со стороной равной 5 и
диагональю, равной 5. Тогда его площадь
равна 25
• Дан квадрат со стороной, равной 5 и
диагональю, равной 5 2
Тогда его площадь равна 25
• Дан квадрат с вершинами, имеющими
координаты (7,5) и (4,-9).Тогда его площадь
равна 25.
Примеры заданий
• Стакан воды вылили в море. Через год стакан воды
зачерпнули из колодца. Оценить сколько в нем
молекул из первого стакана.
• Вы разработчик новой тары фирмы N. Убедите
изготовителей молочных продуктов, что им выгодны
пакеты для молока в форме правильного тетраэдра.
• После 7 стирок кусок хозяйственного мыла
уменьшился вдвое по длине, ширине и высоте. На
сколько стирок его еще хватит?
• Хозяйка купила на дачу коробок спичек . Оказалось,
что спички занимают половину объема коробка. На
сколько целых дней женщине хватит спичек, если в
день она расходует 9 спичек?
Работа в группах
Придумайте компетентностноориентированные задания :
 задания с лишними данными;
 задания с противоречивыми
данными;
 задания, в которых недостаточно
данных для решения;
 многовариантные задания;
 свой вариант
Благодарю за внимание!
Медведева Ирина Николаевна