Экспертиза образовательных программ и измерение

Экспертиза образовательных
программ и измерение
образовательных результатов:
опыт НИУ ВШЭ
С.Ю.Рощин
Рабочая группа АВРЭМ,
19.12.2012
Основные принципы оценки
образовательных программ
(рамка международного опыта)
• Сочетание самооценки (внутренняя экспертиза) и
внешней оценки (экспертиза, аккредитация)
• Сочетание институциональных целей (развитие
вуза) и программных целей (результаты отдельных
образовательных программ)
• Сочетание срезовых измерений результатов
обучения студентов с текущим (мониторинговым)
оцениванием
• Привлечение к процедурам оценки, экспертизы
всех заинтересованных сторон: преподавателей,
администраторов, студентов, работодателей,
общественные и профессиональные организации
Проблемы при внешней оценке
образовательных программ
(на примере НИУ ВШЭ, по сравнению с ведущими мировыми вузами)
• Сосредоточение внимания на качественных исследованиях,
направленных на поиск различных заинтересованных сторон,
изучение опыта других университетов, содержания учебных
программ, преподавания и обучения
• Внимание к оценке институциональных, организационноуправленческих аспектов и показателей образовательных
программ без акцента на результативность, эффективность
• Слабая степень вовлеченности профессорскопреподавательского состава, студентов в определение целей
ООП и оценку ее результатов
• Трудно измеримые, не всегда конкретно сформулированные
результаты образовательных программ
• Не очевидная внешнему наблюдателю связь учебных планов с
целями и задачами образовательных программ
Современные требования к оценке
образовательных программ
• Студентам, общественности, государству, органам
аккредитации, попечителям/учредителям должны быть
предоставлены доказательства качества
образовательных программ
• Смещение акцента на результативность программы,
удовлетворенность студентов и работодателей, и
подтверждение того, как студенты отвечают
заявленным/запланированным целям и задачам
программы
• Сопоставимость hard (однозначно измеримых,
независимых от измеряющего субъекта) и soft
(выражающих мнения, суждения, оценку) показателей
Основные цели оценки программ
в вузе
1) обеспечить открытость и прозрачность
оценки и улучшение университетских
программ;
2) продемонстрировать постоянное
совершенствование (с учетом развития науки
и образовательных инноваций), внедрение
новых подходов в учебные программы;
3) содействовать развитию единому пониманию
качества ОП путем создания единой стратегии
оценки качества образования для разных
образовательных программ
Условия для достижения целей
• Сотрудничество в создании видения,
целей, задач и показателей программы;
• Исследование новых способов понимания
успеваемости студентов;
• Сотрудничество в области способов
отчетности об успеваемости студентов;
• Создание информационной системы
продвижения моделей оценки программы
Связь оценки образовательной
программы и результатов ее освоения
Цели, задачи образовательной
программы
Заявленные результаты
освоения
Проблема измерения
результатов:
Что?
Как?
Чем?
Проблема описания
целей и результатов:
Внятно.
Четко.
Измеримо.
Освоенные студентами
результаты
Удовлетворенность
Описание образовательных
результатов
Описание результатов образования:
международный опыт
• Проект TUNING
Европейский опыт;
Высшее образование, сопоставимость по
уровням и по предметным областям
Участие работодателей, преподавателей,
студентов
Цикличность, регулярность
• Проект BEng
Американский и европейский опыт;
Бакалаврский уровень, инженерное
образование
Участие аккредитационных агентств, опыт по
оценке программ
Опыт НИУ ВШЭ
• Участие в международном проекте TUNING
(первая волна)
Что дало (результаты)
Интегрированная рамка описания
образовательного результата в
стандартах ВШЭ (ОС НИУ ВШЭ):
сочетание общероссийской (ФГОС)
и международной (TUNING)
Регулярные опросы работодателей
относительно востребованности
компетенций
Регламент и методика разработки
ОС НИУ ВШЭ с участием
работодателей
Описание образовательных
результатов
Структурный состав компетенций
ФГОС (2 части):
общенаучные и
профессиональные
TUNING (2 части с рубриками):
универсальные (системные,
инструментальные, социально-личностные);
профессиональные
Компетенции в ОС НИУ ВШЭ:
Системные (общие для всех направлений подготовки, по
уровням: бакалавр, магистр)
Профессиональные (инструментальные, социально-личностные)
+
содержательное наполнение части компетенций на уровне
«знать/демонстрировать понимание, уметь, владеть»
Универсальные компетенции по
версии TUNING -2011
Рейтинг 1-5 у всех групп респондентов
Способность применять знания на практике,
Способность определять, формулировать и решать
проблемы,
Знание и понимание предметной области и
профессии,
Нацеленность на достижение результата,
Способность
находить,
обрабатывать
и
анализировать
информацию
из
разных
источников,
Универсальные компетенции по
версии TUNING -2011
Рейтинг 25-30 по мнению всех респондентов
Понимание
и
уважение
разнообразия
и
мультикультурности общества,
Способность общаться на профессиональные темы
с неспециалистами в своей области,
Преданность идее охраны окружающей среды
Ответственное
отношение
к
вопросам
безопасности
Способность действовать в соответствии с
принципами социальной ответственности и
гражданского сознания,
Системные компетенции в образовательных
стандартах (ОС) НИУ ВШЭ
Бакалавр
Магистр
Способен учиться, приобретать новые знания, умения, в том Способен
совершенствовать
и
развивать
свой
числе в области, отличной от профессиональной
интеллектуальный и культурный уровень, строить траекторию
профессионального развития и карьеры
Способен применять профессиональные знания и умения Способен предлагать концепции*, модели, изобретать и
на практике.
апробировать способы и инструменты профессиональной
Способен выявлять научную сущность проблем в деятельности**
профессиональной области.
Способен решать проблемы в профессиональной Способен принимать управленческие решения, оценивать
деятельности на основе анализа и синтеза
их возможные последствия и нести за них ответственность
Способен оценивать потребность в ресурсах и планировать
их использование при решении задач в профессиональной
деятельности
Способен работать с информацией: находить, оценивать и Способен анализировать, верифицировать, оценивать
использовать информацию из различных источников, полноту
информации
в
ходе
профессиональной
необходимую для решения научных и профессиональных деятельности,
при
необходимости
восполнять
и
задач (в том числе на основе системного подхода)
синтезировать недостающую информацию и работать в
условиях неопределенности
Способен вести исследовательскую деятельность, включая Способен к самостоятельному освоению новых методов
анализ проблем, постановку целей и задач, выделение объекта исследования,
изменению
научного
и
научнои предмета исследования, выбор способа и методов производственного профиля своей деятельности
исследования, а также оценку его качества
Способен работать в команде
Способен грамотно строить коммуникацию, исходя из целей и
ситуации общения
Способен
критически
оценивать
и
переосмыслять
накопленный опыт (собственный и чужой), рефлексировать
профессиональную и социальную деятельность
Способен организовать многостороннюю (в том числе
межкультурную) коммуникацию и управлять ею
Способен рефлексировать (оценивать и перерабатывать)
освоенные научные методы* и способы деятельности**
Способен осуществлять производственную или прикладную Способен вести профессиональную, в том числе научнодеятельность в международной среде
исследовательскую деятельность в международной среде
Структура описания состава
компетенций
МОТИВАЦИОННАЯ И
ЦЕННОСТНАЯ
СОСТАВЛЯЮЩАЯ
СПОСОБЫ ДЕЯТЕЛЬНОСТИ
РЕСУРСНАЯ БАЗА
Личностные
характеристики,
ценности, в т.ч.
этические нормы в
профессии
Метапредметные умения,
«широкие» навыки,
самоорганизация,
универсальные инструменты
действия
Предметные
знания, учебные
умения,
практические
навыки
Что дает преподавателю
предложенная структура?
• Возможность соотнести компетенотсную
рамку описания образовательного результата
с ЗУН-парадигмой («знания-умения-навыки»)
• Возможность определить уровень
формирования компетенции в рамках
дисциплины и степень ответственности за
формирование конкретной компетенции
• Возможность по-новому посмотреть на
междисциплинарные связи
Форма компететностной карты, включенная в
программу учебной дисциплины
Код
Уровень
Формы и методы
Формы и
по
формиро
обучения,
методы
Компетенц
ФГО
вания
способствующие
оценки
ия
С/
Дескрипторы – основные
признаки освоения (показатели
достижения результата)
ОС
НИУ
формированию и сформированн
развитию
компетенции
РБ,
СД,
МЦ
[Глаголы-подсказки, даны по мере повышения
уровня
освоения:
дает
определение,
воспроизводит,
распознает,
использует,
демонстрирует,
владеет,
применяет,
представляет
связи,
интерпретирует оценивает]
обосновывает,
ости
Изменение внимания к описанию
образовательных результатов
По окончании изучения курса студент должен:
знать основные принципы работы социолога с
визуальной информацией
разбираться в методах построения
фотокомпозиции
освоить основные приемы работы с фотокамерой
и программой обработки изображения
уметь социологически анализировать фотографии
Выдержка из программы учебной
Дисциплины (весь раздел), 2010 г.
Мнения преподавателей:
«Я по-другому взглянула на структуру
курса…»
«…Я вижу, что я должна проверить, и
часто – как я могу это сделать…»
«Мне казалось, что задания
итогового экзамена проверяют все,
что я заложила в курс; оказывается,
есть явные тематические перекосы и
перекос в сторону проверки только
знаний…»
Выдержка из программы учебной
дисциплины 2012 г.
(часть раздела), тот же автор
Что дает студенту предложенная
структура?
• Прозрачность в описании запланированных
результатов
• Уточнение ожиданий от освоения
конкретной дисциплины
• Дополнительные критерии для выбора
дисциплин-элективов и факультативов
• Отчасти: дополнительные критерии в
оценке личных результатов по итогам
освоения дисциплины
Ближайшие планы
• Доработка паспортов компетенций
(возможность увидеть, в каких элементах
образовательной программы формируются
конкретные составляющие одной
компетенции, разные образовательные
результаты)
• Доработка классификатора компетенций
(возможность увидеть, в каких разных
образовательных программах формируются
общие элементы компетенций, сходные
образовательные результаты)
Проблемы в описании
образовательных результатов
Достичь общего желаемого уровня описания
образовательных результатов для
большинства российских вузов НЕ УДАСТСЯ,
пока:
• Описание компетенций во ФГОС -3 имеет
современные недостатки (разноуровневость,
несопоставимость, декларативность)
• Не проработаны общие методические основы
компетентностного подхода
• Не разделены «образовательные цели» и
«образовательные результаты»
Оценка образовательных
результатов
Оценка результатов образования:
международный опыт
• Проекты TIMSS, PEARLS, PISA
Базовые компетенции в общем образовании
• Проект AHELO
• Проект PIAAC
Образовательные результаты в высшем
образовании (особенно экономическом и
инженерном )
Базовые компетенции взрослых
Оценка результатов образования:
международный опыт
Общие черты проектов:
• Комплексная, междисциплинарная оценка
результатов
• Срезовый характер проверки
(определенный уровень образования,
поколение)
• Контекстное описание результатов
• Межстрановая сопоставимость, инструмент
оценки систем образования
Оценка результатов образования:
мировой опыт
• Австралия: проект AAGLO (Assessing and Assuring
Graduate Learning Outcomes), 2011-2012
оценка результатов высшего образования через достижения в отдельных дисциплинах
(Академические стандарты обучения и преподавания): формулировка общих
руководящих принципов и стратегических решений, какая оценка нужна для
результатов выпускников
• США: проект GLOSSARI (Georgia Learning Outcomes of
Students Studying Abroad Research Initiative ), 2011-2012
оценка результатов высшего образования для студентов интернациональных программ
(с участием русских студентов в Университете Индианы)
• США: проект AAC@U’s VALUE ( Valid Assessment Learning
in Undergraduate Education), 2009
отбор и оценка результатов бакалаврского образования с точки зрения
междисциплинарных подходов; определение «метарубрик» для описания общих
образовательных результатов в отдельных дисциплинах (Ассоциация Американских
Колледжей и Университетов)
Оценка результатов образования:
мировой опыт
Уроки проектов
• Два направления проектного воздействия:
описание и/или отбор результатов (что оценивать?)
разработка подходов и методик (как оценивать?)
• Необходимость конкретного описания образовательных
результатов (learning outcomes) для блоков дисциплин и
отдельных дисциплин
• Разделение образовательных целей программы (компетенции
и квалификации будущих профессионалов) и образовательных
результатов (компетенции и их составляющие, которые
формируются образовательной программой)
• Междисциплинарные подходы сочетаются с вниманием к
конкретным дисциплинам
Опыт НИУ ВШЭ
• Участие в международном проекте AHELO
(координация)
Результаты?
Интернациональный характер
Сообщество вузов-участников
проекта, знакомых с методикой и
инструментарием, а также
опробовавших технологию
тестирования
(ЭКСПЕРТЫ)
результата (конкретных результатов
пока нет, только рейтинги студентов
по вузам)
Пример инструментария,
локализованного для странучастниц, на основании которого
можно разрабатывать свои
(ядро содержания образования,
пока знаниевый уровень)
Опыт НИУ ВШЭ
• Участие в международном проекте PIAAC
(страновой уровень)
Что дало (результаты)?
Структура базовых компетенций
(через аспекты оценки)
инструментарий и методология
измерения базовых компетенций
Пример инструментария,
локализованного для странучастниц, на основании которого
можно разрабатывать свой
Связь с описанием
образовательных результатов
Структура образовательного результата
(в рамках компетенции)
Формируется всей
Мотивационная и
ценностная
составляющая
СПОСОБЫ ДЕЯТЕЛЬНОСТИ
(метапредметные умения,
системные навыки,
саморганизация)
РЕСУРСНАЯ БАЗА
(предметные знания, учебные умения,
практические навыки)
ООП + средой вуза +
личным опытом вне
формального
образования
Формируется всей
ООП
Формируется в
рамках дисциплин
Оценка образовательных
результатов
Что и как оцениваем?
Мотивационная и
ценностная
составляющая
СПОСОБЫ ДЕЯТЕЛЬНОСТИ
(метапредметные умения,
системные навыки,
саморганизация)
РЕСУРСНАЯ БАЗА
(предметные знания, учебные умения,
практические навыки)
Не подлежит
индивидуальной
формализованной оценке,
срезовая
тестовая/мониторинговая
оценка
Междисциплинарные
экзамены, проекты, курсовые,
ИГА, профессиональная
сертификация
Контроль в рамках
дисциплин, тесты
«остаточных
знаний»
Подходы к способам оценивания
образовательных результатов
• Минимально допустимый уровень освоения
ООП? – единый бакалаврский экзамен
(определение ядра подготовки, сочетание
предметного и междисциплинарного
подходов, установление пороговых значений)
Минусы: «внутри» образования, не отражает побед, не настроен на
инновационные программы
• Компетенции? – адаптивное тестирование,
компететностные тесты, деятельностные
способы оценки (уровневая оценка,
погружение в деятельность или симуляция
деятельности)
Минусы: дороговизна, большие выборки национального или международного
масштаба
Что сделано в НИУ ВШЭ?
(промежуточные итоги)
• Определение дисциплин «ядра подготовки»
• Классификатор компетенций (позволяет сопоставлять
результаты в разных образовательных программах),
положен в основу разработки ОС НИУ ВШЭ
• Внутриуниверситетская система тестирования:
банк тестов и заданий, «привязанных» к заявленным
стандартами компетенциям,
компететностно-ориентированные задания (КОТЗ) и
обучающая форма к ним,
методики оценки социально-личностных компетенций и
мотивационно-ценностной составляющей компетенций,
методики оценки универсальных компетенций в рамках
профессиональных дисциплин
От оценки образовательных
результатов к оценке программ
• Необходимо единство в описании «ядерных»
образовательных результатов как элемента
образовательной программы (общие подходы
вузов + внешний взгляд на результат)
• Необходимы профессионально одобренные
измерительные материалы и процедуры для
оценки выбранных образовательных
результатов (условие: сертификационный
центр для самих материалов, для
разработчиков материалов – при АВРЭМ)
От оценки образовательных
результатов к оценке программ
Необходимо сочетание разных типов измерений:
• срезовые данные по освоению содержания «ядра
подготовки» (акцент на общем состоянии
подготовки);
• измерение компетенций выпускника на выходе
(акцент на индивидуальных достижениях, на
«приращении» компетенций);
• выяснение мнений выпускников относительно
отсроченных результатов (удовлетворенность
программой, что дало образование в
профессиональном смысле).