Метод оценивания

Методы оценивания результатов
обучения и достижения целей
образовательной программы
Шиян Д.В.
Аккредитационный Центр АИОР
Одна из основных целей аккредитации
Гарантия качества образовательной программы
посредством ее непрерывного
совершенствования
Требование критериев АИОР
Наличие в вузе механизма оценивания с
документированными результатами и данными,
подтверждающими то, что результаты
оценивания были применены для дальнейшего
совершенствования программы
Механизм оценивания для
постоянного улучшения программы
Цели,
результаты
образовательной программы
Оценка
Оценивание
Измеримые
критерии
выполнения
Виды
деятельности
Оценивание результатов обучения
и достижения целей
образовательной программы
Оценивание – один или более процессов
определения, сбора, накопления и анализа
данных, используемых для оценки достижения
результатов, целей образовательной программы
Оценка - определение степени достижения
целей и результатов программы и определение
действий для совершенствования
образовательной программы
Основные вопросы оценивания
Что я хочу знать? Что должно быть
измерено?
 Какие данные должны быть для
этого собраны?
 Где лучшее место, чтобы найти эту
информацию?
 Как я буду собирать информацию?

Предмет оценивания (Что?)
- Знания, умения, навыки
- Отношение и ценности
- Поведение
Метод оценивания
Конечно, обдумывай «что»,
но еще больше обдумывай
«как»!
И. Гете
Классификация
методов оценивания
Количественные
Применяются, когда нужно получить
ответ на вопросы «кто?», «сколько?»
Основные методы: различные виды опросов
Качественные
Применяются, когда нужно получить
ответ на вопросы «как?» и «почему?»
Основные методы: фокус-группы,
глубинные интервью
Методы оценивания
Опрос
- анкетирование (письменный опрос)
- интервьюирование

фокус-группы

наблюдение поведения

архивные записи

портфолио студентов

экзамены

оценка успеваемости

моделирование

Письменные
опросы/анкетирование
Выяснение мнения респондента по
определенному кругу включенных
в анкету вопросов
Пример: выяснение мнение студентов о целях их
обучения, об их навыках, качествах программы/курса
Письменные опросы
Достоинства







Позволяет получить ответы на многие вопросы за достаточно
короткий промежуток времени
Позволяют охватить массовую аудиторию. Можно получить доступ
к людям, которых иначе сложно включить в исследование
(например, выпускники, родители, работодатели).
Результаты могут понять даже непрофессионалы;
Выгоды для«третьих» сторон:
- создается канал влияния для заинтересованных лиц (родители,
работодатели), который они сами могут ценить. Они могут
ответить на вопрос как программа служит их целям?
- группа заинтересованных лиц чувствует важность своего мнения
для ВУЗа.
Представляются другие взгляды, возможно, менее предвзятые,
чем мнение студентов или чиновников.
Высокий уровень стандартизации, легче обрабатывать результаты
Сбор информация о перспективах, которые студенты, выпускники,
видят, обучаясь университете, может привести к внесению
позитивных изменений в отношения с этими группами;
Письменные опросы
Недостатки





Зависимость результатов опроса от
формулировок вопросов анкеты
Зачастую опросы добровольные, а позиция
добровольцев может быть предубежденной
Низкий процент отзывов при рассылке
писем
Требуют тщательной организации, для
обработки результатов
Принуждение к заполнению анкеты может
не позволить респондентам выразить их
истинное мнение
Интервьюирование
Метод, предполагающий личное общение
с опрашиваемым, при котором исследователь
(или его полномочный представитель)
сам задает вопросы и фиксирует ответы
- Прямое («лицом к лицу»)
- Опосредованное (по телефону)
Интервьюируемые делятся своими ощущениями о целях
обучения, об их собственных навыках, отношении,
окачествах программы/курса.
Интервьюирование
Достоинства




Позволяет использовать индивидуальный подход
и задавать вопросы в зависимости от ответов
опрашиваемых
Наличие незамедлительной обратной связи
Можно охватить гораздо больше моментов, чем
во время письменных опросов
В случае, если участвуют третьи лица
(родители, работодатели), можно выяснить их
мнение относительно того как программа
удовлетворяют их запросам
Интервьюирование
Недостатки




Требует непосредственного контакта,
чего порой трудно достигнуть
Может пугать опрашиваемых, что
приведет к искажению результатов
опроса
Результаты опроса сильно зависят от
постановки вопроса, от манеры ведения
интервью
Занимает достаточно много времени,
при большом количестве опрашиваемых
Фокус-группа
Глубинная дискуссия, в которой группа
людей (8-12), обладающих общими
характеристиками, имеющими отношение к
предмету оценки или исследования обсуждает
какую-либо тему или проблему.
Дискуссией управляет обученный модератор.
Тщательный и систематический анализ дискуссий
предоставляет информацию, которая впоследствии будет
использоваться для проведения оценки и улучшения
желаемого результата
Фокус-группы
Достоинства








Фокус – группы быстрый и недорогой метод сбора данных
Полезен для сбора идей, новых взглядов и деталей для
улучшений в исследуемом вопросе.
Полезен для составления анкет
Может использоваться для получения глубинной
информации по вопросам, поставленным в анкетах
Помогает интерпретировать данные, полученные в
результате почтовых и телефонных опросов
Может использоваться в сочетании с количественными
методами для того, чтобы расширить понимание по
данному вопросу
Позволяет ведущему выяснить мнение участников по
спорным вопросам
Меньше затраты времени и усилий, по сравнению с
индивидуальным интервью
Фокус-группы
Недостатки






Необходимо специальное обучение ведущих
Ведущий контролирует ситуацию в меньшей степени,
чем на индивидуальных интервью
Разница в ответах среди групп может вызвать
некоторые трудности
Полученные данные сложно анализировать
Не подходит для распространения результатов на
генеральную совокупность.
Неконтролируемое влияние модератора (не может
пустить дискуссию на самотек, что может нарушить
свободное высказывание мнений)
Архивные записи
Биографические, академические и другие данные,
доступные в вузе и за его пределами.
Является быстрым, эффективным и выгодным методом,
если необходимые данные имеются в наличии и доступны.
Этот метод является стандартным компонентом
оценивания.
Архивные записи
Достоинства






Предполагается, что они доступны, поэтому требует
минимум усилий для сбора
Основаны на сборе данных о событиях, которые уже
произошли
Достоверные
Можно проследить динамику, подходят для панельных
(продольных) исследований
Могут быть очень полезны, если необходимые данные уже
существуют в необходимом формате
Являются ненавязчивым методом сбора данных, не
требующим дополнительных усилий и затраты времени со
стороны студентов и др.
Архивные записи
Недостатки






Поиск необходимых данных в желаемом формате, может
потребовать дополнительных усилий (особенно в больших
учебных заведениях)
Дополнительные затраты составление дополнительной
базы для компоновки данных
В целом, архивные данные не всегда то, что нужно
Можно сбиться на «поиски путей использования данных»,
вместо того чтобы оценивать соответствующие цели
Наличие и доступность данных препятствовать развитию
других, более совершенных методов или баз данных
Необходимость обеспечить конфиденциальность, когда
речь идет о личных данных
Портфолио студентов
Образцы многочисленных студенческих
работ, собранных в течение длительного
времени
Портфолио студентов
Достоинства





Могут быть использованы для просмотра обучения и
развития студента в продольном срезе (динамике)
Возможность оценить различные компоненты учебного
плана (например, письменные навыки, способность
анализировать)
Образцы из портфолио в большей степени, чем
результаты тестов отражают способности студентов.
Анализ и обзор данных, собранных в портфолио,
предоставляет прекрасную возможность для
обсуждений целей и задач учебного плана, обзора
результатов.
Экономия усилий и времени студентов, поскольку
отпадает необходимость дополнительных временных
затрат на «организацию оценивания»
Портфолио студентов
Недостатки


Отнимает много времени и усилий у
экспертов по оцениванию
Незаинтересованность ППС, т.к.
эксперт может обнаружить
неадекватность оценки
Аксиомы оценивания




Всегда есть более одного метода
оценивания для каждой цели
Ни один метод не может адекватно
оценить все разнообразие способностей
студента
Как правило, существует обратная
взаимосвязь между качеством метода и
его рациональностью
Важно провести предварительную
проверку, чтобы увидеть подходит ли
метод для данной программы.
Аксиомы оценивания




Невозможно использовать все методы
(время и ресурсы)
Необходимо установить приоритеты
использования методов
Нет идеального метода для измерения
всех целей/результатов
Необходимо использовать имеющиеся
в наличие ресурсы
Методы оценивания достижения
целей программы
Цель: Готовить выпускников, которые будут
способны работать в промышленности или
государственных организациях в качестве
администраторов баз данных, программистов или
продолжать обучение.
Индикатор достижения цели: в течение 6
месяцев 90 % выпускников найдут работу по
специальности либо продолжат обучение.
Методы оценивания:
 Опрос выпускников
 данные вузовских служб трудоустройства
Методы оценивания результатов
программы
Результат:
Студенты должны быть профессионалами по крайней мере
в одном языке программирования
Индикатор достидения результата:
Студенты должны уметь применять язык программирования
Методы оценивания



Оценка на занятиях
Внешние экзамены
Опрос работодателей
Спасибо за внимание !