1. Методология методики оценки компетенций

Федеральный институт развития образования
Центр
профессионального образования
Методологическая основа, методики и
аналитический аппарат оценки
компетенций и уровня освоения
Пермяков Олег Евгеньевич, д.п.н., в.н.с.
Положения ФГОС
8.1. Оценка качества освоения основных профессиональных
образовательных программ должна включать текущий
контроль знаний, промежуточную и государственную
(итоговую) аттестацию обучающихся.
8.2. Конкретные формы и процедуры текущего контроля знаний,
промежуточной аттестации по каждой дисциплине и
профессиональному модулю разрабатываются
образовательным учреждением самостоятельно и доводятся до
сведения обучающихся в течение первых двух месяцев
от начала обучения.
8.4. Оценка качества подготовки обучающихся и выпускников
осуществляется в двух основных направлениях:
• оценка уровня освоения дисциплин;
• оценка компетенций обучающихся.
Для юношей предусматривается оценка результатов освоения
основ военной службы
Что такое компетенция?
Толковый словарь английского языка приводит
следующее определение: «competence – the ability to
do something in a satisfactory or effective way», что в
переводе на русский язык значит «способность
делать что-то на удовлетворительном или
эффективном уровне». В трактовке ФГОС НПО и СПО
и словаря-справочника ФИРО – «способность
применять знания, умения и практический опыт для
успешной трудовой деятельности».
Компетентность - наличие у человека компетенций
для успешного осуществления трудовой деятельности.
Виды компетенций
• Общая компетенция - способность успешно действовать
на основе практического опыта, умений и знаний при
решении задач, общих для многих видов
профессиональной деятельности.
• Профессиональная компетенция - способность успешно
действовать на основе умений, знаний и практического
опыта при выполнении задания, решении задачи
профессиональной деятельности
• Пример профессиональной компетенции из проекта
ФГОС СПО «Банковское дело» – Ведение расчетных
операций (речь идет о комплексе способностей и умений)
Схематическое представление
структуры компетенций
Абитуриент
Специалист
Формирование компетенций
Под предметной компетенцией понимается
комплекс способностей предметной
направленности, проявляемых обучающимся в
процессе обучения по предмету.
При обучении формирование
профессиональных компетенций происходит с
опорой на общие и предметные компетенции.
С другой стороны, по мере формирования и
закрепления профессионального опыта
происходит обновление и развитие общих
компетенций.
Формирование компетенций
• Процесс активного формирования компетенций начинается еще
в общеобразовательной школе, где формируются ключевые
(общие), общепредметные и предметные компетенции. На
этапе профильного обучения в старших (профильных) классах
закладываются основы профессиональных компетенций в виде
умственных и практических навыков, приходит осознанное
понимание их применения в определенных видах будущей
профессиональной деятельности.
• Активное формирование общих, предметных и
профессиональных компетенций продолжается в учреждениях
профессионального образования. В процессе перехода от
теоретических к практическим аспектам изучения предмета
будущей профессиональной деятельности, общепредметные
компетенции трансформируются в общие компетенции, а
предметные компетенции в свою очередь трансформируются в
профессиональные. В процессе накопления жизненного опыта
происходит развитие общих компетенций.
Структура социально-профессиональной
компетентности обучающегося
Что такое способность?
Согласно В.Д. Шадрикову Способности человека как
субъекта деятельности: это его свойства, определяющие
успешность и качественное своеобразие освоения и
реализации деятельности. Но это не любые свойства,
обеспечивающие успешность деятельности (таковыми может
выступать и система мотивов), а только те, что развились из
природных биологических способностей индивида (задатков)
под влиянием требований деятельности.
Знания и задатки выступают в роли средств
формирования умения и навыка. При этом в процессе
перерастания умения в навык происходит развитие
способностей субъекта деятельности, определяющих
формирование и системную взаимосвязанность
компетенций.
Структура социально-профессиональной
компетентности обучающегося
Задатки
Профессиональные
компетенции
Предметные
компетенции
Знания
Умения и навыки
Способности
Общие
компетенции
Схематическое представление иерархической
классификационной модели социально-профессиональной
компетентности обучающегося
Социально-профессиональная компетентность
Группа общих
компетенций
Группа предметных компетенций
…
…
Группа
профессиональных
компетенций
…
Группа предметных способностей
…
…
…
Группа
профессиональных
способностей
Группа общих
способностей
…
Группа ЗУН общего
характера
…
Группа ЗУН
предметного характера
…
Группа ЗУН
профессионального характера
Закономерности формирования способностей
100 %
Степень сформированности
способности
4 этап
3 этап
2 этап
1 этап
время
Закономерности формирования способностей
• 1 этап – восприятие, запоминание и
воспроизведение информации, актуализация и
агрегирование новой информации, а также знаний,
умений и навыков, полученных ранее.
• 2 этап – применение знаний в сходной ситуации, по
определённому образцу или известному алгоритму
действий, данному извне, формированием
репродуктивных ЗУН.
• 3 этап – формирование умений и навыков
применения знаний для разработки новых
алгоритмов действий в практическом плане с целью
создания значимых для субъекта деятельности
ценностей или получения новой информации
(формирование продуктивных ЗУН)
• 4 этап – формирование новых способностей
субъекта деятельности за счет интеграции ЗУН
Закономерности формирования способностей
Вид
деятельности
Репродуктивная
деятельность
Продуктивная
деятельность
Уровни усвоения знаний
(по В.П. Беспалько)
Этапы
формирования
способности
1 уровень – узнавание объектов, свойств, процессов
данной области явлений действительности (знаниязнакомства) при повторном восприятии ранее
усвоенной информации о них или действии с ними.
1 этап
2 уровень – репродуктивное действие (знания-копии)
путем самостоятельного воспроизведения и
применения информации о ранее усвоенной
ориентировочной основе для выполнения известного
действия
2 этап
3 уровень – деятельность по образцу на некотором
множестве объектов (знания-умения и навыки); в
этом случае испытуемым добывается субъективно
новая информация в процессе самостоятельного
построения или трансформации известной
ориентировочной основы для выполнения нового
действия
3 этап
4 уровень – «творческое действие», выполняемое на
любом множестве объектов путем самостоятельного
конструирования новой ориентировочной основы для
деятельности (знания-трансформации)
4 этап
Оценка знаний
• Оценить знания возможно по результатам
тестирования, когда в качестве инструментов
контроля выступают тесты, составленные с таким
расчетом, когда на единицу информации приходится
несколько тестовых заданий, выполнение которых
свидетельствует о том, что знания либо имеются,
либо не имеются.
• Подходят для этой задачи и другие формы контроля
в виде письменных экзаменов, устных опросов,
коллоквиумов, экзаменов, структурированного
наблюдения, защиты индивидуальных домашних
заданий, индивидуальных и коллективных проектов.
Оценка знаний
• Главным требованием к контрольным
материалам является достаточность набора
контрольных заданий для того, чтобы
однозначно оценить множество полученных
знаний по каждому элементу содержания
(содержательная валидность)
• Критерием оценки, позволяющим однозначно
оценить элемент знания, может быть только
дихотомическая оценка (знает – 1 или не знает - 0)
• Допустим, что в контексте требований ФГОС к
конкретных знаниям в программ УД определены
элементы содержания и по результатам контроля
получены следующие дихотомические оценки
Оценка знаний
Требования к
компоненте знаний
в рамках
отдельного
профессионального
модуля
Дихотомическая оценка (1 – знает/
0 – не знает)
Контрольно
е задание
(КЗ) 1
КЗ 2
КЗ 3
КЗ 4 КЗ 5
Оценка
элементов
знаний
(медиана)
В результате изучения обязательной части цикла обучающийся должен
знать:
Рыночные
механизмы спроса и
0
1
1
1
0
1
предложения….
Ресурсы и факторы
1
1
0
0
1
1
производства….
Роль экономических
0
0
1
1
1
1
потребностей….
Сущность и формы
1
1
1
1
1
1
монополий
Формы
1
0
1
1
1
1
собственности
Оценка умений
• В идеальном случае оценка сформированных
умений должна проводиться, после того как
получена информация, что обучающийся
имеет все необходимые знания.
• Оценка сформированных умений может
проводиться по выше описанному примеру с
оценкой знаний.
Оценка умений
•
В педагогической практике контроль знаний и умений часто совмещен
по причине недостаточности времени в рамках образовательного
процесса. В этом случае могут наблюдаться противоречивые ситуации,
когда по ответам обучающегося фиксируется недостаточность знаний,
а по результатам решения практических задач отмечается наличие
сформированных умений.
•
Такого рода ситуации должны тщательно анализироваться. Причины
могут быть самыми разнообразными от некачественных контрольных
заданий до банального «списывания», подсказок или нехватки
времени.
•
В случае применения гетерогенных тестов или иных комплексных
контрольных материалов должны быть получены однозначные
заключения (дихотомическая оценка) как по наличию сформированных
умений, так и по демонстрируемым знаниям, а также оценка уровня
подготовки по УД (ПМ) или логически обособленным ее разделам, или
темам в контексте требований ФГОС ПО и программ УД (ПМ).
Оценка способностей и компетенций
Дихотомические оценки компетенций по ВПД 1 Формирование
клиентской базы
Вид контроля и оценки / ОПОР
(таблица из раздела 5)
ПК 1
Осуществлять
поиск
потенциальных
клиентов
ПК 2 Устанавливать
деловые контакты с
клиентами
ПК 3 Выявлять и формировать
спрос со стороны клиентов на
банковские продукты и услуги
Коллективный проект / подбор
источников информации о
потенциальных клиентах
1
1
1
Индивидуальное ДЗ / анализ
информации о потенциальных
клиентах
1
1
0
Индивидуальный проект /
формирование базы
потенциальных клиентов
1
1
1
Реферат / владение методами
формирования деловых
контактов
1
1
0
Оценка на практическом
занятии / …..
1
0
0
Защита выполнения ЛР /…..
1
1
1
Доклад на конференции / …..
1
1
0
Участие в совещании / …..
1
1
0
Стендовый доклад /…..
1
1
1
Выполнение контрольного
задания на экзамене /……
0
0
1
Медиана
1
1
0,5
Значение энтропии
0,33
0,50
0,69
Энтропия
Энтропия рассматривается как мера неупорядоченности
взаимодействия способностей и ЗУН, элементов
составляющих компетенцию.
Для определения сформированности компетенции
используется формула информационной энтропии К.
Шеннона
H   pi ln( 1/ pi )
как меру их неупорядоченности для определения численных
значений энтропии, как характеристики степени разброса
оценок, где
– вероятность (частость) оценки.
i
p
Оценка способностей и компетенций
Значение
энтропии
Численное
значение
коэффициента
усвоения
(по В.П.
Беспалько)
Уровень
усвоения
(по В.П.
Беспалько)
Качественная оценка,
соответствующая
оценкам
в пятибалльной шкале по
В.П.
Беспалько
100
0
1,0
4
5
9/10
90
0,33
 0,9
4
5
8/10
80
0,5
 0,8
4
4
7/10
70
0,61
≥ 0,7
3
3
6/10
60
0,67
 0,7
3
2
Отношение
положительных
дихотомических оценок
к их общему
числу
Процент
результативности
10/10
Универсальная шкала оценки индивидуальных
образовательных достижений
Процент
результативности
(правильных
ответов)
Качественная оценка
балл
вербальный аналог
(отметка)
90 ÷ 100
5
отлично
80 ÷ 89
4
хорошо
70 ÷ 79
3
удовлетворительно
2
не
удовлетворительно
менее 70
Универсальная шкала оценки
индивидуальных образовательных
достижений – инвариантна, что позволяет
избежать разночтений между различными
качественными оценками уровня подготовки,
которое повсеместно встречается во всех
образовательных учреждениях.
Ее применение позволит сравнивать
результаты различных испытаний и получать
достоверную информацию об уровне
подготовки как в отдельном образовательном
учреждении, так и в целом по системе
образования Российской Федерации, в т.ч. на
разных ее уровнях и в различных видах
образования
Положения нового ФЗ « Об образовании в РФ»
Статья 13. Общие требования к реализации
образовательных программ
3. При реализации образовательных программ организацией,
осуществляющей образовательную деятельность, может
применяться кредитно-модульная система организации
образовательного процесса, основанная на блочно-модульном
принципе представления содержания образовательной
программы и построения учебных планов, использовании
системы зачетных единиц (кредитов) и соответствующих
образовательных технологий.
Зачетная единица (кредит) представляет собой
унифицированную единицу измерения трудоемкости учебной
нагрузки обучающегося, которая включает все виды его учебной
деятельности, предусмотренные в учебном плане, в том числе
аудиторную и самостоятельную работу, стажировки, практики.
Положения нового ФЗ « Об образовании в РФ»
Статья 27. Компетенция, права, обязанности и
ответственность образовательной организации
2. К компетенции образовательной организации в установленной
сфере деятельности относится:
10) осуществление текущего контроля успеваемости и
промежуточной аттестации обучающихся, установление их
форм, периодичности и порядка проведения;
11) индивидуальный учет результатов освоения обучающимися
образовательных программ, а также хранение в архивах данных
об этих результатах на бумажных и (или) электронных носителях
в порядке, утвержденном федеральным органом
исполнительной власти, осуществляющим функции по
выработке государственной политики и нормативно-правовому
регулированию в сфере образования;
13) обеспечение функционирования внутренней системы оценки
качества образования в образовательной организации;
Варианты оценки достижений
обучающихся по УД и ПМ
Результаты текущего контроля не учитываются при
промежуточной аттестации (зачет и экзамен) - зачет
как допуск на экзамен;
2. Результаты текущего контроля учитываются при
промежуточной аттестации:
- по результатам текущего контроля осуществляется
допуск на экзамен (частичная схема - по рейтингу
успеваемости допуск на экзамен)
- по результатам текущего контроля и промежуточной
аттестации выставляется интегральная оценка
(накопительная система: оценки текущего контроля +
оценка по экзамену по УД или экзамену по МДК +
оценка по практике).
1.
Интегральная оценка качества подготовки по УД
• В целях получения интегральной оценки
уровня подготовки в целом по учебной
дисциплине первичные количественные
оценки (в баллах), полученные по
результатам различных испытаний должны
быть переведены в их качественный аналог с
использованием универсальной шкалы
оценки индивидуальных образовательных
достижений.
• В итоге получается набор качественных
оценок по результатам различных видов
контроля.
Интегральная оценка качества подготовки
№
раздела
(темы)
Практиче- Лаборатор Рубежное
Выполне
ские
-ные
тестироМедиана
-ние ИДЗ
занятия
занятия
вание
1
4
3
3
3
3
2
3
4
3
3
3
3
3
4
4
4
4
4
4
4
5
4
4
5
5
5
5
4
5
Оценка за экзамен
4
Итоговая оценка уровня подготовки по учебной
дисциплине (медиана)
4
Интегральная оценка качества подготовки
Элементы
знаний и
умений
Практические занятия
Лабораторные занятия
Рубежное
тестирование
Выполнение ИДЗ
Процент
результативности
Оценка по
универсальной
шкале
1
2
3
1
2
3
1
2
3
1
2
З1
1
1
0
0
1
1
1
1
0
0
1
63,6
2
З2
1
0
1
1
1
1
0
1
1
1
1
81,8
4
З3
1
1
1
0
0
1
1
1
1
1
0
72,7
3
У1
0
0
1
1
1
1
1
1
1
1
1
81,8
4
У2
0
1
1
1
0
1
1
1
0
1
1
72,7
3
У3
1
0
1
1
1
0
1
1
1
1
1
81,8
4
Оценка за экзамен
4
Итоговая оценка уровня подготовки по учебной дисциплине (медиана)
4
Интегральная оценка качества подготовки
• Из-за того, что оценки качественные и часть из них выставлена
экспертами (преподавателями) использовать
среднеарифметическое для получения интегральных оценок по
освоенным разделам учебной дисциплины – некорректно. Для
этого лучше использовать медиану.
• Аналогично можно получить интегральную оценку качества
подготовки по профессиональной образовательной программе
исходя из качественных оценок уровня подготовки по УД и ПМ.
• При обработке результатов контроля с целью получения
итоговой оценки не должно учитываться соотношение
значимости между разделами (темами) учебной дисциплины и
различными видами контроля, поскольку оценки являются
качественными, следовательно, они отражают уровень
подготовки обучающегося по каждому разделу (теме) и в целом
по УД или ПМ.
Почему используется медиана
Постулат репрезентативной теории измерений - оценка
будет достоверной если, она получена на основе данных,
измеренных в шкале определенного типа.
Оценка не должна меняться при допустимом
преобразовании шкалы измерения этих данных (другими
словами, оценка должна быть инвариантна по отношению
к допустимым преобразованиям шкалы).
Поскольку в оценке компетенций (квалификаций)
применяются экспертные оценки в порядковой шкале, для
минимизации субъективизма и обеспечения
достоверности оценивания мы можем определять по
множеству экспертных оценок медиану (среднее по Коши в
порядковой шкале).
Почему используется медиана
Огюсте́н Луи́ Коши́ (1786-1857) великий французский математик ,
член Парижской академии наук,
Лондонского королевского
общества, Петербургской
академии наук и других академий
доказал, что в порядковой шкале
в качестве среднего используют
только члены вариационного
ряда (порядковые статистики), в
частности, медиана (при нечетном
объеме выборки; при четном же
объеме следует применять один
из двух центральных членов
вариационного ряда – как их
иногда называют, левую медиану
или правую медиану).
Некорректность использования весовых
коэффициентов
Некорректность использования весовых
коэффициентов совместно с качественными оценками
разных разделов учебной дисциплины можно пояснить
на примере.
Пусть первый раздел УД имеет весовой
коэффициент – 0,4 , а оценка по практическому
занятию 4 «хорошо». При умножении получаем
0,4х4=1,6.
Число 1,6 должно иметь логический смысл,
отражающий функциональную нагрузку. Если оценка 4
«хорошо» говорит о том, что обучающийся, имеет
результативность индивидуальных образовательных
достижений от 80 до 90%, и в результате продуктивной
деятельности достиг 4 уровня усвоения учебного
материала, то по числу 1,6 не возможно составить
приемлемое логическое объяснение.
Модель рейтинговой системы оценки
достижений обучающихся по УД
Ф.И.О.
Практические
занятия
Лабораторные
работы
Рубежное
тестирование
Выполнение
ИДЗ
Строчная
сумма
Ранг
(рейтинг)
Иванов
4
3
3
3
13
4,5
Петров
3
4
3
3
13
4,5
Ковалев
3
4
4
4
15
3
Смирнов
4
4
5
4
17
2
Попов
5
5
5
4
19
1
Оценивание персональных достижений
обучающихся по МДК в рамках освоения ПМ
Фамилия
студента
ОПОР
1
ОПОР
2
ОПОР
3
ОПОР
4
ОПОР
5
Строчная
сумма
Ранг
(рейтин
г)
Процент
результативности
Качествен
ная
оценка
Ковалев
1
1
1
1
1
5
1
100
5
Зайцев
1
1
1
1
0
4
3
80
4
Петлин
0
1
1
1
1
4
3
80
4
Смирнов
1
1
1
1
0
4
3
80
4
Стеблов
1
1
0
1
0
3
5
60
2
Модель рейтинговой системы оценки достижений
обучающихся
• Аналогично рассчитывается рейтинг успеваемости по итогам
обучения в определенный период обучения (семестр или
учебный год). При определении рейтинга не учитывается
посещаемость учебных занятий. Это отвечает принципам
гуманизма и демократии по отношению к студентам в силу того,
что большинство положительных студентов вынуждено
пропускать часть занятий по уважительным причинам, к
примеру, из-за болезни или работы и др.
• Использование дихотомических оценок сформированности
способностей и компетенций для расчета рейтинга
успеваемости в большей мере стимулирует студентов к
обучению, чем использование качественных оценок уровня
подготовки. Причина в конкретизации целей обучения. Рейтинг
выступает в роли оценки, подтверждающей статус
успеваемости студента в группе, поэтому прямая логическая
связь с оценкой сформированных способностей и компетенций
более информативна, чем с оценкой уровня подготовки
(обученности) – обобщенного понятия качества подготовки.
Спасибо за внимание!