2. Понятие о профессиональных компетенциях

Как разработать тесты компетенций
/методические указания/
1.
2.
3.
4.
5.
6.
7.
8.
Введение
Сущность компетентностного подхода
Понятия о профессиональных компетенциях
Как определить ведущие профессиональные компетенции
Тестирование как метод оценивания профессиональных компетенций
Оформление тестовых заданий
Вычисление оценок
Сравнительный анализ
Обучающий характер тестирования
Введение
В настоящих указаниях рассматривается методика создания с помощью
ресурсов нашей интернет-лаборатории компьютерных тестов для оценки
профессиональных компетенций ( студентов, работников, специалистов).
Эти электронные ресурсы доступны только тем организациям, которые
зарегистрированы на нашем сайте.
6 Сущность кометентностного подхода
В основе этого подхода лежит представление о работнике-специалисте как
активном субъекте профессиональной деятельности, носителе совокупности
профессиональных компетенций.
В этом случае комплексной характеристикой профессиональной
подготовленности специалиста рассматривается его компетентность (а не
набор отдельных знаний и умений).
Степень профессиональной компетентности говорит о том, насколько данный
человек овладел своей специальностью. В какой мере он подготовлен к
выполнению своих профессиональных обязанностей и насколько успешно их
осуществляет.
2. Понятие о профессиональных компетенциях
Общепринятого определения профессиональных компетенций нет и быть
не может. Здесь необходим плюрализм мнений, полезно наличие разных
точек зрения, стимулирующих творческую разработку данной проблемы.
Наша исходная посылка заключается в том, что в практическом плане
профессиональная деятельность представляет собой решение совокупности
типичных, повторяющихся задач-проблем.
Профессиональные компетенции отражают эффективность
решения
работником этих значимых задач-проблем (проблемных производственных
1
ситуаций). Компетенции
привязываются к наиболее ответственным
профессиональным задачам, конкретным направлениям работы специалиста.
Профессиональные компетенции – готовность (способность)
работника на основе сознательно усвоенных знаний, умений,
приобретенного опыта, всех своих внутренних ресурсов самостоятельно
анализировать и практически решать значимые профессиональные
проблемы, ключевые и типичные производственные задачи
(проблемные ситуации).
Для конкретной категории работников следует определить набор ведущих
компетенций.
Их
совокупность
отражает
некоторый
профиль
компетентности. Он может быть выражен следующей условной формулой:
П /К/ = К1, К2, К3, …. Кi,
где
Кi – профессиональная компетенция работника.
Специалист – это не сумма знаний, умений, навыков, а целостный субъект
профессиональной деятельности, обладающий комплексом специальных
компетенций. Отдельная компетенция – представляет собой
сплав
специфических знаний, умений, соответствующих способностей и опыта.
Специалист как практик – это синтез профессиональных компетенций
Число ведущих компетенций для данной специальности может варьироваться
в достаточно широком диапазоне. Оно определяется позицией экспертованалитиков, изучающих данный вид профессиональной деятельности.
На практике целесообразно выделить для изучаемой специальности от 5 до 10
профессиональных компетенций.
В процессе обучения, а также в ходе трудовой деятельности происходит
постепенное формирование и развитие компетенций. Та или иная компетенция
всегда находится на определенной ступени своего становления, имеет
определенную степень выраженности. Следовательно, можно говорить об
уровне компетенции.
Серьёзного анализа требует проблема снижения уровня компетенции
работника с течением времени.
Учебные заведения профессионального образования призваны сформировать
у своих выпускников минимальный уровень компетенций, позволяющий
молодому специалисту начать самостоятельную деятельность по своей
специальности.
Зрелый уровень компетентности достигается работником-специалистом только
в практической деятельности с накоплением позитивного профессионального
опыта.
В эпоху инноваций компетенции работника должны постоянно обновляться и
совершенствоваться. Мобильные компетенции специалистов – необходимое
условие развития любого предприятия, экономики в целом.
2
Значительные скрытые потери могут быть связаны с остановкой
профессионального
развития
работника
или
с
постепенной
его
профессиональной деформацией.
3. Как определить ведущие профессиональные компетенции
Огромно разнообразие специальностей. Для каждого варианта следует
искать свой набор профессиональных компетенций. И все же….
Учитывая, что каждый специалист участвует в реализации определенного
первичного производственного процесса (бизнес-процесса), имеющего в
некотором смысле универсальную логическую структуру, можно предложить
некоторый общий ключ к поиску ведущих компетенций. А именно ….
При осуществлении любого первичного производственного процесса
(независимо от его конкретного содержания) работнику-специалисту
приходится решать ряд типичных проблем, связанных:
 с теоретическим анализом реализуемых производственных и трудовых
процессов (теоретический аспект);
 технологией процессов (технологический аспект);
 работой оборудования, устройств, аппаратов (производственный аспект);
 применением специальных приборов, инструментов (инструментальный
аспект);
 выполнением конкретных рабочих операций (операционный аспект);
 организацией поступления сырья, материалов, энергоресурсов,
установлением взаимодействия с другими первичными
производственными процессами (организационный аспект);
 поддержанием оптимальных межличностных взаимоотношений, в
рабочей группе, с работающими рядом людьми (социальнопсихологический аспект);
 принятием или выполнением управленческих решений (управленческий
аспект);
 учётом финансовых и экономических результатов выполняемых работ
(финансово-экономический аспект);
 вопросами реализации продуктов труда (коммерческий аспект) и т.д.
Тогда ориентировочно
следующим образом:







перечень
компетенций
может
выглядеть
Понятийно-теоретическая компетенция;
Технологическая компетенция;
Производственная компетенция;
Инструментальная компетенция;
Операционная компетенция;
Организационная компетенция;
Социально-психологическая компетенция;
3



Управленческая компетенция;
Финансово-экономическая компетенция;
Коммерческая компетенция и т.д.
Разумеется, нельзя составить какой-либо единый перечень универсальных
компетенций. В каждом случае эта задача решается с учётом конкретных
особенностей той или иной специальности.
4. Тестирование как метод оценивания профессиональных компетенций
Для оперативной оценки ведущих профессиональных компетенций, на наш
взгляд, можно успешно использовать систему компьютерного тестирования.
Организации, зарегистрированные на нашем сайте, получают в свое
распоряжение простое электронное устройство для самостоятельной
разработки эффективных и удобных в использовании тестов компетенций.
Накопленный нами практический опыт компьютерного тестирования
позволяет сформулировать некоторые рекомендации и советы, которые
могут оказаться полезными для разработчиков.
Разработка тестов – крайне ответственная научно-методическая процедура.
К созданию тестов следует привлекать наиболее опытных и знающих
специалистов-преподавателей, методистов, научных работников, менеджеров
по персоналу.
К сожалению, в последние годы понятие «тест» было серьёзно искажено. В
результате тест воспринимается как примитивная конструкция, состоящая из
вопросов и набора готовых ответов на каждый из них. Причём в этих
предлагаемых на выбор вариантах преобладают ложные ответы!
Такая убогая схема мало похожа на подлинную процедуру тестирования.
Грамотно составленный тест должен побуждать испытуемого к активным
мыслительным действиям, к анализу и размышлению, к мобилизации
имеющихся у него знаний и накопленного профессионального опыта. Такой
тест должен быть серьёзным экспресс – испытанием, вызовом для
специалиста.
Поэтому в тест компетенций необходимо включать проблемные тестовые
задания, моделирующие типичные профессиональные задачи, реальные
производственные ситуации. Испытуемому надо выбрать не столько ответ,
сколько найти наилучшее решение поставленной задачи. При этом в список
предлагаемых вариантов желательно не включать явно ложные суждения.
Участник тестирования должен отыскивать оптимальное решение из набора
правильных и ошибочных вариантов.
Предлагаемые для анализа ошибочные решения должны быть
правдоподобными и отражать типичные ошибки, которые допускаются
специалистами на практике. Причем желательно, чтобы правильные решения
отличались от ошибочных в нюансах, ибо именно понимание нюансов
является показателем компетентности специалиста.
4
Таким образом, корректный тест компетенций включает не вопросы и
ответы, а проблемные задания и возможные их решения.
Наша система позволяет разработчику включить в отдельный тест любое
число тестовых заданий (проблемных вопросов). Они могут представлять
собой не только словесные формулировки, но и любые изображения – схемы,
графики, формулы, рисунки, фото и даже видеоролики. Их размещение в
нужном пункте теста осуществляется простым щелчком компьютерной
мыши.
Разумеется, весь иллюстративный материал разработчику следует заранее
подготовить на своем компьютере.
Для каждого тестового задания в нашей системе может быть предложено
любое число вариантов решений-ответов. По возможности, их надо изложить
ясно и кратко. Характер предлагаемых решений должен стимулировать
специалиста (студента) к серьёзному анализу профессиональных проблемситуаций. Тогда тестирование не только служит диагностике, но и выполняет
развивающую функцию.
Советуем избегать в предлагаемых решениях односложных ответов типа –
«да», «нет» или – «согласен», «не согласен». Такой стиль тестирования
формирует у респондентов формальное, поверхностное мышление.
Тест компетенций не должен быть слишком сложным или слишком легким.
Разработчикам следует добиваться разумного уровня трудности процесса
тестирования. Поэтому включаемые в тест задания должны быть разной
степени сложности – от весьма трудных задач до более простых.
Корректный тест профессиональных компетенций должен успешно
дифференцировать обследуемый контингент специалистов.
5. Оформление тестовых заданий
Разумеется, составить исчерпывающий список тестовых заданий для
систем профессионального тестирования не представляется возможным.
Каждому разработчику следует искать для своего теста конкретное и
наиболее адекватное оформление. Однако некоторые апробированные нами
решения могут оказаться кому-то полезными.
Дать определение понятию.
Испытуемому необходимо выбрать правильное определение для того или
иного профессионального понятия, используя прилагаемый список
определений. Необходимо, чтобы версии определений отличались
незначительно одна от другой, но одна из них должна быть наиболее точной и
полной.
Мы рекомендуем включать понятийную компетенцию в каждую систему
профессионального тестирования. Она отражает степень освоения основных
(ключевых) понятий, используемых в данной области профессиональной
деятельности.
5
Анализ информационных таблиц.
Это наиболее распространенная форма для тестовых заданий. Разработчики
могут использовать самые разные виды таких таблиц.
Таблицы можно использовать для того, чтобы проверить, насколько
понимает испытуемый предназначение тех или иных профессиональных
действий, устройств, приборов. Такие задания весьма эффективны, когда
действия специалиста чётко регламентированы, подчиняются определенным
правилам. Когда эти действия принципиально важны для решения
профессиональных задач.
Анализ соответствующих таблиц требует от испытуемого понимания
технологических режимов, предназначения того или иного оборудования,
способов использования каких-либо материалов, полученных результатов,
проведенных измерений и т.д. При выполнении подобных заданий и
проявляется профессиональная компетентность испытуемых.
Алгоритмизация (рабочих) профессиональных действий.
Данный тип тестовых заданий ориентирован на проверку практической
подготовленности работника-специалиста (студента). С этой целью
участнику необходимо выбрать правильную последовательность действий
при выполнении определенной профессиональной задачи.
При этом предлагается исходный список, в котором рабочие действия
указаны в случайном порядке. К примеру:
УКАЖИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ ДЕЙСТВИЙ ПРИ
ИЗМЕРЕНИИ АРТЕРИАЛЬНОГО ДАВЛЕНИЯ
1. Накладываем манжетку на обнаженное плечо пациента на 2-3 см. выше
левого сгиба и соединяем манжетку с манометром.
2. Кладем руку пациента в разогнутом положении ладонью вверх.
3. Нащупываем пульс в области локтевой ямки и устанавливаем на это
место фонендоскоп
4. Отмечаем величину систолического давления при появлении над
плечевой артерии первых отчетливых звуков
5. Отмечаем величину диастолического давления, которая соответствует
моменту полного исчезновения тонов
6. Закрываем вентиль на груше и накачиваем в манжетку воздух
7. Открываем вентиль и медленно выпускаем воздух из манжетки.
Одновременно фонендоскопом выслушиваем тоны и следим за
показаниями манометра.
8. Записываем данные измерения артериального давления в виде дроби.
9. Определяем ритмичность, частоту и напряжение пульса
Возможный порядок действий:
 2–1–3–6–7–4–5–8
 2–1–3–6–7–5–4–8
 2–1–9–6–7–4–9–8
 2–1–3–6–7–4–9–8
6
На наш взгляд, такая процедура достаточно адекватно моделирует
выполнение реальной производственной задачи.
При такой схеме можно проверять не только знание правильного алгоритма
профессиональных действий, но и понимание того, какие должны применяться
при этом материалы, инструменты, вспомогательные устройства.
Можно предложить несколько правильных вариантов рабочих действий.
Отличие правильного алгоритма действий от ошибочного порядка не должно
бросаться в глаза, затрагивать лишь нюансы (хотя и существенные).
Данный тип тестовых заданий позволяет корректно оценить, насколько
хорошо знаком специалист с данным оборудованием,
аппаратурой,
устройствами, в какой мере подготовлен к работе с ними.
Анализ графиков, диаграмм.
Как правило, специалисту любого профиля приходится иметь дело с
какими-либо
графиками,
диаграммами,
которые
несут
важную
профессиональную информацию. Это обстоятельство можно успешно
использовать при оформлении тестовых заданий.
Предлагаемые диаграммы могут отражать реальные процессы, моделируя
типичные производственные ситуации. Испытуемому следует дать
заключение по той или иной диаграмме, в другом случае – выбрать график,
отвечающий определенным условиям, режиму, фазе процесса и т.д.
Эффективны тестовые задания, когда предлагаемые для анализа графики
различаются в тонкостях, требуя от испытуемого проявить свою
компетентность как специалиста.
Анализ тех или иных графиков может быть связан с выявлением
оптимальных параметров, а также недопустимых отклонений от
технологических требований, обнаружением аварийных ситуаций и пр.
Использование изображений, образного ряда.
Использование изображений (фотографий, слайдов, рисунков) открывает
разработчикам тестов большие методические возможности.
Во-первых, задание может включать в себя распознавание объекта
определенного типа из группы близких по внешнему виду объектов.
Во-вторых, тестовое задание может быть связано с интерпретацией,
объяснением смысла изображения, с указанием сути процесса, явления,
которому это изображение соответствует. По такой логике могут быть
составлены многие важные тестовые задания: определение наилучшего
образца,
правильного
конструктивного
решения,
необходимых
инструментов, приборов, устройств и т.д.
В-третьих, тестовое задание может быть связано с анализом специфических
элементов изображения.
Задания, использующие изображения, полезны ещё тем, что они снимают
неизбежное психологическое напряжение у лиц, принимающих участие в
тестировании.
7
Завершение профессиональных текстов.
Это весьма типичный приём, используемый в тестировании.
Испытуемому необходимо вставить пропущенные слова-термины в
предлагаемые определения, суждения, выводы, демонстрируя свою
компетентность в данном вопросе. К примеру, в тесте для речевой
компетенции возможно такое несложное заание:
Какое слово необходимо вставить в следующее выражение:
НЕ ДУМАЛ О ТОМ, …….. МНОГО ЭТО БУДЕТ СТОИТЬ.
 как
 сколько
Рекомендуем оставлять для заполнения те слова-понятия, которые имеют
принципиальное значение для предлагаемого профессионального текста
Модификации данного методического приема могут быть весьма
разнообразными.
Выполнение мысленных вычислений, расчётов.
Нередко важным компонентом профессиональной компетентности
специалиста является его способность к анализу количественных отношений,
способность к расчётам и вычислениям. Здесь могут использоваться
тестовые задания различного типа: сравнение величин и показателей, выбор
нужных формул, поиск оптимальной схемы расчёта и т.д.
Процедуры анализа и классификации.
Компетентность специалиста проявляется и тогда, когда ему приходится
анализировать и классифицировать факты, явления, процессы, имеющие
непосредственное отношение к его профессиональной сфере. Особенно
важна способность к анализу скрытых, неявных смысловых связей и
отношений.
Процедуры анализа крайне многообразны. К примеру:
Укажите «лишнее» слово, выпадающее из логического ряда следующих
понятий:
ДЛИНА – МАСС – МЕТР – ОБЪЁМ – СКОРОСТЬ
 Длина
 Масса
 Метр
 Объём
 Скорость
Аналитическая
компетенция
является
необходимым
элементом
профессиональной подготовленности любого специалиста.
Следует отметить, что в определенный тест, ориентированный на оценку
той или иной компетенции, могут быть включены разные виды тестовых
заданий. Однако тест может включать и однородные задания.
8
Разумеется, составить исчерпывающий список тестовых заданий для
систем профессионального тестирования не представляется возможным и
нужным. Приведенные нами образцы служат лишь примерами,
помогающими разработчикам найти нужные решения своих конкретных
задач.
6. Вычисление основных оценок
Наша система по итогам тестирования автоматически вычисляет для
каждого теста следующие оценки:
P1 
m
 10, где
M
M – число всех правильных решений данного теста,
m – число всех правильных решений респондента.
P1 рассматривается
как индивидуальная основная оценка по тесту. Она
изменяется в пределах от 0 до 10.
P2 
mk
 10 , где
M
k – число всех ошибочных решений респондента.
P2 рассматривается как индивидуальная вспомогательная оценка по тесту.
Особенность данной оценки в том, что она учитывает не только
правильные решения респондента, но и допущенные им ошибки. Обычно P2
оказывается меньше P1.
Отрицательное значение этой оценки говорит о том, что испытуемый
допускает больше ошибок, чем дает правильных решений по тесту.
S
k
 10 , где
RM
R – число всех заданий-вопросов данного теста,
k - число всех ошибочных решений респондента.
S рассматривается как индивидуальная
оценка уровня ошибок. Она
изменяется в пределах от 0 до 10.
Чем больше величина этой оценки, тем выше вероятность того, что в
практической работе испытуемый будет допускать профессиональные
ошибки и просчёты.
9
Индивидуальные результаты тестирования наша система оформляет в виде
специальной таблицы, в
которой указаны фамилии испытуемых и
полученные ими оценки.
Относительно высокие оценки P1, P2 и низкие оценки S будут характерны
для наиболее подготовленных специалистов. Относительно низкие оценки
P1, P2 и высокие оценки S будут сигнализировать о некомпетентности этих
лиц.
Сочетание высоких оценок P1, P2 и высоких оценок S позволит
предположить, что такие специалисты склонны придерживаться при
решении профессиональных задач тактике проб и ошибок.
Если применялась батарея тестов, то по итогам тестирования для каждого
испытуемого будет получено несколько оценок P1, P2 и S (по числу
используемых тестов). Их анализ позволит установить, в каких вопросах
испытуемый более компетентен, в каких – подготовлен недостаточно.
Кроме того, вычисляются средние оценки P1ср, P2ср , Sср для данной
группы испытуемых.
Такая информация важна для учебных заведений профессионального
образования: сразу видны те аспекты подготовки, которые в первую очередь
требуют совершенствования.
Такая информация важна и для предприятий: сразу видны те вопросы, на
которые в первую очередь следует обратить внимание в системе повышения
квалификации.
7.Сравнительный анализ
Истина познается в сравнении.
Указанные средние оценки вычисляются нашей системой и для некоторых
групп испытуемых.
При разработке теста в него необходимо внести ряд дополнительных
вопросов, с помощью которых можно зафиксировать некоторые социальные
показатели испытуемых: пол, возраст, трудовой стаж, уровень образования,
успеваемость в обучении, семейное положение и т.д.
Программа позволяет пользователю получить средние оценки по итогам
тестирования для групп, полученных на основе этих показателей.
К примеру, вычисляются средние оценки для мужчин (юношей) и женщин
(девушек). Можно проанализировать влияние гендерного фактора на уровень
профессиональных компетенций.
Можно получить средние оценки для групп испытуемых, имеющих разный
уровень
образования,
разную
успеваемость,
профессиональную
принадлежность и пр.
Кроме того,
итоги профессионального тестирования могут быть
представлены в динамике.
Для старшеклассников оценки для каждого класса обучения:
10
Класс обучения
8 класс
9 класс
10 класс
11 класс
P1ср
P2ср
Sср
-
-
-
Для студентов оценки вычисляются для каждого курса обучения:
Курс обучения
1 курс
2 курс
3 курс
4 курс
5 курс
6 курс
P1ср
P2ср
Sср
-
-
-
Можно проанализировать, как у студентов постепенно формируются те или
иные профессиональные компетенции.
Для предприятия оценки вычисляются для каждой группы работников в
зависимости от их производственного стажа:
Стаж работы
До 3-х лет
От 3-х до 10 лет
От 10 до 20 лет
Более 20 лет
P1ср
P2ср
Sср
-
-
-
Можно проследить, как у работников изменяются со временем те или иные
профессиональные компетенции.
Разработчиков тестов компетенций всегда волнует вопрос, какие величины
основной оценки P1 можно считать «нормой», какие следует отнести к
высоким и низким значениям. Какие-либо умозрительные утверждения здесь
неприемлемы, ибо от особенностей и сложностей тестовых заданий будут во
многом зависеть и абсолютные значения оценок.
Можно предложить следующий корректный способ. Формируется
некоторая эталонная группа учащихся, студентов, работников, в состав
которой входят лица, компетентность которых подтверждена практикой.
Средние значения оценок, полученных в результате тестирования эталонной
группы респондентов, могут служить искомым ориентиром.
Результаты тестирования выпускников учебных заведений высшего и
среднего профессионального образования целесообразно сопоставить с
результатами тестирования эталонной группы работников той же
11
специальности (разумеется, в обоих случаях должны использоваться
абсолютно идентичные тесты). Это позволит оценить, насколько
соответствует уровень подготовленности выпускников к требованиям
сегодняшней практики.
8.Обучающий характер тестирования
К сожалению, процедура тестирования нередко носит формальный
характер – организаторы получают индивидуальные или групповые оценки,
вычисленные для респондентов, и этим ограничиваются. Однако
педагогически грамотное тестирование должно не только фиксировать
результаты,
но
и
стимулировать
испытуемых,
развитие
их
профессионального мышления.
С этой целью в нашей системе для каждого теста предусмотрен обучающий
режим (режим тренажера). Его специально включает сам организатор.
В этом случае работающий с тестом человек, отметив то или иное
решение-ответ, получает от компьютера отзыв:
«Правильно» или
«Неправильно».
Таким образом, испытуемый сразу видит свои правильные решения и
допускаемые ошибки, что позволит ему задуматься, проверить себя и лучше
разобраться в поставленной проблеме. Самостоятельная работа над
ошибками – важнейшее условие эффективного тестирования.
Для студента это является формой самообразования, для работающего
специалиста – формой повышения квалификации.
12