ПРИМЕНЕНИЕ РАСЧЕТА КОЭФФИЦИЕНТА КОМПЕТЕНТНОСТИ

ПРИМЕНЕНИЕ РАСЧЕТА КОЭФФИЦИЕНТА КОМПЕТЕНТНОСТИ
ПРЕПОДАВАТЕЛЯ ДЛЯ КОЛИЧЕСТВЕННОГО ОЦЕНИВАНИЯ
ОБЪЕКТИВНОСТИ ТЕСТИРОВАНИЯ
Лапикова Н.В. – к.п.н., доцент ЧОУ ВПО «Южно-уральский институт
управления и экономики»
В статье рассматривается методика расчета коэффициента компетентности
преподавателя, реализованная в электронных таблицах Microsoft Excel, которая позволит
организатору тестирования целенаправленно формировать экспертные комиссии для
оценивания тестовых заданий, а также составлять комплекты тестовых заданий,
обеспечивающие минимально необходимый уровень объективности тестового контроля
знаний.
Для любых систем педагогического контроля весьма важной и
актуальной считается проблема достоверного оценивания знаний обучаемого.
Оценка считается достоверной, если она объективно отражает фактический
уровень знаний. С математической точки зрения достоверность – это плохо
формализуемый комплексный показатель, поскольку для ее определения
должны приниматься во внимание разнородные факторы. Определение
достоверности оценивания знаний – самостоятельная и весьма трудоемкая
проблема. Для локализации решаемой задачи И.Д. Рудинский выделяет два
аспекта достоверности [1, c.126]:
1) априорная достоверность связана с организацией процесса контроля
знаний, поскольку некорректная организация процесса контроля знаний
изначально
предопределяет
необъективность
и,
следовательно,
недостоверность итоговой оценки;
2) апостериорная достоверность позволяет сделать вывод о том,
насколько зафиксированные ответы обучаемого предоставляют фактический
уровень его знаний.
В настоящей статье рассматривается метод количественного оценивания
объективности процедур педагогического контроля знаний, позволяющий
выявлять априорную достоверность выставляемых оценок.
Объективность контроля знаний может рассматриваться в различных
аспектах. К факторам повышения объективности педагогического контроля
можно отнести: условия и средства проведения контроля, кто осуществляет
контроль знаний, формулировки контрольных заданий, шкалы итогового
291
оценивания. Приведенный перечень нельзя назвать полным. По мнению
И.Д. Рудинского, наиболее эффективный способ повышения объективности
педагогического контроля заключается в максимально широком использовании
коллективных
(экспертных)
методов
подготовки
и
проведении
соответствующих процедур для формулирования контрольных заданий,
оценивания степени истинности ответов обучаемого, построения шкалы
итогового оценивания [1, c. 129].
При исследовании сложной системы ни один специалист не в состоянии
учесть все отношения между ее элементами и подсистемами. Выработка
сложных решений требует коллективного взаимодействия квалифицированных
специалистов, признаваемых экспертами в исследуемой области знаний. Метод
экспертных оценок – один из возможных подходов к количественному
оцениванию
объективности
педагогического
контроля.
Применение
экспертных процедур позволяет получить дополнительный эффект и для
автоматизированных систем педагогического контроля знаний, а именно:
1) возможность избавить педагога, непосредственно проводящего
автоматизированный контроль знаний, от необходимости самостоятельно
выполнять наиболее сложные и трудоемкие этапы стадии организации
(формирование множества тестовых заданий и вариантов ответов на них
и т. п.);
2) повышение качества тестовых заданий и вариантов ответов на них,
поскольку в качестве составителей выступают наиболее квалифицированные
специалисты;
3) распределение работы по формированию множества тестовых заданий
и вариантов ответов между всеми привлеченными экспертами, что позволяет
снизить нагрузку на каждого из них;
4) возможность создать банк тестовых заданий, структурированный по
дисциплинам, темам, уровням, сложности и т. п.
В общей схеме применения метода экспертных оценок выделяются
следующие этапы: подбор экспертов и формирование экспертной комиссии;
постановка задачи, подлежащей решению экспертным путем; индивидуальное
решение задачи каждым экспертом; обобщение мнений всех членов экспертной
комиссии; расчет степени согласованности обобщенного мнения. Таким
образом, для практического применения метода экспертных оценок в
процедурах педагогического контроля немаловажен метод расчета
коэффициента компетентности эксперта.
292
Универсальной методики расчета коэффициента компетентности не
существует, поэтому в каждом конкретном случае необходимо учитывать
специфический набор факторов компетентности и эмпирическое определение
их степеней важности для расчета итогового значения. Коэффициенты
компетентности экспертов, участвующих в подготовке тестовых заданий и в
организации
автоматизированного
тестирования
в
Челябинском
государственном педагогическом университете, рассчитывались на основе
показателей, предлагаемых Учебно-методическим Управлением названного
вуза:
1) ученая степень;
2) ученое звание;
3) членство в РАО;
4) ведомственные награды;
5) гранты на проведение научных исследований;
6) количество публикаций;
7) педагогическая категория;
8) стаж работы;
9) комплексная оценка научной работы.
Численные значения рангов, характеризующие влияние каждого
показателя на итоговый коэффициент компетентности (вес) эксперта, были
также взяты на основе предлагаемых Учебно-методическим Управлением
Челябинского государственного педагогического университета.
Формула для расчета коэффициента компетентности эксперта имеет вид:
9
K i Vi
i 1
9
K i Vi max
i 1
где
− коэффициент компетентности, K i ,i 1..9 − значения рангов
показателей
компетентности
показателя,
присвоенное
эксперта, Vi ,i 1..9
определенному
−
численное
эксперту, Vi max −
значение
максимальное
численное значение показателя. На рисунке 1 приведен примерный вид расчета
коэффициента компетентности, выполненный в электронных таблицах
Microsoft Excel.
293
Рисунок 1 Расчет коэффициента компетентности
После подбора заданий происходит формирование множества тестовых
заданий по дисциплине, в частности сбор и накопление присылаемых авторами
тестовых заданий и наиболее вероятных ответов на них, устранение
дублируемых тестовых заданий, корректировка формулировок, назначение
степени истинности каждого варианта ответа на каждое тестовое задание.
Пусть для оценивания истинности вариантов ответов на тестовые задания
сформирована комиссия из пяти экспертов с рассчитанными коэффициентами
компетентности. Каждый эксперт должен оценить степень истинности варианта
ответа «а» на тестовое задание «v» по четырем категориям: «правильно»,
«неполно», «неточно», «неправильно» (см. рисунок 2).
Рисунок 2 Результаты опроса экспертов
В процессе обработки мнений экспертов необходимо определить степень
согласованности мнений экспертов, т. е. рассчитать коэффициент конкордации
(см. рисунок 3).
294
Рисунок 3 Определение степени согласованности мнений экспертов
Коллегиальное мнение экспертов считается практически согласованным
при минимальном значении коэффициента конкордации 0.6.
Для
практического применения метода экспертных оценок в процедурах
педагогического контроля знаний должна быть создана методика организации
работы экспертной комиссии в случае, когда степень согласованности мнений
экспертов оказывается ниже допустимого уровня.
Итак, методы экспертных оценок могут использоваться в качестве
математической основы для количественного оценивания объективности
контроля знаний. Рассматриваемая методика, реализованная в электронных
таблицах
Microsoft
Excel,
позволяет
организатору
тестирования
целенаправленно формировать экспертные комиссии для оценивания тестовых
заданий, а также составлять комплекты тестовых заданий, обеспечивающие
минимально необходимый уровень объективности тестового контроля знаний.
Список литературы:
1. Рудинский, И.Д. Основы формально-структурного моделирования
систем обучения и автоматизации педагогического тестирования знаний /
И.Д. Рудинский. – М.: Горячая линия. – Телеком. – 2004. – 204 с.
295