Оценка эффективности тестирования

ОЦЕНКА ЭФФЕКТИВНОСТИ ДИДАКТИЧЕСКОГО ТЕСТИРОВАНИЯ
В ПЕДАГОГИЧЕСКОЙ СИСТЕМЕ УЧЕБНОГО КУРСА
Концевой М.П., БрГУ имени А.С. Пушкина
Оценка эффективности контрольного тестирования, как метода диагностики учебных
достижений, предполагает учет трех обстоятельств:

не все названное «педагогическим тестом» является таковым;

не всякий педагогический тест является качественным инструментом педагогического
измерения;

не всякий качественный педагогический тест применяется эффективно.
Отсутствие четкого понимания вышесказанного нередко приводит к существенному
искажению понимания роли и места контрольного тестирования в образовательном
процессе, его эффективности и границ применения. В контексте широкого распространения
педагогического тестирования в современных образовательных системах это порождает
определенные фобии среди участников данного процесса и дискредитирует саму методику
тестового контроля через неумелое использование часто негодного инструментария.
Среди названных выше обстоятельств центральное место принадлежит определению
качества педагогических тестов, которое позволяет не только идентифицировать их как
тесты и оценить как «хорошие» или «плохие», но и определить те области педагогической
диагностики, где они остаются эффективным средством измерения учебных достижений.
При всем разнообразии мнений и оценок вопрос о необходимости тестов в педагогике
уже позитивно решила практика – «да, нужны, но на своем месте, нужны надежные и
валидные
стандартизированные
тесты,
а
не
любительские
самоделки»
[1;
16].
Действительно, наличие огромного количества абсолютно безграмотного с точки зрения
тестологии контрольного материала, который именуется тестами, является, наверное,
главным препятствием к принятию тестовых методик педагогическим сообществом.
Стандартизация дидактических тестов
выступает
необходимым
условием создания
качественного диагностического инструментария контроля результатов образовательной
деятельности. Сложность, специфичность и большой объем этой работы объективно требуют
профессионального подхода со стороны авторов тестов. Но если не каждому преподавателю
нужно и можно создавать педагогические тесты (как не каждому нужно и можно писать
учебники), то каждому необходимо уметь оценивать тесты. В этом требовании ( требовании
контроля качества тестов и соблюдения всех процедур дидактического тестирования) и
находит отражение профессионализм педагогов.
Понятно, что педагог-практик не в состоянии самостоятельно провести экспертизу и
апробацию
таких
важнейших
показателей
качества
тестовых
заданий,
как
дискриминативность (дифференцирующая способность) тестовых заданий, надежность,
трудность и валидность. Этому препятствует, в частности, отсутствие в распоряжении
педагога-практика достаточно репрезентативной экспериментальной группы учащихся для
проведения такой работы.
Выход из сложившейся ситуации усматривается в том, чтобы признать в качестве
атрибутивного
признака
методического
оснащения
теста
наличие
руководства
с
квалифицированно подтвержденными качественными характеристиками данного теста.
Таким образом, определение теста как «инструмента, состоящего из квалиметрически
выверенной системы тестовых заданий, стандартизированной процедуры проведения и
заранее спроектированной технологии обработки и анализа результатов, предназначенных
для измерения качеств и свойств личности» [2;13], необходимо дополнить соответствующим
требованием о наличии подтвержденной экспертами качественной характеристики теста.
К сожалению, нередко забывается, что неотъемлемой составной частью теста является
его методическое оснащение, которое состоит из сведений, инструкций и рекомендаций,
обеспечивающих всем испытуемым равные условия на всех этапах использования теста.
Методическое обеспечение, без которого никакой контрольный материал не может быть
признан тестом, должно включать и все сведения о тесте, которые необходимо иметь
пользователю для оценки его качества, а именно:

назначение и психолого-педагогическое содержание;

ограничения и показания для применения;

состав теста;

цели апробации, объем и состав выборки, основные статистические характеристики;

данные о трудности и дискриминативности заданий;

данные о надежности, валидности и трудности всего теста;

ключи и устройство шкал;

правила обработки данных;

правила и особенности интерпретации результатов тестирования.
Только при наличии таких, квалифицированно подтвержденных, данных можно
говорить о педагогическом контрольном тесте. Характеризовать же сам метод тестирования
правомерно только в случае достаточной компетенции в вопросах тестирования педагога и
неуклонного соблюдения инструкций и рекомендаций методического обеспечения теста.
Сказанное выше не означает попытки ввести запрет на самостоятельное и
самодеятельное создание преподавателями тестовых материалов для контроля учебных
достижений и диагностики личностных качеств учащихся.
О том, что такие материалы нужны и полезны, убедительно свидетельствует
положительный опыт автора по использованию электронной образовательной среды (ЭОС) в
педагогической системе курса «Информационные технологии» на факультете иностранных
языков, в которой комплекс тестовых заданий является системообразующим структурным
компонентом [3].
ЭОС
представляет
собой
системно
организованную
совокупность
сетевых
коммуникационных технологий, программного и организационного обеспечения, которая
позволяет, на основе интеграции электронных пособий по конкретным учебным курсам с
элементами
дистанционного
обучения,
эффективно
удовлетворить
образовательные
потребности студентов в контексте решения педагогических задач.
ЭОС реализуется на аппаратном обеспечении учебного компьютерного класса,
включенного в ЛКС университета и подключенного к Интернету, и включает в себя:

электронный учебно-методический комплекс курсу представляет собой Web-сайт,
размещенный на сервере учебного компьютерного класса;

локальную
почтовую
систему,
позволяющую
организовать
дидактически
и
организационно эффективную систему выполнения студентами учебных поручений и
контроля их успеваемости;

локальную систему IRC, позволяющую организовать эффективные учебные сетевые
коммуникации для решения программных задач преподаваемых курсов;

Web-реализацию данных о состоянии текущей успеваемости студентов и коррекционные
рекомендации преподавателя на файл-сервере учебного класса;

организованный на удаленном сервере почтовый ящик преподавателя для поддержания
эффективной обратной связи со студентами и их консультирования по учебным
вопросам.
ЭОС
предназначена
ориентированного
языкового
для
создания
обучения
на
оптимальных
основе
условий
использования
профильносовременных
информационных технологий и содержательно раскрывает следующие темы:

языковое
обеспечение
компьютера
(языки
программирования,
программирования, системное и прикладное программное обеспечение);
системы

компьютерные сети (понятие, типология, аппаратное и программное обеспечение,
Интернет, языковые, лингвистические и образовательные ресурсы Интернета, сетевые
коммуникации);

создание текстовых документов (текст, электронный текст, автосредства ввода, поиска,
редактирования и форматирования текста, макросы, формы и поля);

компьютерный анализ текста (компьютерная корректура текста, автореферирование,
статистический
анализ
текста,
фоносемантический
анализ
текста,
технологии
оптического распознавания текста);

компьютерный
перевод
текста
(электронные
переводные
словари,
системы
компьютерного перевода, Machine Translation и Translation Memory, Lantra);

современные технологии
чтения (e-text, e-reader,
e-book,
эффективное чтение,
скорочтение, медленное чтение, таблицы Шульте, технология чтения Vortex).
Тестовый
непосредственно
комплекс
ЭОС
интегрирован
создан
с
с
использованием
Web-сайтом,
что
JavaScript
обеспечивает
и
Java
удобство
и
и
непринужденность его использования. Модульность построения пособия позволяет легко
модернизировать тестовый комплекс и варьировать его состав. Тесты используются для
психолого-педагогической
диагностики,
самоконтроля,
текущего
и
рубежного
(промежуточного) контроля знаний студентов.
В качестве средства, ориентированного на обучение, самоконтроль и текущий
контроль, используются гомогенные тесты с двумя формами тестовых заданий: 1) задания
закрытой формы; 2) задания на установление соответствия между элементами двух
множеств.
Большинство таких тестов строилось с использованием Java Script Test Builder путем
добавления в код, содержащей тест Web-страницы, ограничивающего время выполнения
теста студентами скрипта.
Тесты на установление соответствия используются преимущественно для решения
задач усвоения и закрепления учебного материала, а также самоконтроля. Они не имеют
явных ограничений по времени выполнения, предполагают возможность нескольких
повторных попыток прохождения до получения 100% правильного результата. Однако
количество получаемых за выполнение теста баллов начисляется с учетом успешности
процесса выполнения теста. Учебные тесты всегда доступны студентам и могут выполняться
во время самостоятельной работы. Всего в электронном пособии более тридцати учебных
тестов, охватывающих все темы курса.
В зависимости от успешности обучения
академической группой, для подготовки к сложному лабораторному заданию или с другими
целями преподаватель может предложить студентам пройти тест на занятиях с фиксацией
полученных результатов. Как правило, тесты не корректируются с точки зрения состава и
содержания тестовых заданий..
Контрольные тесты, призванные дать максимально точный показатель обученности
студента,
разрабатывались
с
особой
тщательностью
не
только
в
плане
метода
педагогического измерения, но и в плане требующего интерпретации результата.
Трудоемкость разработки и апробации эффективных педагогических тестов является
причиной ограничения их применения тематическим и рубежным контролем при сохранении
традиционной формы приема экзамена. Контрольные тесты включаются в электронное
пособие непосредственно перед тестированием и удаляются из него после проведения
тестирования.
Однако этот же положительный опыт свидетельствует и о том, как важна рефлексия
педагога над своей диагностической деятельностью с применением тестирующего
инструментария, понимания уровня его совершенства (несовершенства) и ограничений.
Литература
1.
Михайлычев Е.А. Дидактическая тестология. – М.: Народное образование, 2001.- 432 с.
2.
Майоров А.Н. Теория и практика создания тестов для системы образования. – М:
Народное образование, 2000. – 352с.
3.
Концевой М.П. Тестовый комплекс в структуре электронного учебного пособия//
Тезисы докладов Первой Международной
научно-методической конференции
«Перспективы развития системы тестирования в Республике Беларусь» 13 февраля
2003г.  Минск: РИКЗ, 2003.  С. 193-195.