курсовая работа - Минусинский педагогический колледж им. А.С

advertisement
Краевое государственное бюджетное образовательное учреждение
среднего профессионального образования
(среднее специальное учебное заведение)
Минусинский педагогический колледж имени А.С.Пушкина
КУРСОВАЯ РАБОТА
Проектирование компьютерного теста средствами
специализированной тестовой оболочки
Выполнил(а): Коваль Наталья Владимировна,
студент(ка) 2 курса специальности 050202 информатика
Проверил: Авдеев Виталий Владимирович
Минусинск, 2011
1
Оглавление
Введение……………………………………………………………………..……3
Глава 1 Особенности компьютерного тестирования. .......................................... 5
1.1. Тест, тестовое задание, их классификация и возможности………………..5
1.2. Тест как метод контроля знаний…………………………………………...11
1.3. Компьютерное тестирование……………………………………………….13
Глава 2 Проектирование теста…………………………………………...…….14
2.1. Последовательность разработки тестового инструментария………….…14
2.1.1 Определение целей тестирования ………………………………………..16
2.1.2. Отбор содержания учебного материала…………………………………18
2.1.3. Составление тестовых заданий и их экспертиза…………………….….19
2.1.4. Компоновка и апробация тестовых заданий…………………………….26
2.1.5. Анализ качества тестов………………………………………………...…28
Заключение…………………………………………………………………...…..31
Список литературы………………………………………………………...…….32
2
Введение
В последние годы тестирование как метод оценки знаний все больше
набирает популярность. Для любой образовательной организации, в том
числе и для школы, одной из основных и сложных задач во все времена
являлась оценка знаний учащихся. На сегодняшний день существует
множество разнообразных методов оценки знаний: устный и письменный
опрос, собеседование, диктант, вычислительные задания, деловые игры,
экзаменационная схема оценки, тестирование. Каждый из методов имеет
свои достоинства и недостатки. Но в настоящее время в условиях сдачи
выпускных экзаменов в школе в форме ЕГЭ и вступительных экзаменов в
ВУЗы в виде тестирования все большее распространение приобретает
именно такая форма оценки знаний.
Для создания адекватного и эффективного теста необходимо затратить
много труда, именно поэтому для проведения тестирования удобно
использовать специальные компьютерные тестирующие системы (тестовые
оболочки). Благодаря им процедура тестирования становится очень простой
и массовой, поскольку применение вычислительной техники сводит к
минимуму затраты времени и средств организаторов тестирования. Этим
обусловлена актуальность данного исследования.
Объект исследования: проектирование компьютерного теста для
оценки знаний учащихся.
Предмет
исследования:
последовательность
проектирования
компьютерного теста с помощью специализированной тестовой программы.
Цель работы: доказать, что автоматизирование тестирования позволяет
значительно облегчить процесс оценивания знаний учащихся.
Для достижения поставленной цели был определен ряд задач:
1. Изучить особенности компьютерного тестирования.
2. Раскрыть
понятия
«тест»,
«тестовые
задания»,
привести
их
квалификацию и возможности.
3. Оценить роль тестирования в оценке знаний учащихся.
3
4. Изучить возможности автоматизированного тестирования.
5. Изучить последовательность проектирования компьютерного теста.
Гипотеза
исследования:
автоматизированное
компьютерное
тестирование – необходимо применять при оценивании знаний учащихся.
4
Глава 1 Особенности компьютерного тестирования
1.1. Тест, тестовое задание, их классификация и возможности
«Тест — это инструмент, состоящий из квалиметрически выверенной
системы тестовых заданий, стандартизированной процедуры проведения и
заранее спроектированной технологии обработки и анализа результатов,
предназначенный для измерения качеств и свойств личности, изменение
которых возможно в процессе систематического обучения» (А.Н. Майоров)
[1, с. 30]. Тесты как измерительный инструмент используются в большинстве
стран мира. Их разработка и использование основано на мощной теории и
подтверждено
многочисленными
эмпирическими
исследованиями.
Тестология как теория и практика тестирования существует более 120 лет, и
за это время накоплен громадный опыт использования тестов в различных
сферах человеческой деятельности, включая образование. Тесты не являются
универсальным средством, границы использования тестирования достаточно
хорошо известны, и это знание дает уверенность в том, что качественно
подготовленный и использованный тестовый инструмент даст качественную
и надежную информацию, соответствующую реальному положению дел [1, с.
31].
Основной составляющей единицей теста являются тестовые задания.
«Тестовое задание – составная часть теста, отвечающая требованиям
технологичности, формы, содержания и, кроме того, статистическим
требованиям [2, с. 163]:
1) известной трудности;
2) достаточной вариации тестовых баллов;
3) положительной корреляцией баллов задания с баллами по всему тесту».
Другими важными составляющими теста являются правила проведения
тестирования и технология обработки тестовых результатов. Они позволяют
5
обеспечить сравнимость результатов различных использований одного и того
же теста, равенство тестируемых, объективность и справедливость оценки.
Как и другие методы контроля знаний, тестирование в образовательном
процессе, может выполнять различные задачи. Исходя из этого, М.Б.
Челышкова предлагает следующую схему классификации тестов по видам
педагогических задач [4, с. 52].
Изучение других источников показывает, что существует множество
классификаций тестов по различным критериям. Точная классификация
позволяет дать наиболее полную характеристику теста, определить его место,
значение, взаимосвязи в общей системе тестовых методик. Исходя из целей и
задач тестирования, Зорин С.Ф. предлагает следующую классификацию
тестов по четырем основным признакам [3, с. 6].
1. По степени однородности задач:
– гомогенные, включающие в себя совокупность стандартизованных заданий
по одной учебной дисциплине или разделу дисциплины;
6
– гетерогенные, включающие в себя совокупность стандартизованных
заданий, по нескольким учебным дисциплинам или разделам, но не
требующие единовременного привлечения знаний из различных дисциплин
или разделов.
2. По целям использования:
– определяющие тесты знаний или поведения учащегося в начале обучения;
– формирующие тесты прогресса, достигнутого в процессе обучения;
– диагностические тесты трудностей обучения и их источников в процессе
обучения;
– суммирующие тесты основных достижений в конце обучения.
Все эти виды тестов имеют одинаковые принципы и методы
разработки, но отличаются содержимым материала, включаемого в тест и
уровнем его сложности.
3. По нормированию:
– нормативно-ориентированные тесты, основанием для сравнения в которых
служат соответствующим образом обоснованные статистически полученные
значения
выполнения
данного
теста
репрезентативной
выборкой
испытуемых;
– критериально-ориентированные тесты, предназначенные для определения
уровня индивидуальных достижений испытуемого относительно некоторого
заданного критерия; существующего в реальной практике и заранее
известного уровня знаний, умений, навыков, необходимых для выполнения
определенного вида деятельности;
– прогностические тесты, ориентированные на успешность дальнейшей
деятельности;
– ненормированные тесты.
4. По направленности:
– тесты интеллекта, выявляющие уровень и особенности интеллекта;
– личностные тесты, с помощью которых изучаются особенности личности
тестируемого;
7
 тесты
достижений,
предназначенные
для
оценивания
результатов,
достигнутых учениками в процессе обучения.
В образовательном процессе используются педагогические тесты,
относящиеся к тестам достижений.
Исходя из свойств тестового инструментария, существует семь
различных классифицирующих признаков.
1. По форме ответов:
– устные тесты, в которых ученик называет ответ, а администратор
фиксирует его;
– письменные тесты, в которых ответ записывается самим учеником;
– компьютерные тесты, в которых ответы вносятся непосредственно в
компьютер.
2. По средствам предъявления:
– бланковые тесты, с использованием тестовых тетрадей или бланков, в
которых испытуемые отмечают или вписывают правильные ответы
(вопросники
личности,
тест
механической
понятливости
Беннета,
большинство тестов достижений и др.);
– компьютерные тесты, с применением компьютерных программ;
– предметные тесты, в которых необходимо манипулировать материальными
объектами (кубики Косса, тест Стенквиста на сборку конструкций и узлов
деталей, тест «Сложение фигур» из набора Векcлера);
–
аппаратурные
тесты,
с
использованием
устройств
для
изучения
особенностей внимания, восприятия, памяти и мышления («детектор лжи»,
аппарат для определения энцефалограмм мозга и др.);
– практические тесты, схожие с лабораторными работами – по химии,
физике, биологии и пр., они снабжены соответствующими инструкциями и
имеют тестовое оснащение.
3. По порядку следования вопросов:
– упорядоченные тесты, в которых задания логически упорядочены по
какому-либо критерию, например по сложности;
8
– смешанные тесты, с неупорядоченной или произвольно формируемой
последовательностью заданий;
– адаптивные тесты, в которых очередность предъявления каждого задания
зависит от успешности выполнения испытуемым предыдущего задания.
Упорядоченные тесты
несколько проще для
выполнения, чем
смешанные, но с другой стороны, использование компьютерных смешанных
тестов со случайным порядком выдачи заданий позволяет избежать
списывания. Адаптивные тесты – это наиболее качественный инструмент,
позволяющий
точнее
определить уровень
знания
тестируемого
при
предъявлении ему меньшего числа заданий.
4. По числу вариантов:
– безвариантные тесты, с единственным набором тестовых заданий;
– многовариантные тесты, с несколькими однородными наборами заданий;
– тесты со случайной выборкой, формирующийся из базы тестовых заданий
непосредственно перед началом или в ходе процесса тестирования.
5. По характеру действий:
– вербальные тесты, основная часть задания и вариантов ответа в которых
сформулирована словесно;
– невербальные тесты, связанные с практическим манипулированием
объектами – карточками, блоками, деталями, изображениями.
6. По ведущей ориентации:
– тесты скорости, содержащие простые задачи, время решения которых
ограничено настолько, что ни один испытуемый не успевает решить все
задачи в заданное время;
– тесты мощности или результативности, включающие трудные задачи,
время
решения
которых
либо
вовсе
не
ограничено,
либо
мягко
черты
двух
лимитировано;
–
смешанные
тесты,
которые
объединяют
в
себе
вышеперечисленных.
Наиболее часто на практике применяются смешанные тесты.
9
7. По количеству тестируемых:
– индивидуальные тесты, созданные для отдельного испытуемого или узкого
типа испытуемых;
– групповые тесты, которые созданы для использования в некоторой группе
испытуемых [3, с. 8].
Тестовые
задания
также
подразделяются
на
несколько
видов.
Основным классифицирующим фактором для них является характер ответов.
По характеру ответов тестовые задания делятся на две категории:
– задания открытого типа, когда испытуемому необходимо самостоятельно
написать слово, словосочетание, предложение, знак, формулу и т.д;
– задания закрытого типа, когда испытуемому необходимо выбрать из
предложенных вариантов ответов тот или иной вариант.
В свою очередь, задания открытого типа делятся на задания
дополнения, в которых испытуемый должен написать недостающий элемент
в предложении, конструкции и задания свободного изложения, в которых
ответы формулируются самостоятельно, без ограничений.
Задания
закрытого
типа делятся на задания одиночного или
множественного выбора, в которых необходимо выбрать один или несколько
элементов
из
множества,
задания
соответствия,
с
установлением
соответствия элементов двух списков и задания последовательности, с
установлением порядка следования элементов [3, с. 9].
10
1.2. Тест как метод контроля знаний
Тестирование является одной из наиболее технологичных форм
проведения автоматизированного контроля с управляемыми параметрами
качества. В этом смысле ни одна из известных форм контроля знаний
учащихся с тестированием сравниться не может. Но и абсолютизировать
возможности тестовой формы нет никаких оснований. Не все необходимые
характеристики усвоения можно получить средствами тестирования. Такие,
например, показатели, как умение конкретизировать свой ответ примерами,
знание фактов, умение связно, логически и доказательно выражать свои
мысли, некоторые другие характеристики знаний, умений, навыков
диагностировать тестированием невозможно. Это значит, что тестирование
должно обязательно сочетаться с другими (традиционными) формами и
методами проверки. В рамках классической теории тестов уровень знаний
испытуемых
оценивается
с
помощью
их
индивидуальных
баллов,
преобразованных в те или иные производные показатели. Это позволяет
определить относительное положение каждого испытуемого в нормативной
выборке.
Особенности тестирования делают его особенно пригодным для
первичного контроля усвоенности нового материала после объяснения
учителя, а также текущего и итогового контроля знаний большого числа
обучаемых.
знаний
Основными отличиями тестов от прочих способов контроля
являются
объективности
их
формализованность
проводимого
с
их
и
более
помощью
высокая
степень
оценивания
знаний,
обеспечивающиеся за счет стандартизации вопросов и ответов, особой
процедуры проведения тестирования, способов обработки результатов,
подтверждения качества теста.
Как и любой метод, тестирование имеет свои особенности, требующие
грамотного подхода. Анализ учебного курса, составление вопросов и
вариантов ответов к тестовым заданиям, их упорядочивание и назначение
баллов
требуют
от
преподавателя
кропотливой
работы.
Проверка
11
выполнения критериев качества теста возможна только по результатам
проведения пробных тестирований, а расчет этих критериев, требует знания
теории статистики тестов.
Чтобы упростить задачу составителю тестов, в современной тестологии
разработаны методики разработки тестового инструментария.
12
1.3. Компьютерное тестирование.
Основными
преимуществами
компьютерных
тестовых
систем
являются их оперативность, объективность, возможность охватить большую
аудиторию,
автоматизация
обработки
результатов,
возможность
самоконтроля учащихся [7, с. 13].
Тестирование в компьютерной форме исключает возможность ошибки
преподавателя при проверке тестовых заданий, сводит к нулю время,
необходимое на проверку (время ожидания оценки учащимися), устраняет
необходимость раздачи и сбора тестового материала на бумажных носителях.
В отличие от бланковых систем тестирования, компьютерные тесты
позволяют использовать сложные методы контроля оценки знаний учащихся,
снизить финансовые и временные затраты при проведении тестирования,
применить в тестах мультимедийные задания, а так же повысить открытость
процесса тестирования [8, с. 46-51].
Но наряду с достоинствами, у компьютерных тестов есть и свои
недостатки: повышается вероятность случайного выбора ответа, понижается
внимание на оформление решения, теряется логика рассуждения, теряется
информация о процессе выполнения отдельных заданий учащимися [7, с. 16].
Для проведения компьютерного тестирования используют специальные
программы (тестовые оболочки). В глобальной сети можно найти множество
разных тестирующих программ и оболочек. Но большинство из них
оказываются примитивными и крайне неудобными в использовании. Для
создания тестирующей оболочки недостаточно хорошо владеть приемами
программирования. Следует еще очень точно представлять себе условия, в
которых применяется этот программный продукт.
13
Глава 2 Проектирование теста
2.1. Последовательность разработки тестового инструментария
Существует множество стандартизованных методик по разработке
педагогических тестов. Наиболее развернутую методику предлагает А.Н.
Майоров. По его мнению, этапы разработки тестового инструментария, в
общем случае, должны выглядеть следующим образом [1, с. 47]:
1. Определение целей тестирования.
2. Определение ресурсных возможностей разработчиков.
3. Отбор содержания учебного материала.
4. Конструирование технологической матрицы и её экспертиза.
5. Составление тестовых заданий и их экспертиза.
6. Построение выборки для апробации заданий и тестов.
7. Компоновка заданий для апробации.
8. Апробация тестовых заданий.
9. Определение и расчет показателей качества тестовых заданий.
10. Отбраковка заданий и составление теста.
11. Апробация теста.
12. Определение и расчет показателей качества теста.
13. Составление окончательного варианта теста.
14. Стандартизация теста.
15. Нормирование теста.
16. Оснащение теста.
С.Ф. Зорин предлагает более упрощенный план, приемлемый для
преподавателей [3, с. 16]:
1. Определение целей тестирования.
2. Отбор содержания учебного материала.
3. Конструирование технологической матрицы (желательно).
4. Составление тестовых заданий и их экспертиза.
5. Компоновка заданий для апробации.
6. Апробация тестовых заданий.
14
7.
Определение
и
расчет
показателей
качества
тестовых
заданий
(желательно).
8. Отбраковка заданий, составление и оснащение окончательного варианта
теста.
15
2.1.1. Определение целей тестирования
Этап целеполагания является наиболее трудным и вместе с тем
наиболее важным: от результатов его выполнения в первую очередь зависит
качество содержания теста. В процессе целеполагания
необходимо решить вопрос о том, какие результаты
преподавателю
учеников он хочет
оценить с помощью теста. Методика формулирования целей теста
основывается на определении места тестирования и его связи с другими
учебными и контрольными мероприятиями. М.Б. Челышкова приводит
следующую иерархию целей образовательного процесса [4, с. 87]:
Данная схема показывает необходимость согласования и увязывания
целей конкретного тестирования с более общими целями, а также с целями
других контрольных мероприятий по курсу.
По мнению С.Ф. Зорина эффективное тестирование своей основной
целью должно ставить широкий и сплошной контроль знаний учащихся
сразу по нескольким темам учебной дисциплины. При необходимости
измерения
более
глубоких
знаний
учащихся,
преподаватель
долен
использовать другие формы контроля. Для более точного согласования целей
теста с другими контрольными мероприятиями и общими целями учебного
курса, необходимо включить тестирование в план проведения контрольных
мероприятий по курсу [3, c. 17].
В учебном плане тестирование может выполнять различные функции, в
зависимости от времени его проведения и потребностей преподавателя:
1. Претест готовности к обучению – проверка наличия у учеников уровня
знаний, необходимого для усвоения материала курса.
2. Входной претест – определение уровня знаний, различий в знаниях и
способностях учеников.
16
3. Формирующий тест – подтверждение усвоения пройденного материала для
перехода к следующей теме.
4. Диагностический тест – определение пробелов в знаниях и причин этих
пробелов.
5. Нормативно-ориентированный тест достижений – определение уровня
знаний по курсу в конце обучения, выставление оценки.
6. Критериально-ориентированный тест достижений – проверка наличия у
тестируемого наличия минимально достаточного уровня знаний по курсу.
Определив место тестирования в рамках курса, можно окончательно и
наиболее точно сформулировать его цели.
Итак, в наиболее полном виде, цель тестирования должна отражать
следующие аспекты:
1. Цель обучения по курсу.
2. Объем контролируемого учебного материала.
3. Место теста в учебном процессе
4. Форма использования результатов теста.
Сформулированная таким образом цель является не просто общей
декларацией, а конкретным указанием к действию, в значительной мере
определяющим
форму
и
свойства
разрабатываемого
тестового
инструментария [3, c. 18].
17
2.1.2. Отбор содержания учебного материала
Одними из требований к тесту являются требования научной
достоверности,
значимости,
соответствия
современному
знанию
и
соответствия источникам знания. Достижение этих требований достигается
на этапе отбора содержания учебного материала за счет правильного выбора
его источников. Основным таким источником всегда является план учебных
занятий по курсу. Среди других – могут быть рекомендованные учебные
пособия и книги, методические разработки, курс лекций. Главное требование
к источникам – все они должны быть известны и доступны учащимся, и
конечно, соответствовать требованиям действующего образовательного
стандарта. Кроме включения уже известных составителю учебников, следует
провести анализ вновь выпущенной литературы, в первую очередь обратив
внимание на изменения, появление новой фактической информации.
Для удобства дальнейшего составления тестовых заданий, отобранный
материал следует скомпоновать в таблицу. С.Ф. Зорина следующий алгоритм
составления таблицы [3, c. 19]:
 описываются основные, укрупненные темы или разделы курса;
 их содержание детализируется путем выделения основные учебных
единиц: понятий, классификаций, зависимостей и отношений.
В процессе деления, разработчик должен следить за тем, чтобы
соотношение количества учебных единиц в темах было пропорционально
важности и сложности этих тем. Таким образом, обеспечивается выполнение
требований полноты, оптимальности и сбалансированности теста.
Составленная таким образом таблица будет являться прообразом и
основой при проектировании технологической матрицы тестирования.
18
2.1.3. Составление тестовых заданий и их экспертиза
Формулировка вопросов для теста осуществляется с использованием
разработанной технологической матрицы.
В самом общем виде тестовые задания должны:
- соответствовать содержанию учебного материала;
- быть составлены с учетом соответствующих правил;
- быть проверены на практике (апробированы);
- быть ясными испытуемому.
Кроме этого необходимо отметить, что тестовые задания могут быть
охарактеризованы показателями — трудностью и дискриминативностью.
С точки зрения Майорова А.Н. [1, с. 78] минимальные требования к
составу тестового задания состоят в наличии трех частей:
1. Инструкции.
2. Текста задания (вопроса).
3. Правильного ответа.
Инструкция должна содержать указания на то, что испытуемый
должен сделать, каким образом выполнять задание, где и как делать пометки
и записи, описывать то, что ученик должен «сделать руками», каким образом
ему следует выполнять задание, где отмечать, как дописывать и т.д.
Текст задания или вопроса представляет собой
содержательное
наполнение задания. Майорова А.Н. [1, с. 80] выделяет следующие части
вопроса:
 стимулирующий материал - материал, о котором говорится в вопросе.
Представлен обычно в виде текста, рисунка, таблицы или другого
представления
данных.
Во
многих
случаях
написание
вопросов
начинается со сбора подходящих текстов или с обдумывания ситуаций
или тем, по которым можно сгруппировать ряд вопросов;
 введение - информация, предшествующая вопросу;
 вопрос - существенная часть вопроса;
19
 ограничения ответа - вопрос должен быть высокого качества, чтобы
предотвратить
нежелаемые
интерпретации
учеников,
используя
ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х
десятичных знаков».
Структура и состав вопроса определяется в большей степени
содержанием учебного материала.
Перечисленные три составных части тестового задания
являются
минимально необходимыми для составления тестов.
Майоров А.Н. выделяет два типа заданий, которые объединяют шесть
видов [1, с. 83]. К этим шести видам может быть сведено все многообразие
существующих заданий без ущерба для их качества. Типы и виды тестовых
заданий представлены на схеме:
К заданиям открытого типа относятся два вида — задания
дополнения
и
задания
свободного
изложения.
Их
отличительной
особенностью является то, что для их выполнения ученику необходимо
самому записать одно или несколько слов (цифр, букв; возможно
словосочетаний или даже предложений). Этот тип заданий не имеет
20
дистракторов (вариантов неверных ответов) и вариантов правильных
ответов.
К заданиям закрытого типа относятся задания четырех
альтернативных
ответов,
множественного
выбора,
видов:
восстановления
соответствия и восстановления последовательности.
Тестовые задания закрытого типа — предусматривают
различные
варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются
один или несколько правильных ответов, выбираются правильные (или
неправильные) элементы списка и др. Это задания с предписанными
ответами, что предполагает наличие ряда предварительно разработанных
вариантов ответа на заданный вопрос.
К заданиям закрытого типа относятся:
1. Задания альтернативных ответов (верно — неверно,
правильно —
неправильно).
К каждой задаче альтернативных ответов дается только два варианта
ответа. Испытуемый должен выбрать один из них - «да — нет», «правильно
— неправильно» и пр.
Задания альтернативных ответов являются самыми простыми, но не
самыми распространенными при составлении тестов. Это связано, в
основном, со специфичностью того материала, которому в большей степени
соответствует
эта
форма
заданий.
Задания
альтернативных
ответов
применяются для оценки одного элемента знаний.
Особенностью заданий альтернативных ответов является то, что вопрос
должен быть сформулирован в форме утверждения,
предполагает
согласие
или
несогласие,
которое
поскольку он
можно
отнести
к
утверждению, что приводит, как правило, к тривиальному тестированию и
используются достаточно редко.
2. Задания множественного выбора.
Это основной вид заданий, применяемый в тестах достижений. Задачи
с множественным выбором предполагают наличие вариативности в выборе.
21
Испытуемый должен выбрать один из
предложенных вариантов, среди
которых чаще всего только один правильный.
3. Задания на восстановление соответствия (соответствие).
Задания соответствия (восстановления соответствия), в
необходимо
найти
или
приравнять
части,
элементы,
которых
понятия
—
конструкциям, фигурам, утверждениям; восстановить соответствие между
элементами двух списков.
К этому же типу следует отнести и задания, в которых требуется
восстановить
порядок
рассматриваться
как
ряда,
частный
упорядочить.
случай
Эти
задания
на
задания
могут
восстановления
соответствия, в которых только один ряд, а другим, предполагаемым,
является время.
4. Задания на восстановление последовательности.
Задания на восстановление последовательности можно рассматривать
как вариант задания на восстановление соответствия, когда одним из рядов
является время, расстояние или иной континуальный конструкт, который
подразумевается в виде ряда.
Задания на восстановление последовательности редко используются в
тестах, хотя на самом деле это очень качественная форма тестовых заданий,
обладающая
значительными
преимуществами:
краткостью,
простотой
проверки. Оно подходит для любого предмета, там, где присутствует
алгоритмическая деятельность или временные события. Для технологий это
могут быть порядок
технологических операций, для истории
восстановление временных
—
последовательностей событий, для русского
языка — этапы словообразования, для точных наук — алгоритмы решения
задач и т.д.
Преимущества заданий закрытого типа:
— задания могут быть надежны, поскольку отсутствуют факторы, связанные
с субъективными оценками, которые снижают надежность;
22
— оценивание заданий полностью объективно: между оценками различных
проверяющих не может быть различий;
— неважно, умеют ли испытуемые хорошо формулировать ответы;
— задания этого типа легко обрабатываются, тестирование
быстро
проводится;
— простой алгоритм заполнения снижает количество случайных ошибок и
описок;
— эти задания позволяют охватить большие области знания, что для тестов
достижений особенно важно;
— возможна машинная обработка ответов;
— низкая вероятность угадывания правильных ответов;
— возможно получение точной оценки содержательности теста, что
особенно важно для определения соответствия теста целям исследования.
К заданиям открытого типа относятся задания двух видов:
1. Дополнения (другое название: задачи с ограничением на ответы). В этих
заданиях испытуемые должны также самостоятельно давать ответы на
вопросы,
однако
их
возможности
ограничены.
Ограничения
обеспечивают объективность оценивания результата выполнения задания,
а
формулировка
ответа
должна
дать
возможность
однозначного
оценивания.
2. Свободного
изложения
или
свободного
конструирования.
Они
предполагают свободные ответы испытуемых по сути задания. На ответы
не накладываются ограничения. Однако формулировки заданий должны
обеспечивать наличие только одного правильного ответа.
Выполнение основного требования для заданий дополнения не
представляется сложным, правильным ответом будет то самое выражение,
слово и т.д., которое необходимо вписать испытуемому.
Для заданий свободного изложения выполнение основного требования
к тестовым заданиям сложнее. Для выполнения этого требования необходимо
формализовать сам ответ. В том случае, когда результатом выполнения
23
задания служат цифровые выражения, структура фразы подразумевает дватри однозначных слова.
Основными трудностями при составлении заданий открытого типа
является соблюдение основного требования к тестовым заданиям — наличия
однозначного правильного ответа [1, с. 83-104].
Формулирование вариантов ответов – один из самых сложных этапов
составления задания. На этом этапе большинство вопросов бракуется именно
по причине невозможности подобрать к ним хороший набор ответов,
особенно неправильных. Варианты ответов в закрытом задании должны
отвечать следующим ключевым требованиям:
– все варианты ответов, так же как и сам вопрос не должны допускать
двусмысленностей или неопределенности их толкования;
– все варианты ответов должны выглядеть равноценно;
– не допускается вероятностный подход к ответам, то есть правильные
варианты ответов должны быть неоспоримо правильными, а неправильные –
неоспоримо неправильными;
–
неправильные
варианты
ответов
должны
выглядеть
достаточно
правдоподобно;
– все варианты ответов должны иметь примерно одинаковую длину;
– варианты должны быть логически упорядочены (по смыслу, алфавиту или
длине).
После составления тестовых заданий необходимо провести их
экспертизу. Даже оценка заданий всего одним специалистом (экспертом)
дает гарантии устранения целого ряда недостатков. Для проведения проверки
экспертам предоставляются тестовые задания, в которых они, следуя
специальной инструкции, делают отметки о соответствии целям и
требованиям курса. Желательно, чтобы такая экспертиза производилась
сторонними специалистами, поскольку они могут дать более объективную
оценку
качества
материалов.
Некоторые
методы
экспертизы
предусматривают выставления трех- или пятибалльной оценки каждому
24
заданию, другие – проверяют соответствие заданий некоторому набору
критериев.
Зорин С.Ф. [3, с. 23] предлагает следующий сокращенный перечень
проверочных критериев для проведения экспертизы (скрининга):
1. Стиль. Является ли вопрос понятным, однозначным и простым по
структуре?
2. Уместность. Соответствует ли вопрос теме, уровню и задачам
тестирования?
3. Информативность. Достаточно ли в вопросе информации для правильного
ответа?
4. Правильность. Верно ли указаны все правильные варианты ответа?
5. Правдоподобность. Вероятен ли каждый из неправильных ответов?
Эксперту предоставляется контрольный лист и лист со списком
заданий, точно в таком же виде и последовательности, в каком планируется
выдавать их ученикам. Эксперт самостоятельно отвечает на вопрос, затем
сверяет ответ со значением, указанном в контрольном листе. После этого он
в таблице отмечает знаками «+» выполнение каждого из проверочных
критериев, а невыполнение – знаками «–». Замечания и предложения по
заданиям вписываются в отдельный столбец.
Все задания, забракованные хотя бы по одному критерию, должны
быть доработаны, заменены или исключены из теста. Доработанные и вновь
составленные задания также в обязательном порядке проходят проверку
экспертами.
25
2.1.4. Компоновка и апробация тестовых заданий
После проведения экспертизы тестовых заданий, необходимо провести
еще один этап их проверки – апробацию. Однако прежде чем приступить к
апробации, необходимо скомпоновать отдельные задания в единый тест.
Отбор заданий для включения в тест необходимо производить в
соответствии с количеством, указанным в технологической матрице.
По мнению Зорина С.Ф. [3, с. 24] более рациональным методом
является замена отбракованных тестовых заданий на новые и проведение
повторной апробации теста. При этом значительно снижается время
разработки теста, поскольку повторная апробация – процесс гораздо менее
трудоемкий, чем составление избыточных заданий.
Отобранные задания включаются в тест в порядке следования так,
чтобы вопросы были связаны друг с другом по смыслу или в порядке
возрастания сложности. Второй метод расположения заданий наиболее
подходит для тестов скорости, в которых испытуемому нет необходимости
глубоко концентрироваться на какой-либо теме. Следует обратить внимание
на пространственное и шрифтовое оформление тестовых заданий. Главное
требование к оформлению – оно не должно отвлекать ученика от решения
заданий.
Обычно этап апробации проводится самим разработчиком, поэтому нет
необходимости
в
составлении
специальных
инструкций
по
администрированию теста. В тест включается только инструкция для
учеников по прохождению тестирования, в которой описываются следующие
аспекты:
– тема тестирования;
– оценка за прохождение теста, её влияние на оценку по курсу;
– количество вопросов и продолжительность тестирования;
– возможность использования дополнительных материалов (учебники,
лекции) и инструментов (калькулятор, бумага, карандаш);
26
– рекомендации по последовательности решения заданий;
– инструкции по заполнению бланков или по вводу данных в компьютер;
– рекомендации по решению отдельных заданий (при необходимости);
– санкции за списывание и нарушение дисциплины.
После завершения формирования теста, инструкций к нему и
установления группы тестируемых для проведения пробного тестирования,
можно приступать непосредственно к апробации. Проведение апробации
тестового
инструментария
служит
выполнению
нескольких
задач
одновременно:
– определение трудности заданий с целью оценки их пригодности;
– отбраковка некачественных заданий;
– выявление ошибок и неточностей в заданиях;
– установление шкалы оценок для теста (нормирование);
– определение времени, необходимого для решения теста;
– выявление недостатков в инструкциях.
Весь процесс апробации должен проводится в тех же условиях, в
которых планируется в дальнейшем проводить само тестирование. Все
замечания, вопросы и проблемы, возникающие в ходе тестирования,
незамедлительно фиксируются в протоколе для их последующего изучения и
устранения [3, с. 25].
27
2.1.5. Анализ качества тестов.
Анализ теста, который предшествует процессу тестирования, особенно
при использовании автоматизированных систем, несет в себе определенные
сложности и накладывает специфические условия организации.
Формирование тестов для автоматизированных систем осуществляется,
как правило, в разные периоды времени, разными преподавателями и имеют
тенденцию
увеличения
базы
вопросов
для
проведения
процесса
тестирования. Без использования математических моделей определения
повтора трудно обойтись. Даже изменение порядка следования слов в
предложении уже в целом меняет сам вопрос для автоматизированной
системы. Поэтому в вопросах подготовки контрольных тестов важной
проблемой выступает уникальность вопроса и его предполагаемых вариантов
ответа, если это только не связано со специальными приемами уточнения
глубины знаний учащихся в предметной области. Для предварительного
анализа качества тестов проводится тестирование их составителей.
Статистический анализ качества тестов производится по двум
направлениям [5, с. 462]:
 анализ вопросов теста на полное или частичное совпадение; анализ
ответов заданий теста, как на повторяемость, так и на наличие
недопустимых ответов, таких как «верны ответы а) и в)», «все ответы
верны», «все ответы не верны» и т.д.;
 анализ ответов учеников.
Статистический анализ ответов проводится для отдельного теста, когда
для каждого вопроса, который был задан ученикам во время тестирования,
определяется количество правильных и неправильных ответов, а также
указывается, был ли изменен правильный ответ в результате апелляции.
Оценка качества тестов является важной составляющей подготовки
теста к использованию при приеме экзаменов методом компьютерного
тестирования. Проверка на повторяемость вопросов в тесте и дублируемость
ответов среди вариантов ответов позволяет выявить точные копии вопросов
28
и ответов среди предложенных вариантов ответов на вопрос теста. Данная
проверка является первичной, которую должен проходить контрольный тест.
Если анализ ответов на полное соответствие является достаточно простой
задачей, выполняемой автоматизированной системой, то для анализа
вопросов теста необходимо использовать специальные модели.
Степень подобия строк можно определить различными способами [5,
с. 463]. Два вопроса теста следует считать подобными, если они содержат
примерно одинаковое количество слов (разница составляет не более p%),
длиной не менее k символов (слова, с длиной менее k символов считаются не
значимыми) и не менее q% слов имеют совпадение большее, чем r%.
Вопросы, которые определены автоматизированной системой, как подобные,
представляются для окончательно принятия решения лицу, принимающему
решение.
Так, например, два вопроса по иностранному языку «Выберите
эквивалент к выражению: «Мне не везет» и «Выберите эквивалент к
выражению:
«В
автоматизированной
области
системой
науки»
как
должны
похожие
и
рассматриваться
представляться
для
рассмотрения лицу, принимающему решение.
Аналогично похожими должны считаться вопросы по информатике
«Монитор компьютера предназначен для…» и «Для чего предназначен
монитор компьютера?». Если в первом примере начало вопросов одинаково,
то во втором примере порядок слов изменен.
По
данным
материалов
XVIII
Международной
конференции.
«Применение новых технологий в образовании» существуют следующие
способы анализа качества теста и повышения его надежности [5, с. 463]:
 статистический анализ ответов учеников, как для отдельного теста, так и
для всех тестов, используемых при проведении экзаменов;
 анализ ответов теста на повторяемость и наличие ответов, не пригодных
для компьютерного тестирования;
 анализ вопросов теста на полное соответствие;
29
 анализ вопросов теста на нечеткое соответствие;
 тестирование авторов для выявления некорректных вопросов;
 сравнение вопросов теста с тематическими вопросами по дисциплине,
предоставляемыми ученикам для подготовки к экзаменам;
 переработка
формулировок
вопросов
для
получения
уникального
варианта теста;
 выделение и сохранение невалидных вопросов теста для предотвращения
появления их в качестве новых тестовых заданий;
 сравнение новых тестовых заданий с имеющимися в базе данных.
30
Заключение
В результате проведенного исследования можно сделать вывод.
Компьютерное тестирование имеет определенные преимущества по
сравнению с традиционным бланковым тестированием, которые проявляются
особенно заметно при массовых проверках (например: ЕГЭ). Предъявление
вариантов теста на компьютере позволяет сэкономить средства, расходуемые
обычно на печать и транспортировку бланковых тестов, а также упростить
процесс обработки данных, облегчить аналитическую оценку результатов
теста и т.д.
Благодаря
компьютерному
тестированию
можно
повысить
информационную безопасность и предотвратить рассекречивание теста за
счет высокой скорости передачи информации и специальной защиты
электронных файлов.
Систематический контроль знаний большого числа проверяемых
приводит к необходимости автоматизации контроля, использованию при его
проведения компьютерной техники и соответствующего программного
обеспечения.
Применение компьютеров при контроле знаний является экономически
выгодным и обеспечивает повышение эффективности учебного процесса.
Таким образом, подтверждается гипотеза выдвинутая в начале данной
работы.
31
Список литературы
1. Майоров А.Н. Теория и практика создания тестов для системы
образования. (Как выбирать, создавать и использовать тесты для целей
образования). — М., «Интеллект-центр», 2001 – 296 с.
2. Аванесов
В.С.
Композиция
тестовых
заданий.
–
М.,
Центр
тестирования, 2002.
3. Зорин С.Ф. Разработка автоматизированной системы контроля знаний.
М., 2007 – 36 с.
4. М.Б. Челышкова. Теория и практика конструирования педагогических
тестов: Учебное пособие. - М: Логос, 2002. - 432 с.
5. Материалы XVIII Международной конференции. Применение новых
технологий в образовании. АНО «ИТО» 27 – 28 июня 2007 г. Троицк
6. КомпьютерПресс 7'2006. http://www.compress.ru/.
7. Габова О.В., Русаков А.А. Тестирование - одна из форм диагностики и
проверки успешности обучения. Педагогическая информатика, № 3,
2005, - с.13-17
8. Охотина Л.Н. Компьютерное тестирование знаний студентов по
математики. Педагогическая информатика, № 3, 2007, - с.46-51
9. Сиврук А.И., Папко Т.П. Автоматизация подготовки тестовых заданий.
Педагогическая информатика, № 2, 2003, - с.43-49
32
Download