Дистанционные технологии исследовательского обучения

Создание тестовых заданий
при организации
дистанционного обучения
МАОУ лицей № 102
г. Челябинска
Эффективный тест
Тест (в пер. с англ. – проверка, испытание)
– это инструмент, предназначенный для оценивания качеств
и свойств личности, которые могут быть изменены в
процессе обучения, и состоящий из
 квалиметрически выверенной системы тестовых заданий
 стандартизованных процедур предъявления заданий
 обработки и анализа результатов
Эффективным является такой тест, который
«лучше, чем другие тесты,
измеряет знания обучающихся
интересующего уровня подготовленности,
с меньшим числом заданий,
качественнее, быстрее,
и все это – по возможности одновременно»
В.С. Аванесов
Педагогический тест
Это система заданий специфической формы,
позволяющая измерить уровень обученности
студентов, совокупность их представлений, знаний
и навыков
на той или иной области содержания
Тест состоит не из вопросов и задач,
а из тестовых заданий!
NB!
Специфическая форма тестовых заданий
отличается тем, что задания теста представляют собой
не вопросы и не задачи, а задания, сформулированные в форме
высказываний, истинных или ложных, в зависимости от ответов.
Традиционные вопросы, напротив, истинными или ложными
не бывают, а ответы на них нередко настолько неопределенны
и многословны, что для выявления их правильности требуются
заметные, в суммарном исчислении, затраты интеллектуальной
энергии преподавателей.
В этом смысле традиционные вопросы и ответы нетехнологичны
и поэтому их лучше не включать в тест.
В.С.Аванесов
Достоверность и ошибки контроля*
Источники ошибки:
 Вероятность положительного результата при неосвоении
материала
(верный ответ при отсутствии знания = угадывание)
 Вероятность отрицательного результата при освоении материала
(неверный ответ при наличии знания = ошибка при составлении
задания)
Достоверность контроля (вероятность истинности результата)
Р ист. = 1 – Р угад. – Р ош.задан
*Из презентации к вебинару проф. Ю.В. Тихомирова (МГТУГА)
«Компьютерное тестирование уровня освоения учебного материала» 11.05.2010, eLearningPRO
Вероятность угадывания правильных
ответов
1.
Зависит от формы представления тестового здания (ТЗ):
 в ТЗ закрытой формы – обратно пропорциональна количеству
вариантов ответов
 в ТЗ на упорядочение списка или конструирование ответа –
стремится к нулю
 В ТЗ открытой формы – стремится к нулю
2.
Может быть обусловлена некорректной формулировкой ТЗ
(подсказки)
Формы тестовых заданий
 Закрытая
- одиночный выбор
- множественный выбор
- альтернативные задания
 Открытая
 На установление соответствия
 На установление правильной
последовательности
NB!

Одни и те же задания могут быть представлены
в различных формах. Следует выбирать ту из них,
в которой вопрос формулируется более кратко
и понятно, а вероятность угадывания правильных ответов меньше

Если задания в различных формах выглядят в равной степени
эффективными, то следует выбирать из них тот тип, который
менее всего представлен в тесте
Этапы подготовки банка ТЗ
1.
Определение структуры учебной дисциплины
2.
Отбор содержания учебного материала
3.
Формулировка тестовых заданий (ТЗ)
4.
Экспертиза качества ТЗ
5.
Определение целей тестирования
6.
Конструирование технологической матрицы и ее
экспертиза
7.
Построение выборки для предварительного испытания теста
8.
Апробация теста и изучение результатов
9.
Стандартизация теста
10. Подготовка учебных материалов для публикации
NB!
Составление тестовых заданий для
компьютерного тестирования в
соответствии с требованиями
позволяет снизить вероятность
ошибки
при тестовом контроле
и повысить достоверность
результата
Основы e-learning для преподавателя вуза
Требования к составлению тестовых
заданий для компьютерного тестирования
 Официально утвержденных Министерством образования
стандартных требований к составлению тестовых заданий на
сегодняшний день нет
 Приказ МО РФ от 17.04.2000 1122 «О сертификации качества
педагогических тестовых материалов»
 Рассматриваемые далее Требования*
- разработаны сотрудниками Центра образовательных
коммуникаций и тестирования профессионального образования
(ЦОКиТПО) МГУП (http://ctve.ru)
- носят рекомендательный характер
- обусловлены спецификой компьютерного тестирования
*Источник: Васильев В.И., Киринюк А.А., Тягунова Т.Н. Требования к программнодидактическим тестовым материалам и технологиям компьютерного тестирования. М.:
Изд-во МГУП, 2005.
Специфика ТЗ для компьютерного
тестирования

Объём текста ТЗ должен быть примерно на 30% меньше
аналогичного по содержанию ТЗ для бланочного тестирования

Задание должно быть составлено с учетом того,
что среднее время его предъявления на экране составляет
около одной минуты
Заповедь №1
для разработчика тестов
 Думать не только о содержании тестового задания,
но и о том, сколько времени студент потратит
на его восприятие
 Его важнейшая обязанность – экономия драгоценного
времени обучающегося
Требования к составлению тестовых
заданий
для компьютерного тестирования

Краткость и логичность суждения

Однозначность заключения

Повествовательная форма логического высказывания

Грамматическая согласованность частей ТЗ

Узнаваемость формы ТЗ
Требования к составлению тестовых заданий
для компьютерного тестирования
• Отсутствие:
прямых или скрытых подсказок
заведомо ложных, а также явно выделяющихся ответов
вводных слов и предложений
слов, в которых содержится двусмысленность
или противоречие
– отрицания в формулировке ТЗ
– повторов
–
–
–
–
• Лучше «длинный» вопрос и «короткие»
ответы,
чем наоборот
Требования к составлению тестовых
заданий
для компьютерного тестирования
• Недопустимо:
- использовать ответы типа: все
вышеперечисленное верно,
все указанные ответы неверны и т.д.
- начинать формулировку с предлога,
частицы, союза
- использовать повелительное наклонение
(выберите, вычислите, укажите и т.д.)
• Рекомендуется:
- при составлении ТЗ из возможных
формулировок выбрать ту,
в которой количество слов наименьшее
NB!
Чем лаконичнее задание,
тем лучше оно воспринимается!
• «Лишние» слова, не несущие смысловой
нагрузки, должны быть из ТЗ удалены
• На первое место в формулировке
необходимо выносить ключевое слово, в
котором содержится основной смысл
задания
Основные показатели качества
тестовых заданий при экспертизе
1.
2.
3.
4.
5.
6.
7.
8.
9.
Компактность формулировки ТЗ и вариантов ответов
Логичность (формулировка ТЗ в виде суждения)
Корректность (отсутствие лишних слов)
Достаточность (необходимое количество вариантов
ответов)
Содержательность (соответствие ТЗ содержанию ГОС
или учебной программе)
Значимость (уровень значимости содержания ТЗ)
Время вывода заключения(ответа)
Однозначность ТЗ
Ясность смысла тестовой ситуации
Примеры
наиболее типичных ошибок
при составлении тестовых
заданий
1. Формулировка задания в
форме вопроса
НЕПРАВИЛЬНО
ПРАВИЛЬНО
Что из перечисленного является
видом таможенного режима?
Вид таможенного режима:
+переработка на таможенной
территории
транзит
свободная таможенная зона
+переработка на таможенной
территории
транзит
свободная таможенная зона
 Предложите Ваш вариант корректной
формулировки задания:
Что является одной из ключевых функций управления:
+планирование
производство
сбыт
снабжение
ПРАВИЛЬНО:
Ключевая функция управления:
+планирование
производство
сбыт
снабжение
Предложите Ваш вариант корректной
формулировки задания:
Какой из перечисленных источников права является основным в
странах англосаксонской правовой системы?
нормативный правовой акт
правовой обычай
+юридический прецедент
ПРАВИЛЬНО:
Основной источник права в странах англосаксонской правовой
системы:
нормативный правовой акт
правовой обычай
+юридический прецедент
2. Повторяющиеся слова или
словосочетания
НЕПРАВИЛЬНО
ПРАВИЛЬНО
Функция общей полезности достигает
максимума когда:
Функция общей полезности достигает
максимума, когда предельная
полезность:
+предельная полезность равна нулю
предельная полезность равна
наибольшей величине
предельная полезность не изменяется
предельная полезность растет
+равна нулю
равна наибольшей величине
не изменяется
растет
Средняя плотность населения Москвы:
Средняя плотность населения Москвы
(тыс.чел./кв.км):
5-6 тыс.чел./кв.км
7-8 тыс.чел./кв.км
9-10 тыс.чел./кв.км
11-12 тыс.чел./кв.км
Слайд  23
5-6
7-8
9-10
11-12
Предложите Ваш вариант корректной
формулировки задания:
Формула Дюпона характеризует:
+экономическую рентабельность активов
экономическую рентабельность собственных средств
экономическую рентабельность оборотных средств
экономическую рентабельность основных средств
ПРАВИЛЬНО:
Формула Дюпона характеризует экономическую рентабельность:
+активов
собственных средств
оборотных средств
основных средств средств
Слайд  24
Предложите Ваш вариант корректной
формулировки задания:
Анализ безразличия прибыли на акцию – это анализ:
+влияния различных источников финансирования
влияния структуры капитала
влияния постоянных и переменных затрат
влияния структуры производства
ПРАВИЛЬНО:
Анализ безразличия прибыли на акцию – это анализ влияния:
+различных источников финансирования
структуры капитала
постоянных и переменных затрат
структуры производства
Слайд  25
3. Лишние слова в формулировке ТЗ
НЕПРАВИЛЬНО
Из перечисленных ниже
факторов выберите тот, который
может способствовать
расширению спроса на товар:
…
Какой из перечисленных ниже
признаков характерен для чистой
монополии?
…
ПРАВИЛЬНО
Фактор, способствующий
расширению спроса на товар:
…
Признак чистой монополии:
…
Предложите Ваш вариант корректной
формулировки задания:
Из приведенных ниже утверждений выберите то, которое наиболее
точно характеризует принцип определения количества голосов
страны в совете управляющих МВФ:
…
ПРАВИЛЬНО:
Принцип определения количества голосов страны в совете
управляющих МВФ:
…
ПРАКТИКУМ
 Какие ошибки допущены?
 Ваш вариант корректной формулировки задания
Какой налог из перечисленных ниже налогов относится к
федеральным налогам?
+налог на добавленную стоимость
налог на имущество организаций
налог на имущество физических лиц
ПРАВИЛЬНО:
Федеральным является налог на:
+добавленную стоимость
имущество организаций
имущество физических лиц
 Какие ошибки допущены?
 Ваш вариант корректной формулировки задания
Какой из следующих показателей следует отнести к
показателям движения кадров?
+коэффициент постоянства кадров
средний уровень квалификации
степень дифференциации работников по уровню зарплаты
коэффициент текучести кадров
ПРАВИЛЬНО:
Показатель движения кадров:
+коэффициент постоянства кадров
средний уровень квалификации
степень дифференциации работников по уровню зарплаты
коэффициент текучести кадров
 Какие ошибки допущены?
 Ваш вариант корректной формулировки задания
Какие из перечисленных функций относятся к внутренним
функциям государства:
+охранительная
+воспитательная
духовная
социальная
политическая
экономическая
экологическая
ПРАВИЛЬНО:
Внутренние функции государства:
…
 Какие ошибки допущены?
 Ваш вариант корректной формулировки задания
Для автоматизированного производства наиболее характерна
следующая система оплаты труда:
+повременная
сдельная
сдельно-прогрессивная
комиссионная
ПРАВИЛЬНО:
Система оплаты труда, характерная для автоматизированного
производства:
+повременная
сдельная
сдельно-прогрессивная
комиссионная
 Какие ошибки допущены?
 Ваш вариант корректной формулировки задания
Из перечисленных ниже долговых обязательств укажите инструменты
денежного рынка: I. Казначейские векселя; II. Коммерческие векселя;
III. Коммерческие бумаги; IV. Депозитные сертификаты.
a) верно I и II;
b) верно I, II и III;
c) верно I и III;
d) все верно +
ПРАВИЛЬНО:
Долговые обязательства, являющиеся инструментами денежного
рынка:
+казначейские векселя
+коммерческие векселя
+коммерческие бумаги
+депозитные сертификаты
…
…
 Какие ошибки допущены?
 Ваш вариант корректной формулировки задания
Социальные потребности (чувство духовного родства, любовь)
относят:
+к третьей ступени иерархии потребностей по А. Маслоу
ко второй ступени иерархии потребностей по А. Маслоу
к четвертой ступени иерархии потребностей по А. Маслоу
к пятой ступени иерархии потребностей по А. Маслоу
ПРАВИЛЬНО:
Ступень иерархии потребностей по А. Маслоу, к которой относят
социальные потребности (чувство духовного родства, любовь):
вторая
+третья
четвертая
пятая
Практическое задание
Предлагаем
Вам
закрепить
полученные
навыки
редактирования формулировок тестовых заданий на
специально подготовленном материале.
Успехов! 