Результаты работы носят промежуточный характер и

ГОСУДАРСТВЕННАЯ АКАДЕМИЯ НАУК
РОССИЙСКАЯ АКАДЕМИЯ ОБРАЗОВАНИЯ
Учреждение Российской академии образования «Институт
информатизации образования»
УТВЕРЖДАЮ
Директор ИИО РАО
_____________ /И.В. Роберт/
«___»_____________2011 г.
м.п.
РЕКЛАМНО-ТЕХНИЧЕСКОЕ ОПИСАНИЕ
Аналитический обзор «Современное состояние использования
электронных средств учебного назначения в процессе обучения
математике»
.45392457.00194-01 99 01
Листов 9
Разработчик:
____________/ Сердюков В.И./
25.03.2011>
Москва 2011
2
.45392457.00194-01 99 01
Аннотация
В вузах страны всё чаще используются автоматизированные системы
тестового контроля знаний, проводятся федеральные Интернет-экзамены,
которые в свою очередь способствовали существенному расширению
практики применения компьютерного тестирования знаний в процессе
текущего и итогового контроля знаний студентов. Однако оценки,
полученные
разными
студентами
по
результатам
компьютерного
тестирования и Интернет–экзаменов не всегда можно сравнивать между
собой из-за их смещения в большую или меньшую сторону относительно
истинного значения.
Среди причин, приводящих к получению смещённых оценок,
следует указать: ограниченность тестирования во времени, приводящую к
использованию упрощённых тестовых заданий, в которых как правило
присутствует подсказка в виде правильного ответа, что дает студенту
возможность угадать правильный ответ, не зная его. Помимо этого,
сравнимость оценок усложняется из-за неравнозначности тестовых
заданий,
предлагаемых
студентам
и
др.
К
сожалению,
научные
исследования по снижению смещения точечных оценок, полученной
студентом по результатам тестирования, ранее не проводились, хотя о том,
что такое смещение имеет место быть, известно давно.
В ходе проведенного исследования на основе анализ причин были
выработаны предложения по существенному снижению смещения при
точечной оценке знаний студентов по результатам компьютерного
тестирования. Все предложения сопровождаются обоснованиями, в том
числе количественными оценками.
Результаты работы носят промежуточный характер и предназначены
для выполнения следующего этапа исследований, но могут использоваться
при разработке банков тестовых заданий.
3
.45392457.00194-01 99 01
Введение
В последнее время вместо традиционной формы сдачи студентами
устных или письменных экзаменов преподавателю, прочитавшему им
учебную
дисциплину,
или
комиссии,
составленной
из
двух-трех
преподавателей кафедры вуза, ныне все шире используется новая форма
сдачи экзаменов, получившая название федерального экзамена в сфере
высшего
профессионального
проводимого
с
образования
использованием
Интернета.
(сокращенно,
Экзамен
ФЭПО),
проводится
Национальным агентством по аккредитации в сфере образования путем
тестирования. Вслед за этим заметно возрос интерес к
текущему,
промежуточному и итоговому компьютерному контролю знаний студентов
в вузах.
Каждая форма сдачи экзамена имеет свои достоинства и недостатки.
Сдавая экзамен преподавателю, студент излагал свой алгоритм
ответа на тот или иной экзаменационный вопрос, что позволяло
экзаменаторам оценить творческие способности студента, логику его
рассуждений, правильность его вычислений, умение рассуждать просто и
кратко, выявлять допущенные при этом ошибки и неточности и разбирать
их со студентом в ходе экзамена. Тем самым экзаменатор, принимающий
экзамен у студента, продолжал обучение студента на его же ошибках.
Однако из равенства экзаменационных оценок двух студентов,
полученных в разных вузах и даже в одном вузе, но у разных
преподавателей, не следовало, что уровни знаний этих студентов
одинаковы.
Эта разница уровней существовала всегда, однако ранее была не
столь заметной, как сейчас. Причины, обусловившие существенный рост
этой
заметности,
связаны
с
изменениями
в
система
высшего
профессионального образования, в том числе с изменениями роли и места
преподавателя и студента в этой системе и в обществе в целом.
4
.45392457.00194-01 99 01
Следствием этого стало падение доверия работодателей к вузовским
оценкам
знаний
выпускника.
Многие
работодатели
принимают
специалистов на работу по результатам собственных экзаменов по тем или
иным учебным дисциплинам, и результаты этих экзаменов во многих
случаях существенно отличаются от тех, что указаны в приложении к
вузовскому диплому.
В создавшихся условиях разумной альтернативы ФЭПО нет. Он
позволяет рассчитывать на то, что оценкам, полученным различными
студентами в разных вузах, постепенно станут доверять. Однако здесь есть
свои проблемы, связанные, прежде всего, с тем, что оценка, полученная
студентом по результатам тестирования, может быть существенно
смещённой относительно истинного своего значения.
В данном отчете изложен подход к оценке величины смещения от
истинных значений результатов тестового контроля знаний, проводимых в
рамках ФЭПО, и полученные с его помощью результаты, определены
величины возможных смещений оценок знаний студентов от их истинных
значений, обоснованы практические рекомендации по их снижению.
Исследования проведены на базе Московского государственного
технического университета имени Н.Э.Баумана применительно к учебной
дисциплине: «Математика», преподаваемой студентам в течение первых
четырех семестров обучения.
Результаты
работы
носят
промежуточный
характер
и
предназначены для выполнения следующего этапа исследований, но
могут использоваться при разработке банков тестовых заданий и
проведении компьютерного тестирования студентов, обеспечивая
существенное снижение смещения при точечной оценки знаний
студентов.
5
.45392457.00194-01 99 01
Состояние вопроса исследования. Тестовые задания
1.
В настоящее время Московский государственный технический
университет имени Н.Э. Баумана проводит подготовку инженеров по 75
специальностям, магистров – по 12 специальностям, бакалавров – по 26
специальностям [приложения 2, 3 и 4]. Студентам преподают разные
учебные дисциплины. Исключение составляют естественно научные
дисциплины, которые в большинстве случаев преподаются студентам,
обучаемым по разным специальностям, по единой учебной программе. Из
всех естественно научных дисциплин наибольший объём учебного
времени отводится на изучение математики. Математика в обязательном
порядке изучается студентами в течение четырех семестров вне
зависимости от специальности подготовки, а затем может изучаться
студентами дополнительно в рамках спецкурсов, читаемых студентам на
пятом
и
последующих
специальности
семестрах
подготовки).
Это
обучения
позволяет
(в
зависимости
использовать
от
учебную
дисциплину: «Математика» в качестве объекта, позволяющего раскрыть
суть и проиллюстрировать возможности предлагаемого подхода к
определению величин смещения оценки, полученной студентом по
результатам ФЭПО, от её истинного значения.
Для обеспечения проведения ФЭПО Национальным агентством по
аккредитации в сфере образования был разработан кодификатор элементов
содержания дисциплины «Математика» цикла общих математических и
естественнонаучных дисциплин высшего профессионального образования,
представленный в приложении 1.
Однако банки тестовых заданий ФЭПО находятся ещё в стадии
наполнения. Поэтому перечень специальностей, по которым на сайте
ФЭПО представлены необходимые для проведения данного исследования
сведения, ограничен несколькими группами специальностей. Выбор
6
.45392457.00194-01 99 01
небольшой, различия несущественны. С учётом этого обстоятельства были
выбраны специальности, входящие в группу 140000, а именно:
140401.65 – Техника и физика низких температур;
140402.65 – Теплофизика;
140501.65 – Двигатели внутреннего сгорания;
140503.65 – Газотурбинные, паротурбинные установки и двигатели;
140504.65
–
Холодильная,
криогенная
техника
и
кондиционирование;
140505.65 – Плазменные энергетические установки.
Демонстрационные варианты тестовых заданий, предлагаемых
студентам, обучающимся по указанным специальностям, Национальным
агентством по аккредитации в сфере образования, были взяты с
официального портала
www. fepo.ru и приведены в приложениях 5, 6, 7,
8, 9 и 10.
Как следует из документа под названием: «Кодификатор элементов
содержания дисциплины «Математика» цикла общих математических и
естественнонаучных
дисциплин
высшего
профессионального
образования», представленного в приложении 1, в ходе Интернет-экзамена
каждому студенту могут быть предложены следующие типы тестовых
заданий:
1)
Задание с выбором одного правильного ответа из 4 или 5
предложенных вариантов;
2)
Задание с выбором нескольких правильных ответов из
предложенных;
3)
Задание на установление правильной последовательности;
4)
Задания на установление соответствия двух списков;
5)
Задания с кратким ответом (в виде целого числа).
Каждому из тестовых заданий присущи свои вероятностные
характеристики. Каждому тестовому заданию будут соответствовать свои
7
.45392457.00194-01 99 01
вероятностные характеристики, расчёту которых посвящён следующий
раздел отчёта.
8
.45392457.00194-01 99 01
Заключение
В работе рассмотрены особенности несмещенной оценки знаний
студентов технических вузов, изложена математическая модель для
построения распределений смещений итоговых оценок тестового контроля
знаний студента технических вузов, даны оценки возможных смещений
результатов выполнения тестовых заданий относительно истинного уровня
знаний студента вуза применительно к ФЭПО,
Отчёт носит промежуточный характер. Полученные
результаты будут использованы в дальнейших исследованиях по данной
теме.
Список использованных источников
1.
В.Феллер. Введение в теорию вероятностей и её приложения. В
2-х томах. – М.: Мир, 1984, т.1 – 527с.; т.2- 751с.
2.
Сердюков
В.
И.
Сравнительная
оценка
результатов
компьютерного тестирования знаний студентов вузов. – М.: Ученые
записки ИИО РАО, 2007, вып. 24. – С. 195 – 206.
3.
обучаемого
Сердюков В.И. О смещении оценки знаний и умений
при
компьютерном
тестировании./Сборник
трудов
международной научно-практической конференции: «Информационные
технологии в образовании, науке и производстве». – Серпухов, Комитет по
образованию, 2008. – С. 295 -297.
9
.45392457.00194-01 99 01