ФГБОУ ВПО РГУПС - Ростовский государственный университет

Федеральное государственное бюджетное образовательное учреждение
высшего профессионального образования
«Ростовский государственный университет путей сообщения»
(ФГБОУ ВПО РГУПС)
АНАЛИЗ СОДЕРЖАНИЯ ФОНДОВ ОЦЕНОЧНЫХ
СРЕДСТВ ЦМКО И ЭФФЕКТИВНОСТИ
РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
Председатель комиссии проф. В.А. Явна
Докладчик
Директор ЦМКО
М.С. Тимофеева
Цель и задачи работы комиссии
Цель
– провести проверку соответствия результатов
промежуточной аттестации студентов в форме
компьютерного тестирования по разработанным фондам
оценочных средств минимальному уровню знаний
студентов.
Задачи:
- провести анализ комплектности фондов оценочных средств (ФОС);
- рассмотреть факторы, влияющие на надежность, достоверность и
объективность системы оценки качества образования;
- определить условия формирования сбалансированного по
трудности теста;
- провести критериальный анализ содержательности фондов
оценочных средств по результатам промежуточной аттестации;
- определить эффективность системы «Тестирование» как
инструмента,
позволяющего
контролировать
уровень
сформированности приобретаемых компетенций студентов.
Объем компьютерного тестирования студентов по
разработанным фондам оценочных средств (ФОС)
Количество разработанных
АПИМ/ФОС дисциплин
Общее количество
сеансов тестирования в РГУПС
С 2014 года преподаватели кафедр под руководством ЦМКО приступили к системной
разработке фондов оценочных средств, в соответствии с требованиями предъявляемыми ФГОС.
ЦМКО с 2006 года организовало более 396 363 сеансов (человеко-дисциплин). По результатам
компьютерного тестирования были разработаны рекомендации для разработчиков ФОС.
Определение оптимального количества разделов в
односеместровой дисциплине для аттестации студентов
Динамика внедрения тестовых
заданий в процесс мониторинга
качества образования
Зависимость аттестации студентов от количества
разделов дисциплины, включенных в тест
За 10 лет работы ЦМКО было разработано около 659 000 тестовых заданий. В процессе
тестирования участвуют более 300 000 тестовых заданий по дисциплинам семестра. По
результатам апробации при пороге 30 % оптимальное количество разделов дисциплины должно быть
не менее 4 - не более 7 на 1 семестр изучения. При изменении количества разделов дисциплины в
сторону уменьшения аттестация студентов приближается к 90 %, в сторону увеличения количество не аттестованных студентов увеличится на одну треть.
Расчет рационального количества тестовых заданий
на раздел
С целью выявления зависимости
совпадения заданий у рядом сидящих
студентов от количества заданий на
раздел было проведено компьютерное
моделирование 1300 сеансов тестирования
для 25 студентов
из 4-7 разделов
дисциплины.
В
результате
анализа
представленных студенту номеров заданий
из списка (от 4 до 7 заданий из каждого
раздела)
была
выявилась
линейная
зависимость
количества совпадающих
заданий от количества тестовых заданий
включенных в раздел дисциплины.
Зависимость
количества
пар
студентов с совпадающими заданиями от
количества заданий на раздел выражается
степенной функцией. При увеличении
количества заданий на раздел от 30 до 50
количество
пар
студентов
с
совпадающими заданиями уменьшается на
60%.
Определение уровня порога промежуточной
аттестации студентов
Распределение правильных ответов
студентов по двум попыткам
Распределение количества студентов по
уровню освоения пройденного материала
С целью обеспечения качества подготовки студентов и исключения вероятностного характера
аттестации студента (вероятности угадывания правильного ответа при пороге 30 % составляет
22%) рекомендуется повышение уровня порога до 40%. Это позволит повысить степень
объективности процедуры оценки уровня сформированности компетенций студентов.
Варианты настройки теста в системе «Тестирование»
на примере дисциплины «Физика»
Экспертная проверка минимального уровня знаний
студентов и содержательной валидности теста
Экспертная оценка уровня знаний студентов по
результатам опроса
Результаты компьютерного
тестирования
студентов
и
экспертной проверки минимального
уровня знаний студентов (опрос), а
также качество тестовых заданий
в целом подтвердили, что степень
достоверности содержательной
валидности теста соответствует
поставленным целям и задачам
обучения студентов.
Критериальный анализ содержательной валидности
тестовых заданий на примере дисциплины
«Финансовый менеджмент»
ФОС дисциплины «Финансовый менеджмент» позволяет качественно оценить уровень
формирования приобретаемых компетенции студентами на минимальном, базовом и высоком
уровне.
Анализ валидности фондов оценочных средств на
примере дисциплин
ФОС дисциплины «Финансовый менеджмент»
отвечающий установленным критериям оценки
ФОС дисциплины «Подвижной состав» не
отвечающий установленным критериям оценки
Содержательная валидность ФОС
Анализ соответствия результатов компьютерного
тестирования уровню формируемых компетенций
От общего объема участвующих студентов в тестировании около 5 % не аттестованы. Около 75%
студентов подтвердили соответствие базовому/высокому уровню сформированности оцениваемых
компетенций. Не подтвердили уровень формирования компетенций минимального уровня 25 человек (7,4%),
297 студентов (92,6 %) подтвердили результаты тестирования экспертам групп компетенций.
Предложения в проект решения Ученого совета
ФГБОУ ВПО РГУПС:
1. Признать итоги работы комиссии по анализу содержания
фондов оценочных средств ЦМКО и эффективности
результатов тестирования удовлетворительными.
2. Организовать на базе ЦМКО экспертную проверку
соответствия результатов компьютерного тестирования
уровню формируемых компетенций 1 раз в семестр
(отв. - директор ЦМКО, председатель комиссии).
3. Организовать содержательный анализ качества фондов
оценочных средств по дисциплинам, участвующим в
промежуточной аттестации студентов раз в семестр (до 15
октября,15 февраля) (отв. – зав. кафедрами, УМС).
4. Рекомендовать уровень порогового значения аттестации
студентов 40 %.
Спасибо за внимание