ЕДИНЫЙ ИНФОРМАЦИОННЫЙ РЕСУРС АСТ-Центр Центр образовательных коммуникаций и

ЕДИНЫЙ ИНФОРМАЦИОННЫЙ РЕСУРС
Федеральная служба по надзору в
сфере образования и науки
РОСС Ru.0001.11СП13
АСТ-Центр
Центр образовательных
коммуникаций и
тестирования
профессионального
образования
Орган
сертификации
ИСПЫТАТЕЛЬНЫЕ ЛАБОРАТОРИИ
Красноярск
Москва
РОСС Ru.0001.21СП35
Ульяновск
Санкт-Петербург
СОСТОЯНИЕ ПРОБЛЕМЫ
 ОТСУТСТВИЕ ДОХОДЧИВОГО ИЗЛОЖЕНИЯ ТЕОРИИ
КОМПЬЮТЕРНОГО АДАПТИВНОГО ТЕСТИРОВАНИЯ
 НИЗКИЙ УРОВЕНЬ КОМПЬЮТЕРНОЙ ПОДГОТОВКИ
ПРЕПОДАВАТЕЛЕЙ
 ПРЕДСТАВЛЕНИЕ О ЛЕГКОСТИ СОЗДАНИЯ БАНКА ТЕСТОВ
 ОТНОШЕНИЕ “А У НАС ВСЕ ХОРОШО”
 ЗАСОРЁННОСТЬ ВУЗОВ ПСЕВДОТЕСТАМИ
 ОТСУТСТВИЕ СТАНДАРТОВ
ПОДХОДЫ К РАЗРАБОТКЕ БАНКА
ТЕСТОВЫХ ЗАДАНИЙ ПО…
• принуждению
• желанию
• профессиональному призванию
Неспособность, бессодержательность,
низкая результативность
ПРОБЛЕМЫ
Методологические правила
Профессиональные Банки ТЗ
Стандарты, Требования, Нормы
Механизмы адаптации
Механизмы оценки
Унифицированные выходные документы
ПРАВОВАЯ БАЗА
КОНСТИТУЦИЯ СТ.71, р
ЗАКОН ОБ ОБЕСПЕЧЕНИИ ЕДИНСТВА ИЗМЕРЕНИЙ
•Защита интересов граждан от
недостоверных измерений
•Согласованность стандартов
ЗАКОН О СТАНДАРТИЗАЦИИ
IMS
Тестология
ISO
POSIX
Тестометрия
Оптимальные оценки
Адаптация
Институциональный кодекс
деятельности предполагает
разработку:
•Методологических правил
•Методологических требований
•Стандартов
•Норм
•Организационно –
распорядительных документов
ОПРЕДЕЛЕНИЕ
ИССЛЕДУЕМОГО ПОНЯТИЯ
ПРОГРАММНО-ДИДАКТИЧЕСКИЙ ТЕСТ  ЭТО
ЦЕЛОСТНАЯ СИСТЕМА СТАНДАРТИЗИРОВАННЫХ ПО ФОРМЕ ПРОГРАММНО-ДИДАКТИЧЕСКИХ ТЕСТОВЫХ ЗАДАНИЙ ОПРЕДЕЛЕННОГО
СМЫСЛА И ЗАДАННОЙ МЕРЫ ТРУДНОСТИ,
ОРИЕНТИРОВАННАЯ НА КОНКРЕТНЫЙ РЕЗУЛЬТАТ, ПОЗВОЛЯЮЩАЯ С ТРЕБУЕМОЙ ВЕРНОСТЬЮ И ОБЪЕКТИВНОЙСТЬЮ ОЦЕНИТЬ
СТЕПЕНЬ ОБУЧЕННОСТИ ЭМПИРИЧЕСКОГО
ОБЪЕКТА ПУТЁМ ОБРАБОТКИ КАЧЕСТВА ЕГО
ЗАКЛЮЧЕНИЙ В ТЕЧЕНИЕ ОГРАНИЧЕННОГО
ИНТЕРВАЛА ВРЕМЕНИ.
ДИДАКТИЧЕСКАЯ СИСТЕМА
РЕЗУЛЬТАТ
ЦЕЛИ
что желаем
КЛАСС.
АТТЕСТ.
для чего тестировать
СОДЕРЖАНИЕ
чему тестировать
МОДЕЛЬ ОБЪЕКТА
кого тестировать
АЛГОРИТМ
(технология)
как тестировать
РЕЗУЛЬТАТЫ
•КЛАССИФИКАЦИЯ
•АТТЕСТАЦИЯ
•ОТБОР
•ОТСЕВ
ВИДЫ УЧЕБНЫХ ПРОВЕРОК
Глобальные
Локальные
экзамены
достижения
начальные тематические
промежуточные
итоговые
текущие
Организация обучения
КОНЦЕПЦИЯ
ШКАЛА
12
I этап
II этап
11
КЛАССИФИКАЦИЯ АТТЕСТАЦИЯ
10
Самотестирование
9
Исходный балл
Реальный балл 8
7
БТЗ
Фонд ТЗ
6
различной
заданной
5
трудности
трудности
ОБЪЕКТЫ
ОБРАЗЫ
ИСПЫТУЕМЫЕ
4
{отл.+
{отличников},
Оценка
+хор.+
{хорошистов},
3
+поср.}
{посредств.}
2
1
5
4
3
2
КЛАССИФИКАЦИЯ
(качество)
I этап
• Отсутствие априорной информации
• Решение на основе наблюдений
• Структурная адаптация
КОНЦЕПЦИЯ.
КЛАССИФИКАЦИЯ ОБЪЕКТОВ
объекты
образы
{отличников,
хорошистов,
посредств.}
{отличников}
{хорошистов}
{посредств.}
Банк Тестовых Заданий
АТТЕСТАЦИЯ
II этап
• Наличие априорной информации
• Решение на основе наблюдений
• Параметрическая адаптация
ПАРАМЕТРИЧЕСКАЯ АДАПТАЦИЯ
Ядро
Трудные
Корзина
Очень
трудные
ТИПЫ И ФУНКЦИИ ДИДАКТИЧЕСКИХ ПРОВЕРОК
I. КОНКУРСНЫЕ
ОТБОР, ОТСЕВ
II. УЧЕБНЫЕ
ФУНКЦИИ
ВИДЫ
ФОРМЫ
АНАЛИЗ
РЕПЕТИЦИИ
ПРОГНОЗ
ТЕКУЩИЕ
КОРРЕКЦИЯ
ПРОМЕЖ.
МОТИВАЦИЯ
ИТОГОВЫЕ
КЛАССИФИКАЦИЯ
АТТЕСТАЦИЯ
ГОС.АТТЕСТАЦИЯ
ОРГАНИЗАЦИЯ
КООРДИНАЦИЯ
РЕЙТИНГ СПЕЦИАЛЬНОСТЕЙ
ПРИМЕНЕНИЕ
аттестация выпускников
типологическая классификация и рациональная
аттестация студентов и учащихся
репетиционное тестирование
создание банков тестовых заданий
(высшая и средняя школа)
ранжирование учебных заведений
ЭТАПЫ СОЗДАНИЯ БТЗ
1
ВЫБОР РЕЗУЛЬТАТА ПРОВЕРКИ
2
СТРУКТУРИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА
3
СПЕЦИФИКАЦИЯ ТЕСТОВЫХ ЗАДАНИЙ
4
РАЗРАБОТКА КОМПОЗИЦИИ ТЕСТА
5
ОЦЕНКА ВАЛИДНОСТИ ТЕСТА
ЭТАПЫ СОЗДАНИЯ БТЗ
6
ЭКСПЕРТИЗА БТЗ И ЗАДАНИЙ
7
КОРРЕКЦИЯ БТЗ
8
ОРГАНИЗАЦИЯ БАНКА ТЕСТОВЫХ ЗАДАНИЙ
9
КОРРЕКЦИЯ ТЕСТОВЫХ ЗАДАНИЙ
10
ПРЕДВАРИТЕЛЬНОЕ ШКАЛИРОВАНИЕ
ЭТАПЫ СОЗДАНИЯ БТЗ
11
ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТАЛЬНОГО ТЕСТИРОВАНИЯ
12
КОРРЕКЦИЯ ПОКАЗАТЕЛЕЙ БТЗ и ШКАЛЫ ОЦЕНИВАНИЯ
13
СЕРТИФИКАЦИЯ БТЗ
ДОПУСТИМЫЕ РЕШЕНИЯ
P
1
Верность модели
P2
Зона решений
Усталость
0,8
P1
Результат
P=P1*P2
0
20
40
60
80
100
120
ПДТЗ
Тестовое задание
• Однозначность
• Требования заключения
Вопрос
Задача
Определение
Доказательство
Высказывание
Суждение
АКСИОМЫ
Тестовое суждение
ГИПОТЕЗЫ
• Краткость (один существенный признак)
• Время формирования заключения ≤ 1
минуте
• Свернутость
• Целостность восприятия
• Трудоемкость
• Форма
• Композиция
ФОРМЫ ЗАДАНИЙ
Z={, S, mc, ml }
021100 "Юриспруденция" - Конституционное
(государственное) право России
1
0,9
0,8
доля успеха
0,7
0,6
0,5
Проверяемое
образовательное
учреждение
0,4
0,3
0,2
0,1
0
1
3
5
7
9
11 13 15 17 19 21 23 25 27 29 31 33 35 37
образовательные учреждения
ГЕНЕТИЧЕСКАЯ ФОРМУЛА
ОЦЕНКИ
Превосходно
Отлично
Почти отлично
Более чем хорошо
Хорошо
Недостаточно хорошо
Более чем удовл.
Удовлетворительно
Малоудовл.
ШКАЛИРОВАНИЕ
q
max
Действительное
значение
q
Пространство
состояний
(континуум)
Пространство
отображения
5
4
Реальное значение
(отметка, баллы)
3
2
min
ШКАЛА ОЦЕНКИ
оценка
Превосходно
Ш
К
50%
Отлично
А
Л
Почти отлично
А
5
О
т
м
е
т
к
а
ШКАЛА ОЦЕНКИ
5+
5
54+
4
43+
3
32+
2
2-
12
11
10
9
8
7
6
5
4
3
2
1
Превосходно
Отлично
Почти отлично
Более чем хорошо
Хорошо
Недостаточно хорошо
Более чем удовлетворительно
Удовлетворительно
Малоудовлетворительно
Более чем неудовлетворительно
Неудовлетворительно
Нет знаний