«Практическая тестология - VIII Саммит психологов (Спб-2014) Интерактивная лекция

VIII Саммит психологов (Спб-2014)
Интерактивная лекция
«Практическая тестология это прикладная психология или нет?»
Шмелев Александр Георгиевич,
профессор МГУ,
научный руководитель Лаборатории
«Гуманитарные технологии», www.ht.ru
План лекции
• Участники корпоративной системы тестирования.
• «Практическая тестология» (ПТ) и
«дифференциальная психометрика»
• О книге «Практическая тестология»
• Сайт книги и как ее приобрести
• forum.ht-line.ru – интерактивное упражнение
• Роли разных специалистов в ПТ
• Интеграция тестовых баллов и экспертных оценок
• Модуль «Интегратор» в системе HT-LINE
• Метод целочисленного взвешивания
Парадигма «один на один» уходит
Парадигма традиционной
психологии «один психологисследователь – один
обследуемый клиент» в эпоху
ИКТ-революции и
глобализации в крупных
корпорациях исчезает:
кандидаты оспаривают
вакансии, выполняя с самого
начала дистанционные
онлайн-тесты, в создании и
проведении которых
участвуют многие (десятки
человек)»
Testology-book.ru
1) Для психометристов –
психологов с математической
подготовкой
2) Для менеджероворгпсихолологов
3) Для авторов тестовых заданий
(предметников)
4) Для ИТ-специалистов
5) Для руководителей
подразделений качества в ВУЗах
Практическая тестология и
дифференциальная психометрика
• Предмет практической тестологии шире – это не
только измерение психических свойств, но
профессиональных и образовательных
компетенций (ЗУНов).
• Поле практической тестологии – это поле
деятельности не в лабораторных условиях, а в
реальной оргсреде образовательного учреждения
в целом и-или производственной (коммерческой)
организации.
Требования к тестологу
• Современный практический тестолог – это не
просто прикладной математик, получивший
дополнительную подготовку в области
психологии, и не просто прикладной психолог,
получивший дополнительную математическую
подготовку, - это универсальный ИТ-МЕНЕДЖЕР,
способный скоординировать работу
междисциплинарного коллектива исполнителей –
работу по внедрению Автоматизированной
Системы Тестирования (АСТ) в организации.
Оглавление книги
1.
2.
3.
4.
5.
Определения и классификация тестов
Конструкция и конструирование тестов
Разработка тестовых заданий и образцы
Математическая тестология (с. 262 – 350)
Организационно-технологическое обеспечение
тестовых систем
6. Валидность, рентабельность и достоверность
7. Внедрение тестов в систему вузовских экзаменов
8. Социально-психологические проблемы внедрения
тестов.
Где и как приобрести книгу?
• На сайте www.ht.ru в правой колонке есть
раздел «Подписка на книгу Шмелева». Эта
подписка дает возможность получить
доступ к э-копии книги, а также для
дистанционной оплаты и получения книги в
виде почтовой бандероли.
Интерактивная работа экспертов в И-сообществе
• Вход на форум экспертов со страницы forum.ht.ru
(возможна саморегистрация, а о регистрации
«через Фейсбук» доступна инструкция на первой
странице).
• Раздел «Объединение психологов –> Разработка
стандартов».
• Тема: «Проконтролируйте себя на
согласованность с экспертами».
http://forum.ht-line.ru/threads/prokontrolirujte-sebja-na-soglasovannost-s-ehkspertami.179/
• Опрос-голосование: «Назовите признаки, входящие в
определение понятия «измерительный тест».
Роли в тестологической команде ВУЗа
Главный
менеджер проекта
(Генконструктор
АСТ)
Менеджерпредметник
ИТ-менеджер
(Зампред УМК)
Автор-эксперт 1
Автор-эксперт 1
Операторпрограммист
Инспектор(ы)
учебной части
Супервизоры в
к-классах
Модель интеграции тестовых баллов и
экспертных оценок
Эксперт.
оценки
Тестовые
баллы
Эксперт.
оценки в
стенах
2 неуд
1–3
2
3 удов
4–5
4.5
4 хор
6–7
6.5
5 отл
8 - 10
9
Главная проблема –
это не формула
подсчета, а
непонимание
психологами способа
приведения
разнотипных шкал к
одной шкале.
Расчетный пример
ФИО
респондента
А
С
В
Балл по тесту Э-оценка
D
Перевод A в
Перевод В в
шкалу грейдов шкалу стенов
Иванов
8
4
5
6.5
Петров
10
5
5
9
Усреднение в грейдах
Усреднение в стенах
Иванов
Mean(5, 4)
= 4.5
Mean(8, 6.5)
= 7.25
Петров
Mean(5, 5)
= 5
Mean(10, 9)
= 9.5
Модуль «Интегратор» в системе HT-LINE
Вкладка-режим «Участники» в модуле « Интегратор» HT-LINE
Возможность дополнительных групповых приглашений
(тем, кто не начал какой-то тест)
Рассылка приглашений
Индивидуальная страница участника
Завершение пакета тестов
Вкладка «Результаты» и меню пакета
Экспорт результатов в Excel
вый балл i-го испытуемого,Qj – это целочисленная трудность j-го задания,
симально возможная трудность (самый высокий уровень),
е число заданий в тесте,
i-го испытуемого на j-е задание, принимающий всего 2 возможных значения: R=1, что означает «правильно», и R= - 1, что означа
Формула целочисленного взвешивания
Практический эффект МЦВ
• Результат МЦВ-подсчета – балл
испытуемого отображается на упрощенной
шкале логитов, то есть на той же самой, где
отображается и трудность тестовых
заданий.
X=1 – означает, что испытуемый может справляться 50:50 с
легкими заданиями Q=1
X=2 – означает, что испытуемый может справляться 50:50 с о
средними заданиями Q=2 и 66*33 с легкими Q=1
X= 3 – означает, что испытуемый может справляться со
средними 66*33 и 50:50 с трудными Q=3
Таблицы вероятностей
на целочисленной модели Раша
Xi
Qj->
-2
-1
0
1
2
-2
0,50
0,67
0,80
0,89
0,94
-1
0,33
0,50
0,67
0,80
0,89
0
0,20
0,33
0,50
0,67
0,80
1
0,11
0,20
0,33
0,50
0,67
2
0,06
0,11
0,20
0,33
0,50
По строкам – сила испытуемого X, по столбцам – трудность задания Q
Где и как приобрести книгу?
• На сайте www.ht.ru в правой колонке есть
раздел «Подписка на книгу Шмелева». Эта
подписка дает возможность получить
доступ к э-копии книги, а также для
дистанционной оплаты и получения книги в
виде почтовой бандероли.
Как быстрей познакомиться со
«Стандартами тестирования персонала»
1) Надо зарегистрироваться на форуме
forum.ht-line.ru
2) Проект документа будет опубликован в
разделе Вики.
3) Каждый, кто считает себя компетентным,
сможет что-то подправить или добавить в
документ.
Спасибо за внимание.
Готов ответить на вопросы.