подробнее... - Proforientator.dn.ua

Психометрические характеристики методики ПРОФКАРЬЕРА
«ПРОФКАРЬЕРА» - батарея тестов для профориентационной диагностики и
консультирования по вопросам обучения, карьеры и трудоустройства.
ПСИХОМЕТРИЧЕСКИЕ СВОЙСТВА
Основные показатели работоспособности теста. Среди основных психометрических свойств
и критериев к тесту обычно выделяют: надежность, репрезентативность, валидность,
достоверность.
1. НАДЕЖНОСТЬ – устойчивость результатов тестирования во времени, а также к влиянию
различных случайных искажений. Показатель, которые позволяет говорить о том, что в какое
время в каких условиях испытуемый не проходил бы тестирование, он будет получать
примерно одинаковые результаты (различающиеся не более чем на 1-1,5 балла).
НАДЕЖНОСТЬ – СОГЛАСОВАННОСТЬ (для блоков теста). Насколько внутренне
устойчивы тестовые блоки, использующие в батарее «Профкарьера». Коэффициент
устойчивости (надежности) – Альфа Кронбаха. Оптимальные значения коэффициента – от
0,7 до 0,9 (для личностных и мотивационных методик), и более 0,5 – для интеллектуальных
тестов. Размер выборки стандартизации показывает, на каком количестве людей
разрабатывался и апробировался инструмент. Минимальное количество людей для выборки
стандартизации – 300 человек.
Тесты,
включенные
в «Профкарьеру»
Направленность
теста (что измеряет)
Коэффициент
надежности
методики
(Альфа
Кронбаха)
(от 0 до 1)
Выборка для
стандартизации
методики (интернет)
Блок 1. Тест ЖУ
Установки
0,60
1400 человек
Блок 2. Тест
ПОЗИЦИЯ
Профессиональные
интересы
0,73
3200 человек
Блок 3. Тест
ТИПС5
Способности (IQ)
0,58
300 человек
Блок 4. Тест ТИМ
Мотивация
0,70
1340 человек
Блок 5. Тест ТОПЮНИТ
Свойства личности
0,91
1400 человек
БЛОК 1: ЖУ
Альфа
кронбаха
АКТИВНАЯ
ЦЕЛЕУСТРЕМЛЕННОСТЬ
0,68
ТВОРЧЕСКАЯ СВОБОДА
0,58
ОТВЕТСТВЕННОСТЬ
0,52
Среднее
0,6
Размер выборки
стандартизации
1400 человек
БЛОК 2: Интересы
Альфа
кронбаха
(+) МЕНЕДЖЕР
0,73
(+) ПРЕДПРИНИМАТЕЛЬ
0,71
(+) КОММУНИКАТОР
0,76
(+) ИННОВАТОР
0,80
(+) СПЕЦИАЛИСТ
0,67
(+) ФУНКЦИОНАЛИСТ
0,79
(+) АНАЛИТИК
0,61
(+) АДМИНИСТРАТОР
0,79
Среднее
0,73
БЛОК 3: Способности
Альфа
кронбаха
ВЫЧИСЛЕНИЯ
0,61
ЛЕКСИКА
0,65
ЭРУДИЦИЯ
0,73
ЗРИТЕЛЬНАЯ ЛОГИКА
0,54
АБСТРАКТНАЯ ЛОГИКА
0,54
ВНИМАНИЕ
0,39
Среднее
0,58
Блок 4: Мотивация
Альфа
кронбаха
ДОСТИЖЕНИЯ
0,81
РЕЗУЛЬТАТЫ
0,67
(+)Интерес
0,69
(+)Определенность
0,68
(+)Комфорт
0,73
(+)Творчество
0,58
(+)Деньги
0,70
(+)Взаимоотношения
0,68
(+)Преодоление
0,74
(+)Престиж
0,62
Среднее
0,7
Размер выборки
стандартизации
3200 человек
Размер выборки
стандартизации
300 человек
Размер выборки
стандартизации
1340 человек
Блок 5: Личность
Альфа
кронбаха
ЭКСТРАВЕРСИЯ
0,95
МЫШЛЕНИЕ
0,95
ИНТУИЦИЯ
0,91
ПЛАНОМЕРНОСТЬ
0,93
ДОМИНАНТНОСТЬ
0,85
СОЦЖЕЛАТЕЛЬНОСТЬ
0,88
Среднее
0,91
Размер выборки
стандартизации
1400 человек
2. РЕПРЕЗЕНТАТИВНОСТЬ – показатель, отражающий соответствие параметров
выборки, на которой разрабатывался инструмент, параметрам генеральной совокупности
людей, для которых данный тест будет применяться. Другими словами, если тест
разрабатывался для русскоязычных молодых людей, то он должен корректно работать для
любого представителя данной категории населения. Показателями репрезентативности
являются:
РАЗМЕР ВЫБОРКИ, на которой рассчитывались нормы.
Нормы для теста «Профкарьера» были рассчитаны на выборке размером 1396 человек (по
стандартам минимум – 300).
ХАРАКТЕРИСТИКИ ВЫБОРКИ (возраст, пол).
По полу – 560 мужчин и 836 женщин, по возрасту: медиана – 21,5 лет (до 20 – 450 человек,
от 20 до 30 – 750 человек, старше 30 – около 200 человек). Нормы для теста соответственно
разбиты на мужские и женские, а также сформированы по возрастным категориям (для
каждой возрастной категории свои нормы). Нормы рассчитаны в 2007 году, по результатам
тестирования граждан различных регионов России.
СООТВЕТСТВИЕ распределения сырых баллов на выборке стандартизации нормальному
распределению.
Проводиться проверка распределения по блоку теста на нормальность. Если значение
коэффициента (хи квадрат равно или меньше критического, когда p>0,05), то можно сделать
вывод о том, что полученные в нашем случае распределения по тестам значимо не
отличаются от нормальных, то есть будут воспроизводиться на других выборках
соответствующего возраста и пола, т.е. тест является репрезентативным. В случае, если
распределение по блоку отличалось от нормального, проводилась процедура нормирования
для приведения распределения тестовых баллов по каждому из блоков к виду нормального
распределения. В случае системы «Профкарьера» нормализация проводилась для каждого
блока и шкал, входящих в него.
Тесты,
включенные
в
«Профкарьеру»
Коэффициент
соответствия
распределения
нормальному
распределению
(хи квардрат)
Проводилась ли
нормализация?
Уровень
значимости
(p > 0,05)
Блок 1. Тест ЖУ ДА
30,1
0,0001
Блок 2. Тест
ПОЗИЦИЯ
ДА
10,5
0,02
Блок 3. Тест
ТИПС5
ДА
3,5
0,31
Блок 4. Тест
ТИМ
ДА
49,3
0,000001
Блок 5. Тест
ТОП-ЮНИТ
ДА
37,8
0,00001
3. ВАЛИДНОСТЬ – показатель, отражающий соответствие измерительного инструмента
измеряемому свойству. Иначе говоря, валидность отражает устойчивость результатов
тестирования относительно систематических искажений (к, примеру, тест на агрессивность
должен измерять именно агрессивность, а ни что иное). Есть несколько видов валидности.
ВНУТРЕННЯЯ ОЧЕВИДНАЯ ВАЛИДНОСТЬ – соответствие сути вопросов по тесту
содержанию тестовых шкал. Данный показатель контролируется экспертами – тестологами,
разрабатывающими инструментарий. В случае теста «Профкарьера» внутренняя очевидная
валидность проверялась в каждом из блоков экспертами - психодиагностами.
ВНЕШНЯЯ ОЧЕВИДНАЯ ВАЛИДНОСТЬ – соответствие получаемых результатов
самооценке испытуемых, прошедших тестирование. После прохождения теста испытуемый
может дать обратную связь – насколько, по его мнению, полученные результаты могут быть
характерны для него самого.
Тесты,
включенные
в «Профкарьеру»
Отзывы(собиралась ли
обратная связь)
Процент людей, оценивающих
результаты как валидные по
отношению к себе и своей
ситуации
Блок 1. Тест ЖУ
ДА
в 95% случаях
Блок 2. Тест
ПОЗИЦИЯ
ДА
в 90% случаях
Блок 3. Тест
ТИПa
НЕТ
---
Блок 4. Тест ТИМ ДА
в 80% случаях
Блок 5. Тест
ТОП-ЮНИТ
в 90% случаях
ДА
ВНЕШНЯЯ КОНСТРУКТНАЯ ВАЛИДНОСТЬ – валидизация с использованием похожих
тестовых инструментов, измеряющих один и тот же психологический конструкт (например,
личность, мотивацию, интеллект и т.п.). При значимых показателях корреляции (p < 0,05)
можно признать, что соблюдается внешняя валидность теста по диагностическому
конструкту, т.е. тест направлен на измерение заявленных качеств.
Название
инструмента для
валидизации и
область
применения
Коэффициент
валидности
(корреляция
результатов по тесту с
другим инструментом)
Тесты,
включенные
в
«Профкарьеру»
Валидизация
по конструкту
Блок 1. Тест ЖУ
Не
проводилась
нет
Блок 2. Тест
ПОЗИЦИЯ
ДА
Тест «Якоря
0,32 (p < 0,05)
карьеры» (Э. Шейн)
Блок 3. Тест
ТИПС5
Не
проводилась
нет
---
Блок 4. Тест
ТИМ
ДА
«Структура
Трудовой
Мотивации»
(мотивация)
0,43 (p < 0,05)
Блок 5. Тест
ТОП-ЮНИТ
ДА
«Большая Пятерка»
0,58 (p < 0,01)
(личность)
---
4. ДОСТОВЕРНОСТЬ – показатель, отражающий устойчивость результатов тестирования
от искажений со стороны самого испытуемого. Другими словами, результаты тестирования в
идеале не должны зависит от настроения испытуемого, степени его искренности, усталости и
т.п. Обеспечение достоверности реализуется с использованием специальных приемов как
при проведении тестирования (процедура должна быть стандартна для всех, в стандартное
время, не должно быть посторонних факторов), так и внутри самого теста.
ИНСТРУКЦИЯ – в тесте реализована единая инструкция для всех испытуемых,
сопровождающая тестируемого на протяжении всего времени прохождения теста.
КОНТРОЛЬ ВРЕМЕНИ – в тесте осуществляется контроль времени прохождения заданий
каждого блока. Если испытуемый прошел тестирование быстрее стандартного времени, то
тест предупредит об этом в интерпретации. Данный параметр предупреждает о возможности
бездумного «прощелкивания» теста испытуемым. Особую роль играет контроль времени в
интеллектуальном блоке – не более 40 минут на весь блок. Данный параметр ставит всех
испытуемых в одну ситуацию, что дополнительно повышает достоверность полученных
данных.
КОНТРОЛЬ ПОЗИЦИОННОЙ ТАКТИКИ – в тесте осуществляется контроль тактики дачи
ответов испытуемыми. Это означает, что если испытуемой часто дает только «первый» или
«средний» вариант ответа – тест предупредит об этом, как в процессе тестирования, так и в
интерпретации по его итогам. Если в процессе тестирования испытуемый не сменит тактику
после предупреждения, тест может вернуть его на начало тестирования.
КОНТРОЛЬ СОЦИАЛЬНОЙ ЖЕЛАТЕЛЬНОСТИ – в тесте осуществляется контроль
стремления человека давать о себе социально желательные ответы, иными словами –
искажать данные о себе в сторону более социально-одобряемых качеств. Контроль данной
переменной ведется при помощи специальной шкалы «откровенность – социальная
желательность». Контроль данного параметра ведется как в процессе тестирования (тест
также может откинуть испытуемого к началу в случае большого количества социально
желательных ответов), так и по его итогам. Если по результатам тестирования показатели по
данной шкале превышают 7,5 стенов, можно говорить о стремлении испытуемого
фальсифицировать результаты (особенно в ситуации экспертизы), а если показатели больше
8,5 стенов, то полученному результату по тесту доверять нельзя, т.е. он недостоверен
(особенно в ситуации экспертизы). В ситуации клиента (когда испытуемый проходит
тестирование для себя, с целью самопознания) повышенные показатели по социальной
желательности можно трактовать не как стремление преподать себя в более выгодном свете,
а как высокую моральность и почитание социальных правил и норм.
История создания блоков методики «ПРОФКАРЬЕРА»
1. БЛОК ЖИЗНЕННЫЕ УСТАНОВКИ
Блок жизненных установок разработан на базе "Теста жизненных установок" ("ТЖУ",
исследовательская версия, 2003) специально для комплекса тестирования "Профкарьера". Он
позволяет определить особенности мировосприятия, отношения человека к своей жизни, в
той или иной степени определяющие, как человек принимает решения, связанные с
профессиональной деятельностью и своей жизнью в целом. Факторы блока (3 интегральных
фактора) были выделены в результате факторного анализа первичного теста, состоящего из
10 частных шкал жизненных установок.
2. БЛОК ПРОФЕССИОНАЛЬНЫЕ ИНТЕРЕСЫ
Тест «Позиция» (составляющий основу данного блока) был разработан специально для
комплекса «Профкарьера» В.В. Алтуховым и А.Г. Серебряковым (ЦТР «Гуманитарные
технологии»). Основная его задача – диагностика профессиональных интересов, склонности
к тому или иному типу должностных обязанностей. Тест прошел несколько этапов
психометрической адаптации в период с 2006 по 2008 год, в итоге было выделено 8
устойчиво функционирующих факторов профессиональных интересов.
3. БЛОК ИНТЕЛЛЕКТУАЛЬНЫХ СПОСОБНОСТЕЙ
При создании теста "ТИПС" (основа данного блока) использован банк заданий, прошедших с
1997 по 2001 гг. апробацию на 6000 абитуриентах и на взрослых в рамках программы
Всероссийского образовательного тестирования "Телетестинг", а также в ходе
профориентационного тестирования.
Дополнительная психометрическая адаптация "ТИПС" как целостного теста была
произведена в 2003-2004 гг. (выборка - 150 взрослых испытуемых - сотрудников ряда
московских компаний). По результатам психометрического анализа и была создана версия
"ТИПС-5", оптимизирующая задания по уровню трудности и корреляции с суммарным
баллом по каждой шкале. Кроме того, в "ТИПС-5" тестовые задания разбиты на 6 блоков,
работа с каждым из которых имеет свое ограничение по времени. Обновление тестовых норм
было произведено в 2006 году на материале тестирования клиентов ЦТР "Гуманитарные
технологии" (количество - 278 человек).
4. БЛОК ТРУДОВОЙ МОТИВАЦИИ
Методика "Тест Индивидуальной Мотивации" (основа данного блока) разработана в 20052006 годах сотрудником Лаборатории "Гуманитарные технологии" В.В. Алтуховым при
участии А.Б. Загоруйко. Разработка проводилась под руководством научного руководителя
Лаборатории, профессора А.Г. Шмелева.
Первоначальная версия методики была разработана на практикуме по конструированию
тестов студентами МГУ. В структуру методики вошли 13 наиболее значимых для сферы
труда мотивационно-ценностных параметра (таких как здоровье, деньги, карьера,
преодоление трудностей, удовольствие от труда и т.д.), выделенных в результате
экспертного шкалирования. В дальнейшем, после проведения экспериментальной проверки
на выборке более 150 человек и последующей факторизации данных, количество факторов,
описывающих сферу трудовой мотивации, уменьшилось с 13 до 8. Данные 8 факторов
представлены в блоке "Мотивационный профиль". Стандартизация и дальнейшая
психометрическая проверка исследовательской версии теста проводилась на выборке более
2000 человек. Большинство выборки составили респонденты, которые находились либо в
активном, либо в пассивном состоянии поиска работы (интернет-выборка одного из
крупнейших сайтов по трудоустройству). Проведение верификации методики на данной
выборке позволяет делать вывод о ее репрезентативности для респондентов, имеющих опыт
работы либо находящихся в ее поиске. В дальнейшем был проведен психометрический
анализ данных, в результате которого были уточнены ключи и содержательное наполнение
шкал теста. Также наличие большого массива данных позволило разбить выборки и провести
факторный анализ, в результате которого выделились 2 устойчивых интегральных фактора
мотивации: "Сохранение-Достижение" (коэфф. конгруэнтности - 0,94) и "Внутренняя
мотивация-Внешняя мотивация" (коэфф. конгруэнтности - 0,88). Данные факторы
представлены в блоке "Интегральные мотивационные факторы".
Окончательная стандартизация методики проводилась на выборке численностью 531
человек. Надежность-согласованность окончательных шкал теста (коэфф. Альфа Кронбаха) в
среднем составила 0,67 (что является достаточным для методик такого класса, а также
значительно выше, чем средняя надежность-согласованность исследовательской версии
данной методики - 0,57). В 2007 году тест был модифицирован на основании обширной
статистики, полученной Лабораторией от клиентов-пользователей методики (порядка 1000
протоколов). После модификации показатели надежности-согласованности (Альфа
Кронбаха) в целом по методике повысились до значения 0,7. На основании этой статистики
также были рассчитаны нормы, что позволило повысить репрезентативность теста для
применения в ситуациях отбора и экспертизы. Нормы были разбиты на три возрастные
категории: до 24 лет, от 24 до 30 лет, от 31 года и старше. Данное разбиение позволяет
учесть влияние на мотивацию человека различных факторов, зависящих от его возраста,
опыта и т.д.
5. БЛОК ЛИЧНОСТИ
Методика "ТОП-ЮНИТ" (основа данного блока) разработана в 2005-2006 годах сотрудником
лаборатории "Гуманитарные технологии" В.В. Алтуховым под руководством научного
руководителя Лаборатории, профессора А.Г. Шмелева.
Эмпирическая проверка исследовательской версии методики производилась на выборке из
327 протоколов. Надежность-согласованность (коэфф. Альфа-Кронбаха) шкал
исследовательской версии варьировалась от 0,69 до 0,88 (Среднее=0,78 - достаточно высокие
показатели для методик такого класса). Результаты эмпирического исследования и
психометрического анализа данных полностью подтвердили используемую в тесте
факторную структуру (была получена оригинальная и устойчивая структура, состоящая из 4х биполярных личностных факторов).
Стандартизация теста проводилась на выборке из 322 человек. Надежность-согласованность
(коэфф. Альфа-Кронбаха) шкал окончательной версии методики осталась на прежнем
высоком уровне (средний показатель=0,78), несмотря на двукратное уменьшение количества
пунктов (по сравнению с исследовательской версией).
МЕТОДИКА «ПРОФКАРЬЕРА»
Методика собрана из перечисленных выше блоков в 2006 году. В 2007 году была выпущена
вторая версия данного теста и были пересчитаны тестовые нормы уже на основании
тестирования около 1400 человек на базе комплексной батареи.