Правительство Российской Федерации

Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
"Национальный исследовательский университет
"Высшая школа экономики"
Институт развития образования
Магистерская программа «Измерения в психологии и образовании»
ДИПЛОМНАЯ РАБОТА (ВКР)
на тему
«Сравнительный анализ валидности психологических моделей личности в
практике оценки персонала
(Comparative analysis of the validity of psychological models of personality in the
practice of personnel assessment)»
Студент второго курса
(группа 701):
Алтухов Виталий
Владиславович
Научный руководитель:
к.п.н., ст. преп.
Орёл Екатерина
Алексеевна
2014 год
1
ВВЕДЕНИЕ
Проблематика исследования.
В практике оценки персонала используется достаточно большое количество различных
инструментов оценки личности (личностных конструктов, качеств, типов и т.п.), большинство
из которых базируется на какой-то своей определенной модели (теории) личности и ее
организации. Само по себе сравнение критериальной (конкурентной валидности)
инструментов является важной задачей для определения степени границ точности и
прогностической возможности данных методов для оценки. Однако в данном исследовании
мы предполагаем сосредоточится на решении теоретически более концептуальной задачи сравнении валидности самих моделей личности в решении практических задач.
Практическая значимость любой теории (модели) заключается не только в ее способности
описать окружающую действительность (в данном случае, действительность личности) и
обладать качеством содержательной валидности, но и давать достаточно точные и полезные
прогнозы,
иными
словами
-
иметь
прогностическую
ценность
как
способность
прогнозировать, или в минимальном случае, быть связанной с успешностью человека в
работе. Таким образом, в исследовании мы ставим задачу исследование прогностической
ценности моделей в практике оценки персонала и тех факторов, от которых эта ценность
может зависеть.
Цель исследования:
Изучение конкурентной (критериальной) валидности применяемых в практике оценки
персонала моделей личности.
Предмет исследования:
Валидность моделей личности в практике оценки.
Объект исследования:
Модели личности, разработанные разными авторами в рамках разных подходов.
2
В соответствии с поставленной целью можно выделить следующие задачи исследования:
Теоретические задачи:
 обзор и анализ моделей личности;
 классификация инструментов оценки личности по моделям и подходам;
 определение ключевых понятий исследования.
Методические задачи:
 операционализация понятий валидности моделей в практике оценки;
 определение критериев включения имеющихся данных в мета-анализ.
Эмпирические задачи
 работа с литературой (сбор данных по валидности);
 мета-аналитическое сравнение мощности моделей (величины эффекта валидности
относительно эффективности выполнения работы);
 выделение наиболее валидных моделей и определение факторов, влияющих на валидность;
 описание полученных результатов.
3
ТЕОРЕТИЧЕСКАЯ ЧАСТЬ:
Модели личности и их применение в практике оценки персонала
Содержание.
1. Обзор проблематики моделей (теорий) личности и их диагностики
2. Модели личностных черт и соответствующие им инструменты (методики)
3. Обзор проблематики оценки персонала и успешности выполнения работы,
прогностичности инструментов оценки
4. Существующие аналитические обзоры по валидности моделей и инструментов
5. Мета-анализ: технология проведения
Обзор проблематики моделей (теорий) личности
Изучение проблематики личности и дифференциальных различий между людьми началось
задолго до возникновения психологии как науки. Множество мыслителей древности
задавались этими вопросами, и создавали свои теории относительно таких понятий, как
личность, характер, темперамент, а порой и формировали сами эти понятия. Так, философ
Теофраст в трактате «Характеры» выделил около 30 характеров, которые могут быть
присущи людям. Он же сформулировал один из базовых вопросов дифференциальной
психологии - «почему люди, живущие в одной местности и в схожих условиях, так сильно
отличаются между собой?». Известнейшие произведения поэтов и сказателей Древней
Греции, которые принято объединять в «Мифы Древней Греции», также сами по себе
содержат описания ряда характеров или личностных типов (например. греческие боги), на
основании которых современные исследователи продолжают изучать и описывать
тенденции, характерные для ныне живущих людей (например, теория архетипов в
аналитической психологии). Другой известный ученый, Гиппократ, и в последствии его
продолжатель Гален, создали теорию темпераментов, в которой не просто пытались
классифицировать людей на типы, но и показать причины, по которым эти темпераменты
могут возникать (с отсылкой к биологическим факторам).
4
На рубеже 19-20 века, с формирование психологии как науки, множество исследователей
начинают заниматься проблемой личности с опорой на научные методы познания, и
возникают разнообразные теории и модели личности, ее структурной организации и
развития. Во многом каждая модель и теория зависит от той школы, в рамках которой она
создавалась, и является следствием более широкого понимания психики, которая была
характерна для той или иной парадигмы. При этом, ставился еще один концептуальный
вопрос, который мог повлиять на весь ход изучения этого понятия - «а возможно ли в
принципе изучать индивидуальные различия»? В общем виде это был и остается спор между
представителями идеографического подхода (Г. Олпорт) и номотетическго подхода (Р.
Кеттел, Г. Айзенг). В конечном счете, не смотря на сильные аргументы со стороны первого
подхода, были разработаны и сформулированы (а затем эмпирически изучены) ряд
моделей, которые позволили стандартизировать и выделить закономерности между
людьми, которые с одной стороны, отличали их как индивидов друг от друга, но при этом
были общими для ряда индивидов. В рамках этого подхода было сформулировано ряд
теорий и моделей личности, а также инструментов, позволяющих проводить их диагностику
и оценку, которые затем стали применяться для решения практических задач, в том числе
для оценки эффективности профессиональной деятельности и предсказания этой
эффективности. Данные модели и являются основным объектом анализа в рамках нашей
работы.
Что касается определения самого понятия «личности», то тут существует множество
трактовок. Личность может пониматься как «совокупность общественных отношений,
реализующихся в многообразных деятельностях» (А.Н. Леонтьев), «субъект общественного
поведения и коммуникации» (Б.Г. Ананьев), «носитель сознания» (К.К. Платонов) и т.п.
данные определения характеризуют личность как составную часть и даже производную
общественных отношений.
Тем не менее, если описывать структуру личности, то туда
неизменно будут входить разные уровни организации психики человека, начиная от
темпераментальных характеристик, характера, чет и индивидуальных особенностей,
мотивации, ряда когнитивных способностей, ценностей и Я-концепции, и заканчивая
сознанием, социальными ролями и экзистенциальными сущностями. Таким образом,
понятие личности является достаточно интегральным конструктом, что не могло не
отразиться на тех теориях, которые стремились его описать.
5
Классификация теорий (концепций) личности может иметь множество разных оснований, в
зависимости от истории возникновения, научной школы, динамических или структурных
подходов и т.п. Так, выделяют следующие концепции: психодинамическая концепция
(Фрейд), аналитическая психология (Юнг), психосоциальная теория (Эриксон), теория черт
личности (Олпорт, Кеттел), типы личности (Айзенг), бихевиористическая теория (Скиннер),
социальное научение (Роттер), когнитивная теория (Келли), гуманистическая теория
(Маслоу), феноменологическая теория (Роджер) и т.п. (Хьелл и Зиглер, 1997). В каждой
теории личность рассматривается и операционализируется совершенно по-разному, где то
выступая в качестве более общего и теоретического конструкта (что характерно для работ
Фрейда и Юнга), где-то как фактор когнитивной деятельности (Келли), где-то как
промежуточное звено между потребностью и поведением, а где-то как самостоятельная
структура, имеющая свою организацию и черты, существующие независимо от конкретного
индивида, но при этом проявляющиеся в каждом из нам и определяющие поведение,
мысли и ценности. В данном случае такой подход последовательно воплощался в теориях
личностных черт, в рамках которой возникло ряд моделей личности, которые мы и
собираемся рассматривать в своем исследовании (Дружинин, 2003).
Большинство из этих подходов опирались на набирающие популярность в психологии
методы статистического анализа данных и психометрику, в рамках которой исследователи
старались использовать естественнонаучные методы для описания психологических
феноменов. Данные методы позволяли проводить измерения и давать возможность
статистически проверять наличие тех или иных психологических закономерностей, которые
описывались в рамах теоретических предположений. При этом, само развитие этих методов
происходило не независимо, а зачастую в ответ на запросы конкретных исследовательских
задач, что определяло и специфику движения научного познания в камках данной
проблематики.
Основные модели личностных черт
Теории личностных черт и типов завоевали достаточно серьезные позиции в практике
оценки персонала за счет своей структурированности, проработанности практических
аспектов, наличия мощной диагностической и эмпирически верифицируемой базы.
Немаловажным обстоятельством стал и тот факт, что в данных моделях позиционировалась
одна очень простая, но прогностическая причинная связь между определенными чертами
6
(или их сочетаниями) и желаемым профессиональным поведением. Тем не менее, можно
выделить ряд достаточно разных подходов и моделей, которые были созданы в рамках этой
теории и ее принципов.
Каждый подход основан на своей логике поиска универсальных факторов – в какой
то
парадигме исследователи шли от эмпирических данных, создавая модели на основе
статистических процедур (например, факторного анализа), в других парадигмах они могли
идти от теории и пытаться воссоздать ее модель на практике.
Таблица 1. Подходы и принципы создания моделей личности.
Подходы
Принципы построение моделей личности
Лексикографический
Эмпирический
Диспозициональный
Теоретико-эмпирический
Лексикографический и диспозициональный
Эмпирический
Типологический
Теоритический
Клинический
Теоретико-эмпирический
Професссиональный
Теоретико-эмпирический
Лексикографический (психографический) подход
Одной из первых моделей, в последствии ставшей достаточно популярной в научной и
практической деятельности, стала 16-факторная модель (16 PF), предложенная Р. Кеттелом.
Исходный набор личностных черт был получен путем анализа слов английского языка, что
стало воплощением идеи Ф. Гальтона о том, что наиболее значимые различия между
людьми закреплены в структуре натурального языка. В своей работе Кеттел опирался на
список из 4500 слов, составленный Олпортом и Одбертом (Allport & Odbert, 1936), в
последствии сократив его до 171 слова. Помимо этого, он предложил разделить исходные
данные на три основных типа: L - данные (real-life ratings), Q - данные (questionnaire data) T данные (objective test data). Первый типа базировался на наблюдении экспертов, второй - на
данных опросников, третий - на измерении объективных данных об испытуемых. В
результате факторизации L и Q - данных им было выделено 16 факторов первого порядка,
которые легли в основу модели 16 PF. В дальнейшем были выделены факторы второго
порядка (8 факторов), и факторы третьего порядка (5 факторов), которые выделялись в
результате следующих факторизаций данных.
7
В дальнейшем множество исследований было посвящено попыткам воспроизведения
результатов Кеттела, но не во всех их них удавалось подвердить первичную 16-факторную
модель. Ряд исследований показывали схожие результаты (Krug, Jones, 1986), ряд могли
получать во многом не совпадающие результаты, например, получать 12 факторов
(Matthews, 1989). Таким образом, на разных выборках могла показываться разная степень
воспроизводимости модели первичных факторов, хотя модель второго и третьего порядка
могли быть более устойчивыми.
Диспозициональный подход
Данный подход во многом ориентирован на изучение биологических предикторов и
оснований личностных черт и различий, и в основном строится на изучении
темпераментальных черт, которые, тем не менее, могут обуславливать и социальное
поведение (Русалов, 2003). Одной из самых известный моделей личности, появившейся в
рамках данного подхода, является EPI (трехфакторная модель Г. Айзенга и М. Айзенга). В ней
личность рассматривается как структура, в рамках которой функционируют три этих базовых
свойства темперамента и когнитивный фактор (Eysenck & Eysenck, 1985). Во многом эта
модель перекликается с теориями темперамента, которые появились еще в допсихологический период, затрагивает учение Павлова и типах нервной системы. Помимо
проработки структурного содержания модели Г. Айзенг во многом стал методологом
большого количества исследований в области психологии личности и выдвинул критерии,
которые, с одной стороны, могли отличать научные теории от чисто теоретических, с другой
стороны,
обозначали
требования,
которым
должна
удовлетворять
действительно
комплексная модель личности (Eysenck, 1991). Также, помимо моделей Айзенга в рамках
данного подхода можно выделить модель Цуккермана, которая основана на пяти основных
факторах личности (Zuckerman, 1990).
Лексикографический и диспозициональный подход
Направления исследований, которые были заложены Кеттелом и Айзенгом, в дальшейшем
привели к поиску новых факторных моделей, которые могли бы описать специфику и
разнообразие личностных черт, с одной стороны, с другой стороны, были бы достаточно
стабильны и воспроизводимы в исследованиях. Данная модель была получена в ряде
8
исследований, выполненных в 1960-е годы (Borgatta, 1964; Norman, 1963; Tupes & Christal,
1961), и получила название BigFive. Впервые названия для пяти факторов были даны
Норманом (1963), и звучали как экстраверсия, доброжелательность, добросовестность,
эмоциональная стабильность и культура (или открытость новому опыту (Costa & McCrae,
1992). Само название же модели было дано Голдбергом (Goldberg, 1981).
С 1960 по 1980 пальма первенства, тем не менее, принадлежала моделям
Айзенка и
Кэттела. Так, если в середине 1980-х индекс цитирования BigFive уступал совокупному
индексу цитирования моделей Айзенка и Кэттела более чем в 100 раз, то к середине 1990-х
две группы моделей сравнялись по частоте цитирования, а к 2009 году уже частота
цитирования Большой Пятерки превзошла использование моделей Айзенка и Кэттела
вместе взятых более чем в 50 раз (John et al., 2008).
Данная модель, как и 16PF, основана на изучении списков прилагательных, но при этом
аппелирует к допущению в том, что ее факторы являются образованием надкультурным, в
сущности, не зависимым от языка. Однако вероятность существования специфических,
культурно обусловленных, факторов весьма велика. Большим преимуществом модели
является ее глубокая эмпирическая проработка. В течение 1990-х годов был проведен целый
ряд «региональных» исследований Большой Пятерки. Модель получила свою эмпирическую
поддержку на китайской (Yang & Bond, 1990), чешской (Hrebickova & Ostendorf, 1995),
греческой (Saucier, Georgiades, Tsouasis, & Goldberg, 2005), израильской (Almagor et al., 1995),
венгерской (Szirmak & De Raad, 1994), польской (Szarota, 1995), испанской (Benet-Martinez &
Waller, 1997), филиппинской (напр., Church & Katigbak, 1989; Church et al., 1997), турецкой
(Somer & Goldberg, 1999) выборках. Была получена эмпирическая верификация Большой
Пятерки и в России (Shmelyov & Pokhil’ko, 1993). В целом, результаты этих исследований
показывают, что во многих языках получаются структуры, похожие на Большую Пятерку, хотя
иногда образуются 2 «местных» фактора, согласующихся с одним из традиционных
факторов. Больше всего проблем возникает с 5 фактором, который варьируется от чистого
интеллекта (на немецких выборках) до неконвенциональности и непокорности в
голландских и итальянских группах.
Существует ряд диагностических инструментов, которые используется при измерении
факторов BigFive. Среди них можно выделить вопросник NEO-PI-R (Costa& McCrae, 1992),
полная версия которого содержит 240 пунктов, BFI (Big Five Inventory; John,Danahue, & Kentle,
1991) и т.д.
9
Типологический подход
В рамках данного подхода личность рассматривается не как совокупность некоторого
количества факторов, имеющих распределение признака в рамках одной переменной, а как
дискретные типы, имеющие бимодальное распределение по дихотомической шкале. Во
многом данный подход также продолжает традиции до-психологического понимания
структуры организации психики человека, заложенного в традициях ранней философии.
Наиболее известной типологической моделью личности является модель MBTI, построенная
на теории К.Г. Юнга (который считается родоначальником такого понятия «интроверсия экстраверсия» - как одной из самых наиболее используемых черт личности). Она возникла в
40-х годах 20 века и получила широкое распространение в США и Европе. Типология
Майерс-Бриггс изначально разрабатывалась Изабель Майерс-Бриггс и её матерью Кэтрин
Бриггс на основе работы Юнга «Психологические типы». Первая версия теста МайерсБриггс (Myers-Briggs Type Indicator, MBTI) появилась в 1942 году. В 1972 году был создан
Center for Applications of Psychological Type (CAPT), ведущий исследовательскую деятельность
и осуществляющий подготовку специалистов по применению MBTI. В 1972 году был создан
Center for Applications of Psychological Type (CAPT), ведущий исследовательскую деятельность
и осуществляющий подготовку специалистов по применению MBTI. Значительная часть
исследований по типологии Майерс-Бриггс публикуется в журнале The Journal of
Psychological Type.
Особенности данной модели являются и одним из самых критикуемых ее недостатков.
Типологический подход предполагает наличие ярких «типов», в то время как в
исследованиях распределение ответов тяготеет к нормальному с центром в равновесии для
всех 4-х бинарных признаков (мышление-чувство, экстраверсия - интроверсия, и др.) Таким
образом, большое количество людей будет отнесено к существенно разным типам при
наличии незначительной разницы в измеренных тестом значениях. Такая ситуация также
повышает вероятность ошибки измерения.
Помимо MBTI в практике тестирования также используются методики Д.Кейрси (Keirsey
Temperament Sorter), DISC, Tomas и другие.
Клинический подход
10
Данный подход во многом кардинально отличается от рассмотренных выше по нескольким
основаниям. Во-первых, модели личности в рамках него строятся не на основании
факторной обработки данных, а, во-вторых, имеют в своей основе либо психодинамические,
либо клинические предпосылки (личностные черты определяются как те или иные
нарушения, акцентуации, клинические характеры). За счет этого данные модели чаще
используются в практике клинической работы, но могут и применяться в ситуациях для
ситуаций оценки в профессиональной деятельности.
Одной из наиболее известных моделей и методик данного подхода является Миннесотский
многоаспектный личностный опросник или MMPI (Minnesota Multiphasic Personality
Inventory), разработанный в конце 30 — начале 40 годов в Университете Миннесоты С.
Хатуейем и Д. МакКанли. В 1989 году выпущен рестандартизированный вариант методики —
«MMPI-2». В классическом варианте содержит 10 факторов плюс 4 показателя
достоверности ответов. В РФ известны адаптации этого опросника под названиями ММИЛ
(Ф. Березин) и СМИЛ (Л.Н. Собчик).
Другим также достаточно известным опросником и моделью организации личности является
CPI (California psychological inventory), который был разработан Х. Гуфом (Gough, 1957). В нем
выделяется до 20 переменных личности, сгруппированных в четыре группы шкал. Критика
моделей в рамках данного подхода строится в основном на отсутствии серьезной
психометрической проработки опросников и высокой гомогенности (связанности) между
шкалами (Reynolds & Nichols, 1977).
Профессиональный (компетентностный) подход
Данный подход можно выделить не с точки зрения отличия по критериям отнесения к той
или иной психологической школе, или методу работы с данными, который может лежать в
его основе, а скорее в силу его практической направленности. В рамках данного подхода
могут создаваться модели личности, которые отражают специфику поведения человека в
деловых и профессиональных ситуациях. Таким образом, данных подход не всегда может
претендовать на всестороннее описание личности, но может быть более продуктивен с
точки зрения предсказания эффективности профессиональной деятельности.
Примером такой модели и опросника может быть OPQ, созданный в начале 80-х годов.
Авторами опросника являются П.Сэвил (P. Saville) и Р. Холдсуорто (R. Holdsworth). Опросник
11
специально разработан для оценки типичного или предпочитаемого стиля поведения
человека в профессиональной деятельности. Опросник OPQ дает возможность получить
подробную информацию относительно того, насколько кандидаты подходят к конкретной
рабочей среде, как они будут работать с окружающими. Кроме того, результаты OPQ
позволяют сопоставить личностный потенциал сотрудника и требования к рабочему
поведению сотрудника в рамках компетенций.
Еще одним примером может служить опросник HPI - The Hogan Personality Inventory.
Разработан R. Hogan, Curphy, and J. Hogan, содержит 7 интегральных показателей.
Описывающих поведение человека, и 41 подфактор (HICs). Также содержит шкалы,
прогнощирующие эффективность в ряде профессиональных направлений (управление,
продажи, сервис и т.п.).
Другими примерами подобных моделей могут быть опросник Wave – 36 показателей (P.
Saville), Dimensions (R. Holdsworth) и т.д.
По итогам анализа можно составить сводную таблицу, характеризующую базовые моменты
каждого из подходов и моделей.
Таблица 2. Сравнительные характеристики моделей.
Модель
Подход
Автор
Кол-во показателей
16PF
Лексикографический
Р. Кеттел
16
EPI
Диспозициональный
Г. Айзенг
3
Лексикографический и
Голдберг
5
Майерс-Бриггс
4
Хатуей -МакКанли
10
Гуф
20
Сэвил - Холдсуорто
32
Сэвил
36
Hogan
7
BigFive (NEO-PI-R &
BFI
диспозициональный
MBTI (Кейрси, DISC)
MMPI (ММИЛ, СМИЛ)
CPI
OPQ
Типологический
Клинический
Профессиональный
Wave
HPI
Рассмотренные нами примеры подходов к структурированию и организации личностных
характеристик и реализуемых в рамках этих подходов моделей наглядно показывают
многообразие, с которым сталкивается любая практическая задача, требующая измерения и
диагностики
личности.
Сфера
оценки
персонала
(подбор
и
отбор),
прогноза
12
профессиональной успешности не является исключением, что еще раз показывает
актуальность исследования прогностичности моделей личности для данных целей.
Применение моделей личности в практике оценки персонала.
В практике работы с персоналом используются достаточно большое количество
инструментов диагностики личности, большинство которых отражает свою модель
личностных конструктов и черт. К примеру, отчет компании Birkman International содержит
ссылки на 7 различных инструментов личностной диагностики, наиболее популярных в
практике оценки персонала (Birkman International, 2007). В качестве таких инструментов
упоминаются Myers-Briggs Type Indicator (MBTI), Insights Discovery System, Profiles XT
Assessment, The Hogan Personality Inventory (HPI), The DiSC Assessment, 16PF (Pearson
Assessments), The Birkman Method. Естественно, данный обзор нельзя считать строго
научным, а представленные инструменты - отражающими различные модели личности. В
обзоре не затронуты данные по «клиническим» тестам личности (например, MMPI).
Другой обзор методов оценки персонала и роли личностных моделей в оценке, а также
сочетания различных предикторов успешности работы друг с другом содержаться в работе
Ones & Viswesvaran, 2004. В качестве используемых моделей и инструментов упоминаются
The Hogan Personality Inventory (HPI), the California Psychological Inventory (CPI), the NEO
Personality Inventory–Revised (NEO PI-R), and the Personal Characteristics Inventory (PCI), The
Minnesota Multiphasic Personality Inventory (MMPI).
Ряд исследований посвящены мета-аналитическому изучению валидности личностных
моделей в практике оценки персонала и прогнозирования успешности профессиональной
деятельности. Так, в работе Scroggins, Thomas & Morris (2009) анализируется целый пул таких
исследований, как в контексте валидности личностных моделей (в основном на примере Big
Five), так и в их сравнении с их с моделями общих и специальных способностей.
Известнейшая мета-аналитическая работа Hunter & Hunter (1984) также посвящена изучению
сравнительной валидности различных предикторов успешности работы, в том числе
моделей личности. Данная работа считается классической в плане построения метааналитического исследования, а также сравнения вклада эффективности различных методов
13
оценки в прогноз профессиональной успешности. При этом, в ней не рассматриваются
модели личности в отдельности как таковые, а выделяется лишь подраздел тестов личности,
который сравнивается с другими методами оценки (тесты способностей, интервью,
биографический метод, оценки наблюдателей и даже графология). Тем не менее, данную
работу можно считать некоторым модельным образцом и для нашего исследования. Тем
более что в ней обосновывается существенная роль тестирования личности при отборе и
оценке. В дальнейшем авторы продолжили работу в этом направлении и опубликовали
исследование по уточненным данным сравнительной валидности различных инструментов
(Schmidt & Hunter, 1998).
Исследование Dakin & Armstrong (1989) раскрывает проблему соотношение данных метааналитических обзоров по валидности методов оценки и мнения экспертов в области
оценки персонала относительно валидности. Приводятся ссылки на мета-аналитические
работы и данные по соотношению полученных эмпирических закономерностей с мнениями
экспертов - практиков.
В целом работы по анализу валидности личностных моделей продолжают публиковаться,
как в контексте мета-аналитических исследований (например, способность личности
объяснять лидерское поведение, эмоциональное выгорание, стрессы на работе, девиантное
поведение), так и в контексте конкретных исследований. Большая часть таких исследований,
тем не менее, провидится на примере модели Big Five.
Аналитические обзоры по валидности моделей и инструментов в практике оценки
Проблематика прогностической валидности достаточно часто затрагивается в работах,
посвященных изучению соотношения личностных качеств и будущей профессиональной
успешности. Это и не удивительно, ведь практика постоянно требует подтверждения
эффективности используемых инструментов. Само по себе понятие прогностической
валидности метода связано с его способностью предсказывать будущую успешность.
Под прогностической валидностью понимают информация о том, с какой степенью точности
и обоснованности методика (тест) позволяет судить о диагностируемом психологическом
качестве спустя определенное время после измерения. Она отражает временной интервал,
14
на который распространяется обоснование такого суждения. Сведения о такой валидности
имеют самое непосредственное отношение к раскрытию предсказательной силы методики,
выяснению степени обоснованности сформулированного на ее основе ближайшего и более
отдаленного прогноза, анализу значимости получаемых в показателей с точки зрения
экстраполирования результатов на будущее. Принято различать прогностическую и текущую
валидность в зависимости от временной связи между критерием и тестом. При этом обе они
относятся к критериальной валидности. Иногда употребляется термин предсказательной
валидности. Термин «предсказание», по мнению А. Анастази (1982), может использоваться
как в широком смысле, означая прогноз на основе данных тестирования поведения
испытуемого в реальной (критериальной) ситуации, так и в более узком смысле, указывая
лишь на временной интервал.
В качестве валидизации критерия могут выступать не только показатели актуального
поведения, но и ожидаемые результаты деятельности, обучения и т. д. Процедура
определения прогностической валидности опирается на анализ корреляции между
оценками по измерениям и предсказанными результатами деятельности, формирующимися
свойствами личности и т. п. Вместе с тем различие двух видов критериальной валидности
связано не только с временными пределами критериальных сопоставлений. Валидность
текущая и прогностическая отражают разные цели применения методики: текущий диагноз,
оценка настоящего положения, с одной стороны, и прогнозирование развития качества или
успеха в деятельности — с другой.
В рассматриваемых работах могут затрагиваться оба аспекта критериальной валидности.
Естественно, за счет больших трудозатрат на получение информации о будущем поведении,
многие исследования опираются на выявление текущей валидности (сравнение с теми
внешними показателями, которые можно собрать одновременно с измерениями по
конкретной модели личности). Поэтому в нашей работе также предстоит определить,
насколько богато поле данных по прогностической валидности, или же данную работу
невозможно провести, не привлекая данные по текущей валидности.
Другой вопрос, который так или иначе связан с имеющимися исследованиями валидности
моделей личности, упирается в проблематику внешних критериев. Как правило, можно
выделить три группы критериев, с которыми исследователи проводят сравнение при
15
определение валидности модели. Первая группа затрагивает общие показатели успешности
профессиональной деятельности. Как правило, они связаны с качеством выполнения работы
в целом, и могут базироваться на производственных данных, рейтингах и оценках
руководителей и коллег. Вторая группа связаны с выполнением конкретных рабочих
операций или видов деятельности (например, аналитическая работа, управленческая
деятельность, продажи и коммуникации). Третья группа может быть связана с изучением
успешности в определенных профессиональных областях, с прогнозированием карьерного
развития. Несмотря на взаимную связанность этих критериев, данное разнообразие может
существенно усложнять сравнение данных по моделям, когда для одной из них будут
данные по определенной профессиональной области, а по другой - нет.
В научной литературе содержится достаточно большое количество статей, базирующихся
либо на мета-аналитических, либо частных исследованиях, посвященных валидности той или
иной модели в практике оценки и прогнозированию успешности. Например, обзорная
статья, которая, тем не менее, дает общее представление о валидности моделей в практике
отбора и оценки, а также затрагивает ключевой вопрос исследования - сравнение моделей
друг с другом, на примере противопоставления модели Big Five и более специальных
моделей (Rothstein & Goffin, 2006). Также в статье рассматриваются интересные эффекты,
которые могут влиять на валидность инструментов и моделей.
В отдельную группу можно вынести мета-аналитические исследования валидности Big Five
относительно
успешности
профессиональной
деятельности.
Этой
теме
посвящено
достаточно большое количество статей, к примеру Ones, Dilchert, Viswesvaran & Judge (2007)
в своем мета-аналитическом исследовании опираются еще как минимум на 10 подобных
работ, анализируя общую валидность модели Big Five, валидность относительно различных
типов работ (простая, одиночная, лидерская деятельность и т.п.), а также видов
профессиональной деятельности (профессий: менеджеры, специалисты по продажам,
полицейские и т.п.). Помимо этой работы можно отметить мета-анализы по этоц модели
таких авторов, как Hurtz & Donovan, 2000, Barrick & Mount, 1991.
Некоторые исследователи делают попытки доработки популярной модели Big Five, выделяя
более интегральные факторы и изучая их валидность относительно успешности работы
(Linden, Nijenhuis & Bakker, 2010), либо выявляя стабильность лишь ряда факторов из
16
классического пятифакторного набора (Saggino, 2000), что в обоих случаях создает новую
модель личностных качеств и может быть использовано для соотнесения по показателям
валидности в практике оценки. К примеру, отдельное мета-аналитическое исследование,
которое посвященно проблеме критериальной валидности интегральных факторов
Стабильности и Пластичности модели Big Five (Alessandri & Vecchione, 2012).
В работе
Schmidt & Hunter, 1998 аторы также приводят данные, что наибольшей валидностью может
обладать не сама модель Big Five, а отдельные ее факторы (например, сознательность и
самоконтроль).
Некоторые исследователи, напротив, расширяют модель Big Five, добавляя значимые черты
и изучая их предсказательную силу для прогнозирования успешности работы (Johnson,
Rowatt & Petrini, 2011). В статье речь идет о черте Честности-Смирение (Honesty–Humility) как
6 показатели модели, который может служить хорошим предиктором для ряда рабочих
навыков по сравнению с классическими 5 факторами.
Ряд исследований связано с изучением валидности 16PF относительно успешности работы. В
статье Jenkins & Griffith (2004) приводятся данные мета-анализа взаимосвязи между
факторами данной модели и общими показателями успешности профессиональной
деятельности.
Исследованию валидности MBTI в литературе уделено гораздо меньше внимания. Есть
отдельные исследования, посвященные изучению валидности методики в конкретных
областях (например, Furnham & Stringfield (1993) изучали валидность модели для
предсказания успешности в управленческой деятельности). Также ряд статей посвящено
изучению соотношения модели MBTI с 16PF, EPQ и Big Five (The location of the Myers-Briggs
type indicator in personality factor space). Тоже справедливо относительно ряда других
моделей, которые затрагиваются в нашем исследовании.
Помимо научных данных существует еще целый пул данных, которые предоставляют сами
разработчики инструментов, опирающихся на те или иные модели. Эти данные содержаться
в руководствах к методикам (manual & handbooks), публикациях на сайтах и конференциях и
т.д. В них можно найти данные как по взаимной взаимосвязи моделей друг с другом
17
(например, MBTI FormM MANUAL SUPPLEMENT), так и сравнительных исследованиях
критериальной валидности в конретных исследованиях (например, P. Saville, How Valid Is
Your Questionnaire?). Поиск и обработка такого типа данных также является задачей нашего
исследования.
В завершении приведем исследование, которое можно назвать модельным относительно
нашей работы (исследование, которое можно принять за образец текущему исследованию)
В работе Morey et al. (2007) рассматривается исследование, которое посвящено изучению
валидности нескольких моделей психологических расстройств (PD). В работе изучаются
модели «Большой Пятерки» (FFM), «Перечень неадаптивных и адаптивных личностей (SNAP)
и DSM-IV (CLPS). Авторами рассматриваются различные виды валидности и способности
моделей прогнозировать проявления личностных расстройств на практике. В частности,
изучаются
показатели
конструктной
валидности,
стабильности
моделей,
а
также
прогностической валидности. В исследовании проводится сравнительный анализ моделей
по данным показателям. Отличительной особенностью данного исследование является
метод
сбора
данных
непосредственное
-
не
проведение
с
помощью
конкуретного
мета-анализа
других
исследования
с
исследований,
помощью
а
методик,
измеряющих показатели моделей. Тем не менее, ряд приемов и подходов, задействованных
в исследовании Morey et al. представляется возможным использовать и в нашем
исследовании.
В заключении можно сказать, что большинство мета-анализов на текущий день ставило
целью определение валидности личностных моделей в практике оценки только на примере
одной модели - Big Five. Другие модели либо приводились к Big Five, либо не
рассматривались по отдельности. Сравнительный анализ валидности моделей мог
провидится только в конкретных исследований, но редко в каких модели сравнивались в
количестве большем, чем несколько штук. Проведенный обзор литературы лишь
подтверждает актуально и новизну нашего исследования, основная цель которого –
сравнительный анализ валидности моделей личности методом мета-анализа.
Мета-анализ: технология применения
18
Возникновение мета-анализа как метода было связано с необходимостью обобщения
результатов нескольких исследований, которые ставили перед собой один и тот же
исследовательский вопрос, с тем, чтобы получить более общее знание. Например, метаанализ часто использовался, чтобы обобщить результаты, полученные на разных выборках.
Существуют целые руководства или обзорные статьи, касающиеся того, как проводить метааналитические исследования (Field & Gillett, 2010).
Использование мета-анализа позволяет оценить и исследовать следующие показатели:
1. Среднее и дисперсию исследуемого эффекта или явления в популяции. На основании
этих параметров распределения возможно построить доверительные интервалы
какого-либо явления в популяции.
2. Вариацию размера исследуемого явления в различных исследованиях (гомогенность
эффекта в различных исследовательских ситуациях). По сути, разные явления могут
быть в разной степени гетерогенны, и выбирать на основе мета-анализа метод,
дающий наибольший эффект неправильно. Однако, в этой связи мета-анализ
позволяет оценить распределение значений изучаемого явления. На основании этих
данных исследователь может оценить ориентировочный интервал значений и
оценить адекватность полученных им данных.
3. Возможные явления-модераторы. Во многих случаях вариация размера эффекта
может быть связана со взаимодействием с каким-либо третьим параметром –
модератором. Анализ проведённых исследований на предмет модерации позволяет
делать более глубокие выводы относительно природы исследуемого явления.
Мета-аналитическая работа включает в себя несколько этапов:

Обзор исследований,

Решение о включении некоторых критериев в мета-анализ и их применение,

Расчет размера эффекта для каждого из исследований, которые будут включены в
анализ,

Непосредственно количественный анализ изучаемого явления,

Дополнительный анализ, который включает в себя рассмотрение ошибок (bias)
проведённых исследований, а также изучение переменных-модераторов,

Подведение итогов.
19
Обзор исследований
При поиске исследований для включения в мета-анализ нужно обращать особое внимание
на исследовательские вопросы, которые ставят авторы и следить, чтобы они в точности
совпадали с нашими исследовательскими вопросами. Поиск с помощью электронных
ресурсов ВШЭ даёт ряд преимуществ, по сравнению с обычным поиском в сети:
электронные базы публикаций позволяют делать довольно сложные поисковые вопросы и
таким образом находить, например, все работы одного автора (авторы часто имеют больше
одной публикации на одну тему), или просматривать статьи, которые цитируют то или иное
исследование.
Не стоит забывать, что во многих журналах (если не во всех) имеется тенденция публиковать
только значимые результаты, избегая незначимые данные (Dickersin, Min, & Meinert, 1992;
Hedges, 1984). Coursol & Wagner (1986) показали, что исследования с положительным
результатом публикуются в 7 раз чаще, чем исследования, в которых принимается нулевая
гипотеза (то есть показывается независимость событий, отсутствие взаимодействия и т.д.). В
другом исследовании говорится о том, что 97% публикаций в психологических журналах
описываются только значимые результаты (Sterling, 1959). Поэтому при поиске литературы
для мета-анализа нужно не забывать об этом, и искать источники не только в
опубликованных материалах, но и в неопубликованных, а также в материалах подходящих
конференций, рабочих докладах, а в нашем случае - методических материалах и handbooks
(руководствах к методикам). Часть информации может содержаться не только в научных
публикациях, но и в коммерческих отчетах, которые используются только в практических
целях, но не доходят до публикации в научной периодике. Если же использовать только
опубликованные в журналах результаты, можно переоценить или недооценить эффект
явления. Ещё один способ поиска литературы – непосредственное обращение к видным
авторам в исследуемой области (например, Кеттел, Айзенг, МакКрей и Коста и др).
Критерии и их применение
Для того чтобы решить, включать или нет то или иное исследование в свой мета-анализ,
нужно разработать критерий, по которому можно было бы точно и достоверно судить о
20
качестве исследования. В качестве критерия можно использовать определение основного
понятия, которое используется в исследовании (например, понятие текущей или
прогностической валидности и его наличие в исследовании, понятия job performance и т.п.).
Также следует обратить внимание на методологический аспект исследований: описывают ли
они валидность и надёжность применяемых методик? Используют ли контрольную группу, и
т.д.
Расчет размера эффекта
После подбора статей встает вопрос о том, как же их оценить? Для этого и нужен расчет
размера эффекта. Под размером эффекта обычно подразумевается стандартизированное
измерение величины наблюдаемого явления (Clark-Carter, 2003; Field, 2005c). Существует
множество способов расчета величины эффекта, но обычно используются три показателя:

Коэффициент корреляции Пирсона,

Коэффициент Кохена (Cohen),

Отношение шансов (odds ratio).
Коэффициент корреляции Пирсона является стандартизированной мерой ковариации между
двумя непрерывными (интервальными) переменными. Однако, часто этот показатель
используется для измерения экспериментального эффекта. Как известно, коэффициент
корреляции колеблется от -1 до 1, -1 говорит о наличии сильной линейной отрицательной
корреляции, 1 – о сильной положительной линейной корреляции. Cohen (1988, 1992)
предложил следующую градацию коэффициента корреляции:
o Если r примерно равен 0,1 по модулю, то такой эффект можно считать слабым, он
объясняет всего 1% дисперсии.
o Если r примерно равен 0,3 по модулю, то такой эффект можно считать средним,
он объясняет порядка 9% дисперсии.
o Если r примерно равен 0,5, то такой эффект можно считать сильным, поскольку он
объясняет около 25% дисперсии зависимой переменной.
Стоит отметить, что такие рекомендации не следует воспринимать буквально, всегда
следует учитывать контекст того исследовательского поля, в котором мы работаем.
21
Итак, после выбора подходящей метрики нужно рассчитать размер эффекта для всех
отобранных статей. Даже если в статьях используются другие показатели эффекта, они
зачастую переводимы друг в друга, поскольку основываются на среднем значении и
дисперсии. Например, коэффициент корреляции Пирсона можно рассчитать, если имеются
данные по t, z, F или хи-квадрат статистикам.
Основной мета-анализ
Как указывалось ранее, основная задача мета-анализа состоит в том, чтобы оценить какойлибо эффект в популяции на основе знаний об эффекте из различных статей. Оценка эффекта
в популяции достигается за счет усреднения всех эффектов из выбранных статей. Но такое
усреднение должно быть взвешенным, поскольку в анализе участвуют статьи с разными
выборками, больший вес следует назначать тем статьям, выборки которых многочисленны и
репрезентативны. Это делается для того, чтобы уменьшить влияние побочных факторов,
которые могут привнести результаты исследований со слишком специфичными выборками.
После расчета основного эффекта следует рассчитать доверительный интервал для этого
значения. Необходимость этого продиктована тем, что отобранные исследования могут не
полностью отражать исследовательский вопрос, в результате чего ошибка измерения
увеличится. Чтобы учесть эту ошибку и нужен доверительный интервал.
По сути, есть два способа концептуализировать мета-анализ: использование моделей с
фиксированными эффектами, или использование моделей со случайными эффектами (fixedand random-effects models) (Hedges, 1992; Hedges&Vevea, 1998; Hunter&Schmidt, 2000).
Модель с фиксированными эффектами предполагает, что выбранные исследования
отобраны из одной генеральной совокупности, в которой существует среднее значение
эффекта, которое может быть предсказано с помощью нескольких основных предикторов.
Из такой концептуальной схемы можно заключить, что все эффекты в выбранных
исследованиях должны быть примерно одинаковыми, поскольку репрезентируют одну
генеральную совокупность. Другое предположение (модель со случайными эффектами)
подразумевает, что во всех выбранных исследованиях средний размер эффекта колеблется
случайным образом, поскольку все исследования репрезентируют разные совокупности с
разными средними эффектами. И чтобы создать одну генеральную совокупность нужно
сначала обобщить данные выборок на небольшие генеральные совокупности (по одной на
каждое исследование) и затем обобщить их в одну генеральную совокупность.
22
В зависимости от того, какой подход выбран, мы определяем, какой метод мета-анализа
следует применять. Основное отличие моделей с фиксированными эффектами от моделей
со случайными эффектами заключается в том, откуда берётся ошибка. В моделях с
фиксированными эффектами существует ошибка репрезентации выборок относительно
генеральной совокупности. В моделях со случайными эффектами также содержится ошибка
репрезентации выборок относительной генеральной совокупности. Но поскольку здесь
предполагается, что генеральная совокупность в каждом исследовании своя, то сюда
прибавляется ошибка репрезентации выделенных генеральных совокупностей относительно
одной большой совокупности, эффект которой мы и стремимся оценить.
Основными методами, которые используются при расчете величин эффекта, являются
Hunter–Schmidt method (Hunter & Schmidt, 2004) и Hedges and colleagues’ method (Hedges &
Olkin, 1985; Hedges & Vevea, 1998). В обоих методах используются алгоритмы подсчета
величины эффектов и стандартизации данных в зависимости от размеров выборок и т.д.
Помимо расчета и сравнения величин эффекта при проведении мета-анализа может быть
проведен дополнительный анализ, который включает в себя рассмотрение ошибок (bias) в
рассматриваемых исследованиях, а также изучение переменных-модераторов, которые
могут опросредовать наблюдаемые эффекты.
В итоге следует отметить, что существуют определенные правила, которые необходимо
учитывать при публикации мета-аналитических исследований (Rosenthal, 1995). Во-первых,
необходимо четкое изложение позиции авторов относительно целей анализа, критериев
поиска и включения тех или иных исследований. Во-вторых, необходимо обосновывать,
почему к данных применяются те или иные методы мета-анализа. Необходимо сообщать
статистические данные, касающиеся изменчивости величины эффекта (в них необходимо
включать оценку фактической изменчивости, а также статистических испытаний на
изменчивость), и оценку связанного с ним доверительного интервала. Также необходимо
предоставлять информацию о систематической ошибке измерения.
Таким образом, мы описали основные принципы метаанализа, которыми стоит
руководствоваться при проведении подобного рода исследований.
23
ЭМПИРИЧЕСКАЯ ЧАСТЬ
Содержание:
1. Основные положение анализа
2. Процедура и методика исследования
3. Результаты исследования
4. Обсуждение результатов
5. Выводы
Мета-анализ валидности моделей личности в практике оценки
В теоретической части мы рассмотрели основные модели личности и соответствующие им
инструменты диагностики. Были выделены основные понятия исследования, а также
рассмотрены основные источники данных для исследования.
Виды исследуемой валидности
На теоретическом этапе может рассматриваться содержательная или конструктная
валидность (как показатель соотнесения модели и инструмента). На эмпирическом этапе критериальная валидность (текущая и прогностическая) как показатель валидности в
практике оценки персонала.
В
соответствии
с
целью
исследования
могут
быть
рассмотрены
следующие
исследовательские вопросы:
«Какая модель личности наиболее валидна в практике оценки персонала (интегрально) и
почему?»
•
разная ли валидность у моделей, разработанных в рамках различных подходов;
•
зависит ли валидность от количества факторов в модели;
•
разные ли валидности у моделей в зависимости от уровня позиции (синие
воротнички, белые воротнички, руководители, предприниматели);
24
•
зависит ли валидность от типа инструмента (например, опросники, выявляющие
именно рабочее поведение и черты (сформулированные как поведение на
работе) более валидными, чем опросники общего типа).
Для решения этих вопросов необходимо выполнить ряд описанных ниже задач.
Эмпирические задачи
 работа с литературой (сбор данных по валидности)
 определение критериев включения имеющихся данных в мета-анализ
 мета-аналитическое сравнение мощности моделей (величины эффекта валидности
относительно эффективности выполнения работы)
 рассмотрение дополнительных факторов, которые могут влиять на показатели валидности.
План (дизайн) исследования: разработка критериев включения данных в мета-анализ
(выделение ключевых показателей валидности и сфер ее применения), отбор литературы
согласно этим критериям (сбор данных для мета-анализа), выбор типа и метода метаанализа, расчет данных и их обработка, интерпретация результатов, описание выводов
Процедура и методика исследования
Первичным этапом любого мета-аналитического исследования является сбор литературы,
выбор метода мета-анализа и критерия (показателя), по которому он может проводится. Для
нашего исследования был выбран метод, разработанный Hunter & Schmidt (2004). Данный
метод активно применяется в мета-аналитических исследованиях схожего типа (расчета
мощности валидности различных инструментов прогнозирования успешности в работе),
позволяет работать с таким показателем валидности, как коэффициент корреляции (r), и
также позволяет учитывать ошибки измерения, которые заложены как в самих инструментах
(тестах), так и в критериях эффективности (показателей успешности работы).
Сбор данных проводился по четырем основным источникам (см. Таблицу 3), которые
включали в себя поиск научных статей с исследованиями валидности, так и технических
отчетов по методикам, не опубликованным в научных журналах.
25
Таблица 3. Источники поиска статей (данных) для исследования.
Основания
Критериальная валидность :
• Текущая
• Прогностическая
Инструменты (ресурсы) поиска
Источники
Публикации в научных журналах
Technical reports
ScienceDirect
APA
JStor
Google
Google scholar
Поиск статей или публикаций поводился по единой технологии. В начале в поисковую строку
любого источника вводилось лишь наименование модели (например, «MBTI»), после чего
экспертно анализировались абстракты статей или сами статьи на предмет соответствия теме
исследования (то есть наличия исследования на тему валидности относительно успешности
в работе в любом формате и на любой должности, а также в успешности в подготовке к
работе (тренинги) и пр.). После анализа списка дополнительно в поисковые строки
вводились такие уточняющие слова, как «validity» и «job performance», и полученный список
заново отсматривался на предмет появления новых статей.
В большинстве случаев
первичный поиск позволял получить до 90-95% статей, которые после выводились с
уточняющим поиском.
Следует сразу оговорится, что поиск статей в классическом мета-анализе проводится в более
расширенном виде, анализируются списки литературы в статьях, которые встречаются в
первичном поиске, проводится поиск по базам диссертаций и неопубликованным работам,
рассылаются письма авторам, чьи работы не содержат нужных данных с просьбой их
уточнить и т.п. Все это позволяет получить больше данных, в том числе отрицательных,
которые обычно не публикуются, но являются очень важными для мета-анализа. В нашем
исследовании мы ограничились лишь первичным поиском в силу характера работы и
ограниченности ресурсов на полномасштабное исследование.
После сбора первичных данных на предмет соответствия теме необходимо было выбрать
статистический критерий (показатель) включения статей в исследования. Классическим
показателем для мета-анализа Hunter & Schmidt является коэффициент корреляции (r),
26
который встречался и в большинстве наших данных, поэтому этот коэффициент был выбран
нами для проведения мета-анализа. Стоит отметить, что определенный процент статей мог
вообще не содержать данных по корреляции модели с показателем успешности (в таком
случае статью приходилось исключать из выборки), часть статей (особенно 60-80 годов)
содержало данные по сравнению средних (t- или F- коэффициенты), которые по
специальным формулам могли быть переведены в переведены в показатели r (подробнее о
переводе см. Student Handout - Meta-Analysis.pdf). Часть статей по ряду моделей была
включена в анализ из других мета-анализов, которые могли содержать либо сырые данные
(непосредственные показатели r, например Tett, Jackson & Rothstein, 1991), либо уже
подсчитанные по аналогичной технологии мета-аналические показатели (для модели Big
Five, Hurtz & Donovan, 2000).
В итоге был получен финальный список из 86 статей и технических отчетов, который был
закодирован в матрицу сырых данных со следующими показателями:

Авторы (указание авторов публикации)

Название публикации

Год публикации

Модель (16 PF, MMPI, MBTI & etc.)

Надежность модели (тип – альфа кронбаха, тест-ретест или оба типа)

Надежность модели (коэффициент)

Выборка исследования (размер)

Тип исследования (Научная статья или технический отчет)

Вид критерия успешности (Job performance (O), Job ratings (S), Training (T),
Персональные данные (P))

Надежность критерия (коэффициент)

Тип профессии (Manager, Sales, White collar, Blue collar, Service, Other)

Статус профессии (гражданская или военная)

Указание профессии (наименование, если есть)

R mean (абсолютная усредненная корреляция модели с критерием)

№ R mean (кол-во корреляций)

R significant (абсолютная усредненная значимая корреляция модели с критерием)

№ R significant (кол-во значимых корреляций)
27
В кодировании матрицы участвовал один эксперт, стаж работы в области оценки персонала
– 8 лет. Частично данные матрицы приведены в приложении №1.
Далее стоит остановится на двух таких важных моментах, как расчет R mean и R significant, и
данных по надежности моделей и критериям. Расчет R mean производился по технологии,
описанной Tett, Jackson & Rothstein, 1991, которая стоится на расчете абсолютной средней
корреляции факторов модели с критерием. В данном исследовании мы отдельно ввели
понятие R significant как абсолютная усредненная значимая корреляция модели с
критерием. Так как мы сравниваем модели друг с другом по мощности объяснительной
способности, нам было важно не только понять, насколько модель способна быть связанной
с критерием успешности, но и в какой степени она способна производить значимые
корреляции в исследованиях. Приведем пример. Возьмём данные вымышленного
исследования, например показатели корреляции между факторами модели Big Five и
успешностью в управлении:
Таблица 4. Данные исследования (для примера).
Факторы Big Five
Экстраверсия
Согласие
Самоконтроль
Стабильность
Открытость новому
Связь с успешностью в управлении
(сравнение с объективными
показателями эффективности), r
0,17
-0,13
0,25*
-0,03
0,31*
*P<0,05
Для расчета R mean нам достаточно взять каждый показатель r по модулю, и получить
среднее значение. В данном случае оно будет равно 0,18. Для расчета R significant мы берем
только значимые корреляции по модулю, и усредняем их – получая уже 0,28. Таким
образом, в данном исследовании модель Big Five имеет среднюю мощность в полтора раза
меньшую, чем значимую. Но в практике зачастую для использования модели отбираются
именно значимые корреляции, таким образом их также важно учитывать в исследовании.
Вторым важным моментом является учет показателей надежности моделей и критериев
успешности, которые позволяют скорректированный коэффициент мощности P mean (Hunter
& Schmidt , 2004). Надежность модели фактически равна коэффициенту альфа –кронбаха или
данным тест-ретеста (или их среднему), надежность критерия зависит от его типа (например,
это объективный показатель успешности, рейтинг со стороны коллег или супервизоров и
28
т.п.). Идеальной ситуацией является та, где в исследовании авторы перепроверяют как
надежность модели, и надежность критерия, и приводят эти показатели (хотя таких
исследований в нашей выборке оказалось не больше 15%). В остальных случаях приходится
брать те показатели надежности моделей, которые приводятся в технических отчетах по
методикам, и данные из других мета-анализов, где приводятся показатели средней
надежности критериев в зависимости от их типа.
Таблица 5. Надежность моделей и ее источники.
Авторы
Название публикации
H. J. Eysenck &
Eysenck
The manual of the EPI
Heather E.P.
Cattell and Alan
D. Mead
CPP Research
Department
Sophie
Grigoriadis,
G.Cynthia Fekken
Schaubhut
The sixteen personality
factor questionnaire (16pf)
R. Hogan & J.
Hogan
Manual
1995
SHL
Saville Consulting
Wave
Opq32 technical manual
Professional styles handbook
2009
Technical Brief for the
CPI INSTRUMENT
Person reliability on the
Minnesota multiphasic
personality inventory
MBTI formM MANUAL
SUPPLEMENT
Год
публика
ции
1964
Мод
ель
Надежность
(тип)
EPI
2005
16PF
Среднее
(альфа и тестретест)
Среднее
(альфа и тестретест)
Альфа
CPI
1992
2009
MMPI Среднее
(альфа и тестретест)
MBTI Среднее
(альфа и тестретест)
HPI
Среднее
(альфа и тестретест)
OPQ
Альфа
Wave Среднее
(альфа и тестретест)
Надежн
ость
(Коэф)
0,86
0,75
0,75
0,62
0,80
0,75
0,81
0,805
Как видно из таблицы, границы надежности моделей находятся в рекомендованном в
психометрике диапазоне от 0,75 и в среднем достаточно близки друг к другу. Только модель
MMPI имеет более низкую надежность, отчасти на чем и строится классическая критика этой
модели. Тем не менее, нужно понимать, что чем ниже показатель надежности модели, тем в
большей степени она будет скомпенсирована показателем P mean в мета-аналитическом
исследовании.
29
Вид критерия
Job performance (O)
Job ratings (S)
Training (T)
Персональные данные (P)
Таблица 6. Надежность критериев валидности
(показателей эффективности работы).
Надежность критерия
0.92, SD =0.05
0.60, SD =0.19
0.56, SD =0.1
нет показателя
Данные получены из сравнительных мета-аналитических исследований (Tett, Jackson &
Rothstein, 1991, Barrick & Mount, 1991). Наибольшей надежностью (стабильностью) обладают
объективные показатели работы, но часто в ввиду сложности сбора данных их заменяют
рейтингами и субъективными оценками, которые имеют более низкую надежность и
большой разброс значений (от 0,4 до 0,8 с одним ст.откл). Также могут использоваться
исследования, где люди либо учатся, либо имитируют работу (тренинги). Также есть прием
измерения эффективности через сравнения с персональными данными (например,
принадлежность к профессии, рост дохода или статуса в профессии). В случае работы с
этими данными поправка на надежность критерия не производилась ввиду отсутствия по
ним данных о надежности.
Таким образом, в нашем примере для получения P mean коэффициенты R mean и R
significant нужно было бы скорректировать на показатели надежности модели и критерия, и
дальше произвести все необходимые расчеты (Hunter & Schmidt, 2004). Все расчеты
выполнялись в программе MS Excel по формулам авторов. В дальнейшем результаты
расчетов были частично проверены с использованием синтаксиса SPSS, написанным
специально для этого метода (Field & Gillett, 2010), и показали полное совпадение
результатов.
В качестве промежуточных выводов в описании методики и процедуры хотелось бы
отметить пожелания для стандартов научных публикаций – включать матрицы сырых
корреляций моделей (или иных предикторов успешности) и критериев в публикации.
Данная информация поможет существенно упростить технологию проведения мета-анализа
и увеличит возможности для его качественного проведения.
30
Результаты исследования
В результате обработки данных нами было выделено 86 статей (выборка наблюдений –
порядка 15000), которые были включены в мета-анализ. Большинство статей было получено
из научных публикаций (89%), и часть – из технических отчетов к методикам, не
опубликованных в научных изданиях (11%).
Таблица 7. Выборка исследования.
Модель
EPI
16PF
CPI
MMPI
MBTI
HPI
OPQ
Wave
Total
Кол-во статей
7
23
15
16
9
7
6
3
86
Размер выборки
1134
2849
1943
1761
1428
1266
3261
1247
14889
По каждой из моделей были получены примерно схожие размеры выборок (от 1134 до
3261), хотя распределение статей отличалось большим разбросом – от 3 до 23. Данные по
модели Wave включали в себя только 3 технических отчета и ни одной научной публикации.
Данные по модели Big Five были взяты из уже существующих мета-аналитических
исследований (Hurtz & Donovan, 2000). Кстати, предыдущее исследование по валидности Big
Five давало схожие результаты (Barrick & Mount, 1991).
Рисунок 1. Распределение исследований по годам.
31
Публикация исследований (годы)
30
25
Wave
20
OPQ
HPI
MBTI
15
MMPI
CPI
10
16PF
EPI
5
0
50-60e
60-70e
70-80e
80-90e
90-2000e
2000-2010e
2010e
По нашим данным, большинство исследований валидности моделей проводились в период
80-х – 2000-х годов. После этого стали публиковаться результаты мета-аналитических
исследований валидности психологических моделей (прежде всего по Big Five), что
возможно “поумерило пыл” исследователей в этой теме.
По показателям популярности исследований в начале можно было отметить MMPI (50-70
гг.), затем проявился интерес к CPI (60-80 гг.), затем 16PF, EPI и MBTI (70-2000 гг.), затем OPQ
и HPI (2000-2010гг.). Наиболее современные исследования посвящены прежде всего
моделям, возникшим в рамках профессионального подхода (OPQ, HPI, Wave).
32
Сравнение моделей по абсолютной усредненной корреляции
Таблица 8. Результаты по средней сравнительной мощности моделей.
Модель
EPI
16PF
CPI
MMPI
MBTI
HPI
OPQ
Wave
B5
N
K
1134
2601
1717
1583
1304
1152
1620
1247
22
365
217
250
50
71
62
108
r
mean
0,09
0,10
0,13
0,11
0,09
0,11
0,10
0,19
0,08
P
mean
0,11
0,13
0,18
0,16
0,11
0,15
0,13
0,27
0,12
SDr
SDp
MEr
0,00
0,00
0,00
0,00
0,00
0,00
0,00
0,00
0,00
0,01
0,00
0,01
0,01
0,00
0,00
0,00
0,01
0,01
0,01
0,01
0,01
0,01
0,00
0,00
95%
lower
0,08
0,08
0,11
0,09
0,07
0,10
0,09
0,18
95%
upper
0,10
0,11
0,14
0,13
0,10
0,12
0,10
0,19
All
12358
1145
0,111
0,153
0,002
0,003
0,01
0,10
0,12
N – объем выборки, K – кол-во корреляций (напрямую зависит от кол-ва факторов в модели),
r mean – взвешенный показатель мощности модели, P-mean - взвешенный показатель
мощности, скорректированный на надежность модели и критерия, SDr – отклонение r mean,
SDp – отклонение P-mean, MEr – ошибка измерения r mean, 95% lower и 95% upper –
доверительный интервал для r mean.
Средние показатели r-mean и P-mean в нашем исследовании составили 0,11 и 0,15
соответственно, что выше, чем в более мощном исследовании только по модели Big Five –
0,08 и 0,12 (Hurtz & Donovan, 2000), но ниже, чем в также мощном мета-анализе по многим
моделям личности, в том числе малоизвестным от Tett, Jackson & Rothstein, 1991, где они
составляли 0,16 и 0,23. Таким образом, сравнивая эти исследования, мы можем сделать
вывод о том, что наше исследование дает результаты, близкие к данным более мощным и
признанным мета-анализам (оно сравнимо с ними), и то что включение большего круга
моделей дает более высокие коэффициенты, чем просто анализ по Big Five. Также можно
предположить, что включение иных моделей может дать более высокие коэффициенты и в
нашем сравнительном исследовании.
Таблица 9. Рисунок 2-3. Сравнение подходов по абсолютной средней валидности.
Подход
Диспозициональный
Лексикографический
Клинический
Типологический
Модель
EPI
16PF
CPI/MMPI
MBTI
r mean
0,09
0,10
0,12
0,09
P mean
0,11
0,13
0,17
0,11
33
Профессиональный
HPI/OPQ
Лексикографический и диспозициональный BigFive
Сравнение
средних
показателей
мощности
моделей
0,10
0,08
показывает,
0,14
0,12
что
наиболее
продуктивными подходами оказываются клинический (CPI/MMPI) и профессиональный
(HPI/OPQ). Стоит отметить, что модель Wave исключалась из данного типа анализа по двум
причинам – 1) данные по ней присутствовали только по 3 техническим отчетам и в наличие
не было научных публикаций 2) данные по валидности по своему типу отличались от данных
по другим исследованиям (во всех других исследованиях все факторы модели сравнивались
34
с одним критерием успешности, по данным Wave – каждый фактор сравнивался со своим
критерием, что могло вносить артефакты в усредненные данные по всей модели).
Таблица 10. Рисунок 4-5. Сравнение моделей по абсолютной средней валидности.
Модель
EPI
16PF
CPI
MMPI
MBTI
HPI
OPQ
BigFive
Кол-во показателей
3
16
18
10
4
7
32
5
Корреляция кол-ва показателей и мощности модели
r mean
0,09
0,10
0,13
0,11
0,09
0,11
0,10
0,08
P mean
0,11
0,13
0,18
0,16
0,11
0,15
0,13
0,12
0,35
0,37
35
Сравнение
средних
показателей
мощности
моделей
показывает,
что
наиболее
продуктивными из них по обоим показателям (r-mean и P-mean) оказываются CPI, MMPI и
HPI. Стоит отметить, что модель Wave исключалась из данного типа анализа по причинам,
описанным выше в анализе подходов.
Также стоит отметить, что модель MMPI имела наименьший показатель надежности, что
могло повлиять на ее высокое положение в рейтинге, но только в случае с показателем Pmean. Но и по показателю r-mean она оказалась на втором месте.
Данные позволяют проверить и гипотезу относительно валидности и размерности модели. В
данном случае гипотеза подтвердилась лишь на уровне тенденции, но средняя
положительная корреляция кол-ва факторов в модели и показателей валидности (0,35 и
0,37) позволяет утверждать ее правомерность – чем больше факторов у модели, тем выше
может быть ее объяснительная способность.
36
Сравнение моделей по абсолютной значимой корреляции
Таблица 11. Результаты по значимой сравнительной мощности моделей.
Модель
EPI
16PF
CPI
MMPI
MBTI
HPI
OPQ
Wave
N
585
1457
1429
810
822
1266
1641
1247
K
4
18
26
11
8
43
37
97
All
9257
244
r mean P mean
0,18
0,22
0,17
0,21
0,27
0,37
0,17
0,23
0,19
0,25
0,18
0,24
0,23
0,33
0,20
0,29
0,204
0,277
SDr
0,00
0,00
0,00
0,00
0,01
0,00
0,00
0,00
SDp
0,00
0,01
0,01
0,01
0,01
0,00
0,00
0,00
MEr
0,01
0,02
0,01
0,02
0,01
0,01
0,00
0,00
0,003
0,006
0,00
95% lower 95%upper
0,15
0,20
0,14
0,20
0,25
0,29
0,14
0,21
0,17
0,21
0,17
0,19
0,23
0,24
0,20
0,21
0,20
0,21
N – объем выборки, K – кол-во значимых корреляций (напрямую зависит от кол-ва факторов
в модели), r mean – взвешенный показатель значимой мощности модели, P-mean взвешенный показатель значимой мощности, скорректированный на надежность модели и
критерия, SDr – отклонение r mean, SDp – отклонение P-mean, MEr – ошибка измерения r
mean, 95% lower и 95% upper – доверительный интервал для r mean.
Средние показатели r-mean и P-mean по значимым корреляциям составили 0,20 и 0,28
соответственно, что даже выше, чем приводимом выше мета-анализе по многим моделям
личности от Tett, Jackson & Rothstein, 1991, где они составляли 0,16 и 0,23. Таким образом,
показатель значимости, введенный в нашем исследовании, может обосновывать большую
практическую и теоретическую пользу для применения моделей личности в практике
прогноза эффективности работы.
В данном типе анализа мы не смогли включить такую модель, как Big Five, так как данные
нужного нам типа отсутствовали в исходных мета-анализах и не собирались нами в
конкретных исследованиях. При этом, мы смогли включить модель Wave, так как для
анализа значимых корреляций с критерием нам подходили исходные данные по ней, и
вероятность искажений была меньше.
Таблица 12. Рисунок 6-7. Сравнение подходов по абсолютной значимой валидности.
Подход
Диспозициональный
Лексикографический
Клинический
Типологический
Модель
EPI
16PF
CPI/MMPI
MBTI
r mean
0,18
0,17
0,22
0,19
P mean
0,22
0,21
0,30
0,25
37
Профессиональный
Сравнение
HPI/OPQ/Wave
значимых
продуктивными
показателей
подходами
мощности
вновь
0,20
моделей
оказываются
показывает,
клинический
0,29
что
наиболее
(CPI/MMPI)
и
профессиональный (HPI/OPQ/Wave). Причем в значимых показателях они почти сравнялись
друг с другом, а клинический подход лидирует только за счет CPI.
38
Таблица 12. Рисунок 8-9. Сравнение моделей по абсолютной значимой валидности.
Модель
EPI
16PF
CPI
MMPI
MBTI
HPI
OPQ
Wave
Кол-во показателей
3
16
18
10
4
7
32
36
Корреляция кол-ва показателей и мощности модели
r mean
0,18
0,17
0,27
0,17
0,19
0,18
0,23
0,20
0,50
P mean
0,22
0,21
0,37
0,23
0,25
0,24
0,33
0,29
0,60*
*P=0,12
39
Сравнение
значимых
показателей
мощности
моделей
показывает,
что
наиболее
продуктивными из них по обоим показателям (r-mean и P-mean) оказываются CPI, OPQ и
Wave. Модель CPI становится лидером по итогам двух сравнений, а по показателям
значимых корреляций представители профессионального подхода - OPQ и Wave, занимают
второе и третье места. MMPI – один из лидеров по средним показателям, существенно
отстает по значимым, вновь хорошими показателями обладает HPI, а типологический подход
и MBTI здесь выходят ближе в верхушке рейтинга.
Гипотеза относительно валидности и размерности моделей по значимым корреляциям
подтвердилась еще в большей степени, положительная корреляция кол-ва факторов в
модели и показателей валидности стала высокой и близкой к значимой (0,50 и 0,60), что еще
больше позволяет утверждать ее правомерность – чем больше факторов у модели, тем
выше может быть ее объяснительная способность.
Обсуждение результатов
В нашем исследовании нам удалось ответить на главный вопрос – какая модель личности
наиболее валидна в практике оценки персонала и измерения эффективности работы. Этой
моделью оказалась CPI - California Psychological Inventory.
Данная модель была разработана как определенный аналог MMPI, но для практики работы
не в клинических случаях, а для выборок людей без психиатрических отклонений. Наиболее
распространенная в исследованиях версия опросника включает в себя 434 пункта, некоторая
часть которых напрямую позаимствована из MMPI (Gough, 1987). Методика построена по
нормативному типу, и достаточно длительна по времени.
Попробуем проанализировать содержание методики. В ней выделяется 18 показателей
(факторов), сгруппированных в 4 типа: 1) измерение уравновешенности, властности,
уверенности в себе и межличностной адекватности; (2) измерение социализации,
ответственности, внутриличностных ценностей, и характера; (3) измерение потенциала к
достижениям и интеллектуальной эффективности; (4) измерение типов интеллектуальной
активности и интересов (Gough & Bradley, 1996). Три фактора из 18 выполняют роль
служебных показателей. Также существует так называемая Folk Concept Scales для этой
40
модели,
где
выделяется
коммуникабельность,
ответственность,
самочувствие,
20
факторов:
социальность,
социализация,
толерантность,
доминантность,
принятие
самоконтроль,
конформность,
себя,
потребность
независимость,
чувствительность,
склонность
в
статусе,
эмпатия,
общественность,
к
достижениям,
интеллектуальность, открытость, гибкость, маскулинность (в оригинале - Dominance, Capacity
for Status, Sociability, Social Presence, Self-acceptance, Independence, Empathy, Responsibility,
Socialization, Self-control, Good Impression, Communality, Well-being, Tolerance, Achievement
via Conformance, Achievement via Independence, Intellectual Efficiency, Psychologicalmindedness, Flexibility, and Femininity/Masculinity). Модель слабо представлена в РФ,
особенно с сфере работы с персоналом.
Исходя из содержания модели сложно выдвинуть предположения, почему именно она
оказалась наиболее связанной с показатели эффективности работы. Можно лишь
рекомендовать ее более глубокое изучение в рамках этих задач. Тем не менее, она
содержательно отличается от других моделей, и в этом может быть ее преимущество.
Стоит сказать, что в ответе на основной вопрос исследования нам было важнее разработать
технологию сравнения моделей и апробировать ее на практике, чем построить
окончательный рейтинг и выделить лучшие модели. Любые новые данные могут
существенно повлиять на рейтинг и изменить положение моделей в нем, но нам важнее
было показать, что модели можно и важно сравнивать друг с другом, в том числе чтобы
отбирать наиболее применимые для практики.
Следующие вопросы, которые нас интересовали, касались причин различия в валидности
между моделями. Нам удалось найти несколько причин и оснований, которые могут влиять
на валидность моделей.
Первое основание – это подходы, в рамках которого модель может быть разработана.
Наиболее продуктивными оказались клинический и профессиональные подходы. Возможно,
первый подход позволяет выделять хорошо дифференцирующие людей качества в
поведении (так как в основе своей имеет классификацию симптомов), второй изначально
нацелен на диагностику успешности (поэтому также концентрируется на качествах, важных
именно в работе).
41
Вторая причина, и на наш взгляд более существенная, заключается в дробности моделей и
наличии узких, специфических качеств, которые позволяют модели лучше «цепляться» за
столь же специфические критерии успешности и условия, в которых она проявляется. Более
интегральные модели (такие как Big Five, EPI и MBTI) показывают худшие показатели
валидности по этой же причине (что показано практически статистически значимо). Все это
позволяет рекомендовать использовать в практике более специализированные и дробные
модели личности. Стоит заметить, что многие модели имеют подфакторы (практически
любые из перечисленных нами в исследовании моделей). Однако во многих исследованиях
взаимосвязи ищутся на уровне интегральных факторов, что делает такую модель менее
конкурентоспособной.
Можно
предположить,
что
широко
распространенная
в
исследовательской практике модель Big Five была бы более валидна, если бы исследователи
пытались отслеживать валидность не на уровне пяти интегральных факторов (в «угоду»
содержательной валидности), а на уровне подфакторов (ориентируясь на критериальную
валидность).
К сожалению, нам не удалось ответить на другие вопросы исследования, которые касались
валидности моделей и уровня позиции, типа инструмента и так далее, в связи с
ограниченным объемом данных по этим критериям. Тем не менее, нам удалось найти
несколько исследований, которые раскрывают ответы на некоторые вопросы, и здесь также
хотелось бы их обсудить, в контексте общего вопроса – что же позволяет увеличить
валидность модели личности?
В первую очередь можно отметить исследование Tett Et al. 2003, в котором сравнивалась
валидность интегральных показателей модели HPI (7 факторов), и так называемых HICs подфакторов (41). В результате исследования было показано, что подфакторы в гораздо
большей степени объясняют вариативность критерия успешности, чем интегральные
показатели модели. Во многом на этом в модели HPI и других строятся дополнительные
показатели, прогнозирующие успешность в той или иной деятельности. Для нас же важно,
что
данной
исследование
показывает,
как
специфические
факторы
оказываются
продуктивнее интегральных.
Мета-анализ, который мы уже не раз упоминали в своей работе (Tett, Jackson & Rothstein,
1991) также дает ответы на некоторые вопросы, а именно – более высокие показатели
42
валидности моделей достигаются в исследованиях, в которых применяется предварительная
процедура анализа работ (job analysis), и которые строятся по конфирматорному типу. То
есть в тех исследованиях, где заранее анализируется работа и под нее подбирается модель
или хотя бы гипотезы (какие качества будут нужны в работе), показатели валидности могут в
разы превышать те, которые получаются в исследованиях обратного типа – без анализа
работы и со случайной моделью. Таком образом, предварительное изучение работы и тех
черт, которые могут влиять на эффективность позволяет подобрать лучшие модели, или как
минимум – черты, и получить в итоге большую валидность для искомой ситуации.
Подтверждают предыдущие оба предположения исследователи в статье Jenkins & Griffith,
2004.
Любопытные данные были получены в исследовании Jackson & Corr, 1998. В ряде
исследований авторы замеряли связь между показателями по личностным моделям и
критериям успешности. На индивидуальном уровне данные связи были не велики с
сравнимы со многими, которые были получены в нашем исследовании. Но как только
исследователи выходили на группой уровень (например, сравнивали общей уровень
экстраверсии у группы успешных и неэффективных), то показатели связи становились в разы
больше. Данное направление тоже может быть весьма интересным для применения
относительно моделей личности.
Также в ряде исследований было показано, что валидность зависит не только от модели
личности, но и от того, насколько сам инструмент, ее измеряющий, релевантен поведению
именно на работе (Heller et al., 2009; Hunthausen et al., 2003). Исследования показывают, что
методики, описывающие именно рабочее поведение в рамках модели имеют большие
показатели валидности относительно эффективности на работе, чем просто те же черты в
общих жизненных ситуациях.
Таким образом, ряд наших предположений имеют косвенное подтверждение в
исследованиях, но не относительно каждой из моделей, а относительно общей ситуации с
моделями личности (обычно на примере модели Big Five).
43
Стоит рассмотреть и ограничения нашего исследования, которые безусловно могут влиять на
полученные результаты. В первую очередь, нужно выделить проблему выборки. В нашем
исследовании использовался первичный поиск данных, не были включены диссертации,
внутренний поиск по литературе, письма авторам и т.п. Безусловно, расширение выборки
может дать иные данные для исследования и результатов. Во вторую очередь, стоит
упомянуть проблему кодирования данных, в которой участвовал один эксперт (в
классическом мета-аналитическом исследовании привлекается группа экспертов и
замеряется согласованность). В конце следует сказать о том, что не все модели личности
были включены в этот анализ, и данные по некоторым также могли бы повлиять на общие
результаты.
В завершении хотелось бы обсудить два практических вопроса – что дает применение
моделей личности на практике, что означает рейтинг моделей для решения практических
задач. Ведь зачастую именно практика ставит запросы на точное и надежное
прогнозирование в области изучения человеческих ресурсов, и стремится к максимальным
показателям.
Что касается применения моделей личности на практике, то в научной среде отчасти
устоялось определенное двуполярное мнение. С одной стороны, диагностика личностных
качеств не позволяет получить высокий уровень объясняемой дисперсии успешности в
работе, с другой – так называемые integrity tests могут давать достаточно высокие
показатели валидности (Schmidt & Hunter, 1998). На примере наших данных мы также
попытались рассчитать эффективность от применения моделей личности на практике.
Таблица 13. Отдача от личностных тестов на практике.
Показатели по всем
моделям (P mean)
Абсолютная валидность
Значимая валидность
Дисперсия (low)
как объяснение критерия
эффективности
2%
8%
Тейлор – Рассел (high)
как точность отбора
58%
64%
44
Если брать средние значения по моделям, то процент объясненной дисперсии успешности
(как самый строгий показатель) действительно будет достаточно низким – в самом лучшем
случае всего 8%. Но если учитывать предположения Тейлора – Рассела о сложности работы и
жесткости отбора на ту или иную должность, то в среднем точность отбора с применением
модели личности может вырасти до 64% (Шмелев, 2013).
Что касается применимости полученного рейтинга на практике, то мы склонны полагать, что
модели из верхушки рейтинга (например, CPI), действительно могут оказаться более
продуктивными с точки зрения валидности в общих универсальных ситуациях (с учетом
специфики выборки и позиций, на которых были собраны данные). Но в целом любая
модель может дать хорошие показатели валидности, если она 1) содержит много
специфических факторов; 2) применяется вместе с анализом работы по конфиматорному
типу; 3) специализирована относительно поведения на работе.
Выводы
По итогам исследования нами была разработана технология сравнения моделей личности
друг с другом относительно валидности в практике оценки персонала, с применением метаанализа. Был построен рейтинг валидности моделей, наиболее валидная модель – CPI. В
исследовании было показано, что чем больше показателей (факторов модели), тем выше ее
валидность как способность измерять эффективность работы. Наиболее валидные модели
личности были разработаны в рамках клинических и профессиональных подходов. По
итогам исследования даны теоретические и практические рекомендации по применению
результатов.
45
СПИСОК ЛИТЕРАТУРЫ
1. Alessandri, G., Vecchione, M. (2012). The higher-order factors of the Big Five as predictors
of job performance. Personality and Individual Differences, 53, 779–784
2. Barrick, M. R., & Mount, M. K. (1991). The Big Five personality dimensions and job
performance: A meta-analysis. Personnel Psychology, 44, 1-26.
3. Birkman International. (2007). Trends in Personality Assessments and Applications
4. Dakin, S., Armstrong, J.S. (1989). Predicting job performance: A comparison of expert
opinion and research findings. International Journal of Forecasting, 5, 187-194
5. Field, A., Gillett, R. (2010). How to do a meta-analysis. British Journal of Mathematical and
Statistical Psychology, 63, 665–694
6. Furnham, A., Stringfield, P. (1993). Personality and work perfomance: myers-briggs type
indicator correlates of managerial performance in two cultures. Person. Individ. Dif
Vol. 14, No. I, p. 145- 153
7. Gough, H.G. (1987) California Psychological Inventory Administrator's Guide. Palo Alto, CA:
Consulting Psychologists Press, Inc.
8. Gough,H.G. & Bradley, P. (1996). "CPI Manual." Ed.3. Palo Alto, CA: Consulting Psychologists
Press
9. Heller, D., Ferris, D. L., Brown, D., & Watson, D. (2009). The influence of work personality on
job satisfaction: Incremental validity and mediation effects. Journal of Personality, 77,
1051–1084.
10. Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job
performance. Psychological Bulletin, 96, 72-98
11. Hunter, J. E., & Schmidt, F. L. (2004). Methods of meta-analysis: Correcting error and bias in
research findings (2nd ed.). Newbury Park, CA: Sage
12. Hunthausen, J. M., Truxillo, D. M., Bauer, T. B., & Hammer, B. L. (2003). A field study of
frame-of-reference effect on personality test validity. Journal of Applied Psychology, 88,
545–551.
13. Hurtz, G.M., & Donovan, J. J. (2000). Personality and Job Performance: The Big Five
Revisited. Journal of Applied Psychology, Vol. 85, No. 6, 869-879
14. Jackson, C. J., Corr, P. J. (1998) Personality-performance correlations at work: Individual
and aggregate levels of analyses. Personality and Individual Differences. Volume 24, Issue
6, Pages 815–820
46
15. Jenkins, M. & Griffith, R. (2004) Using Personality Constructs to Predict Performance:
Narrow or Broad Bandwidth. Journal of Business and Psychology, Volume 19, Issue 2, pp
255-269
16. Jenkins, M., Griffith, R. (2004). Using personality constructs to predict performance:
narrow or broad bandwidth. Journal of Business and Psychology, Vol. 19, No. 2
17. Johnson, M., Rowatt, W., Petrini, L. (2011). A new trait on the market: Honesty–Humility as
a unique predictor of job performance ratings. Personality and Individual Differences, 50,
857–862
18. Linden, D., Nijenhuis, J., Bakker, A. (2010). The General Factor of Personality: A metaanalysis of Big Five intercorrelations and a criterion-related validity study. Journal of
Research in Personality, 44, 315–327
19. Morey, L., Hopwood, C., Gunderson, J., Skodol, A., Shea, M., Yen, S., Stout, R., Zanarini, M.,
Grilo, C., Sanislow, C., Mcglashan, T.(2007). Comparison of alternative models for
personality disorders. Psychological Medicine, 37, 983–994
20. Ones, D., Dilchert, S., Viswesvaran, C., Judge, T. (2007). In support of personality
assessment in organizational settings. Personnel psychology, 60, 995–1027
21. Ones, D., Viswesvaran, C. (2004). Personnel Selection. Encyclopedia of Applied Psychology,
V 3, 35-43
22. Rothstein, M.G., Goffin, R.D. (2006). The use of personality measures in personnel
selection: What does current research support? Human Resource Management Review, 16,
155–180
23. Saggino, A. (2000). The Big Three or the Big Five? A replication study. Personality and
Individual Differences, 28, 879-886
24. Schmidt, F. L., Hunter, J. E. (1998) The validity and utility of selection methods in personnel
psychology: Practical and theoretical implications of 85 years of research findings.
Psychological Bulletin, Vol 124(2), 262-274
25. Scroggins, W., Thomas, S., Morris, J. (2009). Public Personnel Management, Volume 38 No.
1
26. StudentHandout-Meta-Analysis.pdf.
http://maamodt.asp.radford.edu/PSYC%20651/Student%20Handout%20-%20MetaAnalysis.pdf
47
27. Tett, R. P. Et al. (2003) Broad and Narrow Measures on Both Sides of the Personality-Job
Performance Relationship. Journal of Organizational Behavior, Vol. 24, No. 3, pp. 335-356
28. Tett, R. P., Jackson, D. N., & Rothstein, M. (1991). Personality measures as predictors of job
performance: A meta-analytic review. Personnel Psychology, 44, 703-742.
29. Дружинин В.Н (2003). Психология 21 века: Учебник для Вузов. ПЕР СЭ, 600-611
30. Хьелл, Л., Зиглер, Д. (1998). Теории личности. СпБ: Питер Ком, 575-602
31. Шмелев А.Г. (2013). Практическая тестология. Москва.
48
ПРИЛОЖЕНИЕ №1
Список публикаций, вошедших в исследование в качестве источника данных.
№ Авторы
Название публикации
1
Furnham A.
2
Sager J.
3
Drew J.
4
Csoka L.
Personality and occupational success-16PF
correlates of cabin crew performance
Personality and Salesforce Selection in
the Pharmaceutical Industry
Predicting turnover of police officers using the
sixteen personality factor questionnaire
Psychological profiles for predicting leader
performance
Selecting Successful Salespersons with the 16P
5
Stephen J.
Guastello, Ph.D.
6 Stephen J.
Guastello, Ph.D.
7 Stephen J.
Guastello, Ph.D.
8 Stephen J.
Guastello, Ph.D.
9 Stephen J.
Guastello, Ph.D.
10 D. Bartram
11 D. Bartram
12 Jenkins M.
13 Super J.
14 Cooper & Green
15 Ferris
16 Lono
17 McMillan
18 Middleman
Год
публикации
1991
Модель
1986
16PF
2008
16PF
1993
16PF
1993
16PF
Selecting Successful Salespersons with the 16P
1993
16PF
Selecting Successful Salespersons with the 16P
1993
16PF
Selecting Successful Salespersons with the 16P
1993
16PF
Selecting Successful Salespersons with the 16P
1993
16PF
The predictive validity of the EPI and 16PF for
military flying training
The predictive validity of the EPI and 16PF for
military flying training
Using Personality Constructs to Predict
Performance: Narrow or Broad Bandwidth
Using psychological tests to discriminate
between “best” and “least best” correctional
officers
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
1995
16PF
1995
16PF
2004
16PF
1993
16PF
1976
16PF
1988
16PF
1976
16PF
1974
16PF
1988
16PF
16PF
49
19 Muecke-Gardner
20 Schuerger
21 Sormin
22 Toole
23 Whisman
24 Alker
25 Dozier
26 Geraghty
27 Glaskinos &
Brennon
28 Hiatt & Hargrave
29 Hogan
30 Lafer
31 Mills &
Bohhanon
32 Pugh
33 Gough & Hall
34 Gough & Hall
35 Kegel-Flom
36 Hall & McKinnon
37 Cook
38 Blake
39 D. Bartram
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Prediction of performance in medical school
from the California Psychological Inventory
Prediction of performance in medical school
from the California Psychological Inventory
Personality Traits in Effective Clinical Teachers
Personality inventory correlates of creativity
among architects
Personality and Self-Rated
Work Performance
Validation of the Structural Scales of the CPI for
Predicting the Performance of Junior
Officers in the U. S. Coast Guard
The predictive validity of the EPI and 16PF for
1987
16PF
1982
16PF
1984
16PF
1972
16PF
1978
16PF
1973
CPI
1980
CPI
1986
CPI
1971
CPI
1988
CPI
1971
CPI
1989
CPI
1980
CPI
1985
CPI
1964
CPI
1964
CPI
1983
1969
CPI
CPI
2000
CPI
1993
CPI
1995
EPI
50
40 D. Bartram
41 Freixanet
42 Jackson
43 Jackson
44 Jackson
45 Burbeck &
Furnham
46 Tett
47 Luther
48 Hayes
49 Hogan & Kaiser
50 Hogan
51 Hogan
52 Muchinsky
53 Foker
54 Ornstein
55 Sauls
56 Hall & McKinnon
57 McIntyre
58 Furnham A.
military flying training
The predictive validity of the EPI and 16PF for
military flying training
Personality profile of subjects engaged in high
physical risk sports
Personality-performance correlations at work
Benefits of All Work and No Play: The
Relationship Between Neuroticism
and Performance as a Function of Resource
Allocation
Comparison between Eysenck's and Gray's
models of personality in the prediction of
motivational work criteria
Personality and police selection- Trait
differences in successful and non-successful
applicants to the metropolitan police
Broad and Narrow Measures on Both Sides of
the Personality-Job Performance Relationship
Integrity Testing and Job Performance within
High Performance Work Teams: A Short Note
Personality Correlates of Success in Total Quality
Manufacturing
Personality, leader behavior, and overdoing it
Validation of a Personality Measure of
Managerial Performance
Validation of a Sales Representative Selection
Inventory
Validation of Personality Constructs for the
Selection of Insurance Industry Employees
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality inventory correlates of creativity
among architects
Cognitive Style as an Antecedent to
Adaptiveness, Customer Orientation, and SelfPerceived Selling Performance
Personality and work performance- Myers-
1995
EPI
1991
EPI
1998
2006
EPI
EPI
2000
EPI
1984
EPI
2003
HPI
2000
HPI
2000
HPI
2011
1992
HPI
HPI
1992
HPI
1993
HPI
1988
MBTI
1988
MBTI
1987
MBTI
1969
MBTI
2000
MBTI
1993
MBTI
51
59 Furnham A.
60 Biderman
61 Roberts
62 Super J.
63 Arvey
64 Burke & Hall
65 Dicken
66 Gerton
67 Hiatt & Hargrave
68 Hoover
69 Mass
70 Matyas
71 McClelland &
Rhodes
72 McClelland &
Rhodes
73 McGraw
74 Walter
75 Hall & McKinnon
76 Bartol
77 Downey &
Signori
Briggs type indicator correlates of managerial
performance in two cultures
Personality and work performance- MyersBriggs type indicator correlates of managerial
performance in two cultures
Criterion-related validity of three personality
questionnaires
The personality and motivations of
technological entrepreneurs
Using psychological tests to discriminate
between “best” and “least best” correctional
officers
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality Measures as Predictors of Job
Performance: A Meta-Analytic Review
Personality inventory correlates of creativity
among architects
Predictive validation of the MMPI for smalltown police officers who fail
The Selection of Prison Guards
1993
MBTI
2012
MBTI
1989
MBTI
1993
MMPI
1972
MMPI
1986
MMPI
1969
MMPI
1982
MMPI
1988
MMPI
1971
MMPI
1979
MMPI
1980
MMPI
1969
MMPI
1970
MMPI
1969
MMPI
1979
MMPI
1969
MMPI
1991
MMPI
1958
MMPI
52
78 Saville
79 Saville
80 Perkins & Corr
81 Warr
82 SHL
83 Whetzel
84 Saville
Consulting Wave
85 Saville
Consulting Wave
86 Saville
Consulting Wave
A Demonstration of the Validity of the
Occupational Personality Questionnaire (OPQ)
in the Measurement of Job Competencies
Across Time and in Separate Organisations
A Demonstration of the Validity of the
Occupational Personality Questionnaire (OPQ)
in the Measurement of Job Competencies
Across Time and in Separate Organisations
Can worriers be winners? The association
between worrying and job performance
Indirect Processes in Criterion-Related Validity
Opq32 technical manual
Linearity of Personality–Performance
Relationships: A large-scale examination
Professional styles handbook
1996
OPQ
1996
OPQ
2004
OPQ
2000
2009
2010
OPQ
OPQ
OPQ
2011
Wave
Professional styles handbook
2011
Wave
Professional styles handbook
2011
Wave
53