Правительство Российской Федерации
реклама
Правительство Российской Федерации Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "Высшая школа экономики" Институт развития образования Магистерская программа «Измерения в психологии и образовании» ДИПЛОМНАЯ РАБОТА (ВКР) на тему «Сравнительный анализ валидности психологических моделей личности в практике оценки персонала (Comparative analysis of the validity of psychological models of personality in the practice of personnel assessment)» Студент второго курса (группа 701): Алтухов Виталий Владиславович Научный руководитель: к.п.н., ст. преп. Орёл Екатерина Алексеевна 2014 год 1 ВВЕДЕНИЕ Проблематика исследования. В практике оценки персонала используется достаточно большое количество различных инструментов оценки личности (личностных конструктов, качеств, типов и т.п.), большинство из которых базируется на какой-то своей определенной модели (теории) личности и ее организации. Само по себе сравнение критериальной (конкурентной валидности) инструментов является важной задачей для определения степени границ точности и прогностической возможности данных методов для оценки. Однако в данном исследовании мы предполагаем сосредоточится на решении теоретически более концептуальной задачи сравнении валидности самих моделей личности в решении практических задач. Практическая значимость любой теории (модели) заключается не только в ее способности описать окружающую действительность (в данном случае, действительность личности) и обладать качеством содержательной валидности, но и давать достаточно точные и полезные прогнозы, иными словами - иметь прогностическую ценность как способность прогнозировать, или в минимальном случае, быть связанной с успешностью человека в работе. Таким образом, в исследовании мы ставим задачу исследование прогностической ценности моделей в практике оценки персонала и тех факторов, от которых эта ценность может зависеть. Цель исследования: Изучение конкурентной (критериальной) валидности применяемых в практике оценки персонала моделей личности. Предмет исследования: Валидность моделей личности в практике оценки. Объект исследования: Модели личности, разработанные разными авторами в рамках разных подходов. 2 В соответствии с поставленной целью можно выделить следующие задачи исследования: Теоретические задачи: обзор и анализ моделей личности; классификация инструментов оценки личности по моделям и подходам; определение ключевых понятий исследования. Методические задачи: операционализация понятий валидности моделей в практике оценки; определение критериев включения имеющихся данных в мета-анализ. Эмпирические задачи работа с литературой (сбор данных по валидности); мета-аналитическое сравнение мощности моделей (величины эффекта валидности относительно эффективности выполнения работы); выделение наиболее валидных моделей и определение факторов, влияющих на валидность; описание полученных результатов. 3 ТЕОРЕТИЧЕСКАЯ ЧАСТЬ: Модели личности и их применение в практике оценки персонала Содержание. 1. Обзор проблематики моделей (теорий) личности и их диагностики 2. Модели личностных черт и соответствующие им инструменты (методики) 3. Обзор проблематики оценки персонала и успешности выполнения работы, прогностичности инструментов оценки 4. Существующие аналитические обзоры по валидности моделей и инструментов 5. Мета-анализ: технология проведения Обзор проблематики моделей (теорий) личности Изучение проблематики личности и дифференциальных различий между людьми началось задолго до возникновения психологии как науки. Множество мыслителей древности задавались этими вопросами, и создавали свои теории относительно таких понятий, как личность, характер, темперамент, а порой и формировали сами эти понятия. Так, философ Теофраст в трактате «Характеры» выделил около 30 характеров, которые могут быть присущи людям. Он же сформулировал один из базовых вопросов дифференциальной психологии - «почему люди, живущие в одной местности и в схожих условиях, так сильно отличаются между собой?». Известнейшие произведения поэтов и сказателей Древней Греции, которые принято объединять в «Мифы Древней Греции», также сами по себе содержат описания ряда характеров или личностных типов (например. греческие боги), на основании которых современные исследователи продолжают изучать и описывать тенденции, характерные для ныне живущих людей (например, теория архетипов в аналитической психологии). Другой известный ученый, Гиппократ, и в последствии его продолжатель Гален, создали теорию темпераментов, в которой не просто пытались классифицировать людей на типы, но и показать причины, по которым эти темпераменты могут возникать (с отсылкой к биологическим факторам). 4 На рубеже 19-20 века, с формирование психологии как науки, множество исследователей начинают заниматься проблемой личности с опорой на научные методы познания, и возникают разнообразные теории и модели личности, ее структурной организации и развития. Во многом каждая модель и теория зависит от той школы, в рамках которой она создавалась, и является следствием более широкого понимания психики, которая была характерна для той или иной парадигмы. При этом, ставился еще один концептуальный вопрос, который мог повлиять на весь ход изучения этого понятия - «а возможно ли в принципе изучать индивидуальные различия»? В общем виде это был и остается спор между представителями идеографического подхода (Г. Олпорт) и номотетическго подхода (Р. Кеттел, Г. Айзенг). В конечном счете, не смотря на сильные аргументы со стороны первого подхода, были разработаны и сформулированы (а затем эмпирически изучены) ряд моделей, которые позволили стандартизировать и выделить закономерности между людьми, которые с одной стороны, отличали их как индивидов друг от друга, но при этом были общими для ряда индивидов. В рамках этого подхода было сформулировано ряд теорий и моделей личности, а также инструментов, позволяющих проводить их диагностику и оценку, которые затем стали применяться для решения практических задач, в том числе для оценки эффективности профессиональной деятельности и предсказания этой эффективности. Данные модели и являются основным объектом анализа в рамках нашей работы. Что касается определения самого понятия «личности», то тут существует множество трактовок. Личность может пониматься как «совокупность общественных отношений, реализующихся в многообразных деятельностях» (А.Н. Леонтьев), «субъект общественного поведения и коммуникации» (Б.Г. Ананьев), «носитель сознания» (К.К. Платонов) и т.п. данные определения характеризуют личность как составную часть и даже производную общественных отношений. Тем не менее, если описывать структуру личности, то туда неизменно будут входить разные уровни организации психики человека, начиная от темпераментальных характеристик, характера, чет и индивидуальных особенностей, мотивации, ряда когнитивных способностей, ценностей и Я-концепции, и заканчивая сознанием, социальными ролями и экзистенциальными сущностями. Таким образом, понятие личности является достаточно интегральным конструктом, что не могло не отразиться на тех теориях, которые стремились его описать. 5 Классификация теорий (концепций) личности может иметь множество разных оснований, в зависимости от истории возникновения, научной школы, динамических или структурных подходов и т.п. Так, выделяют следующие концепции: психодинамическая концепция (Фрейд), аналитическая психология (Юнг), психосоциальная теория (Эриксон), теория черт личности (Олпорт, Кеттел), типы личности (Айзенг), бихевиористическая теория (Скиннер), социальное научение (Роттер), когнитивная теория (Келли), гуманистическая теория (Маслоу), феноменологическая теория (Роджер) и т.п. (Хьелл и Зиглер, 1997). В каждой теории личность рассматривается и операционализируется совершенно по-разному, где то выступая в качестве более общего и теоретического конструкта (что характерно для работ Фрейда и Юнга), где-то как фактор когнитивной деятельности (Келли), где-то как промежуточное звено между потребностью и поведением, а где-то как самостоятельная структура, имеющая свою организацию и черты, существующие независимо от конкретного индивида, но при этом проявляющиеся в каждом из нам и определяющие поведение, мысли и ценности. В данном случае такой подход последовательно воплощался в теориях личностных черт, в рамках которой возникло ряд моделей личности, которые мы и собираемся рассматривать в своем исследовании (Дружинин, 2003). Большинство из этих подходов опирались на набирающие популярность в психологии методы статистического анализа данных и психометрику, в рамках которой исследователи старались использовать естественнонаучные методы для описания психологических феноменов. Данные методы позволяли проводить измерения и давать возможность статистически проверять наличие тех или иных психологических закономерностей, которые описывались в рамах теоретических предположений. При этом, само развитие этих методов происходило не независимо, а зачастую в ответ на запросы конкретных исследовательских задач, что определяло и специфику движения научного познания в камках данной проблематики. Основные модели личностных черт Теории личностных черт и типов завоевали достаточно серьезные позиции в практике оценки персонала за счет своей структурированности, проработанности практических аспектов, наличия мощной диагностической и эмпирически верифицируемой базы. Немаловажным обстоятельством стал и тот факт, что в данных моделях позиционировалась одна очень простая, но прогностическая причинная связь между определенными чертами 6 (или их сочетаниями) и желаемым профессиональным поведением. Тем не менее, можно выделить ряд достаточно разных подходов и моделей, которые были созданы в рамках этой теории и ее принципов. Каждый подход основан на своей логике поиска универсальных факторов – в какой то парадигме исследователи шли от эмпирических данных, создавая модели на основе статистических процедур (например, факторного анализа), в других парадигмах они могли идти от теории и пытаться воссоздать ее модель на практике. Таблица 1. Подходы и принципы создания моделей личности. Подходы Принципы построение моделей личности Лексикографический Эмпирический Диспозициональный Теоретико-эмпирический Лексикографический и диспозициональный Эмпирический Типологический Теоритический Клинический Теоретико-эмпирический Професссиональный Теоретико-эмпирический Лексикографический (психографический) подход Одной из первых моделей, в последствии ставшей достаточно популярной в научной и практической деятельности, стала 16-факторная модель (16 PF), предложенная Р. Кеттелом. Исходный набор личностных черт был получен путем анализа слов английского языка, что стало воплощением идеи Ф. Гальтона о том, что наиболее значимые различия между людьми закреплены в структуре натурального языка. В своей работе Кеттел опирался на список из 4500 слов, составленный Олпортом и Одбертом (Allport & Odbert, 1936), в последствии сократив его до 171 слова. Помимо этого, он предложил разделить исходные данные на три основных типа: L - данные (real-life ratings), Q - данные (questionnaire data) T данные (objective test data). Первый типа базировался на наблюдении экспертов, второй - на данных опросников, третий - на измерении объективных данных об испытуемых. В результате факторизации L и Q - данных им было выделено 16 факторов первого порядка, которые легли в основу модели 16 PF. В дальнейшем были выделены факторы второго порядка (8 факторов), и факторы третьего порядка (5 факторов), которые выделялись в результате следующих факторизаций данных. 7 В дальнейшем множество исследований было посвящено попыткам воспроизведения результатов Кеттела, но не во всех их них удавалось подвердить первичную 16-факторную модель. Ряд исследований показывали схожие результаты (Krug, Jones, 1986), ряд могли получать во многом не совпадающие результаты, например, получать 12 факторов (Matthews, 1989). Таким образом, на разных выборках могла показываться разная степень воспроизводимости модели первичных факторов, хотя модель второго и третьего порядка могли быть более устойчивыми. Диспозициональный подход Данный подход во многом ориентирован на изучение биологических предикторов и оснований личностных черт и различий, и в основном строится на изучении темпераментальных черт, которые, тем не менее, могут обуславливать и социальное поведение (Русалов, 2003). Одной из самых известный моделей личности, появившейся в рамках данного подхода, является EPI (трехфакторная модель Г. Айзенга и М. Айзенга). В ней личность рассматривается как структура, в рамках которой функционируют три этих базовых свойства темперамента и когнитивный фактор (Eysenck & Eysenck, 1985). Во многом эта модель перекликается с теориями темперамента, которые появились еще в допсихологический период, затрагивает учение Павлова и типах нервной системы. Помимо проработки структурного содержания модели Г. Айзенг во многом стал методологом большого количества исследований в области психологии личности и выдвинул критерии, которые, с одной стороны, могли отличать научные теории от чисто теоретических, с другой стороны, обозначали требования, которым должна удовлетворять действительно комплексная модель личности (Eysenck, 1991). Также, помимо моделей Айзенга в рамках данного подхода можно выделить модель Цуккермана, которая основана на пяти основных факторах личности (Zuckerman, 1990). Лексикографический и диспозициональный подход Направления исследований, которые были заложены Кеттелом и Айзенгом, в дальшейшем привели к поиску новых факторных моделей, которые могли бы описать специфику и разнообразие личностных черт, с одной стороны, с другой стороны, были бы достаточно стабильны и воспроизводимы в исследованиях. Данная модель была получена в ряде 8 исследований, выполненных в 1960-е годы (Borgatta, 1964; Norman, 1963; Tupes & Christal, 1961), и получила название BigFive. Впервые названия для пяти факторов были даны Норманом (1963), и звучали как экстраверсия, доброжелательность, добросовестность, эмоциональная стабильность и культура (или открытость новому опыту (Costa & McCrae, 1992). Само название же модели было дано Голдбергом (Goldberg, 1981). С 1960 по 1980 пальма первенства, тем не менее, принадлежала моделям Айзенка и Кэттела. Так, если в середине 1980-х индекс цитирования BigFive уступал совокупному индексу цитирования моделей Айзенка и Кэттела более чем в 100 раз, то к середине 1990-х две группы моделей сравнялись по частоте цитирования, а к 2009 году уже частота цитирования Большой Пятерки превзошла использование моделей Айзенка и Кэттела вместе взятых более чем в 50 раз (John et al., 2008). Данная модель, как и 16PF, основана на изучении списков прилагательных, но при этом аппелирует к допущению в том, что ее факторы являются образованием надкультурным, в сущности, не зависимым от языка. Однако вероятность существования специфических, культурно обусловленных, факторов весьма велика. Большим преимуществом модели является ее глубокая эмпирическая проработка. В течение 1990-х годов был проведен целый ряд «региональных» исследований Большой Пятерки. Модель получила свою эмпирическую поддержку на китайской (Yang & Bond, 1990), чешской (Hrebickova & Ostendorf, 1995), греческой (Saucier, Georgiades, Tsouasis, & Goldberg, 2005), израильской (Almagor et al., 1995), венгерской (Szirmak & De Raad, 1994), польской (Szarota, 1995), испанской (Benet-Martinez & Waller, 1997), филиппинской (напр., Church & Katigbak, 1989; Church et al., 1997), турецкой (Somer & Goldberg, 1999) выборках. Была получена эмпирическая верификация Большой Пятерки и в России (Shmelyov & Pokhil’ko, 1993). В целом, результаты этих исследований показывают, что во многих языках получаются структуры, похожие на Большую Пятерку, хотя иногда образуются 2 «местных» фактора, согласующихся с одним из традиционных факторов. Больше всего проблем возникает с 5 фактором, который варьируется от чистого интеллекта (на немецких выборках) до неконвенциональности и непокорности в голландских и итальянских группах. Существует ряд диагностических инструментов, которые используется при измерении факторов BigFive. Среди них можно выделить вопросник NEO-PI-R (Costa& McCrae, 1992), полная версия которого содержит 240 пунктов, BFI (Big Five Inventory; John,Danahue, & Kentle, 1991) и т.д. 9 Типологический подход В рамках данного подхода личность рассматривается не как совокупность некоторого количества факторов, имеющих распределение признака в рамках одной переменной, а как дискретные типы, имеющие бимодальное распределение по дихотомической шкале. Во многом данный подход также продолжает традиции до-психологического понимания структуры организации психики человека, заложенного в традициях ранней философии. Наиболее известной типологической моделью личности является модель MBTI, построенная на теории К.Г. Юнга (который считается родоначальником такого понятия «интроверсия экстраверсия» - как одной из самых наиболее используемых черт личности). Она возникла в 40-х годах 20 века и получила широкое распространение в США и Европе. Типология Майерс-Бриггс изначально разрабатывалась Изабель Майерс-Бриггс и её матерью Кэтрин Бриггс на основе работы Юнга «Психологические типы». Первая версия теста МайерсБриггс (Myers-Briggs Type Indicator, MBTI) появилась в 1942 году. В 1972 году был создан Center for Applications of Psychological Type (CAPT), ведущий исследовательскую деятельность и осуществляющий подготовку специалистов по применению MBTI. В 1972 году был создан Center for Applications of Psychological Type (CAPT), ведущий исследовательскую деятельность и осуществляющий подготовку специалистов по применению MBTI. Значительная часть исследований по типологии Майерс-Бриггс публикуется в журнале The Journal of Psychological Type. Особенности данной модели являются и одним из самых критикуемых ее недостатков. Типологический подход предполагает наличие ярких «типов», в то время как в исследованиях распределение ответов тяготеет к нормальному с центром в равновесии для всех 4-х бинарных признаков (мышление-чувство, экстраверсия - интроверсия, и др.) Таким образом, большое количество людей будет отнесено к существенно разным типам при наличии незначительной разницы в измеренных тестом значениях. Такая ситуация также повышает вероятность ошибки измерения. Помимо MBTI в практике тестирования также используются методики Д.Кейрси (Keirsey Temperament Sorter), DISC, Tomas и другие. Клинический подход 10 Данный подход во многом кардинально отличается от рассмотренных выше по нескольким основаниям. Во-первых, модели личности в рамках него строятся не на основании факторной обработки данных, а, во-вторых, имеют в своей основе либо психодинамические, либо клинические предпосылки (личностные черты определяются как те или иные нарушения, акцентуации, клинические характеры). За счет этого данные модели чаще используются в практике клинической работы, но могут и применяться в ситуациях для ситуаций оценки в профессиональной деятельности. Одной из наиболее известных моделей и методик данного подхода является Миннесотский многоаспектный личностный опросник или MMPI (Minnesota Multiphasic Personality Inventory), разработанный в конце 30 — начале 40 годов в Университете Миннесоты С. Хатуейем и Д. МакКанли. В 1989 году выпущен рестандартизированный вариант методики — «MMPI-2». В классическом варианте содержит 10 факторов плюс 4 показателя достоверности ответов. В РФ известны адаптации этого опросника под названиями ММИЛ (Ф. Березин) и СМИЛ (Л.Н. Собчик). Другим также достаточно известным опросником и моделью организации личности является CPI (California psychological inventory), который был разработан Х. Гуфом (Gough, 1957). В нем выделяется до 20 переменных личности, сгруппированных в четыре группы шкал. Критика моделей в рамках данного подхода строится в основном на отсутствии серьезной психометрической проработки опросников и высокой гомогенности (связанности) между шкалами (Reynolds & Nichols, 1977). Профессиональный (компетентностный) подход Данный подход можно выделить не с точки зрения отличия по критериям отнесения к той или иной психологической школе, или методу работы с данными, который может лежать в его основе, а скорее в силу его практической направленности. В рамках данного подхода могут создаваться модели личности, которые отражают специфику поведения человека в деловых и профессиональных ситуациях. Таким образом, данных подход не всегда может претендовать на всестороннее описание личности, но может быть более продуктивен с точки зрения предсказания эффективности профессиональной деятельности. Примером такой модели и опросника может быть OPQ, созданный в начале 80-х годов. Авторами опросника являются П.Сэвил (P. Saville) и Р. Холдсуорто (R. Holdsworth). Опросник 11 специально разработан для оценки типичного или предпочитаемого стиля поведения человека в профессиональной деятельности. Опросник OPQ дает возможность получить подробную информацию относительно того, насколько кандидаты подходят к конкретной рабочей среде, как они будут работать с окружающими. Кроме того, результаты OPQ позволяют сопоставить личностный потенциал сотрудника и требования к рабочему поведению сотрудника в рамках компетенций. Еще одним примером может служить опросник HPI - The Hogan Personality Inventory. Разработан R. Hogan, Curphy, and J. Hogan, содержит 7 интегральных показателей. Описывающих поведение человека, и 41 подфактор (HICs). Также содержит шкалы, прогнощирующие эффективность в ряде профессиональных направлений (управление, продажи, сервис и т.п.). Другими примерами подобных моделей могут быть опросник Wave – 36 показателей (P. Saville), Dimensions (R. Holdsworth) и т.д. По итогам анализа можно составить сводную таблицу, характеризующую базовые моменты каждого из подходов и моделей. Таблица 2. Сравнительные характеристики моделей. Модель Подход Автор Кол-во показателей 16PF Лексикографический Р. Кеттел 16 EPI Диспозициональный Г. Айзенг 3 Лексикографический и Голдберг 5 Майерс-Бриггс 4 Хатуей -МакКанли 10 Гуф 20 Сэвил - Холдсуорто 32 Сэвил 36 Hogan 7 BigFive (NEO-PI-R & BFI диспозициональный MBTI (Кейрси, DISC) MMPI (ММИЛ, СМИЛ) CPI OPQ Типологический Клинический Профессиональный Wave HPI Рассмотренные нами примеры подходов к структурированию и организации личностных характеристик и реализуемых в рамках этих подходов моделей наглядно показывают многообразие, с которым сталкивается любая практическая задача, требующая измерения и диагностики личности. Сфера оценки персонала (подбор и отбор), прогноза 12 профессиональной успешности не является исключением, что еще раз показывает актуальность исследования прогностичности моделей личности для данных целей. Применение моделей личности в практике оценки персонала. В практике работы с персоналом используются достаточно большое количество инструментов диагностики личности, большинство которых отражает свою модель личностных конструктов и черт. К примеру, отчет компании Birkman International содержит ссылки на 7 различных инструментов личностной диагностики, наиболее популярных в практике оценки персонала (Birkman International, 2007). В качестве таких инструментов упоминаются Myers-Briggs Type Indicator (MBTI), Insights Discovery System, Profiles XT Assessment, The Hogan Personality Inventory (HPI), The DiSC Assessment, 16PF (Pearson Assessments), The Birkman Method. Естественно, данный обзор нельзя считать строго научным, а представленные инструменты - отражающими различные модели личности. В обзоре не затронуты данные по «клиническим» тестам личности (например, MMPI). Другой обзор методов оценки персонала и роли личностных моделей в оценке, а также сочетания различных предикторов успешности работы друг с другом содержаться в работе Ones & Viswesvaran, 2004. В качестве используемых моделей и инструментов упоминаются The Hogan Personality Inventory (HPI), the California Psychological Inventory (CPI), the NEO Personality Inventory–Revised (NEO PI-R), and the Personal Characteristics Inventory (PCI), The Minnesota Multiphasic Personality Inventory (MMPI). Ряд исследований посвящены мета-аналитическому изучению валидности личностных моделей в практике оценки персонала и прогнозирования успешности профессиональной деятельности. Так, в работе Scroggins, Thomas & Morris (2009) анализируется целый пул таких исследований, как в контексте валидности личностных моделей (в основном на примере Big Five), так и в их сравнении с их с моделями общих и специальных способностей. Известнейшая мета-аналитическая работа Hunter & Hunter (1984) также посвящена изучению сравнительной валидности различных предикторов успешности работы, в том числе моделей личности. Данная работа считается классической в плане построения метааналитического исследования, а также сравнения вклада эффективности различных методов 13 оценки в прогноз профессиональной успешности. При этом, в ней не рассматриваются модели личности в отдельности как таковые, а выделяется лишь подраздел тестов личности, который сравнивается с другими методами оценки (тесты способностей, интервью, биографический метод, оценки наблюдателей и даже графология). Тем не менее, данную работу можно считать некоторым модельным образцом и для нашего исследования. Тем более что в ней обосновывается существенная роль тестирования личности при отборе и оценке. В дальнейшем авторы продолжили работу в этом направлении и опубликовали исследование по уточненным данным сравнительной валидности различных инструментов (Schmidt & Hunter, 1998). Исследование Dakin & Armstrong (1989) раскрывает проблему соотношение данных метааналитических обзоров по валидности методов оценки и мнения экспертов в области оценки персонала относительно валидности. Приводятся ссылки на мета-аналитические работы и данные по соотношению полученных эмпирических закономерностей с мнениями экспертов - практиков. В целом работы по анализу валидности личностных моделей продолжают публиковаться, как в контексте мета-аналитических исследований (например, способность личности объяснять лидерское поведение, эмоциональное выгорание, стрессы на работе, девиантное поведение), так и в контексте конкретных исследований. Большая часть таких исследований, тем не менее, провидится на примере модели Big Five. Аналитические обзоры по валидности моделей и инструментов в практике оценки Проблематика прогностической валидности достаточно часто затрагивается в работах, посвященных изучению соотношения личностных качеств и будущей профессиональной успешности. Это и не удивительно, ведь практика постоянно требует подтверждения эффективности используемых инструментов. Само по себе понятие прогностической валидности метода связано с его способностью предсказывать будущую успешность. Под прогностической валидностью понимают информация о том, с какой степенью точности и обоснованности методика (тест) позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Она отражает временной интервал, 14 на который распространяется обоснование такого суждения. Сведения о такой валидности имеют самое непосредственное отношение к раскрытию предсказательной силы методики, выяснению степени обоснованности сформулированного на ее основе ближайшего и более отдаленного прогноза, анализу значимости получаемых в показателей с точки зрения экстраполирования результатов на будущее. Принято различать прогностическую и текущую валидность в зависимости от временной связи между критерием и тестом. При этом обе они относятся к критериальной валидности. Иногда употребляется термин предсказательной валидности. Термин «предсказание», по мнению А. Анастази (1982), может использоваться как в широком смысле, означая прогноз на основе данных тестирования поведения испытуемого в реальной (критериальной) ситуации, так и в более узком смысле, указывая лишь на временной интервал. В качестве валидизации критерия могут выступать не только показатели актуального поведения, но и ожидаемые результаты деятельности, обучения и т. д. Процедура определения прогностической валидности опирается на анализ корреляции между оценками по измерениям и предсказанными результатами деятельности, формирующимися свойствами личности и т. п. Вместе с тем различие двух видов критериальной валидности связано не только с временными пределами критериальных сопоставлений. Валидность текущая и прогностическая отражают разные цели применения методики: текущий диагноз, оценка настоящего положения, с одной стороны, и прогнозирование развития качества или успеха в деятельности — с другой. В рассматриваемых работах могут затрагиваться оба аспекта критериальной валидности. Естественно, за счет больших трудозатрат на получение информации о будущем поведении, многие исследования опираются на выявление текущей валидности (сравнение с теми внешними показателями, которые можно собрать одновременно с измерениями по конкретной модели личности). Поэтому в нашей работе также предстоит определить, насколько богато поле данных по прогностической валидности, или же данную работу невозможно провести, не привлекая данные по текущей валидности. Другой вопрос, который так или иначе связан с имеющимися исследованиями валидности моделей личности, упирается в проблематику внешних критериев. Как правило, можно выделить три группы критериев, с которыми исследователи проводят сравнение при 15 определение валидности модели. Первая группа затрагивает общие показатели успешности профессиональной деятельности. Как правило, они связаны с качеством выполнения работы в целом, и могут базироваться на производственных данных, рейтингах и оценках руководителей и коллег. Вторая группа связаны с выполнением конкретных рабочих операций или видов деятельности (например, аналитическая работа, управленческая деятельность, продажи и коммуникации). Третья группа может быть связана с изучением успешности в определенных профессиональных областях, с прогнозированием карьерного развития. Несмотря на взаимную связанность этих критериев, данное разнообразие может существенно усложнять сравнение данных по моделям, когда для одной из них будут данные по определенной профессиональной области, а по другой - нет. В научной литературе содержится достаточно большое количество статей, базирующихся либо на мета-аналитических, либо частных исследованиях, посвященных валидности той или иной модели в практике оценки и прогнозированию успешности. Например, обзорная статья, которая, тем не менее, дает общее представление о валидности моделей в практике отбора и оценки, а также затрагивает ключевой вопрос исследования - сравнение моделей друг с другом, на примере противопоставления модели Big Five и более специальных моделей (Rothstein & Goffin, 2006). Также в статье рассматриваются интересные эффекты, которые могут влиять на валидность инструментов и моделей. В отдельную группу можно вынести мета-аналитические исследования валидности Big Five относительно успешности профессиональной деятельности. Этой теме посвящено достаточно большое количество статей, к примеру Ones, Dilchert, Viswesvaran & Judge (2007) в своем мета-аналитическом исследовании опираются еще как минимум на 10 подобных работ, анализируя общую валидность модели Big Five, валидность относительно различных типов работ (простая, одиночная, лидерская деятельность и т.п.), а также видов профессиональной деятельности (профессий: менеджеры, специалисты по продажам, полицейские и т.п.). Помимо этой работы можно отметить мета-анализы по этоц модели таких авторов, как Hurtz & Donovan, 2000, Barrick & Mount, 1991. Некоторые исследователи делают попытки доработки популярной модели Big Five, выделяя более интегральные факторы и изучая их валидность относительно успешности работы (Linden, Nijenhuis & Bakker, 2010), либо выявляя стабильность лишь ряда факторов из 16 классического пятифакторного набора (Saggino, 2000), что в обоих случаях создает новую модель личностных качеств и может быть использовано для соотнесения по показателям валидности в практике оценки. К примеру, отдельное мета-аналитическое исследование, которое посвященно проблеме критериальной валидности интегральных факторов Стабильности и Пластичности модели Big Five (Alessandri & Vecchione, 2012). В работе Schmidt & Hunter, 1998 аторы также приводят данные, что наибольшей валидностью может обладать не сама модель Big Five, а отдельные ее факторы (например, сознательность и самоконтроль). Некоторые исследователи, напротив, расширяют модель Big Five, добавляя значимые черты и изучая их предсказательную силу для прогнозирования успешности работы (Johnson, Rowatt & Petrini, 2011). В статье речь идет о черте Честности-Смирение (Honesty–Humility) как 6 показатели модели, который может служить хорошим предиктором для ряда рабочих навыков по сравнению с классическими 5 факторами. Ряд исследований связано с изучением валидности 16PF относительно успешности работы. В статье Jenkins & Griffith (2004) приводятся данные мета-анализа взаимосвязи между факторами данной модели и общими показателями успешности профессиональной деятельности. Исследованию валидности MBTI в литературе уделено гораздо меньше внимания. Есть отдельные исследования, посвященные изучению валидности методики в конкретных областях (например, Furnham & Stringfield (1993) изучали валидность модели для предсказания успешности в управленческой деятельности). Также ряд статей посвящено изучению соотношения модели MBTI с 16PF, EPQ и Big Five (The location of the Myers-Briggs type indicator in personality factor space). Тоже справедливо относительно ряда других моделей, которые затрагиваются в нашем исследовании. Помимо научных данных существует еще целый пул данных, которые предоставляют сами разработчики инструментов, опирающихся на те или иные модели. Эти данные содержаться в руководствах к методикам (manual & handbooks), публикациях на сайтах и конференциях и т.д. В них можно найти данные как по взаимной взаимосвязи моделей друг с другом 17 (например, MBTI FormM MANUAL SUPPLEMENT), так и сравнительных исследованиях критериальной валидности в конретных исследованиях (например, P. Saville, How Valid Is Your Questionnaire?). Поиск и обработка такого типа данных также является задачей нашего исследования. В завершении приведем исследование, которое можно назвать модельным относительно нашей работы (исследование, которое можно принять за образец текущему исследованию) В работе Morey et al. (2007) рассматривается исследование, которое посвящено изучению валидности нескольких моделей психологических расстройств (PD). В работе изучаются модели «Большой Пятерки» (FFM), «Перечень неадаптивных и адаптивных личностей (SNAP) и DSM-IV (CLPS). Авторами рассматриваются различные виды валидности и способности моделей прогнозировать проявления личностных расстройств на практике. В частности, изучаются показатели конструктной валидности, стабильности моделей, а также прогностической валидности. В исследовании проводится сравнительный анализ моделей по данным показателям. Отличительной особенностью данного исследование является метод сбора данных непосредственное - не проведение с помощью конкуретного мета-анализа других исследования с исследований, помощью а методик, измеряющих показатели моделей. Тем не менее, ряд приемов и подходов, задействованных в исследовании Morey et al. представляется возможным использовать и в нашем исследовании. В заключении можно сказать, что большинство мета-анализов на текущий день ставило целью определение валидности личностных моделей в практике оценки только на примере одной модели - Big Five. Другие модели либо приводились к Big Five, либо не рассматривались по отдельности. Сравнительный анализ валидности моделей мог провидится только в конкретных исследований, но редко в каких модели сравнивались в количестве большем, чем несколько штук. Проведенный обзор литературы лишь подтверждает актуально и новизну нашего исследования, основная цель которого – сравнительный анализ валидности моделей личности методом мета-анализа. Мета-анализ: технология применения 18 Возникновение мета-анализа как метода было связано с необходимостью обобщения результатов нескольких исследований, которые ставили перед собой один и тот же исследовательский вопрос, с тем, чтобы получить более общее знание. Например, метаанализ часто использовался, чтобы обобщить результаты, полученные на разных выборках. Существуют целые руководства или обзорные статьи, касающиеся того, как проводить метааналитические исследования (Field & Gillett, 2010). Использование мета-анализа позволяет оценить и исследовать следующие показатели: 1. Среднее и дисперсию исследуемого эффекта или явления в популяции. На основании этих параметров распределения возможно построить доверительные интервалы какого-либо явления в популяции. 2. Вариацию размера исследуемого явления в различных исследованиях (гомогенность эффекта в различных исследовательских ситуациях). По сути, разные явления могут быть в разной степени гетерогенны, и выбирать на основе мета-анализа метод, дающий наибольший эффект неправильно. Однако, в этой связи мета-анализ позволяет оценить распределение значений изучаемого явления. На основании этих данных исследователь может оценить ориентировочный интервал значений и оценить адекватность полученных им данных. 3. Возможные явления-модераторы. Во многих случаях вариация размера эффекта может быть связана со взаимодействием с каким-либо третьим параметром – модератором. Анализ проведённых исследований на предмет модерации позволяет делать более глубокие выводы относительно природы исследуемого явления. Мета-аналитическая работа включает в себя несколько этапов: Обзор исследований, Решение о включении некоторых критериев в мета-анализ и их применение, Расчет размера эффекта для каждого из исследований, которые будут включены в анализ, Непосредственно количественный анализ изучаемого явления, Дополнительный анализ, который включает в себя рассмотрение ошибок (bias) проведённых исследований, а также изучение переменных-модераторов, Подведение итогов. 19 Обзор исследований При поиске исследований для включения в мета-анализ нужно обращать особое внимание на исследовательские вопросы, которые ставят авторы и следить, чтобы они в точности совпадали с нашими исследовательскими вопросами. Поиск с помощью электронных ресурсов ВШЭ даёт ряд преимуществ, по сравнению с обычным поиском в сети: электронные базы публикаций позволяют делать довольно сложные поисковые вопросы и таким образом находить, например, все работы одного автора (авторы часто имеют больше одной публикации на одну тему), или просматривать статьи, которые цитируют то или иное исследование. Не стоит забывать, что во многих журналах (если не во всех) имеется тенденция публиковать только значимые результаты, избегая незначимые данные (Dickersin, Min, & Meinert, 1992; Hedges, 1984). Coursol & Wagner (1986) показали, что исследования с положительным результатом публикуются в 7 раз чаще, чем исследования, в которых принимается нулевая гипотеза (то есть показывается независимость событий, отсутствие взаимодействия и т.д.). В другом исследовании говорится о том, что 97% публикаций в психологических журналах описываются только значимые результаты (Sterling, 1959). Поэтому при поиске литературы для мета-анализа нужно не забывать об этом, и искать источники не только в опубликованных материалах, но и в неопубликованных, а также в материалах подходящих конференций, рабочих докладах, а в нашем случае - методических материалах и handbooks (руководствах к методикам). Часть информации может содержаться не только в научных публикациях, но и в коммерческих отчетах, которые используются только в практических целях, но не доходят до публикации в научной периодике. Если же использовать только опубликованные в журналах результаты, можно переоценить или недооценить эффект явления. Ещё один способ поиска литературы – непосредственное обращение к видным авторам в исследуемой области (например, Кеттел, Айзенг, МакКрей и Коста и др). Критерии и их применение Для того чтобы решить, включать или нет то или иное исследование в свой мета-анализ, нужно разработать критерий, по которому можно было бы точно и достоверно судить о 20 качестве исследования. В качестве критерия можно использовать определение основного понятия, которое используется в исследовании (например, понятие текущей или прогностической валидности и его наличие в исследовании, понятия job performance и т.п.). Также следует обратить внимание на методологический аспект исследований: описывают ли они валидность и надёжность применяемых методик? Используют ли контрольную группу, и т.д. Расчет размера эффекта После подбора статей встает вопрос о том, как же их оценить? Для этого и нужен расчет размера эффекта. Под размером эффекта обычно подразумевается стандартизированное измерение величины наблюдаемого явления (Clark-Carter, 2003; Field, 2005c). Существует множество способов расчета величины эффекта, но обычно используются три показателя: Коэффициент корреляции Пирсона, Коэффициент Кохена (Cohen), Отношение шансов (odds ratio). Коэффициент корреляции Пирсона является стандартизированной мерой ковариации между двумя непрерывными (интервальными) переменными. Однако, часто этот показатель используется для измерения экспериментального эффекта. Как известно, коэффициент корреляции колеблется от -1 до 1, -1 говорит о наличии сильной линейной отрицательной корреляции, 1 – о сильной положительной линейной корреляции. Cohen (1988, 1992) предложил следующую градацию коэффициента корреляции: o Если r примерно равен 0,1 по модулю, то такой эффект можно считать слабым, он объясняет всего 1% дисперсии. o Если r примерно равен 0,3 по модулю, то такой эффект можно считать средним, он объясняет порядка 9% дисперсии. o Если r примерно равен 0,5, то такой эффект можно считать сильным, поскольку он объясняет около 25% дисперсии зависимой переменной. Стоит отметить, что такие рекомендации не следует воспринимать буквально, всегда следует учитывать контекст того исследовательского поля, в котором мы работаем. 21 Итак, после выбора подходящей метрики нужно рассчитать размер эффекта для всех отобранных статей. Даже если в статьях используются другие показатели эффекта, они зачастую переводимы друг в друга, поскольку основываются на среднем значении и дисперсии. Например, коэффициент корреляции Пирсона можно рассчитать, если имеются данные по t, z, F или хи-квадрат статистикам. Основной мета-анализ Как указывалось ранее, основная задача мета-анализа состоит в том, чтобы оценить какойлибо эффект в популяции на основе знаний об эффекте из различных статей. Оценка эффекта в популяции достигается за счет усреднения всех эффектов из выбранных статей. Но такое усреднение должно быть взвешенным, поскольку в анализе участвуют статьи с разными выборками, больший вес следует назначать тем статьям, выборки которых многочисленны и репрезентативны. Это делается для того, чтобы уменьшить влияние побочных факторов, которые могут привнести результаты исследований со слишком специфичными выборками. После расчета основного эффекта следует рассчитать доверительный интервал для этого значения. Необходимость этого продиктована тем, что отобранные исследования могут не полностью отражать исследовательский вопрос, в результате чего ошибка измерения увеличится. Чтобы учесть эту ошибку и нужен доверительный интервал. По сути, есть два способа концептуализировать мета-анализ: использование моделей с фиксированными эффектами, или использование моделей со случайными эффектами (fixedand random-effects models) (Hedges, 1992; Hedges&Vevea, 1998; Hunter&Schmidt, 2000). Модель с фиксированными эффектами предполагает, что выбранные исследования отобраны из одной генеральной совокупности, в которой существует среднее значение эффекта, которое может быть предсказано с помощью нескольких основных предикторов. Из такой концептуальной схемы можно заключить, что все эффекты в выбранных исследованиях должны быть примерно одинаковыми, поскольку репрезентируют одну генеральную совокупность. Другое предположение (модель со случайными эффектами) подразумевает, что во всех выбранных исследованиях средний размер эффекта колеблется случайным образом, поскольку все исследования репрезентируют разные совокупности с разными средними эффектами. И чтобы создать одну генеральную совокупность нужно сначала обобщить данные выборок на небольшие генеральные совокупности (по одной на каждое исследование) и затем обобщить их в одну генеральную совокупность. 22 В зависимости от того, какой подход выбран, мы определяем, какой метод мета-анализа следует применять. Основное отличие моделей с фиксированными эффектами от моделей со случайными эффектами заключается в том, откуда берётся ошибка. В моделях с фиксированными эффектами существует ошибка репрезентации выборок относительно генеральной совокупности. В моделях со случайными эффектами также содержится ошибка репрезентации выборок относительной генеральной совокупности. Но поскольку здесь предполагается, что генеральная совокупность в каждом исследовании своя, то сюда прибавляется ошибка репрезентации выделенных генеральных совокупностей относительно одной большой совокупности, эффект которой мы и стремимся оценить. Основными методами, которые используются при расчете величин эффекта, являются Hunter–Schmidt method (Hunter & Schmidt, 2004) и Hedges and colleagues’ method (Hedges & Olkin, 1985; Hedges & Vevea, 1998). В обоих методах используются алгоритмы подсчета величины эффектов и стандартизации данных в зависимости от размеров выборок и т.д. Помимо расчета и сравнения величин эффекта при проведении мета-анализа может быть проведен дополнительный анализ, который включает в себя рассмотрение ошибок (bias) в рассматриваемых исследованиях, а также изучение переменных-модераторов, которые могут опросредовать наблюдаемые эффекты. В итоге следует отметить, что существуют определенные правила, которые необходимо учитывать при публикации мета-аналитических исследований (Rosenthal, 1995). Во-первых, необходимо четкое изложение позиции авторов относительно целей анализа, критериев поиска и включения тех или иных исследований. Во-вторых, необходимо обосновывать, почему к данных применяются те или иные методы мета-анализа. Необходимо сообщать статистические данные, касающиеся изменчивости величины эффекта (в них необходимо включать оценку фактической изменчивости, а также статистических испытаний на изменчивость), и оценку связанного с ним доверительного интервала. Также необходимо предоставлять информацию о систематической ошибке измерения. Таким образом, мы описали основные принципы метаанализа, которыми стоит руководствоваться при проведении подобного рода исследований. 23 ЭМПИРИЧЕСКАЯ ЧАСТЬ Содержание: 1. Основные положение анализа 2. Процедура и методика исследования 3. Результаты исследования 4. Обсуждение результатов 5. Выводы Мета-анализ валидности моделей личности в практике оценки В теоретической части мы рассмотрели основные модели личности и соответствующие им инструменты диагностики. Были выделены основные понятия исследования, а также рассмотрены основные источники данных для исследования. Виды исследуемой валидности На теоретическом этапе может рассматриваться содержательная или конструктная валидность (как показатель соотнесения модели и инструмента). На эмпирическом этапе критериальная валидность (текущая и прогностическая) как показатель валидности в практике оценки персонала. В соответствии с целью исследования могут быть рассмотрены следующие исследовательские вопросы: «Какая модель личности наиболее валидна в практике оценки персонала (интегрально) и почему?» • разная ли валидность у моделей, разработанных в рамках различных подходов; • зависит ли валидность от количества факторов в модели; • разные ли валидности у моделей в зависимости от уровня позиции (синие воротнички, белые воротнички, руководители, предприниматели); 24 • зависит ли валидность от типа инструмента (например, опросники, выявляющие именно рабочее поведение и черты (сформулированные как поведение на работе) более валидными, чем опросники общего типа). Для решения этих вопросов необходимо выполнить ряд описанных ниже задач. Эмпирические задачи работа с литературой (сбор данных по валидности) определение критериев включения имеющихся данных в мета-анализ мета-аналитическое сравнение мощности моделей (величины эффекта валидности относительно эффективности выполнения работы) рассмотрение дополнительных факторов, которые могут влиять на показатели валидности. План (дизайн) исследования: разработка критериев включения данных в мета-анализ (выделение ключевых показателей валидности и сфер ее применения), отбор литературы согласно этим критериям (сбор данных для мета-анализа), выбор типа и метода метаанализа, расчет данных и их обработка, интерпретация результатов, описание выводов Процедура и методика исследования Первичным этапом любого мета-аналитического исследования является сбор литературы, выбор метода мета-анализа и критерия (показателя), по которому он может проводится. Для нашего исследования был выбран метод, разработанный Hunter & Schmidt (2004). Данный метод активно применяется в мета-аналитических исследованиях схожего типа (расчета мощности валидности различных инструментов прогнозирования успешности в работе), позволяет работать с таким показателем валидности, как коэффициент корреляции (r), и также позволяет учитывать ошибки измерения, которые заложены как в самих инструментах (тестах), так и в критериях эффективности (показателей успешности работы). Сбор данных проводился по четырем основным источникам (см. Таблицу 3), которые включали в себя поиск научных статей с исследованиями валидности, так и технических отчетов по методикам, не опубликованным в научных журналах. 25 Таблица 3. Источники поиска статей (данных) для исследования. Основания Критериальная валидность : • Текущая • Прогностическая Инструменты (ресурсы) поиска Источники Публикации в научных журналах Technical reports ScienceDirect APA JStor Google Google scholar Поиск статей или публикаций поводился по единой технологии. В начале в поисковую строку любого источника вводилось лишь наименование модели (например, «MBTI»), после чего экспертно анализировались абстракты статей или сами статьи на предмет соответствия теме исследования (то есть наличия исследования на тему валидности относительно успешности в работе в любом формате и на любой должности, а также в успешности в подготовке к работе (тренинги) и пр.). После анализа списка дополнительно в поисковые строки вводились такие уточняющие слова, как «validity» и «job performance», и полученный список заново отсматривался на предмет появления новых статей. В большинстве случаев первичный поиск позволял получить до 90-95% статей, которые после выводились с уточняющим поиском. Следует сразу оговорится, что поиск статей в классическом мета-анализе проводится в более расширенном виде, анализируются списки литературы в статьях, которые встречаются в первичном поиске, проводится поиск по базам диссертаций и неопубликованным работам, рассылаются письма авторам, чьи работы не содержат нужных данных с просьбой их уточнить и т.п. Все это позволяет получить больше данных, в том числе отрицательных, которые обычно не публикуются, но являются очень важными для мета-анализа. В нашем исследовании мы ограничились лишь первичным поиском в силу характера работы и ограниченности ресурсов на полномасштабное исследование. После сбора первичных данных на предмет соответствия теме необходимо было выбрать статистический критерий (показатель) включения статей в исследования. Классическим показателем для мета-анализа Hunter & Schmidt является коэффициент корреляции (r), 26 который встречался и в большинстве наших данных, поэтому этот коэффициент был выбран нами для проведения мета-анализа. Стоит отметить, что определенный процент статей мог вообще не содержать данных по корреляции модели с показателем успешности (в таком случае статью приходилось исключать из выборки), часть статей (особенно 60-80 годов) содержало данные по сравнению средних (t- или F- коэффициенты), которые по специальным формулам могли быть переведены в переведены в показатели r (подробнее о переводе см. Student Handout - Meta-Analysis.pdf). Часть статей по ряду моделей была включена в анализ из других мета-анализов, которые могли содержать либо сырые данные (непосредственные показатели r, например Tett, Jackson & Rothstein, 1991), либо уже подсчитанные по аналогичной технологии мета-аналические показатели (для модели Big Five, Hurtz & Donovan, 2000). В итоге был получен финальный список из 86 статей и технических отчетов, который был закодирован в матрицу сырых данных со следующими показателями: Авторы (указание авторов публикации) Название публикации Год публикации Модель (16 PF, MMPI, MBTI & etc.) Надежность модели (тип – альфа кронбаха, тест-ретест или оба типа) Надежность модели (коэффициент) Выборка исследования (размер) Тип исследования (Научная статья или технический отчет) Вид критерия успешности (Job performance (O), Job ratings (S), Training (T), Персональные данные (P)) Надежность критерия (коэффициент) Тип профессии (Manager, Sales, White collar, Blue collar, Service, Other) Статус профессии (гражданская или военная) Указание профессии (наименование, если есть) R mean (абсолютная усредненная корреляция модели с критерием) № R mean (кол-во корреляций) R significant (абсолютная усредненная значимая корреляция модели с критерием) № R significant (кол-во значимых корреляций) 27 В кодировании матрицы участвовал один эксперт, стаж работы в области оценки персонала – 8 лет. Частично данные матрицы приведены в приложении №1. Далее стоит остановится на двух таких важных моментах, как расчет R mean и R significant, и данных по надежности моделей и критериям. Расчет R mean производился по технологии, описанной Tett, Jackson & Rothstein, 1991, которая стоится на расчете абсолютной средней корреляции факторов модели с критерием. В данном исследовании мы отдельно ввели понятие R significant как абсолютная усредненная значимая корреляция модели с критерием. Так как мы сравниваем модели друг с другом по мощности объяснительной способности, нам было важно не только понять, насколько модель способна быть связанной с критерием успешности, но и в какой степени она способна производить значимые корреляции в исследованиях. Приведем пример. Возьмём данные вымышленного исследования, например показатели корреляции между факторами модели Big Five и успешностью в управлении: Таблица 4. Данные исследования (для примера). Факторы Big Five Экстраверсия Согласие Самоконтроль Стабильность Открытость новому Связь с успешностью в управлении (сравнение с объективными показателями эффективности), r 0,17 -0,13 0,25* -0,03 0,31* *P<0,05 Для расчета R mean нам достаточно взять каждый показатель r по модулю, и получить среднее значение. В данном случае оно будет равно 0,18. Для расчета R significant мы берем только значимые корреляции по модулю, и усредняем их – получая уже 0,28. Таким образом, в данном исследовании модель Big Five имеет среднюю мощность в полтора раза меньшую, чем значимую. Но в практике зачастую для использования модели отбираются именно значимые корреляции, таким образом их также важно учитывать в исследовании. Вторым важным моментом является учет показателей надежности моделей и критериев успешности, которые позволяют скорректированный коэффициент мощности P mean (Hunter & Schmidt , 2004). Надежность модели фактически равна коэффициенту альфа –кронбаха или данным тест-ретеста (или их среднему), надежность критерия зависит от его типа (например, это объективный показатель успешности, рейтинг со стороны коллег или супервизоров и 28 т.п.). Идеальной ситуацией является та, где в исследовании авторы перепроверяют как надежность модели, и надежность критерия, и приводят эти показатели (хотя таких исследований в нашей выборке оказалось не больше 15%). В остальных случаях приходится брать те показатели надежности моделей, которые приводятся в технических отчетах по методикам, и данные из других мета-анализов, где приводятся показатели средней надежности критериев в зависимости от их типа. Таблица 5. Надежность моделей и ее источники. Авторы Название публикации H. J. Eysenck & Eysenck The manual of the EPI Heather E.P. Cattell and Alan D. Mead CPP Research Department Sophie Grigoriadis, G.Cynthia Fekken Schaubhut The sixteen personality factor questionnaire (16pf) R. Hogan & J. Hogan Manual 1995 SHL Saville Consulting Wave Opq32 technical manual Professional styles handbook 2009 Technical Brief for the CPI INSTRUMENT Person reliability on the Minnesota multiphasic personality inventory MBTI formM MANUAL SUPPLEMENT Год публика ции 1964 Мод ель Надежность (тип) EPI 2005 16PF Среднее (альфа и тестретест) Среднее (альфа и тестретест) Альфа CPI 1992 2009 MMPI Среднее (альфа и тестретест) MBTI Среднее (альфа и тестретест) HPI Среднее (альфа и тестретест) OPQ Альфа Wave Среднее (альфа и тестретест) Надежн ость (Коэф) 0,86 0,75 0,75 0,62 0,80 0,75 0,81 0,805 Как видно из таблицы, границы надежности моделей находятся в рекомендованном в психометрике диапазоне от 0,75 и в среднем достаточно близки друг к другу. Только модель MMPI имеет более низкую надежность, отчасти на чем и строится классическая критика этой модели. Тем не менее, нужно понимать, что чем ниже показатель надежности модели, тем в большей степени она будет скомпенсирована показателем P mean в мета-аналитическом исследовании. 29 Вид критерия Job performance (O) Job ratings (S) Training (T) Персональные данные (P) Таблица 6. Надежность критериев валидности (показателей эффективности работы). Надежность критерия 0.92, SD =0.05 0.60, SD =0.19 0.56, SD =0.1 нет показателя Данные получены из сравнительных мета-аналитических исследований (Tett, Jackson & Rothstein, 1991, Barrick & Mount, 1991). Наибольшей надежностью (стабильностью) обладают объективные показатели работы, но часто в ввиду сложности сбора данных их заменяют рейтингами и субъективными оценками, которые имеют более низкую надежность и большой разброс значений (от 0,4 до 0,8 с одним ст.откл). Также могут использоваться исследования, где люди либо учатся, либо имитируют работу (тренинги). Также есть прием измерения эффективности через сравнения с персональными данными (например, принадлежность к профессии, рост дохода или статуса в профессии). В случае работы с этими данными поправка на надежность критерия не производилась ввиду отсутствия по ним данных о надежности. Таким образом, в нашем примере для получения P mean коэффициенты R mean и R significant нужно было бы скорректировать на показатели надежности модели и критерия, и дальше произвести все необходимые расчеты (Hunter & Schmidt, 2004). Все расчеты выполнялись в программе MS Excel по формулам авторов. В дальнейшем результаты расчетов были частично проверены с использованием синтаксиса SPSS, написанным специально для этого метода (Field & Gillett, 2010), и показали полное совпадение результатов. В качестве промежуточных выводов в описании методики и процедуры хотелось бы отметить пожелания для стандартов научных публикаций – включать матрицы сырых корреляций моделей (или иных предикторов успешности) и критериев в публикации. Данная информация поможет существенно упростить технологию проведения мета-анализа и увеличит возможности для его качественного проведения. 30 Результаты исследования В результате обработки данных нами было выделено 86 статей (выборка наблюдений – порядка 15000), которые были включены в мета-анализ. Большинство статей было получено из научных публикаций (89%), и часть – из технических отчетов к методикам, не опубликованных в научных изданиях (11%). Таблица 7. Выборка исследования. Модель EPI 16PF CPI MMPI MBTI HPI OPQ Wave Total Кол-во статей 7 23 15 16 9 7 6 3 86 Размер выборки 1134 2849 1943 1761 1428 1266 3261 1247 14889 По каждой из моделей были получены примерно схожие размеры выборок (от 1134 до 3261), хотя распределение статей отличалось большим разбросом – от 3 до 23. Данные по модели Wave включали в себя только 3 технических отчета и ни одной научной публикации. Данные по модели Big Five были взяты из уже существующих мета-аналитических исследований (Hurtz & Donovan, 2000). Кстати, предыдущее исследование по валидности Big Five давало схожие результаты (Barrick & Mount, 1991). Рисунок 1. Распределение исследований по годам. 31 Публикация исследований (годы) 30 25 Wave 20 OPQ HPI MBTI 15 MMPI CPI 10 16PF EPI 5 0 50-60e 60-70e 70-80e 80-90e 90-2000e 2000-2010e 2010e По нашим данным, большинство исследований валидности моделей проводились в период 80-х – 2000-х годов. После этого стали публиковаться результаты мета-аналитических исследований валидности психологических моделей (прежде всего по Big Five), что возможно “поумерило пыл” исследователей в этой теме. По показателям популярности исследований в начале можно было отметить MMPI (50-70 гг.), затем проявился интерес к CPI (60-80 гг.), затем 16PF, EPI и MBTI (70-2000 гг.), затем OPQ и HPI (2000-2010гг.). Наиболее современные исследования посвящены прежде всего моделям, возникшим в рамках профессионального подхода (OPQ, HPI, Wave). 32 Сравнение моделей по абсолютной усредненной корреляции Таблица 8. Результаты по средней сравнительной мощности моделей. Модель EPI 16PF CPI MMPI MBTI HPI OPQ Wave B5 N K 1134 2601 1717 1583 1304 1152 1620 1247 22 365 217 250 50 71 62 108 r mean 0,09 0,10 0,13 0,11 0,09 0,11 0,10 0,19 0,08 P mean 0,11 0,13 0,18 0,16 0,11 0,15 0,13 0,27 0,12 SDr SDp MEr 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,01 0,00 0,01 0,01 0,00 0,00 0,00 0,01 0,01 0,01 0,01 0,01 0,01 0,00 0,00 95% lower 0,08 0,08 0,11 0,09 0,07 0,10 0,09 0,18 95% upper 0,10 0,11 0,14 0,13 0,10 0,12 0,10 0,19 All 12358 1145 0,111 0,153 0,002 0,003 0,01 0,10 0,12 N – объем выборки, K – кол-во корреляций (напрямую зависит от кол-ва факторов в модели), r mean – взвешенный показатель мощности модели, P-mean - взвешенный показатель мощности, скорректированный на надежность модели и критерия, SDr – отклонение r mean, SDp – отклонение P-mean, MEr – ошибка измерения r mean, 95% lower и 95% upper – доверительный интервал для r mean. Средние показатели r-mean и P-mean в нашем исследовании составили 0,11 и 0,15 соответственно, что выше, чем в более мощном исследовании только по модели Big Five – 0,08 и 0,12 (Hurtz & Donovan, 2000), но ниже, чем в также мощном мета-анализе по многим моделям личности, в том числе малоизвестным от Tett, Jackson & Rothstein, 1991, где они составляли 0,16 и 0,23. Таким образом, сравнивая эти исследования, мы можем сделать вывод о том, что наше исследование дает результаты, близкие к данным более мощным и признанным мета-анализам (оно сравнимо с ними), и то что включение большего круга моделей дает более высокие коэффициенты, чем просто анализ по Big Five. Также можно предположить, что включение иных моделей может дать более высокие коэффициенты и в нашем сравнительном исследовании. Таблица 9. Рисунок 2-3. Сравнение подходов по абсолютной средней валидности. Подход Диспозициональный Лексикографический Клинический Типологический Модель EPI 16PF CPI/MMPI MBTI r mean 0,09 0,10 0,12 0,09 P mean 0,11 0,13 0,17 0,11 33 Профессиональный HPI/OPQ Лексикографический и диспозициональный BigFive Сравнение средних показателей мощности моделей 0,10 0,08 показывает, 0,14 0,12 что наиболее продуктивными подходами оказываются клинический (CPI/MMPI) и профессиональный (HPI/OPQ). Стоит отметить, что модель Wave исключалась из данного типа анализа по двум причинам – 1) данные по ней присутствовали только по 3 техническим отчетам и в наличие не было научных публикаций 2) данные по валидности по своему типу отличались от данных по другим исследованиям (во всех других исследованиях все факторы модели сравнивались 34 с одним критерием успешности, по данным Wave – каждый фактор сравнивался со своим критерием, что могло вносить артефакты в усредненные данные по всей модели). Таблица 10. Рисунок 4-5. Сравнение моделей по абсолютной средней валидности. Модель EPI 16PF CPI MMPI MBTI HPI OPQ BigFive Кол-во показателей 3 16 18 10 4 7 32 5 Корреляция кол-ва показателей и мощности модели r mean 0,09 0,10 0,13 0,11 0,09 0,11 0,10 0,08 P mean 0,11 0,13 0,18 0,16 0,11 0,15 0,13 0,12 0,35 0,37 35 Сравнение средних показателей мощности моделей показывает, что наиболее продуктивными из них по обоим показателям (r-mean и P-mean) оказываются CPI, MMPI и HPI. Стоит отметить, что модель Wave исключалась из данного типа анализа по причинам, описанным выше в анализе подходов. Также стоит отметить, что модель MMPI имела наименьший показатель надежности, что могло повлиять на ее высокое положение в рейтинге, но только в случае с показателем Pmean. Но и по показателю r-mean она оказалась на втором месте. Данные позволяют проверить и гипотезу относительно валидности и размерности модели. В данном случае гипотеза подтвердилась лишь на уровне тенденции, но средняя положительная корреляция кол-ва факторов в модели и показателей валидности (0,35 и 0,37) позволяет утверждать ее правомерность – чем больше факторов у модели, тем выше может быть ее объяснительная способность. 36 Сравнение моделей по абсолютной значимой корреляции Таблица 11. Результаты по значимой сравнительной мощности моделей. Модель EPI 16PF CPI MMPI MBTI HPI OPQ Wave N 585 1457 1429 810 822 1266 1641 1247 K 4 18 26 11 8 43 37 97 All 9257 244 r mean P mean 0,18 0,22 0,17 0,21 0,27 0,37 0,17 0,23 0,19 0,25 0,18 0,24 0,23 0,33 0,20 0,29 0,204 0,277 SDr 0,00 0,00 0,00 0,00 0,01 0,00 0,00 0,00 SDp 0,00 0,01 0,01 0,01 0,01 0,00 0,00 0,00 MEr 0,01 0,02 0,01 0,02 0,01 0,01 0,00 0,00 0,003 0,006 0,00 95% lower 95%upper 0,15 0,20 0,14 0,20 0,25 0,29 0,14 0,21 0,17 0,21 0,17 0,19 0,23 0,24 0,20 0,21 0,20 0,21 N – объем выборки, K – кол-во значимых корреляций (напрямую зависит от кол-ва факторов в модели), r mean – взвешенный показатель значимой мощности модели, P-mean взвешенный показатель значимой мощности, скорректированный на надежность модели и критерия, SDr – отклонение r mean, SDp – отклонение P-mean, MEr – ошибка измерения r mean, 95% lower и 95% upper – доверительный интервал для r mean. Средние показатели r-mean и P-mean по значимым корреляциям составили 0,20 и 0,28 соответственно, что даже выше, чем приводимом выше мета-анализе по многим моделям личности от Tett, Jackson & Rothstein, 1991, где они составляли 0,16 и 0,23. Таким образом, показатель значимости, введенный в нашем исследовании, может обосновывать большую практическую и теоретическую пользу для применения моделей личности в практике прогноза эффективности работы. В данном типе анализа мы не смогли включить такую модель, как Big Five, так как данные нужного нам типа отсутствовали в исходных мета-анализах и не собирались нами в конкретных исследованиях. При этом, мы смогли включить модель Wave, так как для анализа значимых корреляций с критерием нам подходили исходные данные по ней, и вероятность искажений была меньше. Таблица 12. Рисунок 6-7. Сравнение подходов по абсолютной значимой валидности. Подход Диспозициональный Лексикографический Клинический Типологический Модель EPI 16PF CPI/MMPI MBTI r mean 0,18 0,17 0,22 0,19 P mean 0,22 0,21 0,30 0,25 37 Профессиональный Сравнение HPI/OPQ/Wave значимых продуктивными показателей подходами мощности вновь 0,20 моделей оказываются показывает, клинический 0,29 что наиболее (CPI/MMPI) и профессиональный (HPI/OPQ/Wave). Причем в значимых показателях они почти сравнялись друг с другом, а клинический подход лидирует только за счет CPI. 38 Таблица 12. Рисунок 8-9. Сравнение моделей по абсолютной значимой валидности. Модель EPI 16PF CPI MMPI MBTI HPI OPQ Wave Кол-во показателей 3 16 18 10 4 7 32 36 Корреляция кол-ва показателей и мощности модели r mean 0,18 0,17 0,27 0,17 0,19 0,18 0,23 0,20 0,50 P mean 0,22 0,21 0,37 0,23 0,25 0,24 0,33 0,29 0,60* *P=0,12 39 Сравнение значимых показателей мощности моделей показывает, что наиболее продуктивными из них по обоим показателям (r-mean и P-mean) оказываются CPI, OPQ и Wave. Модель CPI становится лидером по итогам двух сравнений, а по показателям значимых корреляций представители профессионального подхода - OPQ и Wave, занимают второе и третье места. MMPI – один из лидеров по средним показателям, существенно отстает по значимым, вновь хорошими показателями обладает HPI, а типологический подход и MBTI здесь выходят ближе в верхушке рейтинга. Гипотеза относительно валидности и размерности моделей по значимым корреляциям подтвердилась еще в большей степени, положительная корреляция кол-ва факторов в модели и показателей валидности стала высокой и близкой к значимой (0,50 и 0,60), что еще больше позволяет утверждать ее правомерность – чем больше факторов у модели, тем выше может быть ее объяснительная способность. Обсуждение результатов В нашем исследовании нам удалось ответить на главный вопрос – какая модель личности наиболее валидна в практике оценки персонала и измерения эффективности работы. Этой моделью оказалась CPI - California Psychological Inventory. Данная модель была разработана как определенный аналог MMPI, но для практики работы не в клинических случаях, а для выборок людей без психиатрических отклонений. Наиболее распространенная в исследованиях версия опросника включает в себя 434 пункта, некоторая часть которых напрямую позаимствована из MMPI (Gough, 1987). Методика построена по нормативному типу, и достаточно длительна по времени. Попробуем проанализировать содержание методики. В ней выделяется 18 показателей (факторов), сгруппированных в 4 типа: 1) измерение уравновешенности, властности, уверенности в себе и межличностной адекватности; (2) измерение социализации, ответственности, внутриличностных ценностей, и характера; (3) измерение потенциала к достижениям и интеллектуальной эффективности; (4) измерение типов интеллектуальной активности и интересов (Gough & Bradley, 1996). Три фактора из 18 выполняют роль служебных показателей. Также существует так называемая Folk Concept Scales для этой 40 модели, где выделяется коммуникабельность, ответственность, самочувствие, 20 факторов: социальность, социализация, толерантность, доминантность, принятие самоконтроль, конформность, себя, потребность независимость, чувствительность, склонность в статусе, эмпатия, общественность, к достижениям, интеллектуальность, открытость, гибкость, маскулинность (в оригинале - Dominance, Capacity for Status, Sociability, Social Presence, Self-acceptance, Independence, Empathy, Responsibility, Socialization, Self-control, Good Impression, Communality, Well-being, Tolerance, Achievement via Conformance, Achievement via Independence, Intellectual Efficiency, Psychologicalmindedness, Flexibility, and Femininity/Masculinity). Модель слабо представлена в РФ, особенно с сфере работы с персоналом. Исходя из содержания модели сложно выдвинуть предположения, почему именно она оказалась наиболее связанной с показатели эффективности работы. Можно лишь рекомендовать ее более глубокое изучение в рамках этих задач. Тем не менее, она содержательно отличается от других моделей, и в этом может быть ее преимущество. Стоит сказать, что в ответе на основной вопрос исследования нам было важнее разработать технологию сравнения моделей и апробировать ее на практике, чем построить окончательный рейтинг и выделить лучшие модели. Любые новые данные могут существенно повлиять на рейтинг и изменить положение моделей в нем, но нам важнее было показать, что модели можно и важно сравнивать друг с другом, в том числе чтобы отбирать наиболее применимые для практики. Следующие вопросы, которые нас интересовали, касались причин различия в валидности между моделями. Нам удалось найти несколько причин и оснований, которые могут влиять на валидность моделей. Первое основание – это подходы, в рамках которого модель может быть разработана. Наиболее продуктивными оказались клинический и профессиональные подходы. Возможно, первый подход позволяет выделять хорошо дифференцирующие людей качества в поведении (так как в основе своей имеет классификацию симптомов), второй изначально нацелен на диагностику успешности (поэтому также концентрируется на качествах, важных именно в работе). 41 Вторая причина, и на наш взгляд более существенная, заключается в дробности моделей и наличии узких, специфических качеств, которые позволяют модели лучше «цепляться» за столь же специфические критерии успешности и условия, в которых она проявляется. Более интегральные модели (такие как Big Five, EPI и MBTI) показывают худшие показатели валидности по этой же причине (что показано практически статистически значимо). Все это позволяет рекомендовать использовать в практике более специализированные и дробные модели личности. Стоит заметить, что многие модели имеют подфакторы (практически любые из перечисленных нами в исследовании моделей). Однако во многих исследованиях взаимосвязи ищутся на уровне интегральных факторов, что делает такую модель менее конкурентоспособной. Можно предположить, что широко распространенная в исследовательской практике модель Big Five была бы более валидна, если бы исследователи пытались отслеживать валидность не на уровне пяти интегральных факторов (в «угоду» содержательной валидности), а на уровне подфакторов (ориентируясь на критериальную валидность). К сожалению, нам не удалось ответить на другие вопросы исследования, которые касались валидности моделей и уровня позиции, типа инструмента и так далее, в связи с ограниченным объемом данных по этим критериям. Тем не менее, нам удалось найти несколько исследований, которые раскрывают ответы на некоторые вопросы, и здесь также хотелось бы их обсудить, в контексте общего вопроса – что же позволяет увеличить валидность модели личности? В первую очередь можно отметить исследование Tett Et al. 2003, в котором сравнивалась валидность интегральных показателей модели HPI (7 факторов), и так называемых HICs подфакторов (41). В результате исследования было показано, что подфакторы в гораздо большей степени объясняют вариативность критерия успешности, чем интегральные показатели модели. Во многом на этом в модели HPI и других строятся дополнительные показатели, прогнозирующие успешность в той или иной деятельности. Для нас же важно, что данной исследование показывает, как специфические факторы оказываются продуктивнее интегральных. Мета-анализ, который мы уже не раз упоминали в своей работе (Tett, Jackson & Rothstein, 1991) также дает ответы на некоторые вопросы, а именно – более высокие показатели 42 валидности моделей достигаются в исследованиях, в которых применяется предварительная процедура анализа работ (job analysis), и которые строятся по конфирматорному типу. То есть в тех исследованиях, где заранее анализируется работа и под нее подбирается модель или хотя бы гипотезы (какие качества будут нужны в работе), показатели валидности могут в разы превышать те, которые получаются в исследованиях обратного типа – без анализа работы и со случайной моделью. Таком образом, предварительное изучение работы и тех черт, которые могут влиять на эффективность позволяет подобрать лучшие модели, или как минимум – черты, и получить в итоге большую валидность для искомой ситуации. Подтверждают предыдущие оба предположения исследователи в статье Jenkins & Griffith, 2004. Любопытные данные были получены в исследовании Jackson & Corr, 1998. В ряде исследований авторы замеряли связь между показателями по личностным моделям и критериям успешности. На индивидуальном уровне данные связи были не велики с сравнимы со многими, которые были получены в нашем исследовании. Но как только исследователи выходили на группой уровень (например, сравнивали общей уровень экстраверсии у группы успешных и неэффективных), то показатели связи становились в разы больше. Данное направление тоже может быть весьма интересным для применения относительно моделей личности. Также в ряде исследований было показано, что валидность зависит не только от модели личности, но и от того, насколько сам инструмент, ее измеряющий, релевантен поведению именно на работе (Heller et al., 2009; Hunthausen et al., 2003). Исследования показывают, что методики, описывающие именно рабочее поведение в рамках модели имеют большие показатели валидности относительно эффективности на работе, чем просто те же черты в общих жизненных ситуациях. Таким образом, ряд наших предположений имеют косвенное подтверждение в исследованиях, но не относительно каждой из моделей, а относительно общей ситуации с моделями личности (обычно на примере модели Big Five). 43 Стоит рассмотреть и ограничения нашего исследования, которые безусловно могут влиять на полученные результаты. В первую очередь, нужно выделить проблему выборки. В нашем исследовании использовался первичный поиск данных, не были включены диссертации, внутренний поиск по литературе, письма авторам и т.п. Безусловно, расширение выборки может дать иные данные для исследования и результатов. Во вторую очередь, стоит упомянуть проблему кодирования данных, в которой участвовал один эксперт (в классическом мета-аналитическом исследовании привлекается группа экспертов и замеряется согласованность). В конце следует сказать о том, что не все модели личности были включены в этот анализ, и данные по некоторым также могли бы повлиять на общие результаты. В завершении хотелось бы обсудить два практических вопроса – что дает применение моделей личности на практике, что означает рейтинг моделей для решения практических задач. Ведь зачастую именно практика ставит запросы на точное и надежное прогнозирование в области изучения человеческих ресурсов, и стремится к максимальным показателям. Что касается применения моделей личности на практике, то в научной среде отчасти устоялось определенное двуполярное мнение. С одной стороны, диагностика личностных качеств не позволяет получить высокий уровень объясняемой дисперсии успешности в работе, с другой – так называемые integrity tests могут давать достаточно высокие показатели валидности (Schmidt & Hunter, 1998). На примере наших данных мы также попытались рассчитать эффективность от применения моделей личности на практике. Таблица 13. Отдача от личностных тестов на практике. Показатели по всем моделям (P mean) Абсолютная валидность Значимая валидность Дисперсия (low) как объяснение критерия эффективности 2% 8% Тейлор – Рассел (high) как точность отбора 58% 64% 44 Если брать средние значения по моделям, то процент объясненной дисперсии успешности (как самый строгий показатель) действительно будет достаточно низким – в самом лучшем случае всего 8%. Но если учитывать предположения Тейлора – Рассела о сложности работы и жесткости отбора на ту или иную должность, то в среднем точность отбора с применением модели личности может вырасти до 64% (Шмелев, 2013). Что касается применимости полученного рейтинга на практике, то мы склонны полагать, что модели из верхушки рейтинга (например, CPI), действительно могут оказаться более продуктивными с точки зрения валидности в общих универсальных ситуациях (с учетом специфики выборки и позиций, на которых были собраны данные). Но в целом любая модель может дать хорошие показатели валидности, если она 1) содержит много специфических факторов; 2) применяется вместе с анализом работы по конфиматорному типу; 3) специализирована относительно поведения на работе. Выводы По итогам исследования нами была разработана технология сравнения моделей личности друг с другом относительно валидности в практике оценки персонала, с применением метаанализа. Был построен рейтинг валидности моделей, наиболее валидная модель – CPI. В исследовании было показано, что чем больше показателей (факторов модели), тем выше ее валидность как способность измерять эффективность работы. Наиболее валидные модели личности были разработаны в рамках клинических и профессиональных подходов. По итогам исследования даны теоретические и практические рекомендации по применению результатов. 45 СПИСОК ЛИТЕРАТУРЫ 1. Alessandri, G., Vecchione, M. (2012). The higher-order factors of the Big Five as predictors of job performance. Personality and Individual Differences, 53, 779–784 2. Barrick, M. R., & Mount, M. K. (1991). The Big Five personality dimensions and job performance: A meta-analysis. Personnel Psychology, 44, 1-26. 3. Birkman International. (2007). Trends in Personality Assessments and Applications 4. Dakin, S., Armstrong, J.S. (1989). Predicting job performance: A comparison of expert opinion and research findings. International Journal of Forecasting, 5, 187-194 5. Field, A., Gillett, R. (2010). How to do a meta-analysis. British Journal of Mathematical and Statistical Psychology, 63, 665–694 6. Furnham, A., Stringfield, P. (1993). Personality and work perfomance: myers-briggs type indicator correlates of managerial performance in two cultures. Person. Individ. Dif Vol. 14, No. I, p. 145- 153 7. Gough, H.G. (1987) California Psychological Inventory Administrator's Guide. Palo Alto, CA: Consulting Psychologists Press, Inc. 8. Gough,H.G. & Bradley, P. (1996). "CPI Manual." Ed.3. Palo Alto, CA: Consulting Psychologists Press 9. Heller, D., Ferris, D. L., Brown, D., & Watson, D. (2009). The influence of work personality on job satisfaction: Incremental validity and mediation effects. Journal of Personality, 77, 1051–1084. 10. Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96, 72-98 11. Hunter, J. E., & Schmidt, F. L. (2004). Methods of meta-analysis: Correcting error and bias in research findings (2nd ed.). Newbury Park, CA: Sage 12. Hunthausen, J. M., Truxillo, D. M., Bauer, T. B., & Hammer, B. L. (2003). A field study of frame-of-reference effect on personality test validity. Journal of Applied Psychology, 88, 545–551. 13. Hurtz, G.M., & Donovan, J. J. (2000). Personality and Job Performance: The Big Five Revisited. Journal of Applied Psychology, Vol. 85, No. 6, 869-879 14. Jackson, C. J., Corr, P. J. (1998) Personality-performance correlations at work: Individual and aggregate levels of analyses. Personality and Individual Differences. Volume 24, Issue 6, Pages 815–820 46 15. Jenkins, M. & Griffith, R. (2004) Using Personality Constructs to Predict Performance: Narrow or Broad Bandwidth. Journal of Business and Psychology, Volume 19, Issue 2, pp 255-269 16. Jenkins, M., Griffith, R. (2004). Using personality constructs to predict performance: narrow or broad bandwidth. Journal of Business and Psychology, Vol. 19, No. 2 17. Johnson, M., Rowatt, W., Petrini, L. (2011). A new trait on the market: Honesty–Humility as a unique predictor of job performance ratings. Personality and Individual Differences, 50, 857–862 18. Linden, D., Nijenhuis, J., Bakker, A. (2010). The General Factor of Personality: A metaanalysis of Big Five intercorrelations and a criterion-related validity study. Journal of Research in Personality, 44, 315–327 19. Morey, L., Hopwood, C., Gunderson, J., Skodol, A., Shea, M., Yen, S., Stout, R., Zanarini, M., Grilo, C., Sanislow, C., Mcglashan, T.(2007). Comparison of alternative models for personality disorders. Psychological Medicine, 37, 983–994 20. Ones, D., Dilchert, S., Viswesvaran, C., Judge, T. (2007). In support of personality assessment in organizational settings. Personnel psychology, 60, 995–1027 21. Ones, D., Viswesvaran, C. (2004). Personnel Selection. Encyclopedia of Applied Psychology, V 3, 35-43 22. Rothstein, M.G., Goffin, R.D. (2006). The use of personality measures in personnel selection: What does current research support? Human Resource Management Review, 16, 155–180 23. Saggino, A. (2000). The Big Three or the Big Five? A replication study. Personality and Individual Differences, 28, 879-886 24. Schmidt, F. L., Hunter, J. E. (1998) The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, Vol 124(2), 262-274 25. Scroggins, W., Thomas, S., Morris, J. (2009). Public Personnel Management, Volume 38 No. 1 26. StudentHandout-Meta-Analysis.pdf. http://maamodt.asp.radford.edu/PSYC%20651/Student%20Handout%20-%20MetaAnalysis.pdf 47 27. Tett, R. P. Et al. (2003) Broad and Narrow Measures on Both Sides of the Personality-Job Performance Relationship. Journal of Organizational Behavior, Vol. 24, No. 3, pp. 335-356 28. Tett, R. P., Jackson, D. N., & Rothstein, M. (1991). Personality measures as predictors of job performance: A meta-analytic review. Personnel Psychology, 44, 703-742. 29. Дружинин В.Н (2003). Психология 21 века: Учебник для Вузов. ПЕР СЭ, 600-611 30. Хьелл, Л., Зиглер, Д. (1998). Теории личности. СпБ: Питер Ком, 575-602 31. Шмелев А.Г. (2013). Практическая тестология. Москва. 48 ПРИЛОЖЕНИЕ №1 Список публикаций, вошедших в исследование в качестве источника данных. № Авторы Название публикации 1 Furnham A. 2 Sager J. 3 Drew J. 4 Csoka L. Personality and occupational success-16PF correlates of cabin crew performance Personality and Salesforce Selection in the Pharmaceutical Industry Predicting turnover of police officers using the sixteen personality factor questionnaire Psychological profiles for predicting leader performance Selecting Successful Salespersons with the 16P 5 Stephen J. Guastello, Ph.D. 6 Stephen J. Guastello, Ph.D. 7 Stephen J. Guastello, Ph.D. 8 Stephen J. Guastello, Ph.D. 9 Stephen J. Guastello, Ph.D. 10 D. Bartram 11 D. Bartram 12 Jenkins M. 13 Super J. 14 Cooper & Green 15 Ferris 16 Lono 17 McMillan 18 Middleman Год публикации 1991 Модель 1986 16PF 2008 16PF 1993 16PF 1993 16PF Selecting Successful Salespersons with the 16P 1993 16PF Selecting Successful Salespersons with the 16P 1993 16PF Selecting Successful Salespersons with the 16P 1993 16PF Selecting Successful Salespersons with the 16P 1993 16PF The predictive validity of the EPI and 16PF for military flying training The predictive validity of the EPI and 16PF for military flying training Using Personality Constructs to Predict Performance: Narrow or Broad Bandwidth Using psychological tests to discriminate between “best” and “least best” correctional officers Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job 1995 16PF 1995 16PF 2004 16PF 1993 16PF 1976 16PF 1988 16PF 1976 16PF 1974 16PF 1988 16PF 16PF 49 19 Muecke-Gardner 20 Schuerger 21 Sormin 22 Toole 23 Whisman 24 Alker 25 Dozier 26 Geraghty 27 Glaskinos & Brennon 28 Hiatt & Hargrave 29 Hogan 30 Lafer 31 Mills & Bohhanon 32 Pugh 33 Gough & Hall 34 Gough & Hall 35 Kegel-Flom 36 Hall & McKinnon 37 Cook 38 Blake 39 D. Bartram Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Prediction of performance in medical school from the California Psychological Inventory Prediction of performance in medical school from the California Psychological Inventory Personality Traits in Effective Clinical Teachers Personality inventory correlates of creativity among architects Personality and Self-Rated Work Performance Validation of the Structural Scales of the CPI for Predicting the Performance of Junior Officers in the U. S. Coast Guard The predictive validity of the EPI and 16PF for 1987 16PF 1982 16PF 1984 16PF 1972 16PF 1978 16PF 1973 CPI 1980 CPI 1986 CPI 1971 CPI 1988 CPI 1971 CPI 1989 CPI 1980 CPI 1985 CPI 1964 CPI 1964 CPI 1983 1969 CPI CPI 2000 CPI 1993 CPI 1995 EPI 50 40 D. Bartram 41 Freixanet 42 Jackson 43 Jackson 44 Jackson 45 Burbeck & Furnham 46 Tett 47 Luther 48 Hayes 49 Hogan & Kaiser 50 Hogan 51 Hogan 52 Muchinsky 53 Foker 54 Ornstein 55 Sauls 56 Hall & McKinnon 57 McIntyre 58 Furnham A. military flying training The predictive validity of the EPI and 16PF for military flying training Personality profile of subjects engaged in high physical risk sports Personality-performance correlations at work Benefits of All Work and No Play: The Relationship Between Neuroticism and Performance as a Function of Resource Allocation Comparison between Eysenck's and Gray's models of personality in the prediction of motivational work criteria Personality and police selection- Trait differences in successful and non-successful applicants to the metropolitan police Broad and Narrow Measures on Both Sides of the Personality-Job Performance Relationship Integrity Testing and Job Performance within High Performance Work Teams: A Short Note Personality Correlates of Success in Total Quality Manufacturing Personality, leader behavior, and overdoing it Validation of a Personality Measure of Managerial Performance Validation of a Sales Representative Selection Inventory Validation of Personality Constructs for the Selection of Insurance Industry Employees Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality inventory correlates of creativity among architects Cognitive Style as an Antecedent to Adaptiveness, Customer Orientation, and SelfPerceived Selling Performance Personality and work performance- Myers- 1995 EPI 1991 EPI 1998 2006 EPI EPI 2000 EPI 1984 EPI 2003 HPI 2000 HPI 2000 HPI 2011 1992 HPI HPI 1992 HPI 1993 HPI 1988 MBTI 1988 MBTI 1987 MBTI 1969 MBTI 2000 MBTI 1993 MBTI 51 59 Furnham A. 60 Biderman 61 Roberts 62 Super J. 63 Arvey 64 Burke & Hall 65 Dicken 66 Gerton 67 Hiatt & Hargrave 68 Hoover 69 Mass 70 Matyas 71 McClelland & Rhodes 72 McClelland & Rhodes 73 McGraw 74 Walter 75 Hall & McKinnon 76 Bartol 77 Downey & Signori Briggs type indicator correlates of managerial performance in two cultures Personality and work performance- MyersBriggs type indicator correlates of managerial performance in two cultures Criterion-related validity of three personality questionnaires The personality and motivations of technological entrepreneurs Using psychological tests to discriminate between “best” and “least best” correctional officers Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality Measures as Predictors of Job Performance: A Meta-Analytic Review Personality inventory correlates of creativity among architects Predictive validation of the MMPI for smalltown police officers who fail The Selection of Prison Guards 1993 MBTI 2012 MBTI 1989 MBTI 1993 MMPI 1972 MMPI 1986 MMPI 1969 MMPI 1982 MMPI 1988 MMPI 1971 MMPI 1979 MMPI 1980 MMPI 1969 MMPI 1970 MMPI 1969 MMPI 1979 MMPI 1969 MMPI 1991 MMPI 1958 MMPI 52 78 Saville 79 Saville 80 Perkins & Corr 81 Warr 82 SHL 83 Whetzel 84 Saville Consulting Wave 85 Saville Consulting Wave 86 Saville Consulting Wave A Demonstration of the Validity of the Occupational Personality Questionnaire (OPQ) in the Measurement of Job Competencies Across Time and in Separate Organisations A Demonstration of the Validity of the Occupational Personality Questionnaire (OPQ) in the Measurement of Job Competencies Across Time and in Separate Organisations Can worriers be winners? The association between worrying and job performance Indirect Processes in Criterion-Related Validity Opq32 technical manual Linearity of Personality–Performance Relationships: A large-scale examination Professional styles handbook 1996 OPQ 1996 OPQ 2004 OPQ 2000 2009 2010 OPQ OPQ OPQ 2011 Wave Professional styles handbook 2011 Wave Professional styles handbook 2011 Wave 53