Бургер Кинг критериальная валидность План исследования: Цель: оценить уровень связи между результатами тестирования способностей и критериями - группой в рейтинге, % выполнения выручки. Метод: корреляционный анализ результатов теста (показатели общих способностей, вербальных и числовых) и среднего показателя группы в рейтинге (между 3м и 4м кварталом) и средним процентом выполнения выручки (между 3м и 4м кварталом). Ожидаемый результат: показатель корреляции на уровне 0,2-0,6 (в соответствии с уже проведенными научными исследованиями такой уровень связи является ожидаемым). Процесс: 1. Выгрузка результатов измерения способностей (3 показателя) в шкале логитов (чтобы была интервальная шкала измерения, по классификации Стивенса) 2. Расчёт среднего по показателям группы в рейтинге и средним процентом выполнения выручки 3. Слияние баз данных с результатами измерения способностей и KPI по коду респондентов 4. Проверка нормальности распределения среднего процента выполнения выручки и средней группы рейтинга 5. Расчет корреляции Пирсона (или Спирмена, в зависимости от того, распределена ли выручка по закону нормального распределения) между показателями способностей и средним процентом выполнения выручки, средним рейтингом и 9бокс (9 шт) Переменные, используемые в анализе Внутри базы две группы респондентов: 1. Рядовые сотрудники, начальники смен (1ый лист) 2. Руководящий состав (2ой лист) Результаты тестирования представлены в формате шкалы логитов (интервальная шкала): 1. Общий показатель способностей 2. Числовые способности 3. Вербальные способности Три критерия для валидизации: 1. Результаты метода оценки 9бокс (порядковая шкала) Для руководства: 2. Группа в рейтинге (среднее между группой в 3 и 4 кварталах) (порядковая шкала) Для группы ТУ показатель складывается из выполнения сотрудником плана по выручке и исполнения им стандартов (выполнения планов по показателями и процессам в категориях “Сервис и гости” (приоритет 1), “Управление людьми” (приоритет 2) и “Управление процессами” (приоритет 3)) 3. Процент выполнения выручки (среднее между процентом в 3 и 4 кварталах) (интервальная шкала) Для рядовых сотрудников: 2. Процент ТО (среднее между процентом в 3 и 4 кварталах) 3. Процент ТОП 3 (среднее между процентом в 3 и 4 кварталах) Параметры для слияния баз: 1. ФИО 2. Код Подготовка данных к анализу Слияние баз Общее число специалистов прошедших тестирование: 3656. Из них 2788 участников являются сотрудниками Бургер Кинга. При этом у 4 участников тестирования отсутствует номер ID, что затрудняет их идентификацию. Общее число руководителей, чьи критерии эффективности были предоставлены руководителями составило 140 человек, в то время как общее число рядовых сотрудников - 2975 человек. В результате слияния баз было было получены две отдельные базы для руководителей и рядовых сотрудников в отношении которых известны как результат прохождения теста, так и критериальнаях оценка эффективности их работы в компании. В базе руководителей дальнейший анализ проводился на базе включающей в себя 124 человека, а в базе рядовых сотрудников 2362. Таким образом 302 человека были исключены из анализа при слиянии баз. Анализ данных Проверка на нормальность: Руководители: 1. Группа в рейтинге (среднее между группой в 3 и 4 кварталах) 2. Процент выполнения выручки (среднее между процентом в 3 и 4 кварталах) Рядовые сотрудники: 1. Процент ТО (среднее между процентом в 3 и 4 кварталах) 2. Процент ТОП 3 (среднее между процентом в 3 и 4 кварталах) Корреляционный анализ: Значимых корреляций не обнаружено ни с одним из исследованных критериев. 1. Общие способности (G) Руководители Группа в рейтинге Spearman's rank correlation rho data: managers$TOTAL and managers$rating_mean S = 59795, p-value = 0.4505 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.0923396 Процент выполнения выручки Spearman's rank correlation rho data: managers$TOTAL and managers$profit_mean S = 102289, p-value = 0.3109 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.1132724 9 бокс: Spearman's rank correlation rho data: managers$TOTAL and managers$box S = 162542, p-value = 0.1836 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.1376146 Рядовые сотрудники Процент ТО Spearman's rank correlation rho data: employees$TOTAL and employees$TO_mean S = 2277656520, p-value = 0.07181 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.03705044 Процент ТОП 3 Spearman's rank correlation rho data: employees$TOTAL and employees$TOP3_mean S = 2277949757, p-value = 0.07079 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.03718395 9 бокс Spearman's rank correlation rho data: employees$TOTAL and employees$box S = 1573720, p-value = 0.1707 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.09604298 2. Вербальные способности (V) Руководители Группа в рейтинге data: managers$V and managers$rating_mean S = 57883, p-value = 0.6394 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.05741459 Процент выполнения выручки data: managers$V and managers$profit_mean S = 90725, p-value = 0.9106 alternative hypothesis: true rho is not equal to 0 sample estimates: rho 0.01258629 9 бокс: Spearman's rank correlation rho data: managers$V and managers$box S = 159625, p-value = 0.258 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.1171964 Рядовые сотрудники Процент ТО Spearman's rank correlation rho data: employees$V and employees$TO_mean S = 2271559527, p-value = 0.09584 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.03427439 Процент ТОП 3 Spearman's rank correlation rho data: employees$V and employees$TOP3_mean S = 2258340784, p-value = 0.1698 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.0282557 9 бокс Spearman's rank correlation rho data: employees$V and employees$box S = 1512835, p-value = 0.445 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.05363862 Числовые способности (N) Руководители Группа в рейтинге Spearman's rank correlation rho data: managers$N and managers$rating_mean S = 59171, p-value = 0.5085 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.08094516 Процент выполнения выручки Spearman's rank correlation rho data: managers$N and managers$profit_mean S = 102526, p-value = 0.2999 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.1158597 9бокс: Spearman's rank correlation rho data: managers$N and managers$box S = 165205, p-value = 0.1305 alternative hypothesis: true rho is not equal to 0 sample estimates: rho Рядовые сотрудники Процент ТО Spearman's rank correlation rho data: employees$N and employees$TO_mean S = 2265717075, p-value = 0.1245 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.03161423 Процент ТОП 3 Spearman's rank correlation rho data: employees$N and employees$TOP3_mean S = 2275228376, p-value = 0.08071 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.03594487 9 бокс Spearman's rank correlation rho data: employees$N and employees$box S = 1571452, p-value = 0.1779 alternative hypothesis: true rho is not equal to 0 sample estimates: rho -0.09446333 ● 1. Разделить всех сотрудников на категории: 1) L3 (есть отдельная переменная для руководителей) - операционный директор 2) L4 (есть отдельная переменная для руководителей) - территориальный управляющий 3) директора ресторанов и заместители директоров ресторанов (это с листа массовых должностей) 4) менеджеры смены разных категорий Получилось вот такое разделение по количеству наблюдений в каждой категории: ● операционный директор территориальный управляющий директор ресторанов менеджер смены 16 182 867 1421 2. Посмотреть корреляцию 3 способностей с датой приема в компанию в целом и отдельные корреляции по категориям сотрудников (по переменной из 1 пункта) Считала корреляцию Спирмена между тремя показателями когнитивных способностей и количеством дней с начала работы. Всего 4 выборки, все вместе и три категории с достаточным количеством наблюдений. Первое число в ячейках - уровень значимости, второе - коэффициент корреляции. Общий фактор Числовые способности Вербальные способности Все, N=2486 p-value = 0.4684 p-value = 0.8665 p-value = 0.2039 0.01454881 0.003372659 0.02548926 Территориальные p-value = 0.00531 управляющие, N=182 0.2058375 p-value = 0.0424 p-value = 0.00175 0.1506214 0.2304124 Директора ресторанов, N=867 p-value = 0.1639 p-value = 0.248 p-value = 0.06113 -0.04732143 -0.03927229 -0.06362348 Менеджеры смены, N=1421 p-value = 0.8594 p-value = 0.5475 p-value = 0.4377 -0.004702862 -0.01596922 0.02060557 ● 3. Посмотреть корреляцию 3 способностей с датой назначения на текущую должность в целом и отдельные корреляции по категориям сотрудников (по переменной из 1 пункта) Для этой задачи также посчитала количество дней с назначения на должность и сделала корреляции Спирмена. Общий фактор Числовые способности Вербальные способности p-value = 0.998 p-value = 0.9933 p-value = 0.7971 -0.070864e-05 -0.0001679877 -0.005162454 Территориальные p-value = 0.02092 управляющие, N=182 0.1711009 p-value = 0.1101 p-value = 0.02319 0.1188412 0.1682421 Директора ресторанов, N=867 p-value = 0.481 p-value = 0.4682 p-value = 0.3634 -0.02397698 -0.02468456 -0.0309233 Менеджеры смены, N=1421 p-value = 0.2952 p-value = 0.4519 p-value = 0.2647 -0.02781959 -0.01999129 -0.02964097 Все, N=2486 ● 4. Проверить нормальность распределения 3 параметров способностей (просто график, Колмогорова-Смирнова не надо) Построила гистограммы для 3 парметров: Для общих способностей Для вербальных способностей Для числовых способностей ● 5. Сравнить средние 3 способностей для 2 групп: линейный персонал ( 3 и 4 из переменной созданной в пункте 1) и руководителей (1 и 2 из переменной созданной в пункте 1). Для этого сравнения из группы линейного персонала надо сделать случайную подборку по размеру такую же как количество руководителей (то есть примерно 120-130 человек), тк линейного персонала очень много по сравнению с руководителями. Критерий для сравнения выберите исходя из того, насколько распределение 3 способностей будет похоже на нормальное: либо параметрический т-тест, либо непараметрический Краскела-Уоллиса Взяла t-test, в порядке появления для общего фактора, для числовых и для вербальных способностей. Для линейного персонала выбрала случайным образом 198 человек. data: TOTAL by position_type t = -5.2741, df = 393.04, p-value = 0.00001 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.6214395 -0.2839431 sample estimates: mean in group line mean in group superviser -0.2170354 0.2356559 data: N by position_type t = -4.8487, df = 394, p-value = 0.00001 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.5577440 -0.2359322 sample estimates: mean in group line mean in group superviser -0.1862563 0.2105818 data: V by position_type t = -4.5373, df = 394, p-value = 0.00001 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.5116944 -0.2023144 sample estimates: mean in group line mean in group superviser -0.1585126 0.1984918 ● 6. Сравнить средние 3 способностей для 2 групп внутри линейного персонала (3 и 4 из переменной созданной в пункте 1) Взяла т-тест, в порядке появления для общего фактора, для числовых и для вербальных способностей. Из менеджеров взяла 867человек. data: TOTAL by position_type t = -0.61006, df = 1732, p-value = 0.5419 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.1056861 0.0555386 sample estimates: mean in group director mean in group manager -0.2023472 -0.1772734 data: N by position_type t = -0.82871, df = 1732, p-value = 0.4074 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.11139283 0.04522011 sample estimates: mean in group director mean in group manager -0.1865039 -0.1534176 data: V by position_type t = 0.13928, df = 1732, p-value = 0.8892 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.06776840 0.07812911 sample estimates: mean in group director mean in group manager -0.1199339 -0.1251143 ● 7. Сравнить средние 3 способностей для 2 групп внутри руководителей (1 и 2 из переменной созданной в пункте 1) Сравнила эти три группы ановой, в каждой группе 198 человек, из директоров и менеджеров взяла случайным образом. Есть значимая разница между управленцами и менеджерами и управленцами и директорами в общем уровне когнитивных способностей. data: manager_director_superviser$TOTAL and manager_director_superviser$position_type director manager manager 0.28265 superviser 0.00001 0.00019 P value adjustment method: holm Для числовых способностей аналогичный результат: data: manager_director_superviser$N and manager_director_superviser$position_type director manager manager 0.3333 superviser 0.00001 0.001 P value adjustment method: holm И для вербальных способностей: data: manager_director_superviser$V and manager_director_superviser$position_type director manager manager 0.3826 superviser 0.0001 0.0011 P value adjustment method: holm
