Тема 13. Тестирование в исследовании систем управления 13.1

Тема 13. Тестирование в исследовании систем управления
13.1. Сущность тестирования в исследовании систем управления.
13.2. Практические аспекты тестирования в исследовании
управления.
13.3. Специфика методов тестирования.
систем
13.1. Сущность тестирования в исследовании систем управления.
Тестирование (от англ, test - опыт, проба) - метод психологической
диагностики, использующий стандартизированные вопросы и задачи (тесты),
имеющие определенную шкалу значений.
Применяется для стандартизированного измерения индивидуальных
различий. Основные области применения тестирования в исследовании систем
управления отбор персонала с целью наибольшего соответствия конкретному
виду работы и снижения вероятности конфликтных ситуаций; разработка
индивидуальных программ повышения уровня профессиональной подготовки.
Большой вклад в развитие тестирования внес в 70-х гг. прошлого века
англичанин Ф. Дальтон. На основании проведенных экспериментов Гальтон
предложил
теорию
группировки
людей
по
уровню
интеллекта,
Толчком для этого ему послужил закон нормального распределения.
Признается, что основная совокупность показателей сосредоточена около средней
величины (точка 0), а по обе стороны от средней лежат; слева - показатели
низкого уровня; справа - показатели высокого уровня. Причем размах колебаний
признака от минимального до максимального значения на 99,73 % ограничен
интервалом ±3 от средней величины, то есть в интервале от+З до -3 находится
99,73% числа наблюдений всей совокупности (рис.1).
Психологи считают, что когда при случайной выборке субъектов измеряются
их интеллектуальные, а также любые другие факторы, то все показатели
распределяются по нормальной кривой, имеющей форму симметричного
колокола.
Рис.1. Группировка величин.
Если закон нормального распределения принять за аксиому при группировке
психологических факторов, то этот закон должен быть положен в основу
разработки тестов и процедуры обработки данных. Достаточно авторитетные
источники
и
практика
психодиагностики
подтверждают
это.
Оценка профессиональной пригодности персонала по важности занимает одно из
первых мест в решении задач управления и повышения эффективности
производства. Познакомимся с основными видами тестов по оценке
профессионального мастерства.
13.2. Практические аспекты тестирования в исследовании систем
управления.
Практические тесты используются для оценки работника в действии:
исполнение обязанностей, ремонт аппаратуры, сборка механизмов и т.д.
Чтобы провести испытание по практическому тесту, создается обстановка по
возможности близкая к реальной. При этом составляется контрольное
упражнение, отражающее главную идею того, что требуется проверить, для чего
готовится специальная таблица, где расписываются все элементы действия,
которые
будут
фиксироваться
в
ходе
тестирования.
Пример практического теста: монтаж и регулировка системы зажигания
четырехцилиндрового двигателя.
Цель: измерить навыки по регулировке системы зажигания двигателя. Время
на упражнение 10 мин.
Элементы действия
Оценка
Да
Нет
Балл
1. Подготовка
к
монтажу
Подбор инструмента, материалов.
2. Проверка правильности подсоединения
приборов
3. Отсоединение лишних проводников.
И т.д.
……..
Тестирование при оценке профессионального мастерства юзволяет
минимизировать
влияние
личных
взаимоотношений
между
лицом,
осуществляющим контроль (руководитель, преподаватель) и контролируемым им
субъектом (сотрудник, проходящий переаттестацию, студент).
Тесты на узнавание используются для оценки способности испытуемого
вспоминать и называть рабочий инструмент, блоки аппаратуры, приборы,
отдельные части изделий. Такие тесты практикуются также для оценки
способности испытуемых находить ошибки в схемах. Оценка результатов: по
одному баллу дается как за узнавание (идентификацию), так и за определение
функций техники.
Бланковые тесты составляются в основном в пяти формах. Это выборочные
тесты, тесты на отыскание компонента, тесты на дописывание, альтернативные
тесты, тесты-описания.
Выборочные тесты состоят из двух частей: вопроса и набора ответов.
Причем один из предполагаемых ответов может быть или единственно
правильным, или наиболее подходящим. Постановка вопросов в тестах должна
быть полностью однозначной (то есть предполагать только один правильный
ответ). Возможность "угадывания" правильного ответа должна быть
минимальной.
Тесты на отыскание компонента включают две колонки (А, В) слов, фраз,
тезисов, объединенных общим смыслом. В колонке А обычно проставляется
наименование, в колонке В - утверждения, относящиеся к этим наименованиям.
Подсчет баллов происходит по количеству правильных ответов.
Тесты на дописывание требуют от испытуемого дополнения некоторого
пропущенного ключевого слова.
Альтернативные тесты (тесты "Да - Нет") состоят из серии утверждений,
которые могут быть определены как правильные или ложные.
Индекс трудности составного компонента теста (вопроса, проблемы,
задачи) - показатель, характеризующий количество испытуемых, которые
ответили на данный вопрос правильно. Он определяется по формуле:
где T- индекс трудности; П - число правильных ответов; N - число : испытуемых.
Величина индекса трудности должна находиться в пределах 25-75%, где
число 25 указывает на тот факт, что данный вопрос теста под силу только одной
четверти испытуемых (это трудный вопрос), а число 75 свидетельствует о
возможности решения вопроса тремя четвертями испытуемых (это легкий
вопрос). Названный индекс, выявляя легкие и трудные вопросы, позволяет
располагать их в тесте по нарастанию трудности. Но главное назначение индекса это приведение тестовых показателей к нормальному распределению. Такой же
цели служит и индекс валидности.
Валидность тестового компонента (теста в целом) - показатель
характеризующий:
его
способность
устойчиво
дифференцировать
профессиональную компетентность испытуемых.
Высоковалидный компонент или в целом весь тест подготовлен с таким
расчетом, что он фиксирует высокий балл у более подготовленных испытуемых и
низкий балл у менее подготовленных. Если случается, что на какой-либо вопрос
люди с высокой эрудицией отвечают неправильно, а с низкой - правильно, то
такой вопрос признается невалидным. Индекс валидности тестового компонента
определяется по формуле:
где V - валидность; С - число лиц сильной группы, ответивших на вопрос
правильно; L - число лиц слабой группы, ответивших на вопрос правильно; N число испытуемых.
При этом имеется в виду следующее: V = - 1 означает, что все слабые
испытуемые ответили на вопрос правильно, а все сильные -неправильно; V = 0
свидетельствует о том, что и те и другие, ответили на вопрос правильно; V = +1
показывает, что все сильные ответили правильно, а все слабые - неправильно.
Индексы от -1 до 0 надо считать неприемлемыми, от 0 до 0,25 - условно
приемлемыми; от 0,25 до +1 -приемлемыми.
13.3. Специфика методов тестирования.
Методом исследования управления, наиболее популярным в современных
условиях и, пожалуй, достаточно эффективным является метод тестирования.
Существует множество определений теста.
Тест — это удовлетворяющая критериям исследования эмпирикоаналитическая процедура. Очень общее определение. Но есть определения и
более конкретные. Например: тест-это система высказываний, позволяющая
получить объективное отражение реально существующих отношений между
людьми,
их
свойств,
признаков
и
количественных
параметров.
Но можно сформулировать более точное определение теста относительно
проблем исследования управления.
Тест — это метод изучения глубинных процессов деятельности человека,
посредством его высказываний или оценок факторов функционирования системы
управления.
Ошибочно бытует представление,- что тестирование используется главным
образом в изучении психологических проблем. Действительно, в психологии
тестирование является наиболее эффективным методом изучения человека. Но
сфера использования тестирования не ограничивается только психологической
проблематикой.
Большую роль в исследовании при помощи тестирования играет конструкция
теста.
Тест включает набор высказываний и оценок по определенной проблеме или
ситуации. Оценки могут быть упрощенные (типа "согласен" — "не согласен" или
шкалированные (типа "совершенно верно", "верно", "скорее верно, чем неверно",
"трудно сказать", "скорее неверно, чем верно", "неверно", "совсем неверно").
Шкала может иметь цифровые оценки в виде рейтинговых коэффициентов или
выбора
степени
согласия.
• Конструкция теста должна предполагать возможность обработки его
результатов
по
определенным
статистическим
программам.
Каждый тест имеет ключ, позволяющий обработать полученную информацию в
соответствии с целями тестирования.
Существуют правила формулировки высказываний. Они включают
следующие положения:
 высказывания должны быть короткими, не более одного придаточного
предложения;
 понятны для всех без исключения исследуемых (респондентов);
 в высказываниях не должно быть намека на правильный, одобряемый
или ожидаемый ответ;
 структурированные ответы по каждому из высказываний желательно
иметь с одним и тем же числом альтернатив (не менее 5 и не более 11);
 тест не может состоять целиком из предложений, в которых
высказываются только позитивные или только негативные суждения;
 в каждом высказывании теста следует утверждать что-нибудь одно.
При составлении теста необходимо учитывать его основные характеристики.
Надежность - одна из главных и важнейших характеристик. Ее связывают
с точностью, определяющей возможность измерения, перевода в
количественные показатели.
Надежность определяется целью, задачами и характером тестового
исследования, качеством высказываний.
Существуют приемы проверки надежности тестов. Они включают повторное
тестирование, параллельное тестирование, прием раздельного коррелирования
(внутренняя корреляция высказываний), использование дисперсионного анализа,
факторный анализ.
Валидность тестов — способность отражать и измерять то, что оно
должен отражать и измерять по замыслу, целям. Это относится не только к
самому тесту, но и к процедуре его проведения. Валидность теста может быть
проверена посредством сравнительной оценки результатов, полученных другими
методами, или экспериментом формирования различных групп тестируемых,
можно проверить валидность по содержанию теста, проанализировав каждое его
высказывание.
В управлении при помощи тестирования можно исследовать проблемы
использования ресурсов (в частности, важнейшего из них - времени), уровень
квалификации персонала, распределение функций управления, сочетание
формального и неформального управления, стиль управления и пр.