Использование технологии «Метод анализа - soko

Использование технологии «Метод анализа экспертных оценок»
Технологичность проведения экспертизы обеспечивает осмысление всей
совокупности сведений, полученных в ходе организации и апробации моделей
комплексного
анализа
результатов
различных
процедур
оценки
качества
образования для обеспечения управления системой контроля и оценки качества
образования, достоверность, полноту и объективность выводов по итогам
апробации. Успешная организация и апробация требует применения анкетирования,
опроса, дискуссии, беседы, интервью, проектирования, модерации.
В ходе апробации используют следующие методы:
методы сбора информации (работа с документами, опрос);
метод экспертных оценок;
контрольные мероприятия;
наблюдения;
обсуждение экспертных заключений, подготовленных участниками апробации.
При организации и апробации моделей комплексного анализа результатов
различных процедур оценки качества образования и материалов, обеспечивающих
нормативное и инструментальное сопровождение должны учитываться следующие
принципы:
принцип
объективности,
позволяющий
с
помощью
обозначенных
разработчиками критериев точно определить степень соответствия исследуемого
объекта позициям, заявленным в апробируемых материалах;
принцип
необходимую
достаточности,
информацию
означающий
для
оценки
возможность
соответствия
получить
полную,
реальной
картины
апробируемым материалам;
принцип комплексности, обеспечивающий участие в экспертизе заявленных
материалов апробации как основных исполнителей Заказа, собственно участников
апробации, так и внешних экспертов;
принцип продуктивности, позволяющий оценить степень оптимальности
соотношения между полученными результатами в ходе апробации за определенный
период времени и связанными с ними затратами;
принцип реалистичности, включающий возможность оценить апробационные
материалы в соответствии с ситуацией и ресурсным обеспечением;
принцип
контролируемости,
предполагающий
возможность
определять
степень достижения конечных и промежуточных целей.
По мере усложнения процесса разработки решений, внимание к экспертным
оценкам существенно возросло. Сущность экспертных методов заключается в
построении рациональной процедуры интуитивно-логического мышления человека
в сочетании с количественными методами обработки и анализа полученных
результатов. При этом обобщенное мнение экспертов принимается как возможное
решение проблемы.
Эксперт (от лат. еxpertus – опытный) – это высококвалифицированный
специалист.
Формирование состава экспертной комиссии зависит от конкретной ситуации
принятия решений, возможностей организаторов экспертизы привлечь для работы
высококвалифицированных специалистов, возможностей специалистов принять
участие в работе экспертной комиссии.
Главными задачами экспертных оценок являются:
1 Определение целей.
2 Экстренный прогноз.
3. Сценарии ожидаемого развития ситуации.
4. Генерирование альтернативных вариантов.
5. Определение рейтингов.
6. Оценочные системы.
7. Принятие коллективных решений.
Методы экспертных оценок
Выявление
существенных
экспертных
аспектов
оценок
исследуемой
необходимо
проблемы,
при
анализе
особенно
в
наиболее
ситуациях
дискуссионности их трактовок или фактического отсутствия определенности в их
осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли
основного метода исследования, программа его проведения отражается в общей
программе исследования. Если же данный метод играет вспомогательную роль,
добавляя информацию к полученной иными методами, то исследователи обязаны
составить особую (самостоятельную) программу его реализации.
Главными ее компонентами будут формулировки, четко фиксирующие:
а) проблемную ситуацию;
б) терминологию экспертных оценок (путем операционализации общих
понятий);
в) гипотезы, выносимые на экспертизу;
г) комплекс требований, на основе которых будет производиться подбор
экспертов (критерии их компетентности);
д) индикаторы, позволяющие измерять суждения экспертов;
е) инструментарий этих замеров и первичной обработки данных;
ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и
интегрирования оценок экспертов.
Методы
экспертных оценок
специалистами-экспертами
и
–
это
обработки
методы
мнений
организации
экспертов,
работы
выраженных
со
в
количественной и/или качественной форме с целью подготовки информации для
принятия решений Лицами, принимающими решения.
Для проведения работы по методу экспертных оценок создают Рабочую
группу, которая и организует по поручению Лиц, принимающих решения
деятельность экспертов, объединенных (формально или по существу) в экспертную
комиссию.
Существует масса методов получения экспертных оценок. В одних с каждым
экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а
потому высказывает свое мнение независимо от авторитетов. В других экспертов
собирают вместе для подготовки материалов для Лиц, принимающих решения, при
этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные
мнения отбрасываются. В одних методах число экспертов фиксировано и таково,
чтобы статистические методы проверки согласованности мнений и затем их
усреднения позволяли принимать обоснованные решения.
Что должна представить экспертная комиссия в результате своей работы –
информацию для принятия решения лиц принимающих решения или проект самого
решения? От ответа на этот методологический вопрос зависит организация работы
экспертной комиссии.
Цель – сбор информации для лиц принимающих решения. Рабочая группа
должна собрать возможно больше относящейся к делу информации, аргументов "за"
и "против" определенных вариантов решений. Полезен метод постепенного
увеличения числа экспертов, описанный.
Сначала первый эксперт приводит свои соображения по рассматриваемому
вопросу. Составленный им материал передается второму эксперту, который
добавляет свои аргументы. Накопленный материал поступает к следующему –
третьему – эксперту... Процедура заканчивается, когда иссякает поток новых
соображений.
Хотелось бы отметить, что эксперты в рассматриваемом методе только
поставляют информацию, аргументы "за" и "против", но не вырабатывают
согласованного проекта решения.
Вывод. Нет никакой необходимости стремиться к тому, чтобы экспертные
мнения были согласованы между собой. Более того, наибольшую пользу приносят
эксперты с мышлением, отклоняющимся от массового, поскольку именно от них
следует ожидать наиболее оригинальных аргументов.
Цель – подготовка проекта решения для лиц принимающих решения.
Математические методы в экспертных оценках применяются обычно именно для
решения задач подготовки проекта решения. При этом зачастую некритически
принимают догмы согласованности и одномерности.
Догма согласованности
Считается, что решение может быть принято лишь на основе согласованных
мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение
отличается
от
мнения
большинства.
При
этом
отсеиваются
как
неквалифицированные лица, попавшие в состав экспертной комиссии по
недоразумению
или
по
соображениям,
не
имеющим
отношения
к
их
профессиональному уровню, так и наиболее оригинальные мыслители, глубже
проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы,
предоставить им возможность для обоснования их точек зрения. Вместо этого их
мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп,
имеющих единые групповые точки зрения. Приведен пример деления специалистов
при
оценке
результатов
научно-исследовательских
работ
на
две
группы:
"теоретиков", у которых получены теоретические результаты, и "практиков",
которые позволяют получать непосредственные прикладные результаты.
Иногда заявляют, что в случае обнаружения двух или нескольких групп
экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не
так! Цель достигнута – установлено, что единого мнения нет. И Люди,
принимающие решения должны это учитывать.
Вывод. Стремление обеспечить согласованность мнений экспертов любой
целой может приводить к сознательному одностороннему подбору экспертов,
игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей
группе (или даже "подсказанной" людьми принимающими решения). Поскольку
число экспертов обычно не превышает 20-30, то формальная статистическая
согласованность мнений экспертов может сочетаться с реально имеющимся
разделением на группы, что делает дальнейшие расчеты не имеющими отношения к
действительности.
Догма одномерности
Распространен довольно примитивный подход так называемой "квалиметрии",
согласно которому объект всегда можно оценить одним числом.
Вывод. Таким образом, важна конкретная (узкая) постановка задачи перед
экспертами. Но такой постановки зачастую нет. И тогда "игры" по разработке
обобщенного показателя качества не имеют объективного характера.
Основные стадии экспертного опроса
Выделяют следующие стадии проведения экспертного опроса:
формулировка Лицом, Принимающим Решения, цели экспертного опроса;
подбор Лицом, принимающим решение основного состава Рабочей группы;
разработка Рабочей группы и утверждение у Лиц, принимающих решения
технического задания на проведение экспертного опроса;
разработка Рабочей группой подробного сценария проведения сбора и анализа
экспертных мнений (оценок), включая как конкретный вид экспертной информации
и конкретные методы анализа этой информации (статистический анализ);
подбор экспертов в соответствии с их компетентностью;
формирование экспертной комиссии;
проведение сбора экспертной информации;
анализ экспертной информации;
при наличии нескольких туров - повторение двух предыдущих этапов;
интерпретация полученных результатов и подготовка заключения для Лиц,
принимающих решения;
официальное окончание деятельности Рабочей группы.
Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных. В качестве
экспертов необходимо использовать тех людей, чьи суждения наиболее помогут
принятию адекватного решения. Но как выделить, найти, подобрать таких людей?
Нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
Часто предлагают использовать методы
взаимооценки
и самооценки
компетентности экспертов. С одной стороны, кто лучше может знать возможности
эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее
оценивается степень самоуверенности эксперта, чем его реальная компетентность.
Тем более, что само понятие "компетентность" строго не определено. Можно его
уточнять, выделяя составляющие, но при этом усложняется предварительная часть
деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления
личностных и групповых симпатий и антипатий, играет роль неосведомленность
экспертов о возможностях друг друга. В современных условиях достаточно хорошее
знакомство с работами и возможностями друг друга может быть лишь у
специалистов, много лет работающих совместно. Однако привлечение таких пар
специалистов не очень-то целесообразно, поскольку они слишком похожи друг на
друга.
Использование формальных показателей (должность, ученые степень и
звание, стаж, число публикаций...), очевидно, может носить вспомогательный
характер.
В случае
если процедура экспертного опроса предполагает совместную
работу экспертов, большое значение имеют их личностные качества. Один
"говорун" может парализовать деятельность всей комиссии. В подобных случаях
важно соблюдение регламента работы, разработанного Рабочей группой.
Необходимо подчеркнуть, что подбор экспертов в конечном счете – функция
Рабочей группы, и никакие методики подбора не снимают с нее ответственности.
Вывод. Именно на Рабочей группе лежит ответственность за компетентность
экспертов, за их принципиальную способность решить поставленную задачу.
При подборе экспертов должно быть учтено ограничение, касающееся
соответствия целей экспертов целям экспертного опроса. То есть необходимо
установить, имеется ли тенденция у отдельных экспертов необъективно оценивать
рассматриваемые
события.
Для
этого
желательно
выявить
потенциальные
возможные цели экспертов, противоречащие целям получения объективных
результатов.
Анализируя предшествующую деятельность экспертов, необходимо выяснить
наличие причин, которые приводят к стремлению завышать или занижать оценки
так, чтобы повлиять на групповые оценки в желательном для себя, либо для других
лиц, направлении.
Формирование вопросов и составление анкет
Правила опроса экспертов содержат ряд положений, обязательных к
выполнению всеми. Эти правила должны обеспечивать соблюдение условий,
благоприятствующих формированию экспертами объективного мнения. В число
таких условий входят:
независимость
формирования
экспертами
собственного
мнения
об
оцениваемых событиях;
удобство работы с предполагаемыми анкетами (вопросы формулируются в
общепринятых терминах и должны исключать всякую смысловую неоднозначность
и др.);
логическое соответствие вопросов структуре объекта опроса;
приемлемые затраты времени на ответы по вопросам анкеты, удобное время
получения вопросов и выдачи ответов;
сохранение анонимности ответов для членов экспертной группы;
предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработаны правила
проведения опроса и организации работы экспертной группы.
Работа с экспертами
В зависимости от характера исследуемого объекта, от степени его
формализации и возможности привлечения необходимых экспертов, порядок
работы с ними может быть различным, но в основном он содержит следующие три
стадии.
На первой стадии эксперты привлекаются в индивидуальном порядке с целью:
уточнить модель объекта, ее параметры и показатели, подлежащие экспертной
оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать
целесообразность той или иной формы представления таблиц экспертных оценок;
уточнить группы экспертов.
На второй стадии экспертам направляются анкеты с пояснительным письмом,
в котором описываются цель работы, структура и порядок построения таблиц с
примерами.
Если имеется возможность собрать экспертов вместе, то цели и задачи
анкетирования, а также все вопросы, связанные с анкетированием, могут быть
изложены устно. Обязательное условие такой формы экспертного опроса —
последующее
самостоятельное
заполнение
анкет,
при
соблюдении
правил
анкетирования.
Третья стадия работы с экспертами осуществляется после получения
результатов опроса, в процессе обработки и анализа полученных результатов.
На этой стадии от экспертов в форме консультации обычно получают всю
необходимую информацию, которая требуется для уточнения данных и их
окончательного анализа.
Формирование правил определения суммарных оценок на основе оценок
отдельных экспертов.
Рациональное
использование
информации,
получаемой
от
экспертов,
возможно при условии преобразования ее в форму, удобную для дальнейшего
анализа, направленного на подготовку и принятие решений.
Математические модели поведения экспертов
Теория и практика экспертных оценок весьма математизированы. Можно
выделить две взаимосвязанные ветви – математические модели поведения экспертов
и математико-статистические методы анализа экспертных оценок.
Методы средних баллов. В настоящее время распространены экспертные,
маркетинговые, квалиметрические, социологические и иные опросы, в которых
опрашиваемых просят выставить баллы объектам, процессам, учреждениям,
проектам, идеям, проблемам, программам и т.п., а затем рассчитывают средние
баллы и рассматривают их как интегральные оценки, выставленные коллективом
опрошенных.
Какими формулами пользоваться для вычисления средних величин? Средних
величин очень много разных видов. Обычно применяют среднее арифметическое.
Обоснованным является использование медиан в качестве средних баллов. Однако
полностью игнорировать средние арифметические нецелесообразно из-за их
привычности и распространенности.
Вывод. Целесообразно использовать одновременно оба метода – и метод
средних арифметических рангов (баллов), и методов медианных рангов. Такая
рекомендация находится в согласии с концепцией устойчивости, рекомендующей
использовать различные методы для обработки одних и тех же данных с целью
выделить выводы, получаемые одновременно при всех методах. Такие выводы
соответствуют реальной действительности, в то время как заключения, меняющиеся
от метода к методу, зависят от субъективизма исследователя, выбирающего метод
обработки исходных экспертных оценок. Ссылка на источник
Рациональное
использование
информации,
получаемой
от
экспертов,
возможно при условии преобразования ее в форму, удобную для дальнейшего
анализа.
Формализация
информации,
получаемой
от
экспертов,
должна
быть
направлена на подготовку решения таких задач, которые не могут быть в полной
мере описаны математически.
Смысл
формализации
–
упростить,
стандартизировать
и
ускорить
использование «свободной», но важной информации. В идеале формализации
подлежит вся используемая информация, попадающая в «зазор» между бесполезной
и полезной, но уже формализованной информацией.
Существует шесть принципов, лежащих в основе формализации информации:
простота;
удобство в использовании;
целесообразность;
краткость;
структурированность;
обязательность;
наглядность.
Одна из главных трудностей при оценивании состоит в том, что помимо
явлений,
объектов,
факторов,
состояние
которых
может
быть
выражено
количественно (в руб., и т.п.), приходится оценивать качественные факторы,
уровень которых нельзя точно определить. Часть информации, не поддающуюся
количественному измерению, необходимо представить в виде косвенных оценок.
Вывод. Если эксперт способен сравнить и оценить какие-либо объекты,
явления, факторы, варианты действий, приписав каждому из них какое-либо число,
то говорят, что он обладает определенной системой предпочтений.
В зависимости от того, по какой шкале заданы эти предпочтения, экспертные
оценки содержат больший или меньший объем информации и обладают различной
способностью к математической формализации.
Шкала – это инструмент (принятая система правил) оценки (измерения) какихлибо объектов или явлений.
Различают четыре типа шкал.
1. Номинальная шкала. Реализует простейший тип измерения. В этом случае
проводится сравнение свойств объекта (явления) с каким-либо признаком-эталоном,
результатом является упорядочение по двухэлементной шкале, где каждому из
объектов (явлений) присваивается балл, равный нулю либо единице.
2. Порядковая шкала. Цель состоит в упорядочении объектов (явлений), а
точнее, в выявлении с помощью экспертов скрытой упорядоченности, которая, по
предположению, присуща множеству объектов. Результатом оценки является
решение о том, что какой-либо объект (явление) предпочтительнее другого в
отношении какого-то критерия.
3. Интервальная шкала. Оценка по данной шкале позволяет не только
определить, что один объект (явление) предпочтительнее другого, но также
определить: на сколько предпочтительнее. Нулевая точка и единица измерения
выбираются при этом произвольно.
Измерение
фактически
производится
по
шкале
из
четырех
баллов
("неудовлетворительно", "удовлетворительно", "хорошо", "отлично").
4. Шкала отношения. В данном случае предполагается, что известно
абсолютное значение свойств объекта, т.е. известна истинная нулевая точка. Шкала
используется для тех факторов, которые могут быть представлены количественно.
В зависимости от существа исследуемых объектов для их оценки могут быть
использованы различные шкалы.
4. Способы измерения объектов
Перейдем к рассмотрению вопросов формирования экспертных оценок, а
именно к рассмотрению способов (техники) измерения объектов.
В первую очередь нас будут интересовать способы измерения, позволяющие
расположить объекты на порядковой или интервальной шкале, поскольку именно
такой тип оценок чаще всего используется при проведении экспертизы. Это
объясняется тем, что оценка по номинальной шкале предполагает лишь два варианта
ответов – ДА, НЕТ. По шкале отношения измеряются факторы, имеющие
количественный характер. Значения этих факторов часто можно получить
расчетным путем без использования экспертных оценок.
Выделим способы измерения объектов, наиболее часто применяемые при
оценке по порядковой или интервальной шкале: ранжирование, парное сравнение,
непосредственная оценка.
1.Ранжирование – это расположение объектов в порядке возрастания или
убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из
исследуемой совокупности факторов наиболее существенный.
Результатом проведения ранжирования является ранжировка.
Если имеется n объектов, то в результате их ранжирования j-ым экспертом
каждый объект получает оценку xij – ранг, приписываемый i-му объекту j-ым
экспертом.
Значения xij находятся в интервале от 1 до n. Ранг самого важного фактора
равен единице, наименее значимого – числу n.
Ранжировкой j-го эксперта называется последовательность рангов x1j, x2j, …,
xnj.
Достоинством метода является его простота, а недостатком - ограниченные
возможности использования. При оценке большого количества объектов экспертам
очень трудно строить ранжированный ряд, поскольку приходится учитывать
множество сложных связей.
Из всего вышесказанного можно сделать вывод
Характерными особенностями методов экспертных оценок и моделей их
реализации как инструмента научного решения сложных неформализуемых проблем
являются:
во-первых, научно обоснованная организация всех этапов экспертизы,
обеспечивающая эффективность работы на каждом из этапов;
во-вторых, применение количественных методов как при организации
экспертизы, так и при оценке суждений экспертов на основе формальной групповой
обработки результатов их мнений.
Эти особенности отличают методы экспертных оценок от обычной давно
известной
экспертизы,
применяемой
в
различных
сферах
человеческой
деятельности.
Одним из наиболее ответственных этапов обработки собранной информации
является согласование экспертных мнений, что может быть сделано на основе
одного из следующих правил:
правило большинства - выбирается та оценка явления или то решение задачи,
которых придерживается большинство экспертов (однако, надо заметить, нередки
ситуации, когда эксперты, дающие более достоверные оценки, оказываются в
меньшинстве);
правило авторитета - выбирается то решение, к которому склоняются самые
авторитетные эксперты (в этом случае каждому эксперту должен быть приписан
"вес", учитывающий его уровень компетентности);
правило средней оценки – мнения экспертов приводятся к некому общему
знаменателю. Для количественных оценок это сделать достаточно просто:
определяется либо простая, либо взвешенная средняя оценка, для качественной
информации такое согласование более сложно. При согласовании количественных
оценок также может использоваться отбрасывание наименьшей и наибольшей
оценок и усреднение оставшихся.
При согласовании экспертных мнений и выработке окончательной экспертизы
важно соблюсти следующие требования:
системность и взаимная непротиворечивость параметров экспертизы;
обоснованность и логичность выводов;
полнота решения поставленной задачи.
Соблюдение этих требований и обеспечивает высокое качество экспертизы
при условии, естественно, соответствующей компетентности экспертов.
В целом надежность сформированной экспертизы определяется двумя
основными факторами. Во-первых, квалификацией экспертов, их способностью к
решению
задач
данного
уровня
сложности.
Во-вторых,
квалификацией
исследовательской команды, ее способностью отобрать компетентных экспертов,
"извлечь" и аккумулировать экспертные знания о проблеме.
Использование метода экспертных оценок помогает формализовать процедур
сбора, обобщения и анализа мнений специалистов с целью преобразования их в
форму, наиболее удобную для принятия обоснованного решения.
Но, следует заметить, что метод экспертных оценок не может
заменить ни административных, ни плановых решений, он лишь позволяет
пополнить информацию, необходимую для подготовки и принятия таких решений.
Экспертные методы непрерывно развиваются и совершенствуются. Основные
направления этого развития определяются рядом факторов, в числе которых можно
указать на стремление расширить области применения, повысить степень
использования математических методов и электронно-вычислительной техники, а
также изыскать пути устранения выявляющихся недостатков.
Однако, уже и сегодня экспертные оценки в сочетании с другими математикостатистическими методами являются важным инструментом совершенствования
управления на всех уровнях.