Абаев Л. Ч. Экспертные методы в исследовании проблем
advertisement
МЕЖДУНАРОДНАЯ ПОЛИТИКА 29 УДК 327:510.67 ББК 66.4(0)в6 Абаев Лев Черменович*, ведущий научный сотрудник отдела оборонной политики РИСИ, доктор технических наук. Экспертные методы в исследовании проблем международных отношений: теоретические и практические аспекты Анализ актуальных проблем международных отношений, как и в целом сложных социально-политических проблем и процессов, характеризуется целым рядом особенностей, которые затрудняют применение традиционных математических методов (в том числе и наиболее близких к данной области – экономико-математических), оперирующих количественной исходной информацией, причём достаточно надёжной и имеющей, так сказать, "физическую" природу. В большинстве случаев информация о социально-политических процессах имеет качественный, лингвистический характер. Кроме того, социально-политические системы относятся к категории исключительно сложных систем с очень большим числом структурных элементов, взаимосвязей между ними, которые к тому же подвержены динамическим изменениям (т.е., выражаясь математическим языком, социально-политические системы являются системами с переменной структурой). В условиях кризисных ситуаций данные особенности этих систем проявляются ещё сильнее, что в значительной степени затрудняет применение формальных методов их анализа. Поэтому в настоящее время для анализа проблем международных отношений и подготовки информации для принятия решений наиболее широко используются экспертные методы, основанные на привлечении к решению возникающих задач квалифицированных специалистов по рассматриваемым проблемам. Однако следует учитывать, что отсутствие качественного подхода к организации и управлению при подготовке и непосредственном проведении экспертизы, а также при дальнейшем анализе полученной информации может существенно снизить её эффективность. Особенно это касается коллективных экспертиз, характеризующихся, по крайней мере, двумя сложными задачами: (1) формирование экспертной группы (поскольку качество экспертизы в значительной степени определяется уровнем компетентности привлекаемых специалистов, кроме того, необходимо определить и рациональную численность экспертной группы); и (2) анализ и обобщение групповых экспертных оценок (т.е. формирование итоговых ______________ * abaev_lev@mail.ru. 30 ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 выводов и рекомендаций), равно как и оценка надёжности, согласованности и непротиворечивости индивидуальных экспертных оценок. Для решения подобных задач современная прикладная математика располагает аппаратом (комплексом процедур, методов, алгоритмов), позволяющим в определённой мере повысить эффективность обработки экспертной информации, а также использовать её в формальных моделях принятия решений (в том числе и в ситуациях кризисного, конфликтного характера). В основе подхода к решению данных задач лежат математико-статистические методы обработки экспертной информации, применимость которых различна и зависит от этапов комплексного экспертного решения рассматриваемых проблем. Общая схема и основные этапы проведения коллективного экспертного опроса на основе анкетирования представлены на рис. 1. В наименьшей степени математико-статистические методы обработки экспертной информации применяются на этапах подготовки и непосредственного проведения экспертного опроса. На этом этапе формальные методы могут быть использованы при формировании экспертной группы для решения двух задач: – определение уровня компетентности экспертов для решения рассматриваемой проблемы с целью формирования наиболее качественной в плане профессиональной подготовленности экспертной группы; – определение в некотором смысле оптимальной численности экспертной группы. Ïîäãîòîâêà ýêñïåðòèçû Ðàçðàáîòêà ìåòîäèêè ýêñïåðòíîãî îïðîñà Ôîðìèðîâàíèå ðåïðåçåíòàòèâíîé ýêñïåðòíîé ãîðóïïû Óñòàíîâëåíèå ñïîñîáà è ôîðìû ïðîâåäåíèÿ îïðîñà Ðàçðàáîòêà îïðîñíûõ àíêåò Ðàçðàáîòêà ìåòîäèêè îáðàáîòêè ðåçóëüòàòîâ îïðîñà Ðàçðàáîòêà ìåòîäèêè îöåíêè êîìïåòåíòíîñòè ýêñïåðòîâ Ôîðìèðîâàíèå ñïèñêà ïîòåíöèàëüíûõ ýêñïåðòîâ Ïðîâåäåíèå îöåíêè êîìïåòåíòíîñòè è ôîðìèðîâàíèå ýêñïåðòíîé ãðóïïû Ïðîâåäåíèå ýêñïåðòíîãî îïðîñà Àíàëèç è îáðàáîòêà ðåçóëüòàòîâ ýêñïåðòíîãî îïðîñà Âûâîäû ïî ðåçóëüòàòàì ýêñïåðòèçû è ïîäãîòîâêà èòîãîâîãî äîêóìåíòà Рис. 1. Общая схема и основные этапы проведения коллективного экспертного опроса Следует отметить, что для оценки компетентности экспертов существует два основных подхода. Первый базируется на субъективных оценках самих экспертов (в части глубины изученности ими обсуждаемой проблемы, объёма и характера информации, используемой в своей работе, степени соответствия рассматриваемой проблемы их профессиональной МЕЖДУНАРОДНАЯ ПОЛИТИКА 31 деятельности, наконец, общего уровня научно-профессиональной подготовки). На основании ответов специалиста на поставленные вопросы по определённому алгоритму формируется его общая оценка компетентности, которая и учитывается при принятии решения о включении его в экспертную группу. Второй подход основан на относительно объективных методах оценки компетентности экспертов. В этом случае последним предлагается набор тестовых вопросов, "истинные" ответы на которые известны, и в зависимости от "близости" выбранных экспертами ответов к "истинным" определяется их компетентность. Кроме того, существуют процедуры (основанные на методах парных сравнений), позволяющие выявить наличие противоречий во мнениях экспертов, что также способствует более объективной оценке их компетентности. Наконец, относительно объективная оценка степени компетентности эксперта может быть получена путём опроса специалистов на предмет включения того или иного эксперта в группу. В зависимости от частоты упоминания специалистами данного эксперта рассчитывается оценка компетентности последнего. Определение численности экспертной группы в существенной степени зависит от объёма средств, выделяемых на экспертизу, и времени, требуемого на её проведение. Если таковые минимальны (для целей экспертизы достаточно получить на каждый вопрос ответ хотя бы одного эксперта), то может быть использована процедура случайного поиска, при котором вероятность включения эксперта в группу тем выше, чем большее число вопросов он может проанализировать и, соответственно, дать на них ответы. В таком случае методом случайного поиска формируется минимальная группа экспертов, полностью "покрывающая" все вопросы1. Для определения максимальной численности экспертной группы может быть предложен подход, основанный на информации об уровне компетентности экспертов2. При этом максимальная численность экспертной группы Nmax должна быть такой, чтобы выполнялось равенство: n Ki ∑ 2 i =1 N max = 3 K max , где Kmax – максимальная оценка компетентности экспертов ( K max = max K i ); i Ki – оценка компетентности i-го эксперта; n – численность исходной экспертной группы (n > Nmax). Окончательно численность экспертной группы N определяется неравенством: N min ≤ N ≤ N max . 1 См.: Добров Г. М., Ершов Ю. В., Левин Е. И., Смирнов Л. П. Экспертные оценки в научно-техническом прогнозировании / Г. М. Добров, Ю. В. Ершов, Е. И. Левин, Л. П. Смирнов. Киев : Наукова Думка, 1974. 160 с. 2 См.: Саркисян С. А. и др. Экономическое прогнозирование развития больших технических систем / С. А. Саркисян, Д. В. Старик, П. Л. Акопов и др. М. : Машиностроение, 1977. 318 с. 32 ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 Как уже отмечалось, на этапе проведения экспертного опроса математико-статистические методы практически не используются. Поэтому основной результат достигается за счёт комплексироваÄà ния двух факторов: Íåò – формирования экспертной Íå çíàþ группы, способной обеспечить эффективный анализ решаемой Рис. 2. Пример закрытого вопроса проблемы; – организации экспертного опроса, наиболее адекватного рассматриваемой проблеме. Остановимся подробнее на втором факторе. Здесь важнейшее значение имеет разработка опросных анкет, обеспечивающих получение в максимальной степени объективных и достаточно надёжных ответов, причём именно по рассматриваемой проблеме. Поэтому вопросы должны быть сформулированы максимально чётко, без какого-либо двойного толкования. Как показывает практика, излишне большое количество вопросов, как и их излишняя сложность, приводят к быстрой утомляемости опрашиваемых. Самыми сложными являются так называемые открытые вопросы, предусматривающие ответ в произвольной форме. Поэтому желательно минимизировать число таких вопросов. К тому же формальная обработка ответов на них практически невозможна. Наименьшие трудности у экспертов вызывают закрытые вопросы, требующие однозначного ответа – "да", "нет", "не знаю" (рис. 2). Эти вопросы достаточно легко обрабатываются, однако они "покрывают" лишь тот достаточно узкий круг проблем, для которых может быть определён единственный вариант их решения. В социально-политических процессах подобные проблемы практически не возникают. Кроме того, в случае отрицательного мнения экспертов по предложенному варианту решения экспертиза в определённом смысле теряет конструктивный характер (нет решения проблемы). Тем не менее закрытые вопросы могут (а иногда и должны) включаться в опросные анкеты с целью критического анализа уже подготовленных решений. Наиболее распространёнными являются так называемые вопросы "веерного" типа (рис. 3), когда эксперту предлагаются на выбор несколько вариантов ответа. Данные вопросы целесообразно использовать при наличии нескольких достаточно чётко определённых альтернативных вариантов. (Такие варианты формируются для ориентации экспертов по возможному кругу направлений решения проблемы.) При этом возможны три подхода к ответам на поставленный вопрос. Первый основан на выборе экспертом одного варианта ответа из нескольких (что соответствует измерению в так называемой номинальной шкале), что не вызывает у него существенных затруднений. Однако минусом такого подхода является его малая информативность (остальные ответы как бы "выпадают" из рассмотрения), а в случае рассогласованности экспертной информации может возникнуть ситуация, когда невозможно дать надёжный и обоснованный ответ на поставленный вопрос. Кроме Óêðåïèò ëè åâðîïåéñêóþ áåçîïàñíîñòü ïðèíÿòàÿ â 2010 ã. íîâàÿ Ñòðàòåãè÷åñêàÿ êîíöåïöèÿ ÍÀÒÎ? (Ïîä÷åðêíèòå íóæíûé îòâåò) МЕЖДУНАРОДНАЯ ПОЛИТИКА 33 того, здесь важное значение имеет определение исходного множества вариантов ответов. Они должны быть строго альтернативными, т.е. выбранный вариант предполагает его несовместимость с остальными вариантами. Êàê, íà Âàø âçãëÿä, âëèÿåò ïîëèòèêà ÑØÀ íà ñèñòåìó åâðîïåéñêîé áåçîïàñíîñòè? (Âûáåðèòå îäèí èç ïðåäëàãàåìûõ âàðèàíòîâ îòâåòà)  ñóùåñòâåííîé ñòåïåíè ñïîñîáñòâóåò óêðåïëåíèþ ñèñòåìû åâðîïåéñêîé áåçîïàñíîñòè  íåçíà÷èòåëüíîé ñòåïåíè ñïîñîáñòâóåò óêðåïëåíèþ ñèñòåìû åâðîïåéñêîé áåçîïàñíîñòè Íå îêàçûâàåò âëèÿíèÿ íà ñèñòåìó åâðîïåéñêîé áåçîïàñíîñòè  íåçíà÷èòåëüíîé ñòåïåíè âåä¸ò ê îñëàáëåíèþ ñèñòåìû åâðîïåéñêîé áåçîïàñíîñòè  ñóùåñòâåííîé ñòåïåíè âåä¸ò ê îñëàáëåíèþ ñèñòåìû åâðîïåéñêîé áåçîïàñíîñòè Äðóãîé âàðèàíò îòâåòà Êîììåíòàðèé ïî ðàññìàòðèâàåìîìó âîïðîñó Рис. 3. Пример вопроса "веерного" типа При втором подходе возможен выбор нескольких вариантов ответов на поставленный вопрос, что позволяет повысить информативность и упростить работу эксперта, так как в данном случае от него не требуется единственного ("жёсткого") выбора. Кстати, такой подход может иногда использоваться для выявления противоречивости во мнениях эксперта (если среди возможных вариантов ответа будут несовместимые). Такой тип вопроса рассмотрим на следующем примере (рис. 4). Действительно, если эксперт выберет 1-й и 2-й варианты ответа на рассматриваемый вопрос (или 3-й и 4-й), то это будет свидетельствовать о его полной противоречивости и необходимости критического отношения к его ответам и на другие вопросы. В то же время в случае "корректного" ответа на поставленный вопрос (например, 2-й и 3-й) становится возможным получение экспертной информации сразу по двум важным аспектам рассматриваемой проблемы. В этом состоит основное преимущество данного типа вопросов. Недостатком же таких вопросов является определённая сложность их обработки и анализа. В самом деле, теоретически возможным и непротиворечивым для представленного вопроса может быть выбор любого из четырёх вариантов ответа, а также сочетание 1-го и 3-го, 1-го и 4-го, 2-го и 3-го и 2-го и 4-го вариантов ответа. Таким образом, при ответе экспертов на данный вопрос следует рассмотреть восемь возможных вариантов 34 ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 ответа, что усложняет обработку и анализ экспертной информации. Отметим, что для упрощения процедуры обработки в ряде случаев возможно простое суммирование всех вариантов ответа с последующим определением частоты их встречаемости (тогда вариантов ответа будет лишь четыре), но важно учитывать, что при этом может быть потеряна информация о взаимосвязи между некоторыми вариантами ответа. Êàê Âû îöåíèâàåòå ñèòóàöèþ ñ èðàíñêîé ÿäåðíîé ïðîáëåìîé è âîçìîæíîñòè å¸ ðåøåíèÿ? (Âûáåðèòå íå áîëåå äâóõ èç ïðåäëàãàåìûõ âàðèàíòîâ îòâåòà) Ïðåäñòàâëÿåòñÿ äîñòàòî÷íî âåðîÿòíûì ñîçäàíèå Èðàíîì ÿäåðíîãî îðóæèÿ â áëèæàéøèå òðè ãîäà Ïðåäñòàâëÿåòñÿ ìàëîâåðîÿòíûì ñîçäàíèå Èðàíîì ÿäåðíîãî îðóæèÿ â áëèæàéøèå òðè ãîäà Ïðåäñòàâëÿåòñÿ äîñòàòî÷íî âåðîÿòíûì ïðîâåäåíèå â áëèæàéøèå äâà ãîäà âîåííîé îïåðàöèè ïðîòèâ Èðàíà ñ öåëüþ íåäîïóùåíèÿ ñîçäàíèÿ èì ÿäåðíîãî îðóæèÿ Ïðåäñòàâëÿåòñÿ ìàëîâåðîÿòíûì ïðîâåäåíèå â áëèæàéøèå äâà ãîäà âîåííîé îïåðàöèè ïðîòèâ Èðàíà ñ öåëüþ íåäîïóùåíèÿ ñîçäàíèÿ èì ÿäåðíîãî îðóæèÿ Äðóãîé âàðèàíò îòâåòà Êîììåíòàðèé ïî ðàññìàòðèâàåìîìó âîïðîñó Рис. 4 В целом практика показывает, что при подготовке вопросов данного типа следует ограничиться двумя "самостоятельными" группами ответов по два, максимум три варианта ответа в каждой группе. Более информативным является третий подход, при котором эксперт оценивает все варианты ответа либо в количественной шкале (т.е. даёт оценку, показывающую, насколько данный ответ более вероятен (истинен) по сравнению с другими ответами), либо в порядковой (т.е. ранжирует ответы по степени их "соответствия" вопросу). Заметим, что подобный подход позволяет упростить работу экспертов (особенно при ответах на достаточно сложные, "глобальные" вопросы), так как не требует от них единственного ответа. Наконец, процедура с "веером" ответов является наиболее адекватной для вопросов, ответы на которые представляют собой возможные последствия тех или иных политических процессов. Поскольку таких последствий может быть несколько, то представляется важным определение того, какие из них окажутся наиболее вероятными (естественно, и здесь возможно как ранжирование ответов, так и сопоставление им численных оценок, например, вероятностей тех или иных последствий). Следует также заметить, что, с одной стороны, в вопросах с "веером" ответов эксперту гораздо легче ранжировать ответы, нежели оценить их МЕЖДУНАРОДНАЯ ПОЛИТИКА 35 численно в количественной шкале, поскольку точность подобных оценок может быть невысокой и, как следствие, полученное решение окажется ненадёжным. Однако, с другой стороны, анализ количественных оценок будет гораздо более полным, нежели анализ ранговых, поскольку аппарат математической статистики в первую очередь ориентирован именно на непрерывные численные оценки (хотя ранговая статистика развивается в последнее время достаточно интенсивно). В настоящее время существует ряд методов, позволяющих преобразовать ранговые экспертные оценки (т.е. измерения в порядковой шкале) в количественную информацию в шкале отношений (рис. 5 и 6). Такое преобразование оказывается возможным в случае проведения коллективных экспертиз, поскольку информация, получаемая не от одного, а от группы экспертов, обладает определённой избыточностью. Это и позволяет с использованием ряда моделей преобразования информации повысить её информативность. К такого рода моделям относятся турнирная, модель Брэдли-Терри, модель Тэрстоуна, стохастическая модель, модель Саати, модель равномерного сглаживания3. Îöåíèòå ïðèîðèòåòíîñòü ðÿäà åâðîïåéñêèõ ñòðàí äëÿ èíòåðåñîâ Ðîññèè (Ïðèñâîéòå ðàíã êàæäîé èç óêàçàííûõ ñòðàí ïî ñòåïåíè å¸ ïðèîðèòåòíîñòè îò 1 äî 6: íàèáîëåå ïðèîðèòåòíîé äëÿ Ðîññèè ñòðàíå ïðèñâàèâàåòñÿ ðàíã 1, íàèìåíåå ïðèîðèòåòíîé – 6) Âåëèêîáðèòàíèÿ Èòàëèÿ Ñåðáèÿ Ãåðìàíèÿ Ïîëüøà Ôðàíöèÿ Èñïàíèÿ Äðóãîé âàðèàíò îòâåòà Êîììåíòàðèé ïî ðàññìàòðèâàåìîìó âîïðîñó Рис. 5. Пример вопроса, требующего ранжирования ответов 3 См. об этом: Jech T. The ranking of incomplete tournaments: A mathematician's guide to popular sports / Thomas Jech // American Mathematical Monthly. 1983. Vol. 90, № 4. P. 246–266; Bradley R. A., Terry M. E. The rank analysis of incomplete block designs: The method of paired comparisons / Ralph Allan Bradley, Milton E. Terry // Biometrika. London, 1952. Vol. 39, № 3–4. P. 324–345; Thurstone L. L. The method of paired comparisons for social values / L. L. Thurstone // Journal of Abnormal and Social Psychology. New York, 1927. Vol. 21. P. 384–400; Ушаков И. А. Задача о выборе предпочтительного объекта / И. А. Ушаков // Известия АН СССР. Сер. "Техн. кибернетика". 1971. № 4. С. 3–8; Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати ; пер. с англ. Р. Г. Вачнадзе. М. : Радио и связь, 1993. 320 с.; Киселёв Ю. В. Оценка важности программ методом парных сравнений / Ю. В. Киселёв // Известия АН СССР. Сер. Техника. Кибернетика. 1971. № 3. С. 41–47. Об анализе указанных моделей см.: Абаев Л. Анализ экспертной информации: методы и технологии / Лев Абаев. [Б. м.] : Palmarium Academic Publishing, 2012. 156 с.; Абаев Л. Ч. Проблемы преобразования "качественной" экспертной информации в "количественную" / Л. Ч. Абаев // Вторая международная конференция по проблемам управления (17–19 июня 2003 г.) : Избранные труды в 2 т. М. : Ин-т проблем управления, 2003. Т. 1. С. 229–236. 36 ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 Важно отметить, что преобразование ранговых экспертных оценок в количественные, измеренные в шкале отношений, позволяет получить только сравнительные оценки по исследуемому вопросу. Например, если оценивается вероятность реализации различных политических процессов, то оценки в шкале отношений позволяют лишь узнать, во сколько раз вероятность реализации одного из рассматриваемых процессов больше вероятности реализации другого, но не позволяют определить само значение вероятности. Поэтому наиболее эффективными сферами практического применения указанных подходов будут те проблемы, где искомая экспертная информация по своей сути является сравнительной (например, оценки сравнительной важности тех или иных целей исследуемых стран и стратегий их достижения, сравнительная приоритетность для России различных государств или других субъектов международных отношений и т.п.). Таким образом, выбор типа экспертных оценок – ранговых или количественных – в первую очередь зависит от характера исследуемых проблем международных отношений. Одной из сложностей для специалиста при проведении экспертизы с "веером" ответов является необходимость оперировать одновременно всей совокупностью предлагаемых ответов. В случае, когда множество ответов достаточно велико (например, больше восьми-десяти), подобная "технология" работы эксперта может оказаться достаточно сложной для него, что приведёт к необъективности и ненадёжности ответов. Êàêîâû, íà Âàø âçãëÿä, âîçìîæíûå ïîñëåäñòâèÿ ó÷àñòèÿ Ðîññèè â ñîçäàíèè ÅâðîÏÐÎ? (Îöåíèòå âåðîÿòíîñòü êàæäîãî èç ðàññìàòðèâàåìûõ âàðèàíòîâ âîçìîæíûõ ïîñëåäñòâèé ó÷àñòèÿ Ðîññèè â ñîçäàíèè ÅâðîÏÐÎ â øêàëå [0,1]) Óêðåïëåíèå áåçîïàñíîñòè êàê ñòðàí ÍÀÒÎ, òàê è Ðîññèè Óêðåïëåíèå áåçîïàñíîñòè ñòðàí ÍÀÒÎ â óùåðá èíòåðåñàì Ðîññèè Ðåàëèçàöèÿ ïðîåêòà ñîçäàíèÿ ñîâðåìåííîé ÅâðîÏÐÎ íå âûéäåò çà ðàìêè ïîëèòè÷åñêèõ äåêëàðàöèé Ó÷àñòèå Ðîññèè â äàííîì ïðîåêòå ïðèâåä¸ò ëèøü ê ñíÿòèþ áàðüåðîâ, ïðåïÿòñòâóþùèõ ñîçäàíèþ ãëîáàëüíîé ÏÐÎ ÑØÀ Äðóãîé âàðèàíò îòâåòà Êîììåíòàðèé ïî ðàññìàòðèâàåìîìó âîïðîñó Рис. 6. Пример вопроса, требующего численной оценки ответов МЕЖДУНАРОДНАЯ ПОЛИТИКА 37 Для упрощения работы экспертов в подобной ситуации используется ряд методов, в частности метод парных сравнений (рис. 7), преимуществом которого является то, что эксперту предлагается оперировать не всеми возможными ответами сразу, а лишь парами ответов, выбирая из каждой пары предпочтительный вариант. При этом, правда, увеличивается трудоёмкость работы экспертов, но зато в существенной степени повышается надёжность и точность их ответов. Àçåðáàéäæàí Àðìåíèÿ Áåëîðóññèÿ Ãðóçèÿ Êàçàõñòàí Êèðãèçèÿ Ìîëäàâèÿ Óêðàèíà Óçáåêèñòàí Òóðêìåíèÿ Òàäæèêèñòàí Ðîññèÿ Ìîëäàâèÿ Êèðãèçèÿ Êàçàõñòàí Ãðóçèÿ Áåëîðóññèÿ Àðìåíèÿ Àçåðáàéäæàí Îöåíèòå ñòåïåíü ïðèîðèòåòíîñòè ïîñòñîâåòñêèõ ñòðàí äëÿ èíòåðåñîâ ÍÀÒÎ (Îïðåäåëèòå äëÿ êàæäîé ïàðû èç ðàññìàòðèâàåìûõ ñòðàí áîëåå ïðèîðèòåòíóþ äëÿ èíòåðåñîâ ÍÀÒÎ è çàïîëíèòå ìàòðèöó ïàðíûõ ñðàâíåíèé) – – – – – – – Ðîññèÿ Òàäæèêèñòàí Òóðêìåíèÿ Óçáåêèñòàí Óêðàèíà – – – – – Êîììåíòàðèé ïî ðàññìàòðèâàåìîìó âîïðîñó Рис. 7. Пример вопроса, требующего проведения попарных экспертных сравнений Рассмотренный метод имеет важную положительную особенность, а именно, предоставляет возможность определения противоречий в оценках того или иного эксперта. Эти противоречия возникают в случае нарушения так называемого свойства транзитивности парных сравнений. Например, если эксперт считает цель А важнее цели В, цель В важнее цели С, а цель С важнее цели А, то его оценки представляются противоречивыми. Для определения степени противоречивости эксперта и устранения противоречий в его оценках разработан ряд методов4, на наш взгляд, достаточно эффективных, 4 См.: Дэвид Г. Метод парных сравнений : пер. с англ. / Г. Дэвид. М. : Статистика, 1978. 144 с. ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 38 но существенно увеличивающих трудоёмкость анализа экспертной информации. В целом практический опыт показал, что парные экспертные сравнения довольно сложно использовать в "традиционных" анкетных экспертных опросах (особенно проводимых в ходе различных конференций, круглых столов, рабочих совещаний и т.п.), так как этот метод является весьма трудоёмким и длительным по времени. Однако он может эффективно применяться при проведении комплексных исследований проблем международных отношений с использованием методов моделирования, таких как когнитивное, метод анализа иерархий и др.5 Наконец, в последнее время разрабатываются вопросы "веерного" типа, ответы на которые представляют собой либо нечёткие, либо лингвистические (вербальные) оценки. Необходимость разработки таких анкет обусловлена двумя важными особенностями: анкеты с ответами типа "да", "нет", "не знаю" (закрытые вопросы) и анкеты с вопросами, требующими выбора одного ответа из нескольких ("веерного" типа), хотя и являются достаточно простыми для эксперта, недостаточно информативны, а анкеты с вопросами, требующими количественных оценок при ответах на вопрос, хотя и информативны, но весьма сложны для эксперта, и в силу неизбежности ошибок в его ответах могут оказаться ненадёжными. Нечёткие и лингвистические оценки в ответах на вопрос дают возможность эксперту либо указать свою степень уверенности при ответе на вопрос (в шкале [0,1]), либо дать качественную оценку степени своей уверенности ("средняя", "низкая", "довольно высокая", "выше средней" и т.п.). Такие оценки существенно упрощают работу эксперта, так как не ставят его в жёсткие рамки чёткого ответа на вопрос и в то же время в этом случае не происходит существенной потери информации. Лингвистические (вербальные) оценки могут заменить и количественные оценки при ответе на ряд вопросов, что также может упростить работу экспертов (рис. 8). Например, при ответе на вопросы, касающиеся того или иного события, эксперту вместо точечных (или интервальных) оценок вероятности гораздо легче дать лингвистическую оценку ("маловероятно", "более или менее вероятно", "высокая степень вероятности" и т.п.). При составлении анкет с вопросами "веерного" типа важным моментом является формулирование альтернативных вариантов ответов на задаваемые вопросы. Здесь возникает определённое противоречие, заключающееся в следующем. С одной стороны, если ответы на вопрос оказываются достаточно "близкими", похожими, то может возникнуть ситуация, когда мнения экспертов окажутся формально рассогласованными (ввиду выбора ими различных вариантов ответа), хотя реально их мнения являются достаточно однородными и различаются лишь в деталях. С другой стороны, в случае существенной разницы в вариантах ответа анализ решаемой проблемы может оказаться весьма общим и абстрактным, так как он не позволит провести детальную, "тонкую" проработку экспертных ответов, что в ряде случаев является обязательным. 5 Абаев Л. Ч. Моделирование кризисов и конфликтов в международных отношениях: опыт практического применения / Абаев Л. Ч. // Проблемы национальной стратегии. 2012. № 1 (10). С. 57–72. МЕЖДУНАРОДНАЯ ПОЛИТИКА 39 Êàêèìè Âû âèäèòå îòíîøåíèÿ Ðîññèè è ÍÀÒÎ â äîëãîñðî÷íîé ïåðñïåêòèâå? (Îöåíèòå âåðîÿòíîñòü êàæäîãî èç ïðåäëàãàåìûõ âàðèàíòîâ îòíîøåíèé ïî øêàëå: î÷åíü íèçêàÿ, íèçêàÿ, ñðåäíÿÿ, âûñîêàÿ, î÷åíü âûñîêàÿ) Ïîëíÿ èíòåãðàöèÿ Ðîññèè â ñòðóêòóðû ÍÀÒÎ Ñòðàòåãè÷åñêîå ïàðòí¸ðñòâî (ïðèíÿòèå ñîãëàñîâàííûõ ðåøåíèé ïî êëþ÷åâûì âîïðîñàì åâðîïåéñêîé è ìåæäóíàðîäíîé áåçîïàñíîñòè) Îãðàíè÷åííîå ïàðòí¸ðñòâî ïî îòäåëüíûì âîïðîñàì, çàòðàãèâàþùèì èíòåðåñû ÍÀÒÎ (òðàíçèò ãðóçîâ ÷åðåç òåððèòîðèþ Ðîññèè è ò.ï.) Óìåðåííî êîíôëèêòíûå îòíîøåíèÿ (îòñóòñòâèå âçàèìîäåéñòâèÿ ìåæäó Ðîññèåé è ÍÀÒÎ, íå âûëèâàþùååñÿ â âîåííîå ïðîòèâîñòîÿíèå) Êîíôðîíòàöèîííûå îòíîøåíèÿ, ïðåäïîëàãàþùèå ñîîòâåòñòâóþùèå èçìåíåíèÿ â âîåííîé ïîëèòèêå è ñòðîèòåëüñòâå ÂÑ, âåäóùèå ê ãîíêå âîîðóæåíèé Äðóãîé âàðèàíò îòâåòà Êîììåíòàðèé ïî ðàññìàòðèâàåìîìó âîïðîñó Рис. 8. Пример вопроса с лингвистическими (вербальными) оценками Одним из подходов к решению данной проблемы является проведение многотуровой экспертизы. При этом на первых этапах экспертизы ответы на вопросы анкеты могут существенно различаться, на последующих же этапах варианты ответа могут быть очень близкими, но при этом нацеленными на детальную проработку варианта, выбранного большинством экспертов в предыдущих турах экспертизы. Правда, следует заметить, что проведение многотуровых экспертиз требует достаточно много времени и ресурсов и весьма сложно с организационной точки зрения. В случае, когда эти ограничения являются критическими и, как следствие, проводится однотуровая экспертиза, при составлении альтернативных вариантов ответа (по вопросам, касающимся глобальных проблем международных отношений) следует всё же избегать похожих ответов. Наконец, ещё одной важной проблемой при проведении анкетного экспертного опроса является возможность взаимозависимости вопросов и, соответственно, ответов на них. При этом корреляция может быть такой, что ответ эксперта на один вопрос почти автоматически порождает вполне определённый ответ на другой вопрос (или, наоборот, столь же автоматически делает невозможным определённые ответы на другой вопрос). В принципе таких вопросов при составлении опросных анкет (и ответов на них) быть не должно, поскольку в этом случае получаемая информация фактически дублируется. Некоторым плюсом ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 40 подобных вопросов является возможность обнаружения противоречий в оценках эксперта, однако провести формальный анализ степени его противоречивости в этом случае крайне затруднительно. Поэтому при составлении опросных анкет подобные явно коррелируемые вопросы должны быть исключены из анкеты (точнее, один из них). Интерес представляет другой тип корреляции между ответами экспертов на вопросы анкеты, а именно тот случай, когда явных взаимозависимостей между ними нет, но при обработке экспертных оценок как раз и выявляется причинно-следственная связь между различными аспектами рассматриваемой проблемы. То есть происходит получение новых знаний об анализируемой проблеме, только оно обеспечивается не составлением опросных анкет, а их анализом и обработкой. Надёжность и объективность полученной по результатам экспертизы информации напрямую зависят от того, насколько хорошо были подготовлены и проведены сами экспертные мероприятия. Поскольку в подготовке экспертного опроса (например, составлении анкет) могут участвовать специалисты различных структурных подразделений, то в случае нескоординированности их работы может возникнуть целый ряд проблем, существенно снижающих эффективность экспертизы (неправильный выбор типов вопросов, их дублирование, различная целевая направленность вопросов анкеты, явная коррелируемость ответов на определённые вопросы и т.п.). Поэтому в процессе подготовки и проведения экспертизы обязательно должна быть образована группа, координирующая работу структурных подразделений и обеспечивающая комплексную обработку результатов их работы. Кроме того, задачей координирующей группы являются обработка и анализ результатов групповой экспертизы, а также выработка совместно со специалистами по рассматриваемой проблеме рекомендаций и выводов. Одним из важнейших этапов проведения экспертизы являются обработка и анализ результатов экспертного опроса. Выбор метода обработки экспертной информации напрямую зависит от "вида" собранных экспертных оценок, т.е. от типа шкалы, в которой эксперты производили "измерения". Для измерений в номинальных шкалах характерна обработка информации, включающая в себя определение таких параметров, как "итоговое", обобщённое значение исследуемой характеристики, показатель степени её разброса, показатели, характеризующие статистические взаимосвязи между различными характеристиками исследуемого объекта. Для определения обобщённых характеристик исследуемого объекта, "измеренного" в номинальной шкале, обычно используются такие показатели, как мода, медиана, реже – среднее арифметическое значение исследуемой характеристики6. Для оценки степени разброса применяются такие меры, как коэффициент качественной вариации или энтропийный коэффициент разброса7. 6 См.: Татарова Г. Г. Методология анализа данных в социологии (введение) : учеб. для вузов / Г. Г. Татарова. М. : NOTA BENE, 1999. С. 112. 7 См.: Паниотто В. И., Максименко В. С. Количественные методы в социологических исследованиях / В. И. Паниотто, В. С. Максименко. Киев : Наукова Думка, 1982. С. 171. МЕЖДУНАРОДНАЯ ПОЛИТИКА 41 Важное значение при обработке "номинальной" информации играет установление взаимосвязи между характеристиками исследуемого объекта. Здесь основным методом является анализ таблиц сопряжённости8, на базе которого осуществляется статистическая проверка значимости корреляционных взаимосвязей на основе критерия Пирсона и определяется степень взаимозависимости характеристик исследуемого объекта с использованием, например, коэффициентов Крамера, Чупрова и др. Основным "материалом" для исследования характеристик, измеренных в номинальных шкалах, являются гистограммы распределений. В целом обработка информации, измеренной в номинальных шкалах, позволяет сделать, на наш взгляд, существенные выводы об исследуемом объекте, хотя, конечно, они уступают по информативности обобщённым результатам анализа информации, измеренной в порядковых и тем более количественных шкалах. Это и понятно, ведь номинальная шкала является самой "слабой". При обработке ответов на вопросы "веерного" типа, требующие от экспертов упорядочить варианты ответов по степени их предпочтительности (их ранжирование) основной проблемой являются анализ групповой согласованности экспертных оценок и определение обобщённого упорядочения. Анализ групповой согласованности экспертных упорядочений можно проводить в двух направлениях. Первое позволяет оценить согласованность между оценками, данными двумя экспертами, т.е. оценить попарную согласованность экспертов, а второе даёт возможность оценить степень согласованности в целом по всей группе экспертов. Для таких оценок разработаны процедуры, основанные на расчёте коэффициентов ранговой корреляции Спирмэна или Кендэла9. Следует отметить, что оба коэффициента позволяют обрабатывать как результаты строгого ранжирования, так и нестрогого (когда допускается, что некоторые объекты имеют равные ранги, т.е. когда эксперт считает некоторые ответы эквивалентными по степени их "соответствия" заданному вопросу). Для обоих критериев возможна оценка уровня их значимости, т.е. определение того, является ли согласованность между ранжировками двух экспертов случайной или нет. Коэффициенты парной ранговой корреляции Спирмэна могут использоваться, например, для выявления экспертов, имеющих оригинальные суждения по рассматриваемой проблеме. У таких экспертов коэффициенты парной ранговой корреляции со всеми остальными экспертами будут отрицательными, что свидетельствует об отсутствии у них единомышленников. Анализ согласованности экспертной группы в целом основан на расчёте коэффициента конкордации10 Кендэла. Он так же, как и коэффициенты парной ранговой корреляции, допускает как строгое, так и 8 См.: Аптон Г. Анализ таблиц сопряжённости / Г. Аптон ; пер. с англ. и предисл. Ю. П. Адлера. М. : Финансы и статистика, 1982. С. 89. 9 См.: Кендэл М. Ранговые корреляции : пер. с англ. / М. Кендэл. М. : Статистика, 1975. С. 45. 10 От лат. concordare – привести в соответствие, упорядочить. ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 42 нестрогое ранжирование, а также проверку значимости, т.е. неслучайной согласованности экспертных упорядочений. Следует отметить, что небольшое значение коэффициента конкордации ещё не свидетельствует о том, что мнения экспертов абсолютно рассогласованы. Может оказаться, что существуют две группы с высокой согласованностью мнений внутри каждой, однако обобщённые мнения таких групп противоположны. Для выявления групп экспертов, внутри которых согласованность мнений высока, разработаны процедуры, основанные на последовательном исключении экспертов из группы и пересчёте коэффициента конкордации. Если значение коэффициента повышается, то данного эксперта исключают из группы, если понижается – оставляют. Такая итеративная процедура позволяет определить в некотором смысле группы единомышленников, что может быть существенно в исследовании социально-политических процессов. Наконец, может представлять интерес и выявление тех вариантов ответов, для которых согласованность группы экспертов высокая, и тех вариантов, где мнения экспертов рассогласованы (для таких вариантов ответа иногда целесообразно бывает проводить дополнительную экспертизу). Процедура выделения согласованных и рассогласованных вариантов ответа аналогична рассмотренной выше, только вместо экспертов здесь проводится последовательное исключение вариантов ответа, корректировка ранжировок и пересчёт коэффициента конкордации. В случае, если групповая согласованность мнений экспертов достаточно высока, можно переходить к следующему этапу – построению обобщённого упорядочения. В настоящее время предложено (и используется) достаточно много процедур обобщённого упорядочения. Приведём некоторые из них. 1. Правило простого большинства. В обобщённой ранжировке вариант "a" получает более высокое место, чем вариант "b", тогда и только тогда, когда большинство экспертов оценивает вариант "a" выше варианта "b". 2. Процедура Борда. Обобщённая ранжировка строится, исходя из сумм рангов, полученных вариантами: чем меньше суммарный ранг варианта, тем выше он стои�т в обобщённой ранжировке (т.е. варианты упорядочиваются по убыванию суммарного ранга, полученного ими). 3. Мажоритарная процедура. В обобщённой ранжировке вариант "a" ставится выше варианта "b" тогда и только тогда, когда вариант "a" получает больше первых мест, чем вариант "b". 4. Процедура Кемени-Снелла. Обобщённая ранжировка R определяется из условия: N ∑ d ( R, Ri ) → min , где i =1 Ri – ранжировка i-го эксперта; N – число экспертов; d(R,Ri ) – "расстояние" между ранжировками R и Ri. Рассмотрим теперь процедуры обработки экспертных оценок анкет с вопросами "веерного" типа, измеренных в количественной шкале. Здесь МЕЖДУНАРОДНАЯ ПОЛИТИКА 43 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 математико-статистические методы могут быть использованы в полной мере. Заметим, во-первых, что численные оценки экспертов всегда можно перевести в ранговые, поэтому аппарат обработки ранговых оценок в полной мере применим и здесь. Но анализ численных экспертных оценок может быть гораздо шире, поскольку он позволяет определить практически любые статистические характеристики данной экспертной информации. К числу основных характеристик, обобщающих мнения экспертов, можно отнести следующие: – среднее значение оценок (точечная оценка для данной группы экспертов), характеризующее их обобщённое мнение; – дисперсия оценок, характеризующая разброс мнений отдельных экспертов относительно среднего значения; – среднее квадратическое отклонение, характеризующее указанный разброс, по размерности совпадающий с размерностью среднего значения оценки; – коэффициент вариации, характеризующий разброс, "приходящийся" на единицу оцениваемого показателя. Статистические показатели позволяют определять и размеры той области, в которую с заданной вероятностью попадёт значение оцениваемой величины. Для построения указанной области необходимо сделать предположение о виде закона распределения случайных величин, каковыми являются экспертные оценки. В ряде случаев этот закон считается нормальным (особенно при достаточно большом количестве экспертов). Тогда определение искомой области Óêðàèíà 0,76 / 0,78 сводится к достаточно 0,74 / 0,77 Ãðóçèÿ тривиальным расчётам. Ðîññèÿ Исключительно важ0,80 / 0,70 Àçåðáàéäæàí 0,69 / 0,67 ным направлением анализа экспертных оценок 0,58 / 0,59 Êàçàõñòàí для исследования акту0,48 / 0,54 Êèðãèçèÿ альных проблем межÓçáåêèñòàí 0,47 / 0,51 дународных отношений 0,48 / 0,50 Òàäæèêèñòàí является исследование Ìîëäàâèÿ 0,50 / 0,50 динамики их изменения 0,51 / 0,50 Áåëîðóññèÿ во времени. Оно позвоÀðìåíèÿ 0,52 / 0,48 ляет в ряде случаев 0,45 / 0,47 Òóðêìåíèÿ определить (хотя бы приблизительно) такой 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,8 0 0,90 важнейший фактор, Ïðèîðèòåòíîñòü как тенденции развития 2010 ã. / 2011 ã. рассматриваемых процессов. Рис. 9. Пример краткосрочной динамики изменения мнения экспертного сообщества о степени приориЕстественно, что тетности государств постсоветского пространства проведение подобнодля интересов НАТО го анализа оказывается возможным лишь в том случае, если в течение достаточно длительного периода с экспертов "снимается" однотипная информация об исследуемой проблеме (рис. 9). 44 ПРОБЛЕМЫ НАЦИОНАЛЬНОЙ СТРАТЕГИИ № 6 (15) 2012 Этап обработки экспертной информации должен завершаться выбором оптимальной формы представления результатов проведённого анализа. В этом вопросе нет единых рецептов. Некоторые специалисты считают, что "выходной продукт" должен быть оформлен в виде аналитической записки, представляющей собой содержательный, качественный анализ результатов экспертизы с относительно небольшим объёмом количественной информации. Другие специалисты, наоборот, полагают, что превалирующее значение должна иметь фактографическая информация (таблицы с обобщёнными количественными экспертными оценками, показателями согласованности мнений экспертов и др., диаграммы, графики, гистограммы). В целом, на наш взгляд, необходимо сочетание обоих подходов при подготовке итогового документа. В качестве примера ниже приведён фрагмент итогового документа по результатам анализа экспертной информации по проблеме "Евроатлантическая архитектура безопасности: новые вызовы, новые возможности", касающейся интересов НАТО на постсоветском пространстве. "…Постсоветское пространство всегда являлось объектом внимания со стороны НАТО. Поэтому представляют интерес оценки приоритетности постсоветских стран для Североатлантического альянса и их динамика. Интегральные экспертные оценки по данному вопросу за 2010 и 2011 гг. представлены на рис. 9. В целом значимость для НАТО тех или иных государств бывшего СССР осталась без существенных изменений. С учётом погрешности экспертных оценок можно выделить две группы стран. В первую, наиболее приоритетную для альянса, входят Россия, Украина, Грузия и Азербайджан, во вторую, менее приоритетную, – остальные страны, за исключением, пожалуй, Казахстана, занимающего "промежуточное" положение между этими группами. Обращает на себя внимание определённое снижение в 2011 г. значимости для НАТО России и выход на первые позиции по приоритетности Украины и Грузии. И хотя говорить о подобной тенденции представляется преждевременным (точность экспертных измерений не позволяет надёжно упорядочить страны в обеих группах по приоритетности), данный момент является, на наш взгляд, важным. Вообще, сложность точной оценки приоритетности постсоветских стран для НАТО определяется многоцелевым характером политики альянса в этом регионе. Как отметил один из экспертов, "интерес к каждой стране (или группе стран) может быть обусловлен разной мотивацией (будь то построение устойчивого партнёрства, стабильное присутствие НАТО в той или иной стране, необходимость обеспечения энергетической безопасности, необходимость контроля территории согласно военным целям)". Тем не менее ряд экспертов указали основные цели НАТО на постсоветском пространстве. Вот примеры их комментариев: "Страны интересуют НАТО прежде всего как: противовес России; источник энергоресурсов; транспортный коридор", "НАТО – инструмент реализации национальных интересов США. А у США, в свою очередь, есть два приоритетных интереса в этом регионе: контроль энергоресурсов и транспортных путей их доставки и процесс "окольцевания" России ("Анаконда", "Римленд") с помощью новых партнёров – соседей России и размещения ПРО на их территориях". В целом можно отметить устойчивость экспертного мнения по поводу наиболее важных для НАТО постсоветских стран. Как в 2010, так и в 2011 г. к ним относятся Россия, Украина, Грузия и Азербайджан". * * * МЕЖДУНАРОДНАЯ ПОЛИТИКА 45 В настоящей статье основное внимание было уделено "традиционным" экспертным опросам, основанным на анкетировании специалистов. В последнее время в исследованиях актуальных проблем международных отношений всё бо�льшую роль начинают играть методы моделирования11. При этом не только информационное наполнение моделей, но и само их построение во многом зависят от экспертных знаний. В связи с этим актуализируется задача эффективного комплексирования экспертных методов и методов моделирования. Кроме того, существенное внимание следует обратить на проведение так называемых дистанционных или сетевых экспертиз12. Современные системы связи позволяют в настоящее время организовать качественное взаимодействие между экспертами независимо от их географической удалённости друг от друга. Использование Интернета и интернет-технологий может помочь формированию сетевых экспертных сообществ в различных областях профессиональной деятельности. При условии решения задач информационной безопасности и защиты компьютерных сетей от несанкционированного доступа организация подобного сетевого экспертного сообщества в области проблем международных отношений и национальной безопасности могла бы оказаться, на наш взгляд, весьма плодотворной. Ключевые слова: международные отношения – коллективная экспертиза – экспертный опрос – анализ экспертной информации. Keywords: international relations – collective expertise – expert poll – analysis of the expert information. 11 Абаев Л. Ч. Об актуальных подходах к моделированию международных отношений / Абаев Л. Ч. // Проблемы национальной стратегии. 2011. № 2 (7). С. 31–48. 12 См.: Губанов Д. А., Коргин Н. А., Новиков Д. А., Райков А. Н. Сетевая экспертиза / Д. А. Губанов, Н. А. Коргин, Д. А. Новиков, А. Н. Райков ; под ред. Д. А. Новикова, А. Н. Райкова. 2-е изд. М. : Эгвес, 2011. 166 с.
