Методология горизонтальной оценки
advertisement
Селедцова Е.А.1 Методология горизонтальной оценки Процесс развития оценки за последние 30 лет принято подразделять на три три волны, с каждой из которых это направление все сильнее интегрировалось в государственное управление, укреплялось в корпоративном и некоммерческом секторе. Для каждой из трех волн свойственна особая роль оценки в управлении и реализации политик и программ, а также характерные вопросы и задачи. [10] Однако методологии этих трёх волн имели те или иные недостатки. Они, во-первых, не учитывали мнения всех заинтересованных сторон, вовторых, вообще не предполагали их участия в процессе. Кроме того, очень сильной была связь с наукой, что делало оценку чрезмерно зависимой от количественных измерений и предполагало некое навязывание эталона. [13] Из-за недостатков прежней методологии и запросов новых общественных реформ появилась необходимость в новой методологии, которую относят к четвертой волне оценивания. В ее основе лежит коммуникативный подход и целью является вовлечение всех заинтересованных сторон в процесс. Оценщик выступает как координатор, облегчающий взаимодействие между различными участниками программ. Так или иначе, можно заметить, что между реформами общественного сектора и развитием оценивания прослеживается очень тесная взаимосвязь. Формы и задачи оценивания программ и политик трансформируются в соответствии с запросами нового управления(англ.- new public management). Однако необходимо помнить о том, что часто оценивание является не только инструментом для получения информации об успехах и неудачах реформ, но и играет важную роль в переходе от теоретической стороны к практической.[4] На данном этапе четвертой волны в западных странах продолжаются реформы государственной службы и системы отношений между правительством, научным сообществом, и обществом в целом. Новый западный взгляд на государство сфокусирован на снижении барьеров. Правительство оценивает свои услуги, пытается повысить их качество и все показатели становятся все более и более гибкими. На Западе граждане, люди, которые платят налоги, хотят, чтобы услуги государства соответствовали их потребностям и были удобны. Это порождает новые формы сотрудничества, которые раньше не были развиты до Селедцова Екатерина Александровна – эксперт Института оценки программ и политик (Москва). Email: seledtsova@iopp.ru 1 1 такой степени, как сейчас, в качестве части процесса реформирования. Происходят интересные изменения: правительство, фонды и организации, занимающиеся финансированием, частные филантропы - никто больше не реализует программы собственноручно. Тенденция такова, что они стремятся лишь задавать курс и руководить, в то время как выполняет программу множество разнообразных участников. [3] Таким образом, для получения действительных, конкретных и измеримых результатов, происходит объединение различных департаментов, государственных уровней, академической среды и общества. В связи с описанным горизонтальным характером реформ, важной частью оценивания становится горизонтальная оценка. В процессе модернизации управления и появления горизонтальных программ, в большинстве западных стран появилась необходимость в специальном оценивании таких программ, названном горизонтальным. (в Канаде чаще применяется термин «horizontal evaluation», в США – cut-across evaluation, multi-level evaluation, в Европе – cluster evaluation). Эта методология отвечает тенденциям четвертой волны, работая над объединением разных участников. Таким образом, тема горизонтальной оценки является достаточно актуальной, т.к. при переходе к горизонтальному менеджменту такая форма оценивания становится незаменимой. Например, большинство последних программ Евросоюза являются горизонтальными, т.к. они объединяют несколько стран, и для их адекватного, полного анализа нельзя обойтись без горизонтального исследования.[2] Актуальность и необходимость в горизонтальной оценке обусловлена тем, что она представляет собой своего рода новый инструмент, который позволяет тем или иным образом объединить разных по своей природе участников программ, и является незаменимым для оценивания их сотрудничества, общих целей, устремлений, конечной эффективности реформ и их результатов. Горизонтальные программы. Горизонтальная оценка теснейшим образом связана с горизонтальными программами, и имеет смысл именно в данной области. Раскрытие любой исследовательской методологии требует предварительного рассмотрения концепций и подходов, которые составляют ее основу. В связи с этим, целесообразно будет проанализировать горизонтальные программы. Система основных критериев горизонтальных программ Итак, прежде чем приступить к горизонтальному оцениванию, необходимо убедиться, что оцениваемая программа действительно является горизонтальной. Как это сделать? Горизонтальные программы должны иметь ряд ключевых признаков [11]. Кроме того, они 2 существенно отличаются от вертикальных программ, имеют свои преимущества и недостатки. Важнейший критерий горизонтальной программы – совместная структура управления (англ. - shared government structure). Другими словами, представители всех групп, участвующих в программе, должны собираться за одним столом для обсуждения хода программы и управления ее процессами. Важно также отметить, что такая структура предполагает взаимную ответственность всех участников программы друг перед другом. Для совместного управления и оценивания существуют специальные механизмы – например, объединенные комитеты, использование различных Интернет-программ (e-room, share point, ms vista). Подобная система управления порождает массу проблем для проведения программы и ее оценивания. Во-первых, в программе, где участвует государство и частный сектор, будет очень велика вероятность того, что частный сектор не будет представлен за столом переговоров. Эта проблема обусловлена прежде всего тем, что бюрократы не хотят работать с представителями частного сектора. Реальная ситуация такова, что в процесс управления программой частный сектор на практике включен не будет. Основной признак горизонтальной программы это снижение границ между государством и другими партнерами, включение их в процесс управления программой. Выполнить это условие, сохраняя привычные для бюрократов рамки взаимоотношений между государством и другими участниками программы, невозможно. Что касается горизонтальных программ, в которых государство не принимает участие, они также сталкиваются с определенными проблемами. Сама природа таких программ усложняет и процесс оценивания, и сами программы. Источник проблем – большое количество участников, заинтересованных сторон, разных по своим характеристикам. Функционирование и оценка такой программы связаны со значительной затратой времени. Во-первых, все участники должны иметь возможность работать вместе; во-вторых, необходимо выслушать и учесть очень много мнений и интересов. Отчасти эту проблему решают механизмы совместного управления. Кроме того, т.к. такое сотрудничество является своеобразным ноу-хау, особенно что касается государственных реформ, участникам тривиально не хватает необходимых для успешного взаимодействия навыков. Оценка способна внести существенный вклад в повышение эффективности этого процесса. Большое количество акторов вносит еще одну немаловажную трудность в задачи оценивания. При системе взаимной ответственности сложно определить конкретную ответственность каждого члена команды. Кто виноват в провалах программы? Кто, наоборот, 3 принес пользу программе? Более прозрачное распределение ответственности достигается за счет использования различных инструментов оценивания и измерения результатов. Помимо совместной структуры управления, горизонтальные программы имеют еще одну ключевую характеристику – это совместные, общие конечные цели участников (англ. shared outcomes), которых они не смогли бы достичь, если бы работали по отдельности. В горизонтальном оценивании акцент делается именно на конечные общие влияния (англ. outcomes), чем на непосредственные результаты и эффекты программы или реформы (англ. outputs). Конечные цели должны быть совместно определены всеми участниками программы, они являются как бы связующими звеньями между разрозненными акторами. В соответствии с этими целями между участниками программы происходит распределение конкретных задач. Распределение происходит исходя из наиболее сильных сторон участников и максимизации эффективности результатов, при минимизации издержек. Например, участники, обладающие большими властными полномочиями, берут на себя административные задачи и лоббирование, а участники, имеющие большие финансовые возможности – финансовое обеспечение программы, и т.п. Общие цели являются необходимым признаком настоящей горизонтальной программы, если их нет, программа не может считаться горизонтальной. Преимущества и проблемы горизонтальных программ Реформирование программы, нацеленное на приведение ее к горизонтальной структуре, связано с серьезными рисками, вплоть до ее провала. Однако горизонтальные программы имеют внушительный ряд преимуществ, способных возместить возможные потери. Во-первых, от совместной работы различных партнеров, возникает синергия, способная существенно снизить издержки реализации многих задач. Потенциально снижается вероятность конфликта. Участие акторов с различными ресурсами и знаниями, различных уровней государства, увеличивает возможности программы, повышая ее рентабельность и снижая сложность выполнения отдельных проектов, за счет сотрудничества, разделения издержек, общей ответственности и использования сильных сторон участников. Кроме того, появляется возможность использования преимуществ различных имеющихся технологий и создания новых. И что очень важно в контексте государственных реформ – возможность отвечать запросам общества и учитывать его интересы. Однако для достижения этих преимуществ необходимо решение связанных с горизонтальными программами проблем. Во-первых, это преодоление сопротивления 4 бюрократии. Во-вторых, может возникнуть проблема при распределении задач, если участники будут бороться за определенную сферу. Кроме того, важно учитывать, что без определенных знаний и навыков такой работы у участников, велика вероятность полного снижения эффективности их встреч для обсуждения программы, и, как следствие, невозможность принятия решений и отсутствие ответственности у кого бы то ни было. Но наиболее спорным и проблематичным моментом является взаимодействие горизонтальных программ с вертикальными. Горизонтальные и вертикальные программы Для начала необходимо рассмотреть основные различия, существующие между вертикальными и горизонтальными программами. Во-первых, вертикальные программы, в отличие от горизонтальных, предполагают управление и контроль с помощью традиционных бюрократических механизмов, без привлечения равноправных участников. Кроме того, характерными качествами вертикального управления являются четкая иерархия, а также прозрачная структура ответственности и власти. Горизонтальные программы напротив, характеризуются гибкостью, возможностью адаптации и строго равноправным участием всех партнеров. Важными показателями для них являются конечные цели и общие интересы. Функционирование горизонтальных программ обусловлено наличием разделенной власти и ответственности между партнерами, совместного инвестирования ресурсов и рисков, а также ясных общих результатов и целей. Ввиду таких неустранимых различий, взаимодействие и сочетание в оценочном исследовании горизонтальных и вертикальных программ кажется весьма проблематичным. Однако трудность состоит как раз в том, что при оценивании программы, в которую входит несколько участников, исследователи как правило сталкиваются с тем, что каждая организация-участник имеет свою собственную структуру управления, внутреннюю иерархию и линии ответственности и власти. Это связано с желанием контролировать собственные подразделения самостоятельно и иметь четкую структуру ответственности. К тому же не стоит забывать о силе бюрократической культуры. Дело в том, что большинство организаций тяготеют к вертикальному типу и должны оцениваться «вглубь». Фактически, горизонтальная программа или оценка объединяют вертикальные организации. При этом, условием горизонтальной программы является отсутствие иерархического контроля друг над другом между участниками программы, однако определенных характеристик для внутренних структур групп горизонтальная программа не учитывает. Таким образом, горизонтальная оценка часто применяется как дополнительная. Компания может обладать типичной 5 иерархической организационной структурой, т.е. люди, которые отвечают за коммуникации в компании просто направляют информацию с одного уровня на другой внутри организации. При этом, если компания участвует в горизонтальном проекте, должен быть механизм менеджмента, который снижает барьеры между разными группами, которые взаимодействуют. Это может быть комитет, в котором состоят представители разных групп, в котором они принимают важные решения, сопровождая горизонтальные проекты. Т.е. элементы вертикального и горизонтального управления будут тесно сочетаться друг с другом. Проблема оценивания таких программ состоит в том, что необходимо найти оптимальное разделение горизонтальной и вертикальной оценки. При этом проведение обеих оценок одновременно связано с серьезными сложностями, применение только горизонтальной оценки там, где есть четкие разграничения ответственности (элемент вертикального менеджмента) также не представляется возможным. Возникает дилемма: как рационализировать разграничение ответственности, принимая к сведению необходимость в учете горизонтального и вертикального направлений. Например, оценивается программа, в которой принимают участие правительство и несколько департаментов. Соответственно все участники имеют вертикальную структуру управления. Департаменты осуществляют разные сервисы в рамках задач программы, правительство занимается финансированием. Мы получаем ситуацию, когда программа горизонтальная, а участники представляют собой вертикальные организации. Для оценивания эффективности работы программы необходимо провести одновременно вертикальное оценивание – т.е. глубинный анализ работы каждого из участников программы, и горизонтальное – общий анализ процесса взаимодействия и его результатов. Необходимость проведения и горизонтальной, и вертикальной оценки одного проекта делает процесс оценки гораздо сложнее, чем обычно. Появляется возможность конфликта интересов горизонтального и вертикального направлений. Участники, ожидающие результатов оценивания «в глубь» могут создавать сопротивление горизонтальному оцениванию из-за нереалистичных ожиданий. Для предупреждения развития подобной ситуации, в команде необходим человек, который должен отвечать за урегулирование таких конфликтов. Эта проблема на уровне управления, на практике она очень широко распространена. Решать ее нужно именно на уровне управления, на оценивание в данном случае надеяться не стоит. Если у горизонтальной программы нет хорошего менеджера, она обречена на возникновение проблем кооперации и высокий уровень конфликтности, т.к. в программу вовлечено очень много партнеров. В случае же когда участники к тому же имеют свою собственную структуру управления, конфликты неизбежны. 6 Алгоритм горизонтальной оценки Прежде всего, необходимо рассмотреть общий алгоритм горизонтального оценивания. В него входят несколько различных этапов, без прохождения которых адекватное исследование невозможно. Первый этап – определение вида программы. Необходимо иметь точное понимание, какие характеристики должна иметь программа, чтобы ее можно было считать горизонтальной и применять к ней горизонтальное оценивание. Как было сказано выше, основные критерии горизонтальной программы – совместная структура управления и общие конечные цели. На первом этапе оценивания исследователь должен идентифицировать наличие данных характеристик у программы. Как правило, этот этап связан с достаточно большим количеством сложностей, т.к. зачастую горизонтальным ошибочно называют то, что таковым даже близко не является. Чтобы понять, насколько программа “горизонтальна» и какой она имеет потенциал в этом направлении, необходимо составить подробное описание программы. В это описание должен входить анализ структуры управления, целей и задач программы, и фактической реализации заявленных в программе схем. Данное описание должно отвечать на несколько ключевых вопросов: все ли участники включены в процесс принятия решений о программе? Каковы механизмы совместного управления программой? Соблюдается ли условие взаимной ответственности и рисков? Стремятся ли все участники программы к общим конечным результатам? Ответы на эти вопросы позволяют получить цельную картину, отражающую степень горизонтальности программы, и перейти к следующему этапу. Если программа оказывается вертикальной, горизонтальное оценивание в ее случае будет необоснованным, а приведение ее к горизонтальной схеме будет связано со значительными издержками и рисками. Тем не менее, возможна ситуация, когда горизонтальную оценку будет целесообразно применить именно для трансформации программы в горизонтальную, т.к. положительные эффекты от такого изменения будут значительно превышать возможные издержки. Как было сказано ранее, оценивание может являться не только инструментом отображения качества работы программы, но и инструментом претворения реформ в жизнь. В случае если программа обладает всеми необходимыми свойствами и является горизонтальной, возможен переход к следующему этапу оценивания. Второй этап также имеет предварительный характер и заключается в подготовке программы к оцениванию. Горизонтальная оценка очень трудоемкий процесс. Если не подготовить программу к такому исследованию, оно может затянуться и привести, во-первых, к противоречивым результатам, 7 во-вторых, к росту числа конфликтов. Основной сложностью является большое количество различных акторов. Поэтому, прежде всего, необходимо убедиться, что у программы хороший менеджер, который правильно выстраивает систему коопераций, сглаживая конфликты. Кроме того, очень важным моментом являются реалистичные ожидания. Перед проведением оценки необходимо согласовать с участниками ее цели, структуру, тип результатов, которые будут получены. Это позволит учесть необходимость интегрирования вертикального направления, подготовить участников к возможным результатам. Горизонтальные программы могут быть очень сложными, поэтому их первичное описание с точки зрения оценивания так важно, оно помогает выявить горизонтальные и вертикальные области и сохранить ожидания реалистичными. Формы горизонтальной оценки Существует две формы исследования таких программ – горизонтальный обзор и горизонтальное оценивание. Остановимся подробнее на первом. Форма горизонтального обзора наиболее проста в применении и для дальнейшего анализа и представления данных. Эту форму можно рассматривать и как мини-версию оценивания, и как хороший первый шаг для дальнейшего более глубокого исследования. Обзор программы целесообразно проводить, если есть необходимость просто ответить на вопрос: горизонтальна ли программа? Анализируется система управления, ответственности, отчетность и реструктуризации затрат. Как правило, горизонтальный обзор отвечает на следующие ключевые вопросы: Горизонтальна ли программа? Когда удастся получить первые положительные эффекты? Какое влияние оказывают горизонтальные изменения? Своевременное определение эффектов, которые повлекли за собой те или иные изменения на другом уровне программы (в другом департаменте, на другом уровне власти) играет очень важную роль, т.к. такие изменения являются первыми индикаторами потенциального конфликта или проблемной области, возникающих как реакция на горизонтальную инициативу. Кроме того, в рамках горизонтального обзора анализируется изменение рисков. Возможно как повышение существующих рисков, так и возникновение качественно новых. В связи с этим необходимо также определять, какую стратегию использует государственный департамент или другой партнер для уменьшения рисков. Как правило, горизонтальный обзор помогает снизить риск конфликта, улучшить качество кооперации между партнерами и снизить вероятность не достигнуть заявленных целей. Следует отметить, что для горизонтального обзора не используется принципиально новых инструментов. В основном это традиционный сбор данных: анкетирование, интервью, 8 работа с фокус-группами. Для анализа также используются инструменты статистики. Особенность горизонтального обзора проистекает из его природы – это исследование, акцентированное на тех проблемных областях программы, которые обусловлены ее горизонтальной структурой. Это условие является ключевым и за счет него формируются вопросы для сбора данных и области исследования. Более сложной формой горизонтального исследования является непосредственно горизонтальная оценка. Она представляет собой глубокий анализ эффективности и результативности программы. Как элемент в нее может входить также вертикальный анализ, что существенно осложняет процесс оценивания, однако позволяет получить более подробные и достоверные данные. Ключевым компонентом такого оценивания будут являться общие конференции, во время которых все участники программы делятся информацией и анализируют ее. Оценщик играет роль координатора. Первая встреча, как правило, необходима для достижения общего понимания всеми участниками совместных целей, миссии программы. В дальнейшем обсуждаются стратегии оценивания, издержки, причины их возникновения, результаты и сравнение их с заявленной целью, итоги оценки. Все акторы должны быть активно включены в процесс, только так можно получить цельную картину происходящего с программой. Кроме того, это помогает различным участникам приобрести необходимые навыки нового для них вида сотрудничества, снизить привычные барьеры. Стратегии горизонтального оценивания В процессе горизонтальной оценки может быть использовано несколько различных стратегий. Рассмотрим их по очереди. Первая стратегия – это теория изменений. Другими словами, когда вы рассматриваете горизонтальную программу, вы хотите получить четкую картину: почему различные партнеры хотят работать вместе, как они видят совместную работу для достижения их общих, совместно установленных, целей. Данная теория позволяет понять, какие необходимо сделать изменения для достижения поставленных долгосрочных целей, какие для этого нужны условия, какие шаги должны быть сделаны в краткосрочном периоде. Это очень важно для стратегического планирования программы. Участники получают реалистичную картину, описывающую способы и возможности их влияния, потенциальные изменения и необходимые ресурсы и время. Стратегия теории изменений имеет следующий алгоритм: [8] 1) Участники приходят к общему мнению о конечных целях программы; 9 2) Описываются все предварительные условия, необходимые для достижения установленной долгосрочной цели; 3) Выделяются наиболее значимые условия, на которые можно повлиять. Чаще используется другая стратегия – логическая модель. В отличие от теории изменений, описывающей программу со стратегической точки зрения, логическая модель является тактическим инструментом. Она отражает детали об издержках и выгодах, предпринимаемых действиях и их результатах относительно каждого предварительного условия, определенного теорией изменений, или программы в целом. Если группы не могут четко сформулировать теорию изменений своей программы, необходимо начать с базовой концептуальной модели. Проблема логической модели в рамках горизонтального исследования заключается в том, что ее дизайн получается очень сложным. Это обусловлено тем, что в программе принимает участие множество различных акторов, которые к тому же, как правило, не умеют работать вместе. [6] Данная стратегия описывает действия участников на разных уровнях, их взаимосвязь и результативность. Как отдельную стратегию выделяют также горизонтальную логическую модель. Она отличается тем, что сфокусирована на описании возможностей достижения целей за счет параллельных (горизонтальных) инициатив, предпринимаемых акторами программы на разных уровнях. Направления таких связей в рамках данной стратегии являются решающими факторами для достижения результатов. Кроме того, следует отметить еще одну важную стратегию, которая уже упоминалась раньше – это создание описания программы. Главный инструмент оценивания – шаблон, поэтому необходимо качественное описание программы. По отношению к горизонтальным программа описание характерно тем, что сфокусировано на общих целях, взаимной ответственности, ответственности каждого участника и т.п. Кроме того, описание должно быть сделано для всех участников программы. Как правило это исследование на 4-6 страниц, содержащее совокупность некоторых фактов о программе. Тем не менее, данная стратегия имеет большое значение для снижения риска конфликтов, которые могут появиться в процессе оценивания. Принципы горизонтального оценивания В целом, для горизонтального оценивания существует несколько основных принципов [1]. Во-первых, необходимо помнить, что с течением времени, возможности и способности участников сотрудничать на горизонтальном уровне улучшатся. С группами необходимо работать несколько лет, кроме того, наравне с внешним экспертом они должны 10 иметь своего внутреннего консультанта. Это условие необходимо для усиления программы в целом и ее отдачи для различных участников. Следующий важный принцип – нужно помнить, что каждая горизонтальная программа или инициатива уникальна по своим свойствам, целям и составу участников. Поэтому необходим высокий уровень доверия к включенным в программу акторам и соответственно гибкий процесс планирования. Мнение тех, кто работает в программе очень важно для ее дальнейшего продвижения. Также не следует забывать о том, что без включения заинтересованных сторон в процесс оценивания, оно не будет горизонтальным, и результаты окажутся бесполезными. Все участники должны иметь возможность работать вместе. В качестве последнего принципа стоит назвать сохранение реалистичных ожиданий, т.к. это очень важно для правильного восприятия результатов оценивания и привнесения их в программу. Примеры существующих практик горизонтального оценивания. 1. Инициатива некоммерческого сектора в Канаде Анализ этой практики наиболее важен, т.к. данная инициатива является одним из ярчайших примеров горизонтальных программ и их оценивания. Целесообразно будет начать с описания программы и компонентов, обуславливающих ее горизонтальность. The Voluntary Sector Initiative (инициатива некоммерческого сектора, VSI) – это канадская пятилетняя программа, направленная на создания тесных взаимоотношений между государственным и некоммерческим секторами. [5] Цель программы – вовлечение некоммерческого сектора в политический диалог, снижении границ между ним и федеральным правительством и, как конечный результат, – улучшение качества предоставляемых канадцам услуг. Было установлено, что деятельность некоммерческого сектора действительно оказывает влияние на качество жизни в Канаде, т.к. он является одним из трех главных столпов канадского общества – наравне с общественным и частным секторами. Кроме того, целями данной инициативы являлось усиление некоммерческого сектора в области создания и распространения знаний, человеческих ресурсов, финансовой поддержки, а также улучшение его нормативной и регулятивной базы. Соответственно можно выделить первый критерий горизонтальной программы – общие конечные цели участников – государственного и некоммерческого секторов. Что касается второго критерия – совместного управления программой, в данной инициативе он также выражен достаточно ясно. Для иллюстрации этого признака рассмотрим систему управления данной программой. Со стороны некоммерческого сектора для работы над программой был создан Объединенный комитет Некоммерческого Сектора, в 11 который входили 23 представителя различных организационных подразделений сектора: представители круглого стола, рабочих групп, объединенного координационного комитета. Государственный сектор представляли министр социального развития, члены госсектора, входящие в объединенный координационный комитет и группа министерских консультантов. Вышеуказанные органы управления объединялись и представляли собой Общий комитет управления программой. В процессе работы комитета состоялось семь совместных форумов, собравших равное количество представителей обоих секторов. Ход программы был разделен на две фазы: первая фаза представляла собой совместную работу в форме семи форумов, посвященных различным направлениям программы: Первый совместный форум был сфокусирован на развитии пространства совместной деятельности, создании общего видения и принципов, лежащих в основе работы в партнерстве; В ходе второго совместного форума основное внимание уделялось усилению возможностей некоммерческого сектора для полноценного удовлетворения нужд общества; Третий форум был посвящен анализу постоянных условий, влияющих на работу сектора и работе над регулятивной базой; Четвертый форум фокусировался на увеличении роли некоммерческого сектора для канадского общества; Пятый совместный форум решал проблемы развития и поддержки некоммерческих инициатив; Шестой форум обнаруживал проблемные зоны и недостаточные ресурсы сектора; Седьмой форум был посвящен общему обзору проделанной работы и ее координации. Вторая фаза представляла собой работу по применению рекомендаций, исследований и достижений, являющихся результатами работы программы во время первой фазы. Правительство Канады и некоммерческий сектор далее продолжили совместную работу, чтобы убедиться, что все, что сделано во время первой фазы программы полностью применяется на практике. Результатом второй фазы программы стало создание новых информационных ресурсов и инструментов, которые отвечали требованиям практичности, реалистичности и доступности для всех организаций некоммерческого сектора, особенно средних и малых предприятий. 12 Итак, условия совместного управления и общих конечных целей соблюдены, программа действительно полностью удовлетворяет определению горизонтальной, значит можно преступить к анализу оценивания процесса функционирования программы. Целью оценки был анализ эффективности работы программы во время первой фазы. Было проанализировано два уровня – эффективность сотрудничества между секторами и эффективность горизонтального управления в каждом секторе. Оценивание концентрировалось на вопросах управления программой с точки зрения тех, кто принимает в ней участие, т.к. именно они знают, что было эффективным, а что нет. Кроме того некоторые представители некоммерческого и государственного секторов должны были делать критические обзоры и вносить конструктивные предложения для улучшения оценки. Оценивание включало анализ всех документации, посвященной программе, а также систему опроса ее участников. Всего было проведено 102 интервью с представителями обоих секторов, каждое из которых длилось около полутора часов. Было выделено четыре ключевых вопроса: 1) Насколько эффективна была структура, политика и действия программы с точки зрения достижения общих целей? 2) Каковы положительные моменты и барьеры для эффективного сотрудничества и горизонтального управления? 3) Что могло бы быть сделано по-другому, более эффективно, и какими были реальные практические альтернативы? 4) Какие уроки были получены для будущего постоянного сотрудничества Правительства Канады и некоммерческого сектора, а также горизонтального управления внутри каждого сектора? Проинтервьюированные участники высказывали множество отрицательных и положительных отзывов о работе программы, а кроме того поступила масса предложений по увеличению эффективности работы ее проблемных областей. Общее же настроение было таким: тот факт, что подобная программа вообще состоялась сам по себе огромное достижение. Рассмотрим оценку сотрудничества между государственным и некоммерческим секторами. Что представляет собой успешное взаимодействие и как оно может быть измерено? В процессе оценки были выделены ключевые факторы, которые влияют на эффективность совместной работы. Во-первых, необходимо знать, что сотрудничество и горизонтальное управление относятся скорее к области творчества, нежели к области науки. Здесь нет четко установленных правил, жесткой структуры, применяющейся во время всей 13 работы, как нет и универсальной формулы, гарантирующей успех. Однако благодаря опыту совместной работы в процессе данной программы удалось выявить несколько основных факторов, которые влияют на эффективность сотрудничества: Признание необходимости совместной работы; Ясность и реалистичность целей; Создание четких и твердых соглашений; Обязательства, право собственности, инициативность; Развитие и поддержание атмосферы доверия; Мониторинг, Обзор и организационное обучение. Кроме того важно оценить временной аспект сотрудничества и предварительных условий, предшествующих проведению программы. В рамках данного исследования проводился анализ контекста, параметров и процесса программы. Вначале описывались предварительные условия для сотрудничества: история взаимоотношений участников, причины начала их взаимодействия. Эти факторы играют значительную роль, т.к. устанавливают для каждого из партнеров ряд представлений о том, как будет работать система и какие результаты могут быть в итоге достигнуты. Кроме того это позволяет понять почему были выбраны те или иные механизмы взаимодействия. Для программы VSI это особенно важно, т.к. некоммерческий сектор прошел путь от эпизодического участника до полноценного игрока на политической арене. Относительно контекста программы оценка объясняет следующие моменты: Как появилась программа; Как контекст повлиял на решения, определяющие основные параметры программы, в частности ее задачи, структуру и финансирование; Каковы были ожидания относительно работы программы и достижения установленных целей. Далее оцениваются основные параметры программы. Важными принципами взаимодействия, как было отмечено ранее, являются ясные цели и твердые соглашения между участниками программы. Т.е. участники должны иметь четкую договоренность относительно следующих характеристик программы: мандата, временных рамок, бюджета, ресурсов, механизмов взаимодействия и координации и структуры управления. Основные аспекты параметров программы, оцениваемые в данном исследовании, были следующими: Широта, ясность и гибкость мандата программы; Финансовые и производственные ресурсы; 14 Участие представителей обоих секторов; Дизайн структуры программы. Параметры программы устанавливали определенные рамки, влияли на направления сотрудничества и координации, однако не могли предсказать, как на практике будет работать программа. В процессе реализации могут возникать различные проблемы, поэтому анализ программы должен иметь сопровождающий характер. Существует также большое количество неформальных и неочевидных факторов, которые влияют на то, как партнеры будут работать вместе, например культура каждого участника или дисбаланс власти между ними. В случае VSI было рассмотрено два аспекта: вертикальный процесс управления сотрудничеством между государственным и некоммерческим секторами и горизонтальный процесс их координации и объединения. Исследование данных процессов было разбито на две части: Управление сотрудничеством, включая влияние культурных различий и дисбаланса власти, продолжительности взаимодействия и схем совместной работы; Координация и горизонтальное управление, включая: ответственность, лидерство, коммуникации и соглашения, предпосылки к переходу на следующий этап. Важно отметить, что взаимодействие с государственным сектором может оказаться особенно сложным, т.к. государство контролирует финансирование программ. Это может повлиять на распределение властных полномочий между акторами. Поэтому необходимо рассматривать какое влияние на программу оказывает схема ее финансирования. Оценивание горизонтальной программы будет неполным без анализа ее результатов. В данном случае оценивание фокусировалось на непосредственных конечных результатах, а не на долгосрочном влиянии программы. Оценивалась степень, в которой: Была завершена намеченная работа Были установлены тесные взаимоотношения между Правительством Канады и некоммерческим сектором; Проявились неожиданные последствия или осложнения. Основные выводы, которые позволила сделать о программе VSI ее оценка, были следующими: Существует объективная необходимость трансформировать индивидуальный опыт в институционализированную практику; Оба сектора – и государственный и некоммерческий – в процессе совместной работы получили неоценимые навыки и глубокое понимание партнера; 15 Программа запустила механизм создания новых форм сотрудничества, снижения барьеров между различными акторами; В той или иной степени полученные уроки были формально или неформально переданы другим организациям. 2. Программа Евросоюза «EQUAL» Подавляющее большинство программ, проводимых в Евросоюзе, являются горизонтальными. Во-первых, в них наравне участвует несколько стран, во-вторых, как правило, они преследуют общие конечные цели. Кроме того, в Евросоюзе уже существует ряд механизмов для совместного проведения программ. В данном примере мы рассмотрим программу EQUAL [7]. Ее целями является устранение дискриминации и неравенства на рынках труда стран ЕС, а также облегчение социальной и экономической интеграции беженцев за счет транснационального сотрудничества и общее повышение качества условий работы. [12] В данной программе участвуют все члены Евросоюза. Основные направления программы следующие: 1) Возможность устроиться на работу для дискриминируемых слоев населения. Это направления решает следующие задачи: 1.1. Облегчение входа на рынок труда для тех, у кого это вызывает сложности; 1.2. Борьба с расизмом и ксенофобией на работе. 2) Поощрение предпринимательства. Решаемые задачи: 2.2. Обеспечение равного доступа к предпринимательству путем установления четких норм и правил; 2.3. Снижение стоимости и повышение качества социальных услуг. 3) Повышение адаптивности предприятий и граждан. 3.1. Содействие обучению на протяжении всей жизни, а также стабильной занятости для тех, кто страдает от дискриминации и неравенства в сфере труда; 3.2. Поощрение использования новых технологий фирмами и гражданами. 4) Равные возможности для женщин и мужчин 4.1. Стимулирование женской занятости и разработка новых более гибких форм занятости; 4.2. Ликвидация гендерного разрыва в заработной плате и снижение сегрегации по занимаемой должности. 16 Интеграция 5) беженцев. Данное направление наиболее неоднородно и принимаемые меры разнятся от государства к государству. При общих конечных целях, каждая страна должна принимать как минимум одно действие по каждому из направлений программы. Партнерские отношения являются важным компонентом в осуществлении EQUAL. Партнерства объединяют усилия всех заинтересованных сторон: государственных органов на национальном, региональном или местном уровне, местных органов власти, государственных служб занятости, неправительственных организаций, предприятий, в особенности малых и средних, а также социальных партнеров. Все эти акторы сотрудничают в разработке стратегии действий в каждой из тематических областей, упомянутых выше. В совокупности они определяют и принимают решения о совместных целях, и находят новые способы борьбы с неравенством и дискриминацией. Страны-участники сами определяют, какой из двух следующих типов партнерства больше удовлетворяет национальным особенностям: Географическое партнерство, которое объединяет акторов в определенном географическом районе; Секторальное партнерство, которое охватывает участников в определенном экономическом секторе или целевой группе. В масштабе Европейского союза, проводится оценивание деятельности участников данной горизонтальной программы на трех уровнях: 1) Тематическое изучение на уровне ЕС; Для каждой из тематических направлений EQUAL организуется серия оценочных исследований партнерских групп с использованием стандартных инструментов оценки. Полученные результаты предаются гласности и служат основой для оценки политики в рамках Европейской стратегии занятости. Страны-участники участвуют в обсуждении результатов и в дальнейшем активно их используют. 2) Периодическая оценка добавленной стоимости EQUAL в отношении национальных стратегий в области занятости; Создается база передового опыта, полученная в рамках оценивания программы за счет сотрудничества различных участников. 3) Организация дискуссионных форумов на уровне ЕС; Такие форумы являются успешным механизмом совместного управления программой и ее оцениванием. Они предназначены для обсуждения и передачи информации, обратной связи с социальным сектором (на который направлены действия программы). Также 17 организуются встречи для решения более конкретных вопросов и передачи передового опыта в страны, вступающие в ЕС. Такая схема взаимодействия и оценивания позволяет регулярно получать объективную информацию об изменениях и прогрессе в реализации программы. Горизонтальное оценивание в данном случае проводится в нескольких категориях. Во-первых, исследуется специфический вклад во влияние на целевую аудиторию отдельных услуг, предоставляемых отдельной компанией, участвующей в данной горизонтальной инициативе. Этот вклад был проанализирован с учетом следующих факторов: Предание предприятию устойчивого развития; Установление механизмов участия рабочих в разработке политики экологичности продукции; Увеличение для компании значения охраны окружающей среды; Сдвиг в сторону организационного обучения. Основными инструментами являлись наблюдения, интервью с участниками, электронные опросы. Следующий уровень – оценивание вклада отдельных компаний в результаты деятельности партнерства, в которые они входят в рамках программы. Измерялась степень участия каждого предприятия в достижении следующих целей партнерства: Способность компаний сохранять устойчивость в условиях экономических изменений; Участие компаний в организационном обучении; Содействие экологической политике и системам охраны окружающей среды. Основными использовавшимися инструментами были групповые дискуссии и анализ данных, полученных в результате электронных опросов. Далее проводилось оценивание вклада партнерств в национальный уровень программы и вклада каждой страны в программу в целом. Оценочные исследования проводились на постоянной основе и требовали значительных издержек. На затраченные средства могла бы быть разработана система многоуровневой многоакторной горизонтальной оценки, однако этого не произошло. Одно из преимуществ горизонтального оценивания в том, что оно позволяет своевременно получать очень оперативные данные. За счет этого можно вносить изменения в программу в процессе ее реализации. Однако в случае с программой EQUAL это 18 преимущество также не было использовано, т.к. данные полученные в 2002 году были представлены только в 2004, и изменения были уже невозможны. Кроме того, в процессе горизонтальной оценки происходит постоянный приток данных, в отличие от стандартных схем оценивания, в такой системе нет фиксированного количества собраний, форумов, согласований и т.п. Процесс обсуждения программы может происходить на постоянной основе, в форме диалога с вовлечением всех участников, однако в данном конкретном случае участники выбрали режим периодических пресс-конференций, что затрудняло доступ к данным и оперативное изменение программы. Результаты исследования при горизонтальной оценке не имеют строго определенного формата. Выборка из массива полученной информации может происходить в зависимости от тех вопросов, которые оказываются наиболее актуальными. В целом, горизонтальная оценка оказала положительные влияния на программу, улучшив эффективность сотрудничества создателей политики, оценщиков, администраторов и конечных пользователей услуг программы. Выводы. Тенденция к снижению барьеров взаимодействия между различными секторами неизбежно должна коснуться России. Для этого необходима трансформация привычных шаблонов работы чиновников, научного сектора, общества и т.д. Для начала сотрудничества необходимо прежде всего прийти к общему пониманию целей, не номинальных, заявленных на бумаге, а реальных целей, которые являются двигателем работы. В сфере взаимодействия с государственным сектором по всему миру проблемой остается твердолобость бюрократической культуры, относительно же нашей страны этот фактор играет решающую роль и может стать непреодолимым препятствием на пути внедрения горизонтального управления. Ключом к развитию методологии может стать ее широкое использование в частном секторе. Все же экономические выгоды от такого сотрудничества для коммерческих компаний более очевидны. Однако здесь мы также можем столкнуться с серьезным препятствием в виде низкого уровня доверия между компаниями. Избранная литература: 1. James Sanders, Promising practice: Cluster evaluation. The Evaluation Exchange Volume IV, No. 2, 1998 (http://www.gse.harvard.edu/hfrp/eval/issue11/pp.html) 2. Karol Olejniczak, Evaluation practice in European Union. Warsaw University, 2007 19 3. Herman Bakvis and Luc Juillet, The Horizontal Challenge: Line departments, Central Agencies and Leadership. Canada School of public service, 2004 4. Tom Fitzpatrick, Horizontal Management: Trends in Government and Accountability. The Treasury Board of Canada, Secretariat, 2000. 5. About the VSI (http://www.vsi-isbc.org/eng/about/goals.cfm) 6. Tom Casey and others, Using logic models: final report. Sandia National Laboratories, USA. 7. Philip Potter, Facilitating Transferable Learning through Cluster Evaluation: EU EQUAL. SAGE Publications, London, 2005. 8. Andrea Anderson, An Introduction to Theory of Change. The Evaluation Exchange Volume XI, No. 2, Summer 2005 (http://www.gse.harvard.edu/hfrp/eval/issue30/expert3.html) 9. The Voluntary Sector Initiative Process Evaluation. Final Evaluation Report. (http://www.vsi-isbc.org/eng/relationship/evaluations.cfm) 10. М аршаков В.А., «Оценивание политик и измерение результативности: мировой опыт и российские перспективы оценивания эффективности государственного управления». Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов Вып. I // под ред. Д.Б. Цыганова, М.: 2007 С. 192-195. 11. Стенограмма сессии № 2 Ежегодной конференции Международной Сети «Оценка Программ». Арнольд Лав, Новые направления в оценивании. М.: 2007. 12. Activities of the European Union: The EQUAL Program. (http://europa.eu/scadplus/leg/en/cha/c10237.htm) 13. Д.Цыганков, М.Смирнова, «Четвертое поколение методов оценивания». Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов Вып. I // под ред. Д.Б. Цыганова, М.: 2007. С.95-96. 20
