UNWOMEN/IPEN Transformative Mixed Methods
реклама
IPEN, Алматы, Казахстан, июль 2011, Донна Мертенс UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ: День 1 Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011 1 План на три дня 2 День 1: Какую роль играет специалист по оценке? Основные аспекты оценки (Техзадание) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Введение/ Ожидания участников3 Имя, должность, организация (пожалуйста, не используйте аббревиатуры). Откуда вы приехали? Есть ли у вас опыт проведения исследований в мультикультурных или маргинальных сообществах? Какой? Сталкивались ли вы с социальной несправедливостью? Чего вы ждете от этого семинара? IPEN Almaty Kazakhstan July 2011 Mertens Вопросы для затравки 4 «Социальные преобразования» - что это? Может ли оценка помочь осуществлять социальные преобразования? Какую роль в деле социальных преобразованиях может играть специалист по оценке? IPEN Almaty Kazakhstan July 2011 Mertens Специалист по оценке в роли провокатора 5 В каждой культуре есть свои возмутители спокойствия… …которым нравится нарушать заведенный порядок вещей IPEN Almaty Kazakhstan July 2011 Mertens Вызовы Гендерное равенство и права человека – «больные» темы, тесно связанные с политическими и социальными условиями, в которых реализуются программы. Поэтому исключительно важно использовать инклюзивные подходы с участием всех заинтересованных сторон. Проблема в том, что эти подходы требуют значительных затрат времени и управления сложной системой отношений. Если мы будем предвидеть, с какими сложностями и ограничениями можем столкнуться, то сможем предложить дизайн оценки, который с большей вероятность обеспечит получение хороших результатов. На заметку: По мнению UN Women, оценка, основанная на ценностях гендерного равенства и прав человека, должна выявлять и анализировать проявления неравенства, дискриминационные практики и несправедливое распределение властных полномочий, которые являются главным препятствием для социально-экономического и личностного развития. UN Women 2011 Зачем специалисту по оценке быть провокатором? Вызовы: консервативность, сопротивление внешним воздействиям и комплексная природа социальных явлений 7 Тенденции: растущий интерес к вопросам социальной справедливости и прав человека при проведении исследований и оценки Смена парадигм: учет мнения маргинализированных групп Движущие силы изменений IPEN Almaty Kazakhstan July 2011 Mertens 8 Растущий интерес к вопросам социальной справедливости и прав человека при проведении исследований и оценки Декларация ООН по правам человека (1948) Декларации ООН по правам : представителей разных рас людей с ограниченными возможностями женщин детей рабочих-мигрантов коренных и малочисленных народов IPEN Almaty Kazakhstan July 2011 Mertens Противоречия как катализаторы 9 Неравное распределение властных полномочий Дискриминация/ угнетение Сопротивление сообщества Осуждение жертвы Незаслуженные привилегии Идеализация существующих традиций Механизмы социальной интеграции и маргинализации Сложные культурные системы IPEN Almaty Kazakhstan July 2011 Mertens ОЦЕНКА: ОПРЕДЕЛЕНИЕ ООН 10 Анализ деятельности в рамках программы Системный и непредвзятый Ориентирован на выявление достижений (ожидаемый и достигнутых) Рассматривает цепочку результатов, процессы, контекст и причинно-следственные связи Чтобы определить “релевантность (соответствие ситуации и целям), влияние, результативность, эффективность и устойчивость результатов программы” Источник: UNEG, 2005 IPEN Almaty Kazakhstan July 2011 Mertens ГЕНДЕРНОЕ РАВЕНСТВО 11 Предполагает равные права, обязанности и возможности для мужчин и женщин. Подразумевает учет интересов, потребностей и приоритетов и женщин, и мужчин, и признание многообразия среди мужчин и женщин. Является одним из прав человека, а также условием и показателем уровня социальноэкономического и личностного развития. Источник: IPEN Almaty Kazakhstan July 2011 Mertens UNEG Guidance ОЦЕНКА, ОСНОВАННАЯ НА ЦЕННОСТЯХ ГЕНДЕРНОГО РАВЕНСТВА И ПРАВ ЦЕЛОВЕКА 12 Что такое оценка, основанная на ценностях гендерного равенства и прав человека? Это оценка, которая объединяет подходы, ориентированные на ценности гендерного равенства и прав человека: Анализирует, в какой степени программа учитывает организационные и системные цели в области гендерного равенства и прав человека; 2) Интегрирует эти подходы в процесс проведения оценки. 1) ModuleJuly 1-22011 Mertens IPEN Almaty Kazakhstan 12 ОЦЕНКА, ОСНОВАННАЯ НА ЦЕННОСТЯХ ГЕНДЕРНОГО РАВЕНСТВА И ПРАВ ЦЕЛОВЕКА 13 Учитывает распределение властных полномочий; Определяет структурные причины неравенства и дискриминации; Определяет влияние программы на бедных и тех, кто сталкивается с дискриминацией; Используется процессы с участием заинтересованных сторон и рефлексию; и Признает права женщин и гендерное равенство, выявляет притязания правообладателей и обязанности тех, на кого возложена какая-либо ответственность Стремиться обеспечить все более широкое соблюдение прав человека и гендерного равенства Источник: UNEG/UNSSC, Module, 2008 ModuleJuly 1-22011 Mertens IPEN Almaty Kazakhstan 13 В чем особенности подхода, основанного на ценностях гендерного равенства? 14 Концептуальные: Признает гендерную природу развития и значение гендерного равенства для социального и экономического развития Признает социокультурную природу бедности и маргинализации. Признает, что социальное положение мужчин и женщин определяется их расовой, этнической, классовой или кастовой принадлежностью, а также возрастом и состоянием здоровья. Признает, что в семье существует определенное разделение властных полномочий, связанное с разделение властных полномочий в обществе, государстве и экономике ModuleJuly 1-22011 Mertens IPEN Almaty Kazakhstan 14 ТЗ на оценку ТЗ на оценку определяет, зачем проводится оценка (цель); что нужно проанализировать (фокус и ключевые вопросы); каким образом и когда будет проводиться оценка (методы и источники информации); кто и как будет использовать результаты оценки. ТЗ состоит из взаимосвязанных разделов, названия и инструкции по заполнению которых приведены в «Руководстве по подготовке ТЗ» UN Women. ТЗ влияет на все этапы процесса оценки, так как оно используется для привлечения ресурсов для проведения оценки, является руководящим документом в процессе проведения оценки (включая подготовку промежуточных отчетных материалов и финального отчета), ясно определяет, как будут использовать результаты оценки после ее окончания. UN Women 2011 Содержание ТЗ Заголовок Контекст и назначение оценки, как будут использоваться ее результаты Контекст программы Описание программы Рамки оценки Вопросы оценки Существующие источники информации Подходы, процесс и методы Участие заинтересованных сторон Ожидаемые продукты Состав команды, которая будет проводить оценку, навыки и опыт Управление оценкой Этические нормы и правила, которые должны соблюдаться Пример 1: Программа профилактики ВИЧ/СПИД в Ботстване 17 Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД IPEN Almaty Kazakhstan July 2011 Mertens Пример 2: Программа UN Women “Безопасные города» 18 IPEN Almaty Kazakhstan July 2011 Mertens Пример ТЗ Оценка Фазы 1 Кампании «Скажи нет насилию» http://unifem.org/evaluation_manual/wpcontent/uploads/2010/02/Example-ToREvaluation-Say-NO-to-Violence-against-WomenCampaign1.pdf UN Women 2011 Парадигмы: 20 Ваша картина мира Ваши представления об этике (аксиология) о реальности (онтология) о природе знания и отношениях между субъектом и объектом познания (эпистемология) о том, как нужно проводить системные исследования (методология) IPEN Almaty Kazakhstan July 2011 Mertens Трансформационная парадигма Система представлений и убеждений, которая предполагает активное участие в исследовании различных культурных групп во имя социальной справедливости. Метафизическая «рамка»: критические теории, феминистские теории, приоритет прав человека, учет национальных и культурных традиций, постколониализм 21 IPEN Almaty Kazakhstan July 2011 Mertens Что общего у программ UN Women и трансформационной парадигмы Гендерная природа развития; гендерное равенство как условие экономического и социального развития Признание гендерной природы бедности и маргинализации, того, что социальное положение мужчин и женщин определяется их расовой, этнической, классовой или кастовой принадлежностью, а также возрастом и состоянием здоровья Признание наличия в семье разделения властных полномочий, связанного с разделение властных полномочий в обществе, государстве и экономике UNWOMEN 2011 Что общего у трансформационной парадигмы и подходов, основанных на ценностях гендерного равенства и прав человека Инклюзивность – дезагрегирование групп по релевантным критериям Участие заинтересованных сторон и рефлексия – серьезное и уважительное отношение к заинтересованным сторонам Уважение - к культуре, языку, гендеру, месту и уровню способностей Прозрачность и ответственность: доступность Сочетание качественных и количественных методов: контекст, влияние, соответствие ситуации и целям, результативность, эффективность и устойчивость. Трансформационная парадигма: философия 24 Аксиология: Уважение к культурным нормам; приверженность правам человека и социальной справедливости, взаимное сотрудничество Онтология: Вопросы распределения властных полномочий и критический анализ различных реальностей: социальной, политической, культурной, расовой и этнической, гендерной, возрастной, религиозной и связанной с состоянием здоровья, - чтобы выявить факторы, которые помогают сохранять существующие механизмы дискриминации Эпистемология: Власть и структура взаимодействий; социальная и историческая привязка знания; доверительные отношения. Методология: сочетание качественных (диагностика) и количественных методов; контекст IPEN Almaty Kazakhstan July 2011 Mertens Этический стимул: государственное регулирование 25 Общественное благо: Обеспечить максимум положительных результатов для науки, человечества и отдельных участников исследования и свести к минимуму или нулю ненужный риск, вред или урон. Уважение: Уважительное и вежливо обращение в людьми, в том числе с недееспособными (например, маленькими детьми, людьми с задержкой в умственном развитии и страдающих старческим слабоумием) Справедливость: Риску должны подвергаться только те, кто получит выгоду в результате исследования; процедуры должны быть рациональными, исключать эксплуатацию участников, быть тщательно продуманными и применяться справедливо. (Отчет Белмонта) IPEN Almaty Kazakhstan July 2011 Mertens Этические принципы UN 26 Обязанности перед участниками Уважение достоинства и разнообразия Право на самоопределение Адекватное представление Соблюдение норм работы с уязвимыми группами Компенсация Конфиденциальность Предупреждение ущерба IPEN Almaty Kazakhstan July 2011 Mertens Этика Этические принципы, которые должны соблюдаться при проведении оценки в системе ООН (Группа ООН по оценке) UNEG Ethical Guidelines for Evaluation in the UN System Нормы поведения специалистов по оценке (Группа ООН по оценке) - UNEG Code of Conduct for Evaluators UN Women: Политика в области оценки – принципы и стандарты 28 Ключевые принципы Ключевые стандарты Эмпауэрмент женщин и гендерная справедливость Участие заинтересованных сторон, инклюзивность Права человека Развитие ради человека Координация работы всех учреждений ООН для достижения гендерного равенства Ориентация на использование результатов оценки, осознанность Заинтересованность и приверженность ключевых заинтересованных сторон в стране Прозрачность, независимость и непредвзятость Качество и достоверность Соблюдение этических принципов Управление, ориентированное на достижение гендерного равенства и эмпауэрмент женщин IPEN Almaty Kazakhstan July 2011 Mertens 28 Трансформационный подход – аксиологические положения 29 Выявление и уважение к культурным нормам, которые способствуют соблюдению прав человека и социальной справедливости; Выявление и критика культурных норм, которые способствуют сохранению системы угнетения; Взаимность – что специалисты по оценке дают сообществам; Стойкость – признание значимости знаний, опыта и сильных сторон, которыми обладают сообщества; Устойчивость – создание условий, при которых сообщество сможет продолжить действия, направленные на достижение социальной справедливости и обеспечение соблюдения прав человека, и после ухода специалиста по оценке; Признание ограничений: Специалист по оценке не должен выходить за определенные рамки и давать неисполнимые обещания. IPEN Almaty Kazakhstan July 2011 Mertens Кто является заинтересованной стороной? Лица, на которые возложена обязанность принимать решения относительно программы, например, органы управления программы; другие лица, на которые возложены определенные обязанности, например, сотрудники правительственных учреждений, имеющих отношение к программе Лица, на которые возложена ответственность за программу, например, ее руководители Лица, которым была передана часть ответственности за реализацию программы, например, бизнес или родители Лица, обладающие определенными правами: благополучатели программы, целевые и нецелевые Лица, обладающие определенными правами, положение которых программа ухудшила UNWomen 2011 Как обеспечить участие заинтересованных сторон? Создать консультативную группу Кто? Ключевые представители национальных правительственных структур, партнеров, НКО, женских организаций, благополучателей, руководства программы, других агентств ООН и/или доноров Роль: разработка ТЗ на проведение оценки, принятие решений, предоставление знаний о контексте и содержательной стороне программы и/или помощь в сборе данных, подготовка отчета, распространение и использование результатов оценки Как вы будете использовать результаты оценки? Вопросы для референтной группы На какие ваши вопросы о программе должна ответить оценка? Какими данными и информацией, которые могут Какой потенциально полезной быть использованы в процессе информации о программе у вас оценки, вы уже располагаете? сейчас нет? Какие трудности могут Что именно должна возникнуть при проведении проанализировать оценка? оценки? (Географическая Есть какие-то моменты, которые не удаленность, культурные нужно рассматривать в процессе различия, гендерные оценки? особенности) На ваш взгляд, каким образом в Каким образом вы хотите внести процессе оценки должны свой вклад/ участвовать в собираться необходимые данные и проведении оценки? информация? Каким образом и как часто вы хотите получать информацию о ходе оценки? Трасформационная этика: методологические следствия Какие заинтересованные стороны являются главными? 33 Что, по-вашему, вы знаете о культурных нормах и взглядах различных заинтересованных сторон? Как можно использовать оценку, чтобы: определить, какие культурные нормы и взгляды существуют в сообществе? должным образов включить в проведение оценки членов сообщества? Определить, какие культурные нормы и взгляды способствуют установлению социальной справедливости, а какие – сохранению социального неравенства и угнетения? Дополнительные вопросы: Каким образом можно измерить, что, когда вы уйдете из сообщества после окончания исследования, ситуация там будет лучше, чем до вашего прихода, - что люди получили новые знания, приобрели новые способности, что появились новые политики или практики? Каким образом можно использовать опыт, знания и сильные стороны сообщества, чтобы взаимодействие между его членами и специалистом по оценке было искренним и равноправным? IPEN Almaty Kazakhstan July 2011 Mertens Онтологические положения трансформационного подхода 34 ТП признает, что существуют различные версии реальности; Различные версии реальности не являются равноценными; Признает существование привилегий, которые предоставляются в соответствии с представлениями о реальности, связанными с социальными, политическими, культурными, экономическими, этническими, гендерными, религиозными и физическими различиями Ставит под сомнение версии реальности, которые способствуют сохранению неравенства и угнетения; Привлекает внимание к версиям реальности, которые способствуют соблюдению прав человека IPEN Almaty Kazakhstan July 2011 Mertens • Характеристики разнообразия (Petesch & Thalayasingam) 35 Шри-Ланка – многонациональное государство. Из 21 миллиона жителей две трети составляют сингалезцы, и многие из них исповедуют буддизм. 18% населения – тамилы, которые исповедуют в основном индуизм и христианство. Тамилы проживают в основном в северных, восточных, западных и центральных провинциях. Примечание: есть индийские тамилы и шриланкийские тамилы. В 1956 году Парламент принял закон, согласно которому единственным официальным языком является сингальский язык. А 1972 году были приняты законы, которые по мнению общественности дискриминируют тамилов при поступлении в университеты. Мусульмане составляют 7% населения. Мусульмане сосредоточены в городах, а также в центральных, южных и восточных провинциях. IPEN Almaty Kazakhstan July 2011 В 2004 году цунами обрушилось на Mertens северное, восточное и южное побережья острова. 30 тысяч людей погибло, Характеристики разнообразия (Petesch & Thalayasingam) 36 Считается, что бедность зависит от состава семьи. Беднейшие семьи часто: Большие, с большим числом членов, которые не могут сами содержать себя без отца или с большим числом женщин, престарелых и нездоровых людей; семьи, в которых кто-то болен, часто живущие за счет одного кормильца; несовершеннолетние дети в таких семьях часто должны работать, чтобы семья могла сводить концы с концами. IPEN Almaty Kazakhstan July 2011 Mertens 37 Культурная компетентность (Как понять, какие характеристики разнообразия являются важными?) Вот моя коллекция шариков из камня. У меня есть агатики, бомбардиры, молочники, бамбузеры, поплавки и блестючки… А у тебя что есть? IPEN Almaty Kazakhstan July 2011 Mertens Круглые шарики.. Трасформационная онтология: методологические следствия 38 Как можно использовать оценку, чтобы: Найти, оказать поддержку и вовлечь в работу различных участников, чтобы можно было Выявить различные версии реальности, и в том числе понять, как в них распределяются привилегии и власть? Способствовать изменению представлений о реальности? IPEN Almaty Kazakhstan July 2011 Mertens Эпистемологические положения трансформационного подхода 39 Необходимость взаимодействия между специалистом по оценке и участниками; Признание социальной и исторической обусловленности знания; Открытое признание неравного распределения властных полномочий; Установление доверительных отношений. IPEN Almaty Kazakhstan July 2011 Mertens Историческая привязка знания 40 За последние несколько десятилетий Шри-Ланка пережила два крупных конфликта. Группа сингалезских повстанцев, называвших себя Народноосвободительным фронтом (Джаната Вимукти Перамуна) попыталась свергнуть правительство сначала с 1971, а потом в 1989 году. Правительство жестоко подавило восстание 1989-91 гг. Было убито почти 60 тысяч человек. Второй конфликт, который развязали «Тигры освобождения Тамил-Илама», начался в 1983 году и привел к гражданской войне за отделение исторических территорий проживания тамилов. Конфликт продолжался до 2009 г. IPEN Almaty Kazakhstan July 2011 Mertens Трасформационная эпистемология: методологические следствия 41 Как понять, какой властью и привилегиями вы обладаете? Как, по-вашему, вас воспринимают сообщества, с которыми вы работаете? Как вы можете использовать оценку, чтобы: Решить проблемы, связанны с тем, что у одних сообществ власти и полномочий меньше, чем у других? Заставить услышать голоса слабых, не имеющих власти? Установить доверительные отношения? IPEN Almaty Kazakhstan July 2011 Mertens Руководящие принципы Американской ассоциации оценки: связь между культурной компетентностью и трансформационной эпистемологией 42 Во имя выявления, корректной интерпретации и уважения к разнообразию, специалисты по оценке должны сделать так, чтобы члены команды, которая проводит оценку, коллективно проявляли культурную компетентность (Американская ассоциация оценки, Публичное заявление относительно культурной компетентности при проведении оценки, 2011) IPEN Almaty Kazakhstan July 2011 Mertens Оценка отражает культуру 43 Культура неизбежно влияет на оценку. Люди, участвующие в оценке, привносят в нее свои ценности, взгляд на мир и культуру. Культура влияет на то, как формулируются вопросы оценки, что, в свою очередь влияет на то, какие данные собирают, каким образом их собирают, анализируют и как интерпретируют. IPEN Almaty Kazakhstan July 2011 Mertens Что такое культурная компетентность? 44 Культурная компетентность – это не результат, а процесс получения, потери и повторного обретения знаний. Это чувствительность, которую нужно культивировать в течение всей жизни. Культурная компетентность требует самоосознания, размышлений о своей культуре, понимания культуры других людей, способности открыто и с уважением взаимодействовать с другими людьми. Специалисты по оценке, обладающие культурной компетентностью, не допускают мысли, что они целиком и полностью понимают позиции и взгляды заинтересованных сторон, чья культура отличается от их собственной. Культурная компетентность зависит от контекста (AEA 2011) IPEN Almaty Kazakhstan July 2011 Mertens Культурная компетентность и достоверность 45 • Внимательно и уважительно обдумывайте жизненный опыт и мнения участников программ; • Стройте отношения так, чтобы обеспечить доверительный обмен информацией между всеми участниками процесса оценки. • При дизайне оценки и интерпретации данных используйте теоретические подходы, учитывающие культурные особенности или даже адаптированные к данной культуре. • Выбирайте методы, которые соответствуют культурному контексту исследования. • Учитывайте ожидаемые и побочные последствия при оценке их работы (AEA 2011) IPEN Almaty Kazakhstan July 2011 Mertens Вопросы: культурная компетентность 46 Как вы определяете культурную компетентность? Каково значение культурной компетентности при проведении оценки? Как вы развиваете культурную компетентность? Как вы демонстрируете культурную компетентность? Какие риски таит в себе данная концепция? IPEN Almaty Kazakhstan July 2011 Mertens Методологические положения трансформационного подхода 47 В начале планирования оценки исследователям необходим диалог (сбор качественной информации), чтобы понять, в каком культурном контексте им предстоит работать; Использование качественных и количественных данных позволяет учесть интересы различных участников и различные аспекты; Используемые методы должны адекватно отражать сложность контекста и быть приемлемыми для культурных групп, которые участвуют в исследовании; Можно использовать цикличный дизайн, чтобы использовать в ходе исследования промежуточные результаты. IPEN Almaty Kazakhstan July 2011 Mertens Трансформационная методология Участие сообществ Виды исследований Описательные – С вмешательством Модель исследования Цикличное Краткосрочное Дизайн и методы Комплекс методов Один метод Одновременно Последовательно Сочетание качественных и количественных методов Количественные Качественные Участие сообществ Community Participation 48 IPEN Almaty Kazakhstan July 2011 Mertens 49 Пример: делаем явным Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД IPEN Almaty Kazakhstan July 2011 Mertens 50 Методологические положения трансформационного подхода Как разработать дизайн исследования, чтобы: Учесть необходимость диалога/ сбора качественных данных в начале планирования, чтобы учесть культурный контекст; Предусмотреть сбор количественных и качественных данных, чтобы учесть интересы различных участников и различные аспекты; Использовать методы, позволяющие отразить сложность культурного контекста и приемлемые для культурных групп, участвующих в исследовании; Используйте цикличный дизайн, чтобы использовать промежуточные результаты в ходе исследования. IPEN Almaty Kazakhstan July 2011 Mertens Методология и качество 51 Как можно использовать оценку, чтобы наладить взаимодействие со всеми участниками и собрать данные, которые помогут и вам, и им лучше понять сообщество? Как можно построить процесс сбора данных, чтобы учесть потребности самых разных участников? Каким образом можно спланировать оценку, чтобы повысить вероятность использования ее результатов для обеспечения социальной справедливости и соблюдения прав человека? IPEN Almaty Kazakhstan July 2011 Mertens Литература 52 Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage. Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage. IPEN Almaty Kazakhstan July 2011 Mertens Контактная информация 53 Donna M. Mertens, Gallaudet University [email protected] IPEN Almaty Kazakhstan July 2011 Mertens
