Качественные - Международная сеть "Оценка программ"
реклама
UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ: День 3 Сочетание качественных и количественных методов Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011 План на три дня День 1: Какую роль играет специалист по оценке? Основные аспекты оценки (Техзадание) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods «Меню» методов Количественные: экспериментальные, квазиэкспериментальные, опросы, сравнительные исследования. Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы (Mertens, 2009, TRE, p. 165). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Как сочетать методы Совместимость: Совмещайте цель, фокус, вопросы и дизайн. Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов. Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования. Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Одновременное использование Качественные и количественные методы используются болееменее одновременно Количественные Качественные Последовательное использование: Сначала количественные, потом качественные ИЛИ Последовательное использование: Сначала качественные, потом количественные Качественные Количественные IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Mertens, 2009, TRE, p. 167 Трансформационная методология Участие сообществ Виды исследований Описательные – С вмешательством Модель исследования Цикличное Краткосрочное Дизайн и методы Комплекс методов Один метод Одновременно Последовательно Сочетание качественных и количественных методов Количественные Качественные Участие сообществ Community Participation 6 IPEN Almaty Kazakhstan July 2011 Mertens 7 Пример: делаем явным Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД IPEN Almaty Kazakhstan July 2011 Mertens Дизайн трансформационной оценки с использованием качественных и количественных методов Stage Этап 11 Qual Качественные методы Соберите Assemble команду, team; read изучите documents; документы, engage in начните dialogues диалог Этап 2 Stage 2 ОдновреConcurrent менно ПредвариPreliminary тельное studies: youth, исследования: older men молодежь, пожилые Этап 3 Этап 4 Stage 3 ПоследоSequential вательно Stage 4 ОдновреConcurrent менно Pilot Пилотintervention: программы: наблюдение; Observations, интервью, опросы Interviews, Surveys Оценка Process eval процесса ДемографиDemographic ческая information; информация; Surveys; опросы; Incidence статистикаdata Pretest: Пре-тест: знания, Knowledge, отношение, Attitude, поведение Behavior; IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Post Пост-тест: качестtests: венные, Quant количестQual; венные, Behavior изменения в & Policy поведении Change; и политике; Transfer перенос в другие To other условия contexts Компоненты трансформационного дизайна: Пост-колониальная критическая этнография Описание задачи или вопросов оценки (фокус). Описание методов сбора данных: интервью, дневниковых записей, процессов кодирования, как эти методы будут использоваться, когда специалист по оценке будет выполнять роль соисполнителя или наблюдателя. Объяснение этической стороны работы, того, как будут защищаться интересы участников и их частная жизнь, и как на ключевых этапах работы им будут предоставляться отчеты, и в том числе финальный. Описание участников: численность, место проживания, нормы и правила, исторический и культурный контекст, ожидания ключевых источников информации. График работ: выезд в поле, сбор данных, возвращение из поля, кодирование и анализ, завершение написания отчета и/или его публичное представление. Использование критической теории при планировании и проведении и распространении его результатов. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Madison (2005) Исследование действием и трансформационный дизайн 1. Группа определяет цель и вопросы оценки. 2. Специалисты по оценке и участники наблюдают, участвуют в действиях, наблюдают и записывают. 3. Специалисты по оценке и участники погружаются в действие и углубляют свое понимание. 4. Члены группы снова собираются вместе и делятся знаниями, а также обновляют планы следующего цикла оценки. 5. Этот цикл повторяют 6-10 раз в зависимости от сложности ситуации. (Heron & Reason, 2006). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Трансформационная оценка с использованием качественных и количественных методов и исследование методом совместных действий «Можно использовать опросы, статистический анализ, интервью, фокусгруппы, этнографическое описание, жизнеописание, если участники исследования договорились об этом и используют так, что это не ущемляет права и интересы других участников» Greenwood and Levine (2007) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Вопросы для размышления: Дизайн Как вы отнесетесь к тому, что одна группа станет объектом воздействия, а другая – нет? При каких условиях вы сочтете такой дизайн этически приемлемым? Каковы возможные альтернативы? (Mertens, 2009, TRE, p. 197) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Гендерный анализ и сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Непосредственные и опосредованные результаты и влияние Ресурсы —> Действия —> Непосредственные результаты —> Опосредованные результаты —> Влияние Непосредственные результаты – это продукты, услуги, способности и возможности, получаемые при исполнении действий. Опосредованными называются кратко- и среднесрочные результаты, являющиеся следствием непосредственных результатов; обычно получаются в результате коллективных усилий партнеров. Влияние – это долгосрочный эффект или изменения, появлению которых способствовала программа благодаря коллективным усилиям партнеров. Оценка, основанная на ценностях гендерного равенства и прав человека: каким образом программа способствовала достижению гендерного равенства и соблюдению прав человека? Индикаторы С помощью индикаторов мы измеряем, достигли ли мы своих целей и насколько мы к ним приблизились. Разрабатываются для результатов ВСЕХ уровней – непосредственных, опосредованных и долгосрочных (влияния). Индикаторы (качественные или количественные) измеряют статус достижения ожидаемого результата. Source: UNIFEMIPEN RBMAlmaty training Kazakhstan July 2011Module Mertens2-1 Mixed Methods 15 Индикаторы Количественные: цифровые показатели (процентные доли мужчин и женщин в парламенте, зарплата мужчин и женщин, доли девочек и мальчиков, которые посещают школу) Качественные: отражают мнения, отношения и чувства (природа неудовольствия, уровень информированности) IPEN Almaty Kazakhstan July 2011Module Mertens2-1 Mixed Methods 16 Примеры Количественные – Можно подсчитать и выразить в числовой форме % … число … частота … доля … количество … время … Качественные – измеряют восприятие (могут быть выражены в числовой форме или в виде текста) Уровень удовлетворенности … Знания о … Способность … Приемлемость... Важность … Польза от … Источник: UNIFEM RBM Training. IPEN Almaty Kazakhstan July 2011Module Mertens2-1 Mixed Methods 17 Гендерные индикаторы Измеряют гендерные изменения Включают индикаторы, дезагрегированные по полу индикаторы, измеряющие характеристик, специфичные для женщин или мужчин Source: A. Moser. 2007 Gender and Indicators IPEN Almaty Kazakhstan July 2011Module Mertens2-1 Mixed Methods 18 Индикаторы для прав человека Измеряют уровень соблюдения прав человека в целом, а также уровень соблюдения прав человека в рамках программы и ее вклад в их продвижение Индикаторы для прав человека должны измерять: Изменение способности правообладателей и тех, кто облечен ответственностью, обеспечить реализацию прав человека Изменение уровня пользования правами IPEN Almaty Kazakhstan July 2011Module Mertens2-1 Mixed Methods 19 Оценка, основанная на ценностях гендерного равенства и прав человека Реализация рекомендаций и использование результатов оценки: Стратегия распространения результатов оценки должна обеспечить свободный доступ к ним как правообладателей, так и тех, что облачен ответственностью Предоставьте информацию женским организациям и сетям, а также сетям специалистов Используйте понятный язык Проводите семинары для женщин и других групп, являющихся объектом дискриминации (правообладателей и тех, кто облечен ответственностью) Руководство должно выпустить документ, регламентирующий использование результатов оценки, касающихся вопросов гендера и прав человека IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Примеры индикаторов Индикатор для опосредованного результата: Изменения потенциала министерств ХХХ разрабатывать и реализовывать политики, учитывающие интересы женщин коренных и малочисленных народов. Индикатор для непосредственного результата: Изменения знаний, навыков и отношения сотрудников министерств ХХХ IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Примеры генденых индикаторов и индикаторов прав человека Доля представителей целевой группы (дезагрегированная по полу), которые знают о пользе получения свидетельства о рождении, Доля занятых – с дезагрегацией по возрасту и полу, Доля мальчиков и девочек, получивших начальное образование, Доля женщин в парламенте. “Проверка на соответствие реальности” Затраты и использование имеющихся данных; не слишком ли много индикаторов? Перекос в сторону количественных показателей – необходим баланс между качественной и количественной информацией. Прокси-индикаторы, когда измерение проводится косвенно. По возможности индикаторы должны дезагрегироваться по полу, расовой принадлежности, возрасту и географическому признаку. Индикаторы находятся не в вакууме, они должны быть привязаны к результату. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Упражнение: разработка индикаторов Разработайте два индикатора (один качественный и один количественный) для программы, которую мы рассматриваем в качестве примера на этом семинаре. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Пример вопросов для оценки релевантности (соответствия) Насколько хорошо цели программы соответствуют выявленным правам и потребностям женщин и мужчинблагополучателей? Какие из прав, определенных в Конвенции о ликвидации всех форм дискриминации в отношении женщин, Целями тысячелетия и другими международными актами, продвигает программа? Пример вопросов для оценки результативности Насколько были достигнуты цели программы, отвечают ли ожидаемые и побочные результаты потребностям наименее привилегированных женщин? В какой степени был укреплен потенциал правообладателей и тех, кто облечен ответственностью? Примеры вопросов для оценки эффективности Можно ли было выполнить действия и получить непосредственные результаты, использовав меньший объем ресурсов на бенефициара, без ущерба для качества и количества? Программа использовала преимущества партнерских отношений максимально возможно? Можно ли быть уверенным, что организационная структура UN Woman и механизмы управления и координации эффективно поддерживали реализацию программы? Примеры вопросов для оценки влияния В какой степени удалось остановить практики, дискриминирующие женщин? Какие есть свидетельства, что программа помогла правообладателям более успешно реализовывать свои права, а тем, кто облечен ответственностью, более эффективно выполнять свои обязанности? Примеры вопросов для оценки устойчивости Поддерживают ли программу национальные и локальные женские организации? Готовы ли и способны ли эти организации продолжить работу по программе или пропагандировать изменения? Дополнительные вопросы, касающиеся гендерного равенства и прав человека Равенство и отсутствие дискриминации: Программа дает положительные результаты в равной мере как для женщин, так и для мужчин? Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы обеспечить включение наименее привилегированных и маргинализируемых групп? Отчетность: Проводился ли мониторинг (с дезагрегацией данных по полу, возрасту, национальной и географической принадлежности и уровню дохода) и использовались ли его данные? Социальные преобразования: Уделяет ли теория изменения программы внимание вопросам гендерного равенства и прав человека? Участие и инклюзивность: Были ли в процессе реализации программы приняты меры, чтобы включить мужчин и женщин, и в том числе представителей наименее привилегированных групп? UN Women 2011 Методы оценки, основанной на ценностях гендерного равенства и прав человека Предупреждение систематической ошибки: выбор методов сбора данных и методов выборки Возможные источники систематической ошибки: гендер и власть (вопросы конфиденциальности и защиты частной жизни, одним источникам проще участвовать, чем другим), класс или расстояние (более доступные источники получают преимущество) Планы по вовлечению в оценку представителей маргинализированных групп Сочетание качественных и количественных методов Строгость при выборе методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods 33 В позитивистской традиции используются два важных теста: 1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность) 2. Является ли данное утверждение истинным в других ситуациях? Можно ли сделать обобщение? (Внешняя валидность) IPEN Almaty Kazakhstan July 2011 Mertens 7/5/2011 Сравнительные исследования: строгость Есть ли причинно-следственная связь? Есть ли другие объяснения? Сравнительные группы при изучение причинности в рамках сравнительного исследования? Третья переменная является причиной переменнойпредиктора и критериальной переменной? Анализ подгрупп? Корреляция: сортировка переменных? Прогнозные исследования: Другие фильтры для переменных? Уровень 0.8 или выше? Надежность и диапазон переменных IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Критерии, которые обеспечивают научную строгость при использовании качественных методов Надежность: как и достоверность в качественном исследовании – спрашивает, есть ли соответствие между тем, как респонденты воспринимают социальную реальности, и тем, как их точки зрения описывают специалисты по оценке. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Критерии строгости при использовании качественных методов (a) Постоянство наблюдений (b) Обсуждение с коллегами (c) Прогрессивная субъективность (d) Проверка членами группы (e) триангуляция (f) Возможность переноса (g) Зависимость (h) Подтверждаемость (i) Аутентичность и честность IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Трансформационная оценка: строгость Ориентирована на права человека и социальную справедливость Анализирует асимметричность структуры власти Выступает за культурную компетентность в отношениях между специалистом по оценке и членами сообщества Использует качественные и количественные методы, соответствующие культурным условия, и увязанные с действиями, направленными на социальные изменения Применяет феминистские теории, критическую теорию расы, теории постколониализма и изучения коренного населения Mertens (2009) Transformative Research and Evaluation. The Guilford Press. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Аутентичность (Трансормационные критерии) Честность: Специалист по оценке представляет все разные ценности, взгляды и конфликты. Онтологическая аутентичность: Человек или группа стали лучше осознавать свои представления о мире и свой опыт, представления стали более сложными. Каталитическая аутентичность: Исследование стало стимулом для действий. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Власть и привилегии 39 Как мы можем понять динамику власти, когда методы с участием используют власть имущие? Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85) Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества? Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press) IPEN Almaty Kazakhstan July 2011 Mertens 7/5/2011 Критерии строгости: использование Распространение Использование Принятие управленческих решений Участие заинтересованных сторон IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Цели распространения результатов оценки Прозрачность и ответственность Повышение осознанности работы организации и ее улучшение Распространение успешного опыта работы и ноухау, чтобы способствовать более широкому соблюдению прав женщин Передача опыта партнерам на местах и повышение их потенциала Создание знания о том, как продвигать идеи эмпауэрмента женщин и соблюдения прав человека Распространение Язык и оформление отчета: Используйте графики или рисунки. Текст должен учитывать гендерные и клуьтурные особенности. Перевод: Когда планируете оценку, оцените потребность в переводе и предусмотрите необходимые время и средства. Открытая публикация отчета: В системе ООН все отчеты должны быть в открытом доступе (Норма и стандарты Группы оценки ООН). В UN Women Отдел оценки размещает отчеты об оценке в Ресурсном центре оценки (открытом для публики). Ориентация на целевую аудиторию: Невысокий уровень грамотности? Менеджер должен проявить креативность и найти каналы коммуникации, которые подходят различным аудиториям. Стратегии распространения Брошюры с основными выводами и рекомендациями Годовые отчеты Статьи в специализированных и корпоративных бюллетенях Новостные релизы Пресс-конференции Выступления в СМИ Общественные слушания и встречи Семинары и неформальные групповые обсуждения Электронные медиа (электронная почта, сайты, блоги и т.п.) Личные встречи с лидерами сообщества. Возможные трудности Отсутствие консенсуса относительно рекомендаций и необходимых действий Нападки тех, кому не нравятся результаты Недостаток средств, желания или времени на распространение По результатам оценки ничего не делается Управленческие решения Опишите реакцию на выводы и рекомендации оценки, определяет, какие рекомендации должны быть выполнены, а какие нет, а также механизмы контроля за исполнением принятых решений. Привлеките заинтересованные стороны к обсуждению процесса оценки, результатов, выводов и рекомендаций. Привлеките референтную группу к процессу разработки управленческого решения по результатам оценки. План действий Как то, что вы узнали на семинаре, можно будет применить в вашей работе? IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Литература Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage. Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Контактная информация Donna M. Mertens, Gallaudet University [email protected] IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods
