Budget Monitoring and Resource Tracking for HIV/AIDS

Знакомство с методологией
исследований
CEGAA - Семинар партнеров ИОО в ВЕ
март 09 г.
Урбанус Киоко
Центр по экономическому управлению и СПИДу в Африке
Ваше представление об
исследованиях?
Что такое исследования?

Систематический способ решения проблем

Процесс систематического сбора наблюдаемых, доступных проверке
данных с целью описания, проектирования или прогнозирования
событий

Систематическое, объективное и научное исследование явления с
точки зрения его конкретных аспектов в целью выявления и
толкования фактов, принципов и теорий

Поиск знаний посредством объективных и систематических методов
обобщения и формулирования теорий

Получение документальных доказательств как основы для принятия
решений

Концепция научно обоснованной
адвокации
Ключевые этапы исследований: 1. Определение проблемы
Формулировка
проблемы
Определение
проекта /
общая цель
Задачи
адвокации
Четко сформулируйте, в чем состоит проблема, которую
собираетесь решать. Темы или проблемы, которые
помогут сформулировать вопросы исследования,
можно найти во многих источниках: личный опыт,
статьи в профессиональных изданиях,
неопубликованные исследования других людей.
Сосредоточьте исследования на чем-то реально
выполнимом. Будьте разумны! Не пытайтесь охватить
слишком многое в одном исследовании.
Каково желаемое долгосрочное воздействие,
результата ваших усилий, права, которые вы
хотите защитить или поддержать,
конституционные и законодательные нормы,
международные/региональные обязательства.
Чего вы хотите достичь?
Задачи SMART для содействия изменениям,
необходимым для достижения вашей ЦЕЛИ.
(SMART: конкретные, измеримые, достижимые,
реалистичные, определенные по времени)
(Обратите внимание, что разработка стратегии
адвокации начинается сейчас, а закончена будет
после получения предварительных результатов
исследований)
Критерии приоритетности проблем для
исследований с целью адвокации

Актуальность с точки зрения приоритетности
проблемы
◦ Насколько велика или широко распространена проблема
◦ Кого она затрагивает
◦ Насколько серьезна проблема






Избегайте дублирования усилий
Целесообразность
Политическая приемлемость
Применимость возможных результатов и
рекомендаций
Неотложность получения результатов для принятия
решения
Этическая приемлемость
Этап 2: Определение целей и задач исследования
Цель и задачи
исследования
Определение
конкретного вопроса
(-ов) исследования
Масштабы
исследования
Для достижения общей цели адвокации намечайте
реалистичные цели исследований, необходимых
для поддержки кампании адвокации, и
разрабатывайте конкретные, измеримые задачи
ИССЛЕДОВАНИЙ.
На какой вопрос вы хотите ответить? Какие
принципы вы хотите проверить? Какие данные
потребуются заинтересованным сторонам для
составления посланий адвокации? Изучайте
литературу (в течение всего проекта)
Финансирование/расходы - государственные,
частные, донорские, домохозяйств? Источники,
агентства, поставщики, услуги? Вводимые
ресурсы/непосредств. результаты/ эффект/
воздействие? Федеральный/национальный или
региональный/субнациональный уровень?
Повторяемость и (или) развитие? Отраслевой
анализ? Программный анализ? Период в годах?
Целевая группа населения? Уязвимая
группа/гендерный аспект? Ваша концептуальная
основа анализа – права, сектор, проблема,
справедливость?
Этап 2: Определение целей и задач исследования
Масштабы
исследования –
обзор
литературы
 Обзор профессиональной литературы, относящейся
к рассматриваемому вопросу
 Выясните, какую работу по интересующему вас
вопросу уже провели другие.
 Зачем обзор литературы?
◦для предотвращения дублирования усилий
◦для уточнения формулировки проблемы
◦для знакомства исследователя с уже
применяемой методологией
◦для обоснования исследований
 Потенциальные источники данных
◦Частные лица, группы и организации
◦Опубликованная информация, неопубликованная
информация
 Где можно найти информацию
◦Местный уровень
◦Национальный
◦Международный, напр., интернет
Этап 3: Индикаторы: методы
Определение
оптимальных
индикаторов
Ключевые партнеры
и процесс участия.
Участие
/сопричастность
заинтересованных
сторон
Методология:
a. План
исследования
Какие индикаторы/сведения вы будете использовать
для отражения явлений, которые хотите оценить?
Источники данных? Сборщики данных?
Пользователи данными! Польза/риски. Планируйте
вовлечь все заинтересованные стороны, чтобы они
чувствовали свою сопричастность и признавали
актуальность собранных данных и процесса
исследований
Количественные, качественные, интерактивные,
оценка затрат, экономические – микро/макро анализ,
бюджетный анализ, методы отслеживания расходов,
общественные/гражданские исследования в
действии – общественный аудит, обследование
удовлетворенности, оценочные карты. Опросы
доноров, домохозяйств, клиник, районов. Фокусгруппы.
План исследования


План исследования можно представить себе как
структуру исследования - тот "клей", благодаря
которому все элементы исследовательского
проекта становятся единым целым.
План используется для структурирования
исследований, он демонстрирует, как основные
составляющие исследовательского проекта –
выборки или группы, измеряемые индикаторы,
виды лечения или программы, методы
распределения - взаимодействуют между собой
в рамках ответа на центральный вопрос
исследования.
Типология исследований
 Первичные и вторичные
 Поисковые и итоговые
 Количественные (BMET-анализ, анкеты с
фиксированными вариантами ответов, обследования)
и (или)
 Качественные (открытые вопросы)
 с помощью качественных исследований мы пытаемся
охватить "общую картину" и выяснить, как многочисленные
переменные взаимодействуют в реальном мире.
 В таких исследованиях рассматривается естественное
поведение, поэтому методы исследования предполагают
минимально возможное вмешательство
 Дискуссии в фокус-группах
 Непрерывные (панельные, мониторинг) и
специальные / разовые (обследования)
Первичные и вторичные
Первичные
исследования
Данные, собранные
специально для
решения вопроса /
проблемы
Вторичные
исследования
Данные, изначально
собранные для
другой цели
b. Ключевые
респонденты /
популяция
выборки
c. Методы
выборки
d. Инструменты
Связать с принятым ранее решением о
популяции/уязвимой группе. Указать основных
"обладателей" информации (гос-во, донор,
пользователи). Регионы/области? Районы?
Домохозяйства? Частные лица? Ключевые
фигуры из Минфина, Минздрава, парламента,
агентств-доноров, менеджеры программ,
группы гражданского общества НПО и т.д.
Представительная выборка? Используйте
формулу. Целевая выборка районов /
домохозяйств? Назначьте критерии включения /
отбора респондентов. Как вы будете находить и
отбирать респондентов из нужной вам группы?
Бюджетный анализ, анализ расходов, обзор
литературы, фокус-группы, семинары,
интервью (личные, по телефону), анкеты
(самозаполняемые?), обследования, круглые
столы, встречи заинтересованных сторон,
наблюдение?
Методы выборки



Перечень доступных популяций, из которых вы
будете формировать выборку, называется основой
(совокупностью) выборки
Составление выборки: процесс отбора единиц
(напр., людей, организаций) из интересующей вас
популяции, так чтобы результаты исследования
выборки с достоверностью можно было обобщить
для всей популяции.
Выборка – группа людей, которых вы отобрали для
участия в исследовании.
Случайная выборка

Случайная выборка дает каждой единице из
целевой популяции исчислимую и не равную
нулю вероятность быть выбранной
 Предполагается, что у каждой единицы равные шансы быть
выбранной
SRS: члены интересующей нас популяции (N)
пересчитываются, и из них отбирается некоторое
количество (n) методом случайных чисел без их
замены
 Каждая единица выборки может присутствовать в
выборке только один раз
 Каждый член популяции имеет равные шансы
быть выбранным

Формирование систематической случайной выборки
Этапы формирования систематической случайной
выборки:
1. сосчитать единицы в популяции от 1 до N
2. определить желаемую или необходимую n
(величину выборки) k = N/n = размер интервала
3. случайным образом выберите целое число от 1 до
k
 затем возьмите каждую k-ю единицу N = число
случаев в выборочной совокупности

 Примечание:
 n = число случаев в выборке

NC n =
число комбинаций (подмножеств) n от N
 f = n/N = доля выборки
Систематическая случайная выборка








Допустим, что у нас популяция из N=100 человек, и
вам нужно сформировать выборку n=20.
Для системного формирования выборки члены
популяции должны быть перечислены в
произвольном порядке.
Доля выборки составит f = 20/100 = 20%.
Размер интервала k равен N/n = 100/20 = 5.
А теперь выберите случайное целое число от 1 до 5.
В нашем примере, допустим, это 4.
Теперь для формирования выборки начните с 4-й
единицы в списке и выбирайте каждую k-ю единицу
(каждую 5-ю, поскольку k=5).
Вы выберете единицы 4, 9, 14, 19 и т.д. до 100, и в
результате в вашей выборке будет 20 единиц.
Стратифицированная случайная выборка

Иногда она называется случайной
пропорциональной выборкой или выборкой по
квотам



Для этого нужно поделить популяцию на
однородные подгруппы, а затем сформировать
простую случайную выборку в каждой подгруппе,
чтобы каждая подгруппа была пропорционально
представлена в общей выборке – тогда вы сможете
делать выводы об этих группах в популяции.
Задача: Поделить популяцию на не
пересекающиеся между собой группы (т.е. страты)
N1, N2, N3, ... Ni, чтобы N1 + N2 + N3 + ... + Ni =
N.
Затем сделайте простую случайную выборку f = n/N
в каждой страте.
Кластерная (гнездовая) случайная выборка
При кластерной выборке мы поступаем так:
1. делим популяцию на кластеры (обычно по
географическим границам)
2. делаем
случайную выборку кластеров
3. оцениваем
выборке
все единицы внутри кластеров в
Многоэтапная выборка


Отбор кластеров может проходить в
несколько этапов
Проводится отбор районов как первичных
единиц выборки в регионе, внутри них
проводится выборка избирательных
участков, а в них - выборка домохозяйств.
Целевая выборка





Это заведомо неслучайный метод выборки с
целью отобрать группу людей с определенными
характеристиками.
Критерии отбора должны быть обоснованы и
связаны с вопросами, на которые вы пытаетесь
найти ответы
Может быть оправдано труднодоступностью
некоторых популяций, напр. ВИЧ+ пациентов,
посещающих клинику для получения АРВ
Может быть обосновано расходами и сроками,
напр. небольшое исследование конкретного
случая
Не подлежит обобщению!!
Этап 5: Выбор источников данных
e. Источники
данных
Бюджетная отчетность, бюджетные обзоры, планы MTEF, отчеты о
расходах, отчеты Генерального ревизора, бюджеты министерств,
годовые отчеты, отчеты о стоимости, стратегические планы, отчеты
Минфина, парламентская отчетность, особенно комитета по бюджету,
отчеты о государственных расходах, информационные системы
здравоохранения, законодательство о государственном
финансировании, отчеты агентств-исполнителей стратегического
плана, центральные статистические органы, данные обследований
домохозяйств, переписи населения, опросы (экономические, напр. о
доходах и расходах, о здоровье), ранее проведенные исследования,
оценки программ, оценки воздействия, любые проекты по оценке
затрат (помогают измерить достаточность бюджетных ассигнований),
агентства финансового управления, отчеты доноров и т.д.
Этап 6: Сбор данных
f. Инструменты
сбора данных
g. Процесс сбора
данных и
управления
данными
h. Процесс
проверки - для
обеспечения
правильности,
точности и
достоверности
данных
Анкеты – закрытые/открытые
Анкеты (по почте или лично)
Наблюдения
Интервью - личные: интервьюер работает
непосредственно с респондентом, может задавать
уточняющие/ дополнительные вопросы
План использования инструментов сбора
информации. Методы фиксирования данных –
компьютерные программы, научные ассистенты,
регистраторы данных.
Встречи заинтересованных сторон для
ознакомления с предварительными результатами,
обсуждения и уточнения рекомендаций доклада.
Национальные и внешние эксперты рецензируют
проект доклада - эксперты по медицинской
проблеме, государственному финансированию,
бюджетным системам и т.д. Процесс
рецензирования внутри команды - обмен опытом и
рекомендациями, редактирование отчетов друг
друга. Обращение за обратной связью к структурам
гражданского общества.
Этап 6: Сбор данных….
f. Инструменты
сбора данных –
советы по
разработке
анкет
Содержание вопроса
1.Нацелен ли вопрос на то содержание, которое вам нужно
Является ли вопрос необходимым/полезным?
Нужны ли несколько вопросов? двойной вопрос нужно
разделить - напр., "ваш род занятий и ежемесячный
доход?"
2.Содержит ли вопрос всю необходимую информацию,
чтобы респондент мог на него ответить?
3.Конкретный – слишком общую информацию будет трудно
интерпретировать.
Например, Насколько вам понравился семинар?
4.по шкале от "совсем не понравился" до "очень
понравился". Если семинар "очень понравился" - что это
означает? Предвзятый или наводящий вопрос: ваши
собственные предрассудки или "белые пятна" могут
повлиять на формулировку вопроса, допустим, если вы
противник уличных проверок на наркотики: Что вы считаете
недостатками случайных уличных проверок на
наркотики?
5.Не слишком ли прямо сформулирован вопрос?
 слишком прямой/может смутить респондента
 Как вы относитесь к этому семинару?
Еще несколько советов




Общепринятые "золотые" правила проведения
опросов.
Начинайте с легких, безопасных вопросов,
оставив более трудные вопросы на потом
Никогда не начинайте анкету, направляемую по
почте, с открытого вопроса
Составьте схему для вопросов-фильтров и
вероятностных вопросов
Планирование
проекта
и управление
проектом
 Подробно проинструктируйте команду –
менеджеров проекта, исполнителей
 Основные вопросы, на которые надо
ответить
 Задачи и методология
 Выборка/проведение отбора
 Процедуры контроля качества
 Сроки
 Стоимость каждого этапа
 Требуемые человеческие ресурсы
Совет: Не торопитесь, ведите записи.
Успешные проекты отличает хорошее
информирование, планирование и четкое
знание каждым участником своей роли.
Управление процессом сбора данных
Отбор, обучение и
инструктаж
команды
 Очень тщательно отбирайте и обучайте
интервьюеров
- соответствие профиля интервьюеров
профилю респондентов?
- деликатные темы
- языковые/культурные аспекты
• Документируйте процедуры контроля качества
 Обучайте этике полевых исследований и
конкретным требованиям проекта
Совет: Каждый день контролируйте качество
всех этапов полевой работы через сеть
супервизоров

Пилот
Проведите пилотное тестирование
- проверьте последовательность
вопросов, пропуски вопросов
- язык вопросов, процедура отбора,
- длительность интервью

Проведите пилотную фокус-группу
Совет: Попросите опытных
интервьюеров/модераторов дать
обратную связь
Обработка и анализ данных
Ввод данных,
очистка
и проверка
 Разработайте правила редактирования и
проверки для всех анкет
- Проверяйте частотность распределений
- Сравнивайте с известной статистикой
- Ищите несоответствия
Совет: Не забывайте про здравый
смысл. "Интересные" данные часто
неверны.
 Excel, Количественные
Анализ данных
- разработайте спецификацию анализа (SPSS)
- пользуйтесь вспомогательными методами
- понимайте взаимосвязи между данными
 Качественные (NVIRO)
- разработайте шаблон для дословных
расшифровок
- общие темы и различия
Совет: При разработке инструментов
думайте "Как я буду это анализировать?"
Интерпретация и проверка данных
 Вспомните задачи
 Триангуляция с другими источниками
Интерпретация
данных
 Предложите предварительные данные
для проверки ключевым
заинтересованным сторонам
Сравните с прошлыми работами (обзор
литературы)
 Увяжите с контекстом
 Определите сюжет
Этап 10: Отчет и распространение результатов
Составление и
презентация
отчета
 План и структура излагают сюжет  данные используются для
подтверждения
 Обобщенное изложение основных
результатов
 Краткость (подробности в приложениях)
 Иллюстрируйте диаграммами,
таблицами, яркими цитатами
 Семинар по распространению
результатов
Аналитические записки, СМИ и т.д.
Совет: Репетируйте презентации,
разошлите отчет коллегам для
комментариев. Политики/госструктуры
будут оценивать вашу работу по
качеству отчета как продукта этой
работы
Заключительные замечания
•
Не только исследования создают
информационную основу
адвокации, но и адвокация
предъявляет требования к
исследованиям
•
Чтобы быть полезными для целей
адвокации, исследования должны
давать ответы на ключевые вопросы
Контакт для получения дополнительной информации:
 Урбанус Киоко
 Центр по экономическому управлению и СПИДу в
Африке
 Эл. почта:
 Телефон: +254-720-209-100