Экспериментальные методы ОВ: Рандомизированное контролируемое испытание Джозеф Дж. Капуно (Joseph J. Capuno)
advertisement
Оценка для разработки политик APCoP - АБР - AFDC 27-31 октября 2014 года Сучжоу, провинция Джиансу, КНР Экспериментальные методы ОВ: Рандомизированное контролируемое испытание Джозеф Дж. Капуно (Joseph J. Capuno) Университет Филиппин Для чего нужно оценивать воздействие? Мы хотим знать, была ли эффективной программа правительства в улучшении жизни и благополучия целевых бенефициаров Если да, насколько она была эффективной? Также потому, что программы дорогостоящие, а государственные ресурсы ограничены Имеются социальные нужды, которые также требуют финансирования Основной вопрос оценки Какое воздействие оказала программа на целевое население? Программа (или интервенция) Целевое население (или участники программы) Итоги (воздействия и последствия) Субсидия на страховые взносы Рабочие в неформальном секторе без страхового обеспечения Добровольное участие в системе социального и медицинского страхования Программа питания в школах Недоедающие школьники (в возрасте 7-10 лет) Статус питания (вес-для-возраста z, недостаточный вес) Субсидирование удобрений Фермеры в сельской местности Урожай (мешки риса/гектар) Объем продаж Подключение к трубопроводной системе водоснабжения Сельские домохозяйства Уровень диареи среди детей в возрасте от 0-5 лет Обучение навыкам для молодежи вне школы 15-20 –летние учащиеся, бросившие школу, безработные Занятость Причинно-следственная структура Рубина Воздействие программы на целевое лицо заключается в разнице в итогах, когда оно участвовало в программе, и когда оно не участвовало в программе. Или воздействие – это разница в итогах, которую можно приписать программе. Пример страховой субсидии Целевое лицо (рабочий неформального сектора) Участие в системе социального и медицинского страхования Разница (воздейст вие) Участвовал (а) (с субсидированной страховой премией) Не участвовала (без субсидированной страховой премии) Сомчай ДА НЕТ + Каролина ДА ДА 0 Янг НЕТ НЕТ 0 Виктор НЕТ ДА - “2” Сомачаи с аналогичными характеристиками, за исключением страховой субсидии Личные С субсидией 30 лет Здорова, но боится заболеть Закончила только среднюю школу, но умна Замужем, 2 детей Семья Живут с родителями мужа Муж работает водителем такси, курит Жилье снимают, с плохими санитарными условиями Населенный пункт Город, жизнь дорогая Высокий уровень инфекционных заболеваний Недалеко есть государственная больница, но с плохим обслуживания Без субсидии Но наблюдение постоянно ведется за одной Сомчай! ✔ С субсидией –участвует С ВМЕШАТЕЛЬСТВОМ («ФАКТИВНЫЙ») ✘ Без субсидии – не участвовала БЕЗ ВМЕШАТЕЛЬСТВА («КОНТРФАКТИВНЫЙ») Недейственное контрфактивное утверждение – до и после Изменение в страховой защите, благодаря субсидии и информаци ио вспышке заболеван ия Январь 2011 г. Без субсидии, не участвовала Январь 2012 г. С субсидией, участвовала Неверное контрфактивное утверждение – с и без 30 ХАРАКТЕРИСТИКИ ВОЗРАСТ 32 Здорова, но СОСТОЯНИЕ обеспокоена ЗДОРОВЬЯ Январь 2012 г С субсидией, участвовала Болеет, но не обеспоко ена Школьное, ОБРАЗОВАНИЕ Школьно умна е Замужем, 2 СЕМ. Вдова, 2 детей ПОЛОЖЕНИЕ детей В городе МЕСТО За ПРОЖИВАНИЯ городом Близко БОЛЬНИЦА Далеко Разница в страховом обеспечении за счет субсидии и разницы в характеристиках Январь 2012 г Без субсидии, не участвовала Обобщение оценки воздействия С субсидие й, участвов ала, январь 2012 г Без вмешательства Разница в итогах Без страховой субсидии, не участвовала, январь 2012 года Участвовала, истинное воздействие (непредвзятая /объективная оценка) Без страховой субсидии, не участвовала, январь 2011 г. Участвовала, но может быть из-за субсидии и других событий, которые могли произойти после января 2011 года (предвзятая/ необъективная оценка) Не Сомчай, без страховой субсидии, не участвовала, январь 2012 года Участвовала, но может быть из-за субсидии и разницы в характеристиках (необъективная оценка) С вмешательством Нельзя пронаблюдать характеристику «без вмешательства» для одного и того же участника. Задача Как произвести действенную оценку характеристики «без вмешательства» на основе наблюдаемых итогов не-участников. Особенно, как контролировать смещения при простых сравнениях «до и после» и «с и без»? Идеальные не-участники Обладают теми же характеристиками до вмешательства, что и участники программы Наблюдаемые характеристики – личные, семья, социально-экономические условия, другие программы и т.д. Ненаблюдаемые характеристики – мотивация, знания, отношение и восприятие, социальный капитал (н-р, доверие, сети) Итоги идеальных не-участников = действенная примерная контрфактивная характеристика (без вмешательства) для участников программы Обзор методов ОВ Методы Экспериментальный - Рандомизированное контролируемое испытание (рандомизированный эксперимент) Квазиэкспериментальный - Непрерывная регрессия - Разность в разности Подход к определению идеальных не-участников (т.е., оценка характеристики «без вмешательства») До интервенции случайное назначение подходящих людей в две группы: те, кому будет предоставлено вмешательство (экспериментальная группа), и те, которым не будет предоставлено вмешательство (контрольная группа). Эти методы используются при невозможности или нежелательности проведения РКИ. Они имитируют экспериментальный подход в выборе идеальных неучастников (в контрольной группе). Идеальных неучастников можно выбрать после вмешательства. - Сопоставление Не-экспериментальный - Инструментальная переменная Данные методы сравнивают участников программы с не-участниками, статистически контролируя их различия в характеристиках. Применяются после вмешательства. Рандомизированное контролируемое испытание Почему в последнее время повышенный интерес к экспериментальным методам? Действенная оценка воздействия без излишних предположений Дают неожиданные результаты: недавние исследования воздействия различных вкладов в школу на успеваемость детей: Улучшение доступа к учебникам от одного учебника на четыре школьника и до более одного учебника на двух школьников не влияет на средние баллы тестирования (Глев, Кремер и Мулен, 2009) Соотношение учитель-ученик также не влияет на результаты тестов (Банерджи и др., 2005) Удивительно, что дегельминтизация, которая стоит 49 центов на ребенка в год, может снизить прогулы (Мигель и Кремер, 2004 г.); Таким образом, с точки зрения повышения посещаемости, дегельминтизация почти в двадцать раз эффективнее, чем дополнительный набор учителей Вспомним: свойство случайной выборки Население СРЕДНИЕ ХАРАКТЕРИСТИКИ 45 ВОЗРАСТ 44,9 (года) 55% ПОЛ 55,2% женщин женщин Колледж ОБРАЗОВАНИ Е 60% в СЕМ. браке ПОЛОЖЕНИЕ 70% $3 в день ГОРОДСКОЕ НАСЕЛЕНИЕ Случайная выборка Колледж 61% в браке 70,2% СРЕДНИЙ $2,8 в день ДОХОД Средние характеристики становятся одинаковыми по мере увеличения размера выборки. Также работает для 2 или более под-групп Случай ная Случай ная Так как у 2 подгрупп были одинаковые характеристики, одна может быть контрфактивной (без вмешательства) группой для другой! Применять эти наработки при ОВ Рассмотрим стипендиальную программу для учащихся средних школ из бедных семей Желаемый итог: закончить школу Недостаточно средств для поддержки всех учащихся, подходящих для участия в такой программе Разыграть имеющиеся стипендии Перед розыгрышем решить, какая группа получит стипендию, а какая группа не получит ее (например, четные и нечетные числа) Случайное назначение Подходящие обращающиеся старшеклассники Две группы с одинаковыми средними характеристиками. Присуждение стипендий не связано с характеристиками Со стипендией (Экспериментальная группа) Без стипендии (контрольная группа) Рандомизированное контролируемое испытание Уровень окончания СШ (%) Экспериментальная группа 85% («с вмешательством») Контрольная группа 55% («без вмешательства») Июнь 2010 г. (начало учебы в школе) Воздействие программы выдачи стипендий (средний эффект от программы) 30 процентных пунктов = 85% 55% Апрель 2014 г. (окончание школы) Выводы Рандомизированное назначение обеспечивает следующее: Характеристики до интервенции сбалансированы. Потенциальные итоги независимы от назначения людей в программу Средние результаты контрольной группы являются контрфактивной характеристикой (без вмешательства) Без вмешательства, средние результаты в экспериментальной группе и контрольной группе будут аналогичными, С вмешательством, какая бы разница ни наблюдалась в их средних результатах, она произошла, благодаря вмешательству Применение РКИ в политиках в целях развития Обусловленные денежные переводы (ОДП) и образование в Мексике (Progressa/Opportunidades) ОДП составляют 50-70% частных затрат на школьное обучение и гарантированы на 3 года. Количество учащихся 1-8 классов увеличилось на 3-4%, при этом самый большой рост наблюдается среди девочек. Рандомизированная выдача школьных ваучеров в Колумбии Выяснилось, что ваучеры на покрытие половины стоимости учебы в частных средних школах, которые распределялись через лотерею, привели к увеличению числа учеников, окончивших 8 классов на 10%. Инфраструктурные инвестиции в образование в Боливии Инвестиции в образование, определяемые населением, как оказалось, улучшают качество школьной инфраструктуры, например, электричество, санитарные узлы, количество учебников на одного ученика и количество учащихся на одного учителя. Когда можно использовать РКИ? Когда подходящего населения больше, чем мест в программе. Когда программа должна постепенно сокращаться по мере охвата всего подходящего населения. Экспериментальный метод: рандомизированное разворачивание или дизайн «ступенчатого клина» Перед программой Создать пул (массу) и случайным отбором назначать в группы 1 и 2 Год 1 Группа 1 Группа 2 Конец года 1 Программа (контроль) Год 2 (Выполнена) Последующая работа Программа Рандомизировать потоки получателей. Часть контрольной группы получает программу после каждого потока. Нет такой ясности как при проведении правильного РКИ, если имеются возможные эффекты «ожидания». Экспериментальный метод: дизайн рандомизированного поощрения Назначение Назначение рандомизированн ым поощрением Группы Согласились или Измерение не согласились воздействия Получили поощрение Согласились Не получили поощрение Не согласились Не согласились В любом случае согласились (если возможно такое) Мера как «намерение улучшить» Мера как «намерение контролировать» Рандомизированно распределять ваучеры, оказывать поддержку или использовать другие меры поощрения. В последующем отследить согласие обеих групп. Приводит к «смешанному» воздействию, но статистические методы могут частично решить данную проблему. Проведение РКИ Должен быть дизайн ex-ante (предполагаемый) Должен быть выполним с политической точки зрения, и должна быть уверенность, что руководители программ будут поддерживать целостность дизайна Произвести расчет сил для определения размера выборки (и, следовательно, стоимости) Рассмотреть дизайны A,B и A + B (факторные планы) Проверить баланс в характеристиках перед интервенцией Сложности РКИ «Перелив» или «заражение» контроля Кластеризация образцов для оценки Политика требует, чтобы были включены определенные группы или районы Программы должны быть направлены на наиболее нуждающееся или бедное население, нельзя проводить случайную выборку Программа национальная (по всей стране) Людей нельзя заставлять участвовать в программе Возражения против РКИ Не всегда возможно или желательно рандомизировать РКИ стоят дорого Рандомизиация повышает справедливость; она дает каждому равный шанс к участию Не всегда есть необходимость задавать вопрос оценки В зависимости от обстоятельств РКИ несправедливо (неэтично) Правда. Но нужно использовать инновационный подход, направить РКИ на соответствующий вопрос оценки Да Не может проводить ex-post (ретроспективно) Да Источники и ссылки JD Angrist and JS Pischke (2009). Mostly harmless econometrics. An empiricist’s companion. Princeton University Press. (В основном, безвредная эконометрика.) P. Gertler et al. (2011). Impact evaluation in practice. Washington, DC: The World Bank. (ОВ на практике) S. Khandker et al. (2010). Handbook on impact evaluation. Washington, DC: The World Bank. (Руководство по ОВ) H. White (2009). Theory-based impact evaluation: principles and practice. 3ie working paper 3. 3ie, New Delhi. (ОВ, основанная на теории) Спасибо!
