United Nations Economic Commission for Europe Statistical Division

United Nations Economic Commission for Europe
Statistical Division
Оценка
Angela Me, Руководитель отдела
социальной и демографической
статистики
Почему оценивать перепись?




Как и при любой другой статистике, в данных,
собранных во время переписи, есть ошибки
Дать пользователям измерение качества данных
переписи чтобы они могли интерпретировать
результаты
Выявить на сколько можно тип и источник ошибок
чтобы помочь при следующей переписке
Дать информацию о размахе ошибок, что может
быть использовано для корректировки результатов
и получть лучшие оценочные данные по
агрегированным данным переписи
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 2
Оценка переписи


Всесторонняя оценка должна
включать оценку переписных
мероприятий на каждой фазе (чтобы
улучшить при следующей переписи)
Оценка должна охватывать
переписной процесс и результаты
переписи
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 3
Общий источник ошибок
1) Охват
a. пропуски
b. повторения
2) Содержание
a. отказ
b. Ответы под воздействием
 Эффект интервью
 Эффект респондента
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 4
Пропуски
Очень мобильное население или люди мало
проводящие время дома могут быть не
охвачены во время переписи
Некоторые люди могут просто отказаться
Неверные карты и разграничение переписных
зон
Труднодоступное население
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 5
Пропуски указанные странами ECE
при рунде переписи на 2000 год
•Мужчины 15-24, молодые люди (20-30 лет)
•Незаконные иммигранты
•бездомные
•Одинокие люди
•Временно отсутствующие
•Очень маленькие дети
•Некоторые этнические меньшинства
•студенты
•Адреса где живет много человек
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 6
Повторения
Люди часто переезжающие между двумя
домами
Люди в местах длительного пребывания
Члены вооруженных сил на долгосрочной
службе вдали от семей
Люди умершие до дня переписи
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 7
Повторение указанные странами
ECE в отношении раунда переписи
на 2000 год
Люди с больше чем одним местом
проживания
Мигранты
Люди в больницах
Студенты
Некоторые этнические группы
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 8
Отказ
Если специальная группа откажется отвечать
на специфические вопросы, агрегированный
результат будет предвзятым
Отказ может быть классифицирован в три
группы:
Не способные ответить
b) Отсутствующие
c) Отказ
a)
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 9
Языковые сложности
Некоторые потенциальные респонденты могут быть
безграмотны или не могут понимать языка,
используемого в вопроснике
Если такие проблемы решаются путем перевод
вопросников и/или привлечения интервьюеров со
знанием многих языков, может появиться уклон
потому что те кто не смогут ответить они могут
считаться «специальным» в другом аспекте
Другая лингвистическая группа, например, может
иметь абсолютно другой стиль жизни и обычаи.
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 10
Отсутствующие
Если человек отсутствует потому что уехал(а)
на короткий срок (меньше 12
месяцев)специфическая информация может
быть не получена
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 11
Отказы
Некоторые люди могут отказываться отвечать на
некоторые «щепетильные» вопросы
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 12
Ответы под воздействием
Респонденты иногда могут пере- или недооценить
ввиду предположительного преимущества
Пример1: фермеры могут переоценить свои участки путем
округления цифр в большую сторону, потому что они верят, что
данные будут использоваться для выделения государственной
помощи
Пример2: фермеры могут снижать данные при округлении чтобы
меньше платить налогов
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 13
Наводящие вопросы
Иногда уклон ответа появляется ввиду
наводящих вопросов как, например, «Согласны
ли вы что есть мясо это варварство?»
Большинство людей стараются и/или будут
выбирать легкий вариант соглашения в надеже
избежания дальнейших вопросов!
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 14
Пример исследования в США
Следующие вопросы и ответы были получены в исследовании в
США
% ‘ДА'
Вы когда-нибудь слышали слово АФРОГЕЛИЯ?
(нет такого слова!)
Слышали ли вы о знаменитом писателе John Woodson?
(нет такого писателя!)
Слышали ли вы о журнале Midwestern Life Magazine?
(нет такого журнала!)
Вы помните, как хороший гражданин вы голосовали в прошлом
декабре на специальных выборах представителя вашего штата?
(не было выборов!)
Вы слышали про закон Taft-Pepper Bill относительно дилья для
ветеранов
(нет такого закона!)
8
16
25
33
53
Иногда такие уклоны считаются ошибками престижа
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 15
Эффект интервьюера
Иногда само появление интервьюера
может оказать влияние
Например, в некоторых случаях
мужчины могут дать достаточно
сложные ответы когда их задает
мужчина, нежели если бы их задавала
женщина
Аналогично, если вид интервьюера
несоответствующий то это тоже может
повлиять
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 16
Например: Исследование в Австралии
Среднее число указанных половых партнеров
•
•
•
Женщины, которые сами заполняли вопросники:
2.6;
Женщины которые знали что это полностью
анонимно: 3.4;
Женщины, которые думали что в ним присоединен
детектор лжи: 4.4
Sydney Morning Herald, August 31, 2003
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 17
Провалы в паямти
Респонденты могут не вспомнить
некоторые моменты в прошлом
- частично
- полностью
Например, матери могут не вспомнить
количество их детей, погибших за пять
лет в возрасте до месяца
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 18
Корневая среднеквадратичная
ошибка
В общем, для всех тотальных статистических ошибок, выборка
и уклон вместе, оцениваются корневой среднеквадратичной
ошибков, (RMSE)
Это определяются как
RMSE = (ООшибквыборки) 2  (ууклон2
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 19
Схематическое представление
Это лучше всего представить гипотенузой с прямым правым
углом
RMSE
Уклон
Ошибка выборки
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 20
От маленькой выборки до
переписи
Заметьте, что несмотря на то, что перепись (100% выборка) на
обладает ошибкой выборки, уклон может быть настолько
значительным, что КСКО (равная в данном случае уклону) в
общем больше чем исследование по выборка среднего
размера
Маленькая выборка
Большая выборка
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Перепись
Slide 21
Как оценить охват и
содержание переписи?
• Проверка внутреннего соответствия
• Сравнение результатов с данными других
•
•
•
•
источников
Исследование послу подсчета:
независимая работа
Исследования повторного интервью
Демографический анализ
Бенчмаркинг
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 22
Сравнение результатов с
данными из других
источников
Другие источники данных:
предыдущая перепись
другие исследования
административные записи
сравнение:
сравнение общей оценки
проверка записей (ограничение к
населению специальной группы?)
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 23
Демографический анализ
• Появления неожиданных данных по
населению с учетом регистрации
рождаемости, смертность и чистую
миграцию между переписями по
сравнению с данными последней переписи
• Прогноз численности населения по
результатам предыдущей переписи плюс
данные по фертильности, смертности и
миграции из различных источников и
сравнение прогноза с данными переписи
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 24
Демографический анализ
• Сравнение данных по возрастному
распределению населения между переписями на
основании меж-переписного уровня
коэффициента выживаемости
• Оценка охвата фактора коррекции с
использованием метода регрессии для
проведения данных разных переписей по
возрасту в соответствие
Ограничить оценочные исследования на
национальном уровне
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 25
Бенчмаркинг
• Отслеживание вклада отказов, редактирования и
импутации в качество окончательных данных
• сравнить
• Уровень отказа между переписями
• Ответы до и после обработки
Это оценивает качество
Она может быть проведена на основании
выборки записей
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 26
Бенчмаркинг
• Отслеживание вклада отказов, редактирования и
импутации в качество окончательных данных
• сравнить
• Уровень отказа между переписями
• Ответы до и после обработки
Это оценивает качество
Она может быть проведена на основании
выборки записей
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 27
Методы использовавшиеся в
странах ЕСЕ для оценки переписей
при раунде 2000 года
Количество методов Количество
оценки
стран
Только один метод
Два метода
9
13
Три метода
Четыре метода
6
6
Пять методов
Никакой оценки
3
7
Всего
44
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 28
Методы использовавшиеся в
странах ЕСЕ для оценки переписей
при раунде 2000 года
Методы оценки
Количество
стран
Качество ПУО
12
Охват ПУО
20
Демографический анализ
23
Полевые повторные интервью
14
Сравнение с другими
источниками
23
Другие методы
2
Никакой оценки
7
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 29
Методы использовавшиеся в
странах ЕСЕ для оценки переписей
при раунде 2000 года
Ни одна из Среднеазиатских
стран на дала данных по
оценочным мероприятиям
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 30
Показатели для измерения
охвата
• Процент пропуска (в ECE между 0% и
3.95%)
• Процент повторений (в ECE между 0% и
0.96%)
• Общая ошибка охвата = процент пропуска
+ повторения + ошибочно записанные
люди
• Чистая ошибка охвата = процент пропуска
– повторения (в ECE между -3.1% и o.7%)
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 31
Качество связи
• ГКС должен играть активную роль в
распространении достоверных данных
переписи
• Пользователи должны быть полностью
осведомлены в ограничениях и сильных
сторонах данных переписи
- UNECE Statistical Division
Baku, 30 October-3 November 2006
Slide 32