ПОЧТОВЫЙ КОНТРОЛЬ КАК МЕТОД ПОВЫШЕНИЯ КАЧЕСТВА

Реклама
© 1994 г.
Н.А. РОМАНОВИЧ, МЛ. ДОМОРАЦКАЯ
ПОЧТОВЫЙ КОНТРОЛЬ
КАК МЕТОД ПОВЫШЕНИЯ КАЧЕСТВА ИНФОРМАЦИИ
Авторы — сотрудники Центрально-Черноземного отделения ВЦИОМ. РОМАНОВИЧ Нелли
Александровна — социолог. ДОМОРАЦКАЯ Марина Петровна — социолог. В нашем журнале
публикуются впервые.
Центрально-Черноземное
отделение
Всероссийского
Центра
изучения
общественного
мнения (руководитель — канд. филос. наук С.Р. Хайкин) имеет штат интервьюеров
превышающий 300 человек. Большое внимание в нашем отделении уделается сбору информации и поиску средств для облегчения труда интервьюеров [см. 1]. Настоящая статья
продолжает эту тему.
В литературе неоднократно рассматривались проблемы надежности данных. В част
ности, отмечалось, что «качество информации, получаемое путем интервью, зависит ... от
уровня ответственности и добросовестности интервьюера. Непременным правилом является выборочный контроль работы каждого интервьюера» [2]. Но даже в Институт)
демоскопии в Алленсбахе (ФРГ), известном четкой организацией работы, 3% интервьюере
«поддаются соблазну заполнить анкеты самостоятельно, без беседы с респондентами» [3].
Для организации, проводящей постоянные опросы, полученная post facutum информация
весьма ценна. Контроль дает представление о том, насколько можно доверять полученным
цифрам, каковы ошибки и просчеты организаторов опроса [4].
Возможны два механизма контроля:
96
Чтобы лучше понять механизм контроля, разобьем процесс на следующие этапы:
1) сбор и обработка информации;
2) анализ полученной информации;
3) выбор и осуществление корректирования.
Выбор метода контроля обусловлен поставленной задачей. Главный критерий эффективности — реальное улучшение дела. Первичный контроль, проводимый при приемке
анкет, может установить сам факт опроса, но этого недостаточно с точки зрения корректировки работы социолога. Более полную картину дает вторичный контроль, предусматривающий специальный контакт с респондентом. Подобный контакт, а следовательно и контроль, может быть телефонным, почтовым и личным. Любой из перечисленных методов имеет специфику, плюсы и минуты.
Мы провели серию методических исследований, задача которых — изучить возможности
почтового контроля и сферы его применения. Была предпринята попытка установить: сам
факт опроса; получена информация от конкретного респондента или он был кем-то
заменен; отказ респондента от участия в опросе; место опроса; отклонение интервьюера от
инструкции; характер опроса (интервью или анкетирование); степень влияния третьих лиц;
влияние интервьюера на ответы респондента; в чем заключалась помощь интервьюера
респонденту во время опроса; полностью ли заполнена анкета во время опроса; не
перепоручал ли интервьюер опросить респондента кому-то вместо себя; степень знакомства интервьюера с респондентом; время, затраченное респондентом на работу с
анкетой; удалось ли респонденту выразить свою личную точку зрения; понятны ли респонденту вопросы анкеты; согласен ли он принимать участие в будущих опросах; причины
нежелания респондента участвовать в таких опросах.
Благодаря контролю ответов более 1 тыс. респондентов Центрального Черноземья можно систематизировать нарушения инструкции, допускаемые интервьюерами.
Согласно нашим данным, в пяти случаях из 100 интервьюер экономит свое время, оставляя анкету
у респондента, чтобы затем взять заполненную. Каждая пятая такая анкета — результат семейного
обсуждения. Иногда вместо респондента на вопросы отвечает кто-то из членов семьи. Примерно одна
из 200-т анкет заполняется подобным образом.
Следующий просчет — замена названного в задании респондента его родственником. 4%
опросов происходят именно так. Если респондента нет дома, интервьюеры, недолго думая,
опрашивают того, кого застали.
Некоторые интервьюеры не утруждают себя встречей с респондентом, а довольствуются
разговором с ним по телефону. Около 1% респондентов, попавших в контрольную выборку,
были опрошены таким образом.
Выявлены и другие нарушения: вместо интервью проводилось анкетирование;
интервьюер намеренно пропустил часть вопросов или посылал вместо себя неподготовленного человека. Такие нарушения достигают 2%.
Как видим, почта 12% контактов проходят с более или менее серьёзным отклонениям
от инструкций.
Известны случаи заполнения анкеты без каких-либо попыток встретиться с респондентом. Это зависит не столько от организации исследования, сколько от добросовестности, порядочности, честности самого интервьюера. Поэтому психологическое
тестирование при приеме на работу обязательно.
Социологу, планирующему почтовый контроль, необходимо иметь представление об
интенсивности и скорости возврата контрольных анкет, продолжительности опроса, проценте возврата, основных причинах невозвращения анкет, достоинствах и недостатках
метода.
Интенсивность возврата. При опросе в пределах одной области наибольшее количество писем
обычно приходится на седьмой—девятый день с начала проведения исследования. Если почтовый
контроль проводят в городе, где расположен социологический центр, максимум писем можно
получить уже на пятый день с начала опроса. Расстояние 200 км до места опроса отодвигает пик
интенсивности на три—пять дней (8—10-й день от начала контроля). Количество писем с начала
контроля по день максимального возврата включительно соответствует 40% возврата. Знание срока
максимального возврата важно для социолога, который ограничен во времени и может
удовлетвориться полученным результатом. Если респонденты — жители сельской местности, то
явно выраженный пик возврата отсутствует, контрольные анкеты поступают более равномерно, но
сказанное о сроках справедливо и по отношению к ним.
4 Социологические исследования, №2
97
Скорость возврата зависит от того, как быстро начался контроль. Чем короче этот
промежуток, тем быстрее реакция респондентов. Если почтовый контроль организован
сразу после опроса, скорость возврата значительно возрастает.
Выяснилось, что скорость возврата контрольных анкет связана с качеством проведения
исследования. В первую очередь присылают анкеты лица, опрошенные без нарушения
методики. Если интервьюерами правила соблюдаются, то письма от респондентов
возвращаются скорее и почтовый контроль завершается быстрее.
Продолжительность контроля зависит от времени, отделяющего последний день опроса
от начала контроля. Эта зависимость имеет следующий вид.
Время между завершением опроса и
началом контроля
Продолжительность
почтового контроля, дней
2—5 дней
20
1 мес
2мес
30
40 и больше
Общая продолжительность почтового контроля в наших исследованиях колебалась от
17-и до 44-х дней.
Процент возврата — одна из важнейших характеристик любого опроса, в том числе
применяемого с целью контроля. Ярко выражена зависимость процента возврата в
почтовом контроле от качества организации и проведения опроса.
Нами проведен следующий эксперимент. Организовано три массива контрольных анкет.
Первый мы отправили респондентам, о которых было заранее известно, что они
опрашивались интервьюерами (возврат — 85%). Второй состоял из респондентов, которые
не могли быть опрошены интервьюерами (возврат — 30%). Третий был поделен на части:
половина анкет направлена респондентам, которые участвовали в нашем исследовании, другая половина — не принимавшим участия в опросе (возврат — 58%). Высокий
процент возврата контрольных анкет может служить гарантией качества проведенного
опроса.
Отметим, что возврат в почтовом (не контрольном) опросе при хорошей организации
порой составляет 70—75% [5].
Степень возврата находится в прямой зависимости от места опроса. При прочих равных
условиях возврат анкет из села на 5—10% выше, чем из города. Опросы сельских жителей
весьма трудоемки и дорогостоящи. Если бы удалось повысить возврат, тщательно изучив
мотивы, заставляющие сельских жителей высылать ответные письма социологической
организации, то можно было бы проводить не только контрольные, но и тематические
почтовые исследования среди сельского населения. Влияние урбанизации на число
неответивших характерно для любого опроса. «Их доля тем выше, чем крупнее город», —
отмечает И.А. Бутенко, анализируя методический опыт зарубежных исследований [б].
Хотелось бы привлечь внимание к этому факту — его изучение может помочь при решении
ряда методических проблем.
Мы рассмотрели влияние факторов, над которыми организатор почтового контроля не
властен. Другая группа факторов связана с различного рода действиями, стимулирующими
возврат. Последние зарубежные социологи называют «манипуляциями или рычагами,
повышающими вероятность участия респондентов в исследовании» [7].
Возврат можно повысить с помощью карточки-напоминания, где повторяется просьба
заполнить контрольную анкету и выслать ее по назначению. Возврат увеличивается, если
напоминание высылается неоднократно. Когда оно отсылается через 20 дней после
контрольной анкеты, возврат повышается на 10%, если через неделю после начала
контрольного опроса, то на 20—25%. Повторная контрольная анкета по истечении
длительного периода (более 40 дней) малоэффективна: возврат повышается только
на 5%.
Наиболее эффективно двукратное повторное обращение к респондентам. Первое
напоминание через 7—10 дней после начала контроля повышает возврат в среднем на 23%. Второе
напоминание, высланное спустя 20 дней после начала контрольного опроса, повысит возврат
еще на 12%. Таким образом, суммарный эффект от двух напоминаний дает прирост возврата на 35%.
Влияние случайностей на возврат анкет. Низкое качество работы почты, разумеется, не
способствует возврату анкет. Часть писем теряется при пересылке респонденту или на
98
обратном пути. Однако значительно понизить возврат такие потери не могут: они едва
достигают 2%.
Нельзя не учитывать случайные ошибки, которые возникают при заполнении конвертов
или раньше, при составлении выборки. Поскольку рассеянным бывает каждый человек,
нельзя исключить вероятности возникновения подобных ошибок. Обычно из 100 вернувшихся писем одно или два не распечатано. На конверте пометка: «не проживает по
данному адресу» или «такого номера дома нет».
Около 1% анкет возвращается, не застав респондента. Часть конвертов имеет гриф
«адресат выбыл».
Сокращают возврат и сами респонденты, потеряв или испортив контрольную анкету.
О том, что желание ответить у них было, свидетельствуют письма, где они приносят свои
извинения и просят выслать новую анкету. Количество таких писем не превышает 1%.
Причины невозвращения контрольных анкет можно условно разделить на три группы:
1) случайности, связанные со спецификой почтового опроса (огрехи в работе почты,
ошибки адреса);
2) потеря анкеты респондентом;
3) нежелание отвечать.
Заметим, что неполучение анкеты или утеря ее не дает права утверждать, что у респондента не было желания отвечать; социолог не может в этом случае повлиять на
повышение возврата.
Наибольший интерес представляет третья группа респондентов. Лица, не пожелавшие
ответить на контрольную анкету, чаще всего ссылаются на занятость, нехватку времени.
Но такой ответ соответствует истине лишь частично, ведь заполнение контрольной анкеты
занимает не более 5 мин. Возможно, определенную роль играет отношение респондента к
опросам общественного мнения. Даже среди вернувших контрольную анкету респондентов
только 70% согласны принимать участие в дальнейших опросах. Остальные называют
следующие причины своего отказа: «опросы не приносят никакой пользы» (49%), «нет
времени» (23%), «вопросы слишком трудны» (12%), «боюсь, что высказанное мнение будет
использовано мне во вред» (5%); на состояние здоровья, некомпетентность, семейные
обстоятельства, недостаток образования, перемену места жительства сослались 11%
респондентов.
Почтовый контроль имеет ряд преимуществ по сравнению с маршрутным, который обычно осуществляют интервьюеры-контролеры.
1. Отвечая на вопросы контрольной анкеты, респондент не подвергается влиянию
интервьюера-контролера.
2. Интервьюер не может по личным мотивам исказить результат контроля.
3. Респондент может выбрать удобное время для заполнения анкеты, внимательнее
прочитать вопросы и обдумать ответы.
4. Отпадает потребность в интервьюерах-контролерах, работу по проведению почтового
контроля вполне могут осуществить один—два человека.
5. Объем выборки почтового контроля не может существенно изменить стоимости
контроля и численности привлеченных для этой работы людей, что характерно для маршрутного контроля.
6. Почтовый контроль эффективен, когда нужно опросить респондентов, практически
недоступных для интервьюеров-контролеров (жителей сельской местности, особенно в
межсезонье и зимний период).
Почтовый контроль имеет недостатки: неполный возврат и продолжительные сроки
опроса. Если требуется получить ответ от каждого из респондентов за короткий срок
(например, за неделю), то недостатки метода являются непреодолимым препятствием. Но
если нужно проверить качество исследования в целом или работу отдельных интервьюеров,
а социолог не ограничен во времени, то недостатки почтового контроля несущественны.
Кроме того, эти недостатки можно частично устранить благодаря профессиональной
работе социолога — организатора почтового контроля. В результате комплексного
применения средств, стимулирующих возврат, нам удалось добиться 85% возврата за 17
дней от начала контроля.
Таким образом, почтовый контроль заслуживает внимания социологов и может широко
использоваться для повышения качества опросов.
4*
99
ЛИТЕРАТУРА
1. Хайкин С.Р. Как помочь интервьюеру // Социол. исслед. 1991. № 4. С. 58.
2. Ядов В.А. Социологическое исследование: методология, программа, методы. М.: Наука, 1987. С. 165.
3. Ноэль Э. Массовые опросы. Введение в методику демоскопии. М.: Прогресс, 1978. С. 227.
4. Яковенко Ю.И., Паниотто В.И. Почтовый опрос в социологическом исследовании. Киев: Наук, думка,
1988.
5. Докторов Б.З. Подготовка и проведение почтового опроса. Л.: Ин-т социал-экон. пробл., 1986.
6. Бутенко И.А. Нет ответа. Анализ методической ситуации на страницах журнала «Public Opinion
Quarterly» // Социол. исслед. 1986. № 4. С. 118—122.
7. Yommarino F.S., Skinner S.J., Childers T.L. Understanding mail survey response behavior // Public
Opinion Quarterly. 1991. Vol. 55. № 4. P. 613.
Скачать