Предварительный анализ данных

Модуль 4. Анализ результатов
маркетингового исследования
План
1. Предварительный анализ данных
1.1. Последовательность этапов процесса подготовки данных к анализу
1.2. Характеристика процедур предварительного анализа данных
1.3. Факторы, определяющие выбор метода статистического анализа данных
2. Углубленный анализ данных
2.1. Классификация методов анализа данных
2.2. Исследование вариационного ряда
2.3. Проведение дисперсионного анализа
2.4. Проведение корреляционного и регрессионного анализа
2.5. Проведение дискриминантного анализа
2.6. Проведение факторного анализа
2.7. Выполнение кластерного анализа
2.8. Процедуры совместного анализа
3. Подготовка отчета о результатах маркетингового исследования
3.1. Характеристика требований к отчету о результатах маркетингового
исследования
3.2. Структура отчета о результатах маркетингового исследования
3.3. Представление отчета о результатах маркетингового исследования
заказчику
Тема 9. Предварительный анализ
данных
ЦЕЛЬ: ознакомить слушателей с методами предварительного анализа
данных
ЗАДАЧИ: - рассмотреть процедуры и последовательность анализа
качественных данных;
- изучить последовательность и методы предварительного анализа
количественных данных.
После
изучения
темы
слушатели должны ЗНАТЬ:
После изучения
должны УМЕТЬ:
•последовательность
и
процедура
анализа
качественных данных;
•проводить предварительный анализ
количественных
и
качественных
данных в соответствие с правильной
последовательностью
на
основе
изученных методов.
•последовательность
и
процедуры
анализа
количественных данных.
темы
слушатели
Предварительный анализ данных:
этапы анализа качественных данных
Некоторые исследователи (например, Дж. Дэвис) разделяют процедуры
анализа количественных и качественных данных. Поскольку
качественные исследования как правило предшествуют количественным, то
первоначально рассмотрим процесс анализа качественных данных.
1)
Предварительный
анализ данных,
предшествующий
изучению данных
Пересмотр постановки проблемы и потребности в
информации
Подтверждение постановки проблемы и
информационных потребностей
Оценка выборки и замечания по возможным
ограничениям
2) Изучение
данных
Аналитическое погружение и обдумывание
Предварительный анализ данных:
этапы анализа качественных данных
Разработка тем
3)
Определение,
оценка и
пересмотр
темы
Определение и запись данных,
относящихся к темам
Оценка тем
Пересмотр
тем
Разработка метатем
4) Подготовка
отчета
Подготовка отчета и его презентация
Предварительный анализ данных:
характеристика этапов анализа
качественных данных
Первый этап:
1.Составление списка областей, на которые будет
направлен анализ, и типов информации, которые
будут получены в результате анализа данных.
2.Уточнение информационных потребностей и областей
анализа
данных
позволяет
разработать
план
последующего анализа данных.
3.Обмен
мнениями с заказчиком или лицами,
принимающими решение, так как это позволяет
получить обратную связь и уточнить перечень
вопросов, которые будут особенно важными для
конечных потребителей отчета.
4.Оценка характеристик выборки (хотя чаще всего она
не репрезентативна) и возможных ограничений.
Предварительный анализ данных:
характеристика этапов анализа
качественных данных
Второй этап:
1.Изучение полученных данных: просмотр записей,
прослушивание аудиозаписи и просмотр видео.
Детально изучают весь объем информации методом
погружения.
2.На этом этапе важна беспристрастность, уяснение
причин,
которые
побудили
респондентов
высказываться определенным образом и выбирать
различные модели поведения. Обращают внимание
на прямые и косвенные способы выражения своих
мыслей. Важно понять интенсивность чувств и точек
зрения респондентов.
3.Изучают способ выражения мнения (четкость речи,
постоянство ответа, сила выраженности убеждения).
Предварительный анализ данных:
характеристика этапов анализа
качественных данных
4. В
процессе изучения данных исследователь должен понять
респондента, а не его отдельные реакции.
5. Следует разграничить правду и ложь в комментариях
респондентов
(односложность
ответов,
настроение,
стремление выразить лояльность, пояснение позиции).
Причины по которым респонденты не обсуждают
отдельные темы:
 участники опроса считают, что тема не важна и нет
необходимости о ней говорить;
 респонденты могут считать какую-либо тему очень важной, но
не обсуждать ее из-за того, что все ее характеристики уже
давно известны;
 тема может оказаться личной и поэтому респондент захочет
ее обойти;
 участник опроса не сможет сказать что-либо конкретное из-за
отсутствия у него сведений по теме.
Предварительный анализ данных:
характеристика этапов анализа
качественных данных
1.





2.
3.
Третий этап
Определение, оценка и пересмотр тем. Определение темы
позволяет решить ряд задач:
обеспечивает обобщенное представление сведений о
респондентах и их мире,
облегчает понимание и осмысление информации о
респондентах и их высказываниях,
отражает
интерпретацию
сведений,
представленных
респондентами,
позволяет использовать результаты исследования в процессе
принятия решений,
помогает исследователю понять тенденции и закономерности,
о которых свидетельствуют данные.
Формирования списка областей, которые будут исследованы в
ходе анализа, что позволит четко сформулировать тему.
Тема должна быть изложена кратко, ясно, недвусмысленно и
раскрывать скрытые причины.
Предварительный анализ данных:
характеристика этапов анализа
качественных данных
4. Исследователь
собирает и изучает исходные данные,
относящиеся к каждой теме, и определяет ее правильность.
5. При записи ответов информацию передают дословно со
всеми комментариями и данными, характеризующими
респондента. Эти комментарии будут использоваться для
обоснования выводов.
6. После записи всех свидетельств исследователь повторно
изучает каждую тему и определяет степень ее
приемлемости.
7. Выявляются взаимосвязи между темами, что облегчает
понимание общих тенденций и закономерностей в данных.
Четвертый этап
1. В завершении процедуры анализа качественных данных
составляется отчет.
2. Отчет
презентуют заказчикам и лицам, принимающим
решения.
Предварительный анализ данных:
этапы подготовки данных к анализу
Подготовка
предварительного
плана проведения
анализа
Проверка анкет
План предварительного анализа данных разрабатывается
на этапе планирования самого исследования. В нем
содержится
детальное
описание
всех
процедур,
связанных с предварительным анализом данных.
Подготовка данных к анализу начинается сразу после
получения первого заполненного инструментария, то есть
в период, когда сбор данных еще продолжается. Такой
подход к организации дела позволит скорректировать ход
полевых работ, если в нем обнаружены какие-либо
проблемы.
Проверка анкет предполагает их анализ на полноту
заполнения и качество интервьюирования. Проверку
анкет производят параллельно с полевыми работами.
При реализации этапа проверяют соблюдение квот и
соответствие инструментария заранее определенным
требованиям. Если обнаруживаются погрешности, то
применяют корректирующие мероприятия в процедуре
полевых работ.
Предварительный анализ данных:
этапы подготовки данных к анализу
Редактирование
Кодирование
Выявление пропусков, неоднозначных формулировок и
ошибок
в
регистрации
ответов.
Иначе
говоря,
редактирование
- это процедура предварительного
анализа данных, позволяющая провести обработку
инструментария, повысив точность и актуальность
представленной в нем информации.
Кодирование – это технический прием, позволяющий
распределить данные по категориям. В процессе
кодирования
ответам
на
конкретные
вопросы
присваиваются кодовые номера. Информация, полученная
в
процессе
исследования
и
образующая
код,
распределяется по столбцам кодовой записи.
Предварительный анализ данных:
этапы подготовки данных к анализу
Преобразование
данных
Очищение
данных
Преобразование данных - это процедура, состоящая в
переносе закодированных данных на диски или в
компьютер через клавиатуру. Данные можно вводить в
процессе считывания меток с бланков, оптического
сканирования,
компьютеризированного
сенсорного
анализа.
Очищение данных - это процедура тщательной и
всесторонней проверки состоятельности собранных
данных и работа с пропущенными ответами. Проверка
состоятельности данных проводится еще на этапе
редактирования, но проверка на стадии очищения данных
более
тщательная,
так
как
предусматривает
использование специальной техники.
Предварительный анализ данных:
этапы подготовки данных к анализу
Статистическая
корректировка
Процедуры статистической корректировки данных
включают:
взвешивание,
переопределение
переменной,
преобразования
шкалы.
Использование этих процедур может увеличить
качество анализа. Однако они применяются не
всегда.
Выбор стратегии
анализа данных
Процесс выбора стратегии анализа данных
включает: изучение результатов предыдущих
этапов маркетинговых исследований и известных
характеристик
данных;
анализ
свойств
статистических методов; учет опыта и методологии
исследования; разработку стратегии анализа
данных.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – проверка анкет
1. Важнейший
этап анализа количественных данных – проверка
анкет. Анкета может быть не принята контролером
(руководителем по полевым исследованиям) по ряду причин:
 не заполнены отдельные части анкеты;
 представленные ответы свидетельствуют о том, что респондент
не понял вопросов или не точно следовал инструкциям по
заполнению;
 ответы варьируются очень незначительно или вообще не
варьируются;
 анкета является не полной (отсутствует одна или несколько
страниц);
 анкета получена по истечению срока, который был заранее
определен;
 ответы даны респондентом, не входящим в группу, выделенную
для участия в исследовании.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – редактирование
2.Редактирование,
в процессе которого могут быть
выявлены различные неточности. Выделяет два
этапа редактирования:
 Полевое редактирование – это предварительное
редактирование,
проводимое
руководителем
полевых исследований, которое строится таким
образом, чтобы обнаружить наиболее бросающиеся
в глаза пропуски и неточности средства сбора
данных.
 Централизованное офисное редактирование –
это точная всеобъемлющая проверка и коррекция
заполненных форм для сбора данных, включающая
принятие решения о том, что с этими данными
делать дальше.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу –редактирование








В процессе редактирования выявляют следующие проблемы:
неаккуратность в заполнении инструментария и как результат
невозможность прочитать анкету;
логическая непоследовательность представленных в анкете ответов;
попадание в выборку не соответствующих требованиям респондентов;
неполное заполнение анкеты (пропуски) (поступающая в офис анкета
может иметь различное количество пропусков, в зависимости от их
количества принимают решение о целесообразности дальнейшей
обработки анкеты);
неоднозначность ответов на неструктурированные вопросы и сложность
их точной интерпретации;
неоднозначность ответов на структурированные вопросы (например,
респондент дает более одного ответа на вопрос, предусматривающий
однозначный ответ);
недостаток сотрудничества (респондент из-за нежелания отвечать на
длинную и сложную анкету отмечает одни и те же варианты ответа по
шкале или всегда выбирает первый вариант ответа в вопросах с
многовариантным ответом);
отсутствие инструкций или не предоставление их интервьюеру приводит
к ошибкам интервьюера.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – редактирование
Если в офис исследовательской компании представлен
недостаточно качественный инструментарий, то руководитель
по полевым исследованиям может принять одно из
следующих решений:
 возвратить анкеты на место сбора данных (используют, если выборки
небольшого размера и идентифицировать респондентов не составляет
труда);
 назначить
пропущенные
значения
(пропущенные
значения
назначаются
исследователем;
используют
если
количество
респондентов, которые дали неполные ответы невелико, доля ответов
неудовлетворительного качества в общем количестве ответов каждого
респондента не велика, переменные по неудовлетворительным
ответам не являются основными);
 отсеять анкеты, содержащие ответы неудовлетворительного качества
(неудовлетворительные анкеты выбраковываются; так поступают,
если: доля неудовлетворительных ответов (анкет) не превышает 10%,
если размер выборки велик, если неудовлетворительные ответы не
отличаются от удовлетворительных, доля неудовлетворительных
ответов в расчете на каждого респондента велика, пропущены ответы
на основные переменные).
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу –кодирование
3.
Кодирование – технический прием, с помощью
которого данные распределяются по категориям;
он связан со спецификацией альтернативных
категорий или классов, в которые должны
помещаться ответы, а самим классам должны
назначаться кодовые номера. Информация,
полученная в результате исследования и
образующая код, распределяется по столбцам.
Код указывает на положение столбцов и
информации, которая в них содержится. Данные
на всех респондентов могут храниться в
компьютерном файле.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу –кодирование







Базовые правила кодирования
Кодовая запись состоит из ряда полей.
Все
демографические
и
личностные
характеристики
респондента содержатся в одной регистрационной записи.
Поле отображает единичный элемент данных.
Столбцы представляют собой поля, а строки – записи.
Код респондента и номер записи необходимо указывать для
каждой записи данных.
Нужно включать дополнительные коды для каждого
респондента: код проекта, код интервьюера, код даты и
времени, проверочные коды.
При проведении кодирования рекомендуется использовать
фиксированные коды полей, то есть коды, в которых
номер записей по каждому респонденту кодируются одним и
тем же номером, в одних и тех же столбцах по всем
респондентам указываются одни и те же данные.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу - кодирование
Этапы кодирования данных
Разработка
категорий, к
которым будут
относиться
ответы
Назначение
кодовых
номеров
классов
Количество категорий зависит от характера проблемы и особенностей
инструментария для сбора данных. Количество категорий должно быть
исчерпывающим и взаимоисключающим, так чтобы каждый ответ
попадал лишь в одну категорию. Определение количества и сути
категорий при кодировании неструктурированных вопросов является
сложным. Специалисту приходится определять категории по ответам,
которые не всегда предсказуемы.
Для обозначения классов лучше использовать цифровые обозначения.
Если в анкете вопросы структурированные, то можно применять те же
цифры, которыми пронумерованы вопросы и варианты ответов. Следует
соблюдать ряд правил на этом этапе: (1) располагать только один
символ в каждой колонке таблицы; (2) использовать только числовые
коды; (3) использовать ровно столько колонок поля, назначаемого для
переменной, сколько необходимо для полного охвата всех возможных
значений; (4) использовать стандартные коды для отсутствующей
информации; (5) кодировать в каждой запаси идентификационный
номер респондента.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу - кодирование
Составление
книги кодов
Книга
кодов
содержит
общие
инструкции,
указывающие, каким образом была закодирована
каждая позиция данных. В ней перечисляются коды
каждой переменной и категории, где в компьютерной
записи располагается переменная и каким образом
эта переменная читается.
Правила кодирования неструктурированных вопросов:
 коды
категорий
должны
быть
взаимоисключающими
и
взаимоисчерпывающими;
 категории считаются взаимоисчерпывающими, если каждому ответу
присваивается только один код;
 категории не должны перекрывать одна другую;
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу - кодирование
 категории
считаются
взаимоисчерпывающими,
если каждый ответ соответствует одному из кодов,
присвоенных данной категории (для выполнения
этого правила можно вводить дополнительный код
категории, например, другое, но в эту категорию
может входить не более 10% ответов);
 большая часть ответов должна относиться к
значимым категориям;
 по наиболее важным вопросам коды категорий
должны присваиваться даже в том случае, если
они не упоминались ни одним из респондентов;
 данные кодируются для того, чтобы сохранить как
можно больше деталей ответов.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу - кодирование
1.
2.
3.
4.
Процедура кодирования неструктурированных вопросов
Ответ респондента записывают дословно в анкету.
Для ответов разрабатываются коды, которые присваиваются
конкретным из них. Для этого составляется список наиболее
часто встречающихся ответов (выбираются общие темы) и
определяются категории, подлежащие кодированию.
После того как коды разработаны, необходимо подготовить
кодировщика, который будет присваивать записанным в
словесной форме вопросам коды.
Составление кодировочной книги.
Кодировочная книга (книга кодов) содержит инструкции
по кодированию и необходимую информацию о переменных,
используемых в конкретном наборе данных. Она помогает
правильно провести процедуру кодирования, а также верно
расположить и определить переменные.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – преобразование
данных
Процедура преобразования данных необходима для перенесения
информации с бумажных носителей на электронные.
Данные из инструментария (сырые данные)
Компьютеризиро
ванный
сенсорный
анализ
Оптическое
сканирование
Считывание
меток с бланков
Ввод данных с
клавиатуры
компьютера
Автоматизирова
нные системы
Проверка достоверности данных, исправление
ошибок, возникших в результате ввода данных с
клавиатуры
Память компьютера
Диски
Преобразование данных
Магнитные ленты
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – очищение данных
1.




2.
Очищение данных направлено на:
проверку состоятельности данных – часть процесса очищения
собранных данных, когда исследователь выявляет данные, выходящие
за пределы конкретного диапазона, и логически непоследовательные
ответы или определяет экстремальные значения.
Правила проверки состоятельности данных:
данные со значениями, не указанными в кодировочной схеме, не
принимаются;
значения, выпадающие за пределы определенного диапазона нельзя
использовать при анализе, их необходимо исправлять;
на этом этапе выявляются логические ошибки;
глубокому анализу подвергаются экстремальные
значения (очень
высокие или очень низкие по сравнению со средними значениями). Их
не всегда можно считать ошибками респондентов. Иногда они
обусловлены низким качеством собранных данных или проблемами
формирования инструментария.
принятие решений по работе с пропущенными ответами
(значения переменных, неизвестные по причине того, что респонденты
не дали однозначных ответов на предложенный вопрос).
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – очищение данных
Методы работы с пропущенными ответами:
1)Замена пропущенного ответа нейтральным значением. В
качестве нейтрального чаще всего используют среднее
значение по этой переменной. Чем больше таких замен,
тем сильнее могут быть искажены некоторые
статистические данные, например, корреляция.
2)Замена
пропущенного ответа условным значением
(вменение значений). Для этого изучают ответы
респондентов на другие вопросы в анкете. И, исходя из
этого, делают выводы о том, какие бы ответы мог дать
респондент, если бы он не пропустил ни одного вопроса
в анкете. Такие допущения делают на основе изучения
взаимосвязи между пропущенной переменной и другими
переменными. Этот метод трудоемок и иногда очень
сильно искажает данные.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – очищение данных
3)Исключение
объекта целиком. Используя этот метод,
все наблюдения или респонденты с пропущенными
ответами полностью исключаются из рассмотрения.
Этот способ может привести к сокращению выборки.
Если респонденты, давшие ответы сильно отличаются
от тех, кто ответы не представил, то исключение
вызовет искажение результатов исследования.
4)Попарное
исключение переменных. Этот метод
предполагает, что наблюдения или респонденты с
пропущенными
данными
не
отбрасываются
автоматически. Исследователь учитывает только
респондентов, по которым есть полные ответы. Разные
вычисления могут производиться на основе выборок
разного объема. Этот способ применим если: размеры
выборки велики, количество пропущенных ответов
незначительно, переменные не сильно взаимосвязаны.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – взвешивание
Взвешивание – метод статистической корректировки, при
котором каждому наблюдению или респонденту в базе данных
присваивается весовой коэффициент, отображающий степень
его значимости по сравнению с другими наблюдениями или
респондентами с соблюдением заранее определенных правил.
Цель взвешивания: увеличить или уменьшить в выборке
количество наблюдений с определенными характеристиками.
Значение 1 присваивается наблюдениям с отсутствием весового
коэффициента.
Взвешивание применяется для того, чтобы выборочные
данные
максимально
полно
представляли
характеристики генеральной совокупности.
Если исследователь применяет взвешивание, то вся его
процедура должна быть описана в отчете о маркетинговом
исследовании.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – переопределение
переменной
Переопределение переменной – это преобразование данных для
создания новых переменных либо изменения существующих с тем, чтобы
они точнее соответствовали основным задачам исследования.
Цель переопределения состоит в создании переменных максимально
соответствующих целям и задачам исследования.
Способы переопределения переменной
1. Исследователь может разработать индекс информационного поиска,
представляющий собой сумму информации, которую клиенты стремятся
получить от дилеров, менеджеров по продвижению и из независимых
источников.
2. Можно воспользоваться коэффициентом соотношения переменных.
3. Извлечение квадратного корня и логарифмические преобразования так же
являются способом переопределения данных.
4. К
процедурам переопределения данных относится использование
фиктивных переменных для переопределения категорий. Фиктивные
переменные
(двоичные,
дихотомические,
качественные
переменные)
– это переменные способные принимать только два
значения, обычно 0 или 1. Общее правило: переопределить переменную
категории для k-го числа можно k-1 фиктивными переменными. k -1
означает, что только k -1 категорий являются независимыми.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – преобразование
шкалы измерения
Преобразование шкалы измерения – это манипулирование
значениями шкалы с тем, чтобы иметь возможность сравнивать ее с
другими шкалами либо каким-либо другим образом преобразовывать
данные и делать их подходящими для анализа.
Методы преобразования шкал
1. Преобразование по усредненным ответам. Для этого по
каждому ответившему вычисляют средний показатель ответов. Затем
определяют преобразованную характеристику, используя формулу:
Хt  Xi  X  C
X
Xi
C
Xt
-среднее значение переменной;
-переменная до преобразования;
- постоянная величина;
-преобразованная переменная.
Величину «С» прибавили для того, чтобы все преобразованные
данные имели положительные значения.
Предварительный анализ данных:
характеристика этапов подготовки
данных к анализу – преобразование
шкалы измерения
2.
Нормирование (стандартизация). Это корректировка
данных для приведения их к одной и той же шкале
вычитанием выборочного среднего и деления полученного
значения на стандартное отклонение. Нормализованная
шкала имеет среднее значение равное 0 и стандартное
отклонение равное 1. Нормализация позволяет сравнивать
переменные, полученные с использованием разных типов
шкал:


Zi  X i  X  sx
Zi
Xi
X
sx
- математически нормализованное значение;
- переменная до преобразования;
- среднее значение переменной;
- стандартное отклонение.