“Метод фокус-групп в маркетинговых и социологических

реклама
“Метод фокус-групп в маркетинговых и социологических
исследованиях”
Марина Власова, к.фил.н., консалтинговая группа РУСИНФОМАР
Данная публикация не содержит полного текста курса, это очень подробный план и основные
определения, однако мы уверены, что знакомство с таким планом поможет вам лучше
ориентироваться в теме при ее самостоятельном изучении, подобрать подходящую литературу,
расставить акценты (Редакция сайта).
Программа валидирована Манчестерским университетом (Великобритания)
аналогичный курс читается в рамках магистерской программы на факультете социологии
Российско-Британского постдипломного университета Московская высшая школа социальных и
экономических наук
Тема 1. Фокус-группы как метод социологических и маркетинговых исследований.
1.1. Соотношение количественных и качественных методов в социологии. Основные
сравнительные характеристики количественных и качественных методов.
1.2. Краткий обзор групповых качественных социально-психологических методов. Вербальные и
невербальные техники в групповых качественных социально-психологических методах.
1.3. Фокус-группы: история возникновения и применения метода. Определение понятий: "фокусгруппа", "фокусированное интервью в группе", групповая дискуссия", "глубинное групповое
интервью".
1.5. Место фокус-группы в системе социологических, маркетинговых, политологических
исследований. Фокус-группы и наблюдение. Фокус-группы и индивидуальные глубинные
интервью. Фокус-группы и количественные опросы. Фокус-группы и контент-анализ.
Список обязательной литературы:
1. Абельс Х. Интеракция, идентификация, презентация. Введение в интерпретативную
социологию. СПб. 1999.
2. Белановский С.А. Метод фокус-групп. М., 1996, С. 5-67.
3. Дмитриева Е. Фокус-группы в маркетинге и социологии. М., 1998, С. 7-20.
4. Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социальнопсихологического исследования, М., 1997,С. 4-21.
5. Мертон Р.Л., Фиске М., Кендалл Р.З. Фокусированное интервью: Пер. с англ., М., 1991.
Список дополнительной литературы:
1. Батыгин Г.С., Девятко И.Ф. Миф о “качественной социологии”// Социологический
журнал, 1994, N 2, С. 28-42.
2. Белановский С.М. Методика и техника фокусированного интервью. М., 1993.
3. Богомолова Н.Н., Мельникова О.Т., Фоломеева Т.В. Фокус-группы как качественный
метод в прикладных социально-психологических исследованиях// Введение в
практическую социальную психологию. Учебное пособие для ВУЗов, М., 1994,С.193-196.
4. Гофман И. Представление себя другим в повседневной жизни. Пер. с англ., М. 2000.
5. Громова Е., Герасимова М. Возможности использования расширенных креативных
фокус-групп как метода социологического исследования на этапе создания
рекламных конструктов// Журнал о рекламе YES! N 3 (24), 1998, С.79-81.
6. Громова О.А. Возможности проективных методов в маркетинговых исследованиях. //
Маркетинг и маркетинговые исследования в России, 2000, №N 4.
7. Гурджи И.А. Проективные методики в качественных исследованиях.//Практический
Маркетинг, 2000, 1 (35).
8. Маслова О.М. Количественная и качественная социология: методология и методы (по
материалам круглого стола)// Социология 4М, 1995, N 5-6, С.5-16.
9. Мельникова О.Т. Качественные методы в решении практических социальнопсихологических задач// Введение в практическую социальную психологию. Учебное
пособие для ВУЗов, М., 1994, С.182-192.
10. Фоломеева Т.В., Бартенева О.М. Опыт применения проективной методики
“психологический рисунок” в исследовании восприятия социальных объектов//
Вестник Московского университета. Сер. 14. Психология. 2000, N 2.
11. Ядов В.А. Стратегия и методы качественного анализа данных// Социология 4М, 1991,
N 1, с.14-31.
12. Якубович В.Б. Качественные методы или качество результатов)// Социология 4М,
1995, N 5-6, С. 16-28.
1.2.1. Краткий обзор групповых качественных социально-психологических методов.
Название
метода
Фокус-группы
Суть метода
Колво
участников
в
группе
Групповое
фокусированное
полустандартизированное
интервью в форме 6-12
групповой
чел.
дискуссии по
заранее
разработанному
сценарию.
Наличие
модераОбласти
тора
применения
(ведущего)
Дополнительная
информация
Получение
предварительной
информации по
интересующей
теме.
есть
Используемый в
Выработка
фокус-группах метод
исследовательских
групповой дискуссии
гипотез.
лежит в основе
практически всех
Изучение
групповых методов
восприятия
социальной
определенных
психологии
объектов.
Стимулирование
новых идей и
творческих
концепций.
Peer-группы
Переходный
метод от
индивидуальных
интервью к
групповым
Номинальные
группы
Вариант 1.
Результаты
индивидуальных
интервью одних
участников
2-4
чел.
до 12
чел.
есть
аналогично
Создают
возможность
получения более
детальной
информации от
каждого участника
есть
Получение
предварительной
информации по
интересующей
Чаще всего
используются в тех
случаях, когда нельзя
собрать вместе
интересующую
обсуждаются
другими
участниками.
теме.
группу (известных
политиков, ученых,
чиновников,
Выработка
исследовательских специалистов и т.п.)
гипотез.
Вариант 2.
Участники
собираются в
единую группу, но
отвечают на
вопросы по
одному, без
непосредственного
взаимодействия
друг с другом.
Десантные
группы
Проведение
групповых
обсуждений в
реальной
Изучение
восприятия
определенных
объектов.
Стимулирование
новых идей и
творческих
концепций.
6-12
чел.
есть
аналогично
Используются для
создания обстановки,
близкой к
действительности
обстановке
Метод группового
коллективного
продуцирования
новых идей. При
этом процесс
от 3
Брэйнсторминг
выдвижения идей чел.
отделен от
процесса их
критической
оценки и отбора
Самые
разнообразные: от
решения научнотехнических,
управленческих,
необязатворческих задач
тельно
до поиска
вариантов
поведения в
определенных
ситуациях
Процедура
проводится в два
этапа: 1.
выдвижение идеи; 2.
оценка идей. Этап 2
лучше проводить
через несколько дней
Дискуссию
начинают
синекторы,
стараясь
представить
различные точки
4-5
Синектические зрения по поводу
более
синекгруппы
темы беседы.
10 чел.
торов
Постепенно
включаются
остальные. В ходе
дискуссии
вырабатывается
групповое решение
Анализ
характеристик
тестируемого
продукта, выбор
рекламной
стратегии,
создание
рекламных
конструктов
Специальные
техники: “личные
аналогии”, “заглавие
книги”, “примерное
отступление” и др.
Выдвижение идей
о будущем с целью
прогноза,
основанных на
Дельфи-группы
коллективном
мнении экспертов.
Суммирование
прогнозов в
Разработка
прогнозов в
социальноэкономической и
политической
сферах
Процедура
повторяется либо до
достижения единой
точки зрения, либо
до отсутствия
дальнейших
изменений в
индивидуальных
нет
статистической
форме.
Определение
ключевых
положений.
Передача
материалов для
следующего
обсуждения.
Группы
конфликта
прогнозах
Специально
комплектуются
таким образом,
6-12
чтобы
чел.
спровоцировать
столкновение
различных мнений
есть
Сопоставление
При наборе
различных стилей
участников в
жизни, взглядов,
отличие от фокусмнений.
групп отсутствует
принцип
Выработка новых
гомогенности
идей.
Получение
предварительной
информации по
интересующей
теме.
Групповое
Группы
обсуждение
обсуждения без
проблемы без
лидера
участия ведущего
6-10
чел.
нет
При проведении
Выработка
таких групп
исследовательских
участникам могут
гипотез.
даваться как общие,
недетализированные,
Изучение
так и очень
восприятия
подробные
определенных
инструкции
объектов.
Стимулирование
новых идей и
творческих
концепций.
Ориентированы
на определение
того, в какой мере
употребление
Адаптационные
6-12
товаров
группы
чел.
определяется их
социальной или
потребительской
ценностью
Расширенные
креативные
группы (ECG)
Выполнение
группой различных
проективных
6-10
заданий с их
чел.
последующим
обсуждением.
есть
Для определения
факторов
отношения к
тому или иному
товару, явлению
Наиболее часто
применяется для
изучения феномена
престижного
потребления
есть
Анализ
характеристик
тестируемого
продукта, выбор
рекламной
стратегии,
создание
рекламных
конструктов
Проективные
техники:
интуитивные
ассоциации,
рисуночные техники,
коллажи, ролевые
игры,
психогеометрические
и цветовые тесты,
антропоморфные
методики
1.2.2. проективные Вербальные техники в групповых качественных социальнопсихологических методах.
Название
Суть техники
техники
Завершение
предложений
Свободные и
направленные
ассоциации
Аналогия
Участникам
даются
незавершенные
утверждения и
предлагается их
закончить.
специфические
цели
атрибуты
не требуются
Выявление
ключевой
информации,
свободной от
влияния группы;
подготовка
участников к
трудной теме,
анализ
специфических
характеристик
продукта,
получение более
непосредственной
реакции на
изучаемый объект
и т.п.
примеры
Если бы
директором
был я, ...
Я бы начал
рекламную
кампанию с ...
Для меня поход
в Макдональдс
это...
Участников
просят назвать
первое, что им
приходит в голову,
в связи с
не требуются
предъявлением
(воспоминанием)
того или иного
объекта, предмета
и т.п.
Анализ глубинного
восприятия
тестируемого
объекта,
рекламного
материала и т.п.,
а также снятие
напряжения,
расслабление
участников
Какие
ассоциации
вызывают у вас
слова
“минеральная
вода”?
Респондентам
предлагается
представить
не требуются
тестируемый
объект в виде чегото другого
Освобождение
респондентов от
логических
ограничений,
придание большей
эмоциональности
ответам при
анализе
глубинного
восприятия
тестируемого
объекта, поиске
рекламных идей и
т.п.
Представьте
себе торговую
марку
“Довгань” в
виде
животного,
автомобиля,
музыки, дерева
и т.п.
Анализ глубинного
восприятия
тестируемого
объекта,
разработка образа
Предположим,
что эта
стиральная
машина
превратилась в
Участникам
предлагается
Антропоморфизм
оживить
(персонификация)
тестируемый
объект, дать ему
не требуются
человеческое имя,
физическое
описание,
рассказать об его
характере,
положительных и
отрицательных
качествах, судьбе и
т.п. И наоборот,
сравнить реального
человека
(например,
политика)с чем-то
“нечеловеческим”
Персонализация
объекта, поиск
рекламных идей,
разработка
рекламных
материалов и т.п.
Вариант
антропоморфизма,
когда участника
просят
представить себя
изучаемым
не требуются
объектом и
рассказать о своих
ощущениях,
чувствах. мыслях,
состоянии и т.п.
Анализ глубинного
восприятия
тестируемого
объекта,
разработка образа
объекта, поиск
рекламных идей,
разработка
рекламных
материалов и т.п.
человека. Каким
он будет?
С каким цветом
ассоциируется
у вас этот
бизнесмен?
Представьте
себе, что вы автомобиль
“Шкода”. Как
бы вы себя
чувствовали на
российских
дорогах?
Ролевая игра
Участникам
предлагаются
определенные роли
и определенные
ситуации.
Группа делится
на две части:
разработчики
рекламного
могут
Анализ принятия ролика и
использоваться
решений, изучение “приемная
реального
комиссия”
специальные
поведения
заказчика. Цель
атрибуты,
различных
одних
помогающие
субъектов в той
участников участникам
или иной
доказать, что
лучше сыграть
ситуации и т.п.
ролик хорош.
свои роли
Цель других найти слабые
стороны
ролика.
Фантастические
сценарии
Участникам
предлагается
представить себе
идеальную
ситуацию,
связанную с
тестируемым
объектом
не требуются
Создание
идеального образа
тестируемого
продукта,
определение его
базовых
характеристик,
разработка
рекламных идей
Представьте
себе, какое чудо
может с вами
произойти
после того, как
вы выпили
ликер Бэйлис.
Гипотетические
сценарии
Участникам
предлагается
представить себе
реальную
ситуацию,
не требуются
Выявление
реальных
характеристик
тестируемого
объекта,
Расскажите,
когда и как вы
употребляете
коньяк: на
встрече с
связанную с
тестируемым
объектом
конкретных
факторов
связанных с его
употреблением и
т.п.
друзьями, на
романтическом
свидании, один для снятия
стресса.
1.2.3. проективные неВербальные техники в групповых качественных социальнопсихологических методах.
Название
Суть техники
специфические
атрибуты
Участники создают
свой образ
тестируемого
объекта или
реакцию на него при
помощи вырезок,
собственных
рисунков и т.п.
Затем следует
обсуждение. В
коллажах
анализируются
цвета, избранные
объекты и т.п.
Провокация
эмоциональных,
фантазийных,
Наборы (для
креативных идей у
каждого
респондентов,
участника)
сокращение времени
иллюстподробного устного
рированных
обсуждения
журналов, газет и тестируемого
т.п.
объекта, выявление
предназначенных основных мотивов
для вырезания
респондента,
создание образа
тестируемого
объекта и т.п.
техники
Коллаж
Психологический
рисунок
(лепка)
Участникам
предлагается
выразить с
помощью рисунка
свое отношение к
тестируемому
объекту или свою
реакцию на него. В
рисунках
анализируются
цветовая гамма,
использованные
символы и т.п.
Иногда вместо
рисунка
респондентам
предлагается
использовать глину.
BUBBLES
(завершение
рисунка)
Вариант 1.
Участникам
предлагаются
нечеткие,
недетализированные
“размытые”
рисунки, которые
необходимо
цели
примеры
Используя
имеющиеся у вас
материалы,
создайте,
пожалуйста,
коллаж,
который бы
соответствовал
вашим
ощущениям
после просмотра
данного
рекламного
ролика.
Наборы (для
каждого
участника)
материалов для
рисования,
дающие
возможность
максимально
полно выразить
свое мнение
Провокация
эмоциональных,
фантазийных,
креативных идей у
респондентов,
создание
специфических
ассоциаций (цвета,
формы, символов) с
тестируемым
объектом, создание
образа
тестируемого
объекта и т.п.
Нарисуйте,
пожалуйста, как
вы себе
представляете
идеальную
ситуацию для
употребления
шампанского
“Вдова Клико”.
Комплекты
рисунков для
каждого
участника)
Провокация
эмоциональных,
фантазийных,
креативных идей у
респондентов,
создание образа
тестируемого
объекта,
Перед вами
лежат два
одинаковых
недорисованных
человечка.
Представьте
себе, что один из
них это банк
завершить.
Например, одеть
человечка,
олицетворяющего
тестируемый
объект. Дорисовать
его лицо, прическу, а
также изобразить
его дом, его собаку и
т.п.
противопоставление
того, что
респонденты
говорят по ходу
обсуждения тому,
что они думают и
т.п.
Менатеп, а
второй - банк
Империал.
Оденьте их,
пожалуйста.
Вариант 2.
Участникам
предлагается некая
нарисованная
ситуация, в которой
принимают участие
тестируемые
объекты (или их
образы). От
респондентов
требуется
придумать диалоги
между героями
рисунка.
Респондентам
предъявляют
образцы
тестируемых
объектов (либо их
манипуляция
фотографии,
с предметами
видеозаписи и т.п.)
и предлагают их
проранжировать по
различным
критериям
Образцы
тестируемых
объектов
(желательно для
каждого
участника)
Выявление
специфических
характеристик
тестируемых
объектов, выбор
лучшего рекламного
материала и т.п.
Проранжируйте.
пожалуйста.
представленные
винные
этикетки на
основе
следующих
критериев:
красочность;
информативность;
нетрадиционность;
соответствие
продукту.
1.3. Фокус-группы: история возникновения и применения метода.
 Основные направления экспериментальной работы с группами:
1. Научное: анализ групповой динамики.
2. Групповая психотерапия.
3. Профессиональная экспертиза и процесс принятия управленческих решений.
 1941, ноябрь, проведение первой фокус-группы - Мертон Р., Лазарсфельд П. - изучение
эффективности работы радио во время Второй мировой войны.
 1956, первое издание - Р.Мертон, М. Фиске. П.Кендалл. “Фокусированное интервью”.
1.4. Определение понятий: "фокус-группа", "фокусированное интервью в группе",
“групповая дискуссия", "глубинное групповое интервью".
 Несколько определений фокус-групп:
Р.Мертон (1956): 1. Интервьюируемые должны быть участниками некоторой определенной
ситуации. 2. Характер, процессы, общая структура этой ситуации должны быть заранее
проанализированы социологом. 3. На основе этого анализа должен быть составлен план интервью,
в котором очерчиваются важнейшие вопросы и гипотезы. 4. Интервью фокусируется на
субъективных переживаниях лиц по поводу заранее проанализированной ситуации.
И.Голдман (1962): Групповое глубинное фокусированное интервью: “групповое” означает число
взаимодействующих людей, объединенных общими интересами; “глубинное” означает поиск
информации, более полной, чем та, которая бывает на уровне межличностного общения;
“интервью” означает присутствие модератора, который использует группу как механизм
извлечения информации; ”фокусированное” означает, что интервью ограничено малым числом
вопросов.
Р.Крюгер (1994): Фокус-группа это сообщество людей, объединенных в группы по каким-то
критериям, в результате чего в ходе групповой дискуссии продуцируются данные, имеющие
качественный характер.
Тема 2. Методологические и методические принципы организации фокус-групп.
2.1. Понятие малой группы. Классификация малых групп. Основные направления изучения малых
групп. Динамические процессы в группе.
2.2. Факторы влияния на групповую динамику.
2.2.1. Внутриличностные переменные: демографические, физиологические и личностные
характеристики участников фокус-группы.
2.2.2. Межличностные переменные: сплоченность группы, групповая совместимость, групповой
восприятие социальной власти.
2.2.3. Экологические переменные (влияние окружающей среды): территориальность, личное
пространство, организация пространства.
2.3. Определение размера фокус-групп.
2.4. Отбор участников фокус-групп. Принцип внутригрупповой гомогенности. Ограничения на
участие в фокус-группах. Основные техники отбора респондентов: случайный отбор, метод
"снежного кома", использование готовых списков, формирование специальных выборок.
Список обязательной литературы:
1. Андреева Г.М. Социальная психология. М., 1994, С. 163-230, 265-278.
2. Krueger R.A. Focus Groups: A Practical Guide For Applied Research, 2nd ed., New Delphi,
The International Professional Publishers, 1994, P. 75-98.
3. Merton R.K., Fiske V., Kendall P.L. The Focused Interview: A Manual of Problems and
Procedures. New York, 2nd edition, The Free Press, 1990.
4. Morgan D.L. Focus Groups As Qualitative Research, New Delphi, The International
Professional Publishers, 1988, P. 41-48.
Список дополнительной литературы:
1. Белановский С.А. Метод фокус-групп. М., 1996, С. 75-95, 123-137.
2. Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социальнопсихологического исследования, М., 1997,С. 21-41.
3. Дмитриева Е. Фокус-группы в маркетинге и социологии. М., 1998, С. 20-4, 45-51.
4. Донцов А.И. О понятии “группа” в социальной психологии// Социальная психология.
Хрестоматия. М., 1999 С.175-182.
5. Кричевский Р.Л., Дубовская Е.М. Психология малой группы. М., 1991.
6. Кричевский Р.Л., Дубовская Е.М. Исследования малой группы в отечественной и
зарубежной социальной психологии// Социальная психология. Хрестоматия. М., 1999
С.209-229.
7. Левин К. Теория поля в социальных науках. Пер. с англ., СПб. 2000.
8. Майерс Д. Социальная психология, Пер. с англ. М., 1997, С. 269-398.
9. Робер М.-А., Тильман Ф. Групповая динамика. Руководство и лидерство в малой
группе// Хрестоматия по социальной психологии, М., 1994, С.142-156.
10. Baron R., Kerr N., Miller N. Group Process, Group Decision, Group Action. Buckingham,
Open University Press, 1992.
11. Lift J. Groups Processes: An Introduction to Group Dynamics. 3e ed., Mayfield Publishing
Company, 1984.
12. Napier R.W., Gershenfeld M.K. Groups: Theory and Experience, Houghton Mifflin Company,
1993.
13. Raiffa H. Decision Analysis: Introductory Lectures on Choices Under Uncertainty. McGrawHill, Inc, 5e ed., 1976, P.188-239.
2.1. Понятие малой группы.
 Определения:
“Под малой группой понимается немногочисленная по составу группа, члены которой объединены
общей социальной деятельностью и находятся в непосредственном личном общении, что является
основой для возникновения эмоциональных отношений, групповых норм и групповых процессов”.
“Двое или более лиц, которые взаимодействуют друг с другом, влияют друг на друга дольше
нескольких мгновений и воспринимают себя как “мы” в отличие от “они”.
 Классификация малых групп:
1.
2.
3.
4.
5.
Номинальные и реальные.
Лабораторные и естественные.
Открытые и закрытые.
Формальные и неформальные.
Группы членства и референтные группы.
 Основные направления исследования малых групп:
1. Социометрическая школа (Дж.Морено).
2. Социологическая школа (Э.Мэйо)
3. Школа групповой динамики (К.Левин)
2.2. Динамические процессы в группе.
Групповая динамика- совокупность динамических процессов, которые одновременно происходят
в группе в определенную единицу времени.
1. Процесс образования групп.
 Феномен группового давления (феномен конформизма).
Виды группового влияния:
- нормативное (влияние большинства);
- информационное (влияние меньшинства).
 Феномен групповой сплоченности.
 Лидерство и руководство.
2. Процесс принятия группового решения.
1. Групповая дискуссия позволяет столкнуть противоположные позиции и тем самым увидеть
разные стороны проблемы, уменьшить их сопротивление новой информации.
2. Если решение инициировано группой, то оно является логическим выводом дискуссии, его
значение возрастает, так как оно превращается в групповую норму.
 Факторы, влияющие на эффективность групповых решений.
1. Феномен “сдвига риска”.
2. Феномен групповой поляризации.
3. Феномен огруппления мышления.
2.3. Факторы влияния на групповую динамику.
1). Внутриличностные переменные: демографические, физиологические и личностные
характеристики участников фокус-группы.
 Требования, связанные с полом респондентов.
1. Обязательное соблюдение принципа половой сегрегации с респондентами моложе 25 лет.
2. В смешанных группах не обсуждаются предметы, связанные с интимной или сексуальной
жизнью.
3. При проведении смешанных групп следует строго соблюдать принцип гомогенности по
возрасту и уровню образования.
4. Принцип половой сегрегации следует строже соблюдать среди менее образованных слоев
населения.
5. В группах профессионалов признак пола не оказывает влияния на ход обсуждения.
 Требования, связанные с возрастом респондентов.
1. Необходимо всегда обращать внимание на то, что возраст скоррелирован с определенными
социальными характеристиками (наличие детей, трудоспособный возраст, пенсионный
возраст, семейное положение и т.п.).
2. В группах до 20 лет возрастная разница между участниками дискуссий не должна
превышать 2-х лет, среди детей и подростков (до 12 лет) - одного года.
3. Группа от 17 до 25 лет (“молодежь”) обычно плохо вписывается в дискуссии, в которой
принимают участие люди старшего возраста. В этой группе особенно существенны
социальные характеристики (респондент учится или работает, имеет или не имеет семью.
имеет или не имеет детей и т.п.), поэтому при отборе участников упор рекомендуется
делать на них.
4. Группу от 25 до 55 лет (“население трудоспособного возраста”) либо разбивают на две
подгруппы (от 25 до 40 лет и от 40 до 55 лет)), либо составляют “среднюю” группу (от 30
до 50 лет и т.п.).
1. Группа старше 55 лет (“пенсионеры”), как и в случае с “молодежью”, здесь очень
существенные социальные характеристики. группа не легко взаимодействует с другими
возрастами.
 Требования, связанные с образованием и социальным статусом респондентов.
В целях повышения качества дискуссии, получения широкого спектра различных мнений
рекомендуется подбирать участников с одинаковым уровнем образования и социальноэкономическим статусом.
 Личностные характеристики.
Блоки личностных черт, значимых с точки зрения группового общения (по М.Шоу):
1.
2.
3.
4.
5.
Межличностная ориентация
Социальная сензитивность.
Стремление к власти.
Надежность.
Эмоциональная стабильность.
2). Межличностные переменные.
Сплоченность группы.
Групповая совместимость.
Социальная власть.
3). Экологические переменные.
Территориальность.
Личное пространство.
Организация пространства.
2.5. Отбор участников фокус-групп.
 Основные стратегии формирования групп респондентов:
1. Охват широких целевых групп.
2. Охват активных потребителей.
3. Охват потенциальных потребителей.
 Основные техники отбора респондентов:
1.
2.
3.
4.
5.
Случайный отбор.
Включение фильтрующих вопросов в анкету.
Метод "снежного кома".
Использование готовых списков.
Формирование специальной выборки.
6. Отбор в местах потенциального скопления респондентов.
 Ограничения на участие в фокус-группах:
1.
2.
3.
4.
Лица, знакомые с процедурой фокус-групп, принимавшие в них участие ранее.
Лица, знакомые друг с другом или с модератором.
Лица, профессионально знакомые с предметом обсуждения.
Лица, связанные с маркетинговыми исследованиями и рекламой.
Тема 3. планирование и Организация фокус-групп.
3.1. Планирование фокус-группы. Определение цели, объекта и предмета исследования.
Определение числа фокус-групп. Выбор техники рекрутмента участников фокус-группы.
Формализованные и неформализованные фокус-группы.
3.2. Подготовка топик-гайда. Выбор тем для обсуждения. Типология вопросов топик-гайда.
3.3. Выбор места и времени проведения фокус-группы. Обеспечение явки участников фокус-групп.
Техническое обеспечение фокус-групп: видео- и аудиозапись, организация наблюдения за фокусгруппой.
Список обязательной литературы:
1. Белановский С.А. Метод фокус-групп. М., 1996, С. 9-123, 137-144.
2. Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социально-психологического
исследования, М., 1997, С. 37-46, 56-59.
3. Мертон Р., Фиске М., Кендалл П. Фокусированное интервью. М., 1991. С. 33-35, 39-43,
45-77, 142-146, 173-179.
4. Morgan D.L. Focus Groups As Qualitative Research, New Delphi, The International
Professional Publishers, 1988, P. 38-53.
5. Krueger R.A. Focus Groups: A Practical Guide For Applied Research, 2nd ed., , New Delphi,
The International Professional Publishers, 1994, P.39-74.
Список дополнительной литературы:
1. Веселкова Н.В. Методические принципы полуформализованного интервью// Социология
4М, 1995, N 5-6, С. 28-48.
2. Веселкова Н.В. Полуформализованное интервью// Социологический журнал, 1994, N 3, С.
3. Дмитриева Е. Фокус-группы в маркетинге и социологии. М., 1998, С. 44-61, 69-71.
4. Bradburn N.M., Sudman S. Improving Interview Method and Questionnaire Design. San
Francisco, Jossey, 1979.
5. Merton R.K., Fiske V., Kendall P.L. The Focused Interview: A Manual of Problems and
Procedures. New York, 2nd edition, The Free Press, 1990.
6. Stewart D.W., Shamdasani P.N. Focus Groups. Theorie and Practice. L.-N.Y.: The International
Professional Publishers, 1990.
3.1. Планирование фокус-группы
Определение целей исследования
 Перед разработкой целей ФГ необходимо “глубинное интервью с заказчиком”. Его основные
вопросы:
Какую проблему хочет решить заказчик?
Какими средствами он для этого располагает?
Какая информация ему нужна для решения своей проблемы?
 Результат этапа постановки целей - программа исследования:
1. Цели исследования. (Краткая характеристика проблемы - предмета фокус-группового
исследования, основные задачи исследования, краткое описание той информации,
которую получит заказчик).
2. Описание целевых групп - объекта фокус-группового исследования.
3. Масштабы исследования (число групп, стоимость работ).
Определение числа фокус-групп.
В теории N групп = N групп, необходимых для изучения одной гомогенной совокупности Х N
совокупностей, интересующих заказчика. На практике - от 3 до 10.
3.2. Подготовка топик-гайда.
 Общие требования к топик-гайду:
1. Установление контекстуальных рамок дискуссии, определение круга вопросов, напрямую
или косвенным образом связанных с главной темой обсуждения.
2. Отсутствие языкового барьера между исследователем и респондентом.
3. Соблюдение двухуровневого принципа (общие темы и конкретные вопросы), позволяющего
в случае необходимости не нарушать ход дискуссии, сохраняя ее главную направленность.
4. Порядок вопросов должен быть: от более общих к специфическим; от более важных к
менее важным.
 Варианты последовательности вопросов в топик-гайдах:
1.
2.
3.
4.
Принцип воронки
Принцип перевернутой воронки
Принцип пятиступенчатой последовательности
Принцип “тоннеля”
 Типология вопросов топик-гайда.
1. По степени важности:
- основные;
- направляющие (“почему”);
- проверочные или уточняющие;
- вопросы в безличностной абстрактной формулировке;
- фактологические;
- непосредственно не связанные с дискуссией (для организации работы группы).
2. По степени структурированности:
- неструктурированный;
- полуструктурированный: а) структурированный по ответу, свободный по стимулу; б)
свободный по ответу, структурированный по стимулу;
- структурированный.
3. По последовательности их появления: ознакомительные; вводные; переходные;
основные; заключительные.
4. Первичные и вторичные.
5. Направляющие и нейтральные.
ПРИМЕР СЦЕНАРИЯ ФОКУС-ГРУППЫ (подробный вариант)
Внимание модератор! Перед началом фокус-группы раздайте участникам анкеты, ручки,
бейджики с именами. Попросите участников ответить на вопросы №1,2.
 Обсуждение потребления молока (15 минут).
Внимание модератор! Это вводная часть беседы, во время которой вы должны наладить
контакт с участниками фокус-группы, постараться вовлечь всех в разговор, определить для себя
более и менее активных участников.
1. Напишите, пожалуйста, какие ассоциации, характеристики приходят вам в голову,
когда говорят “хорошее молоко”. Укажите не более трех характеристик, ассоциаций
(в анкете вопрос №3).
2. Напишите, пожалуйста, первое название, марку или производителя молока, которое
приходит вам в голову (в анкете вопрос №4).
3. Напишите, пожалуйста, как часто вы употребляли молоко в течение последнего
месяца (в анкете вопрос №5).
4. Напишите, сколько, приблизительно молока вы употребляете в неделю за последнее
время? (в анкете вопрос №6.)
5. Давайте обсудим...
- как вы выбираете то или иное молоко, какие качества молока являются решающими
при принятии решения о его покупке;
- насколько вы удовлетворены тем молоком, которое покупаете, каких
характеристик, качеств или свойств не хватает маркам молока, представленным
сегодня на рынке.
 ТЕСТИРОВАНИЕ КОНЦЕПЦИИ НОВОГО ПРОДУКТА (15 минут)
Внимание модератор! Расставьте на столе упаковки молока и разложите листы с описаниями
концепций молока и “талоны”. Объясните суть концепции каждой марки молока.
6. Предложите респондентам выбрать, какую из марок молока они скорее всего бы купили.
Внимание модератор! Респонденты могут разложить талоны следующим образом: либо все
талоны напротив одной упаковки с концепцией, либо по несколько талонов около двух-трех
упаковок с концепциями, либо по одному талону напротив каждой упаковки.
 ЗАКРЫТОЕ ТЕСТИРОВАНИЕ МОЛОКА (30 минут)
Внимание модератор! Предложите участникам попробовать все марки молока без объявления
их названия. При этом для себя Вы должны обязательно зафиксировать следующую
информацию: какому названию молока соответствует порядковый номер дегустируемой марки
(марка 1=номер 1, марка 2 =номер 2 и так далее).
Процедура дегустации.
Сначала все пробуют молоко номер 1 и дают ему оценку (вопрос №8). Далее пробуют молоко 2 и
отмечают в анкете и т.д. По окончании дегустации у участников спрашивают, не пересмотрели
ли они свои оценки. Если это произошло, то первую оценку в анкете можно аккуратно
перечеркнуть и поставить новую.
7. Отметьте, пожалуйста, в анкете по каждому номеру молока (в анкете вопрос №7):
- нравится или не нравится его вкус; купите или не купите вы это молоко.
8. Что вселяет в вас уверенность в том, что вы приобретаете хорошее, качественное
молоко? Упаковка (ее внешний вид, информация о самом продукте (жирность, срок хранения
и т.п.), информация о заводе-изготовителе, информация о содержании минеральных
веществ, информация о медицинском контроле и т.п.); рекламная информация о молоке;
особенности самого товара (вкус, цвет, запах и т.п.)
 ОТКРЫТОЕ ТЕСТИРОВАНИЕ НОВОГО ПРОДУКТА (30 минут)
Внимание модератор! Предложите участникам попробовать все марки молока, объявляя их
названия. и напоминая о концепции каждой марки. При этом следует карточки с концепциями
марок выложить на стол.
Процедура дегустации аналогична предыдущей.
Перед пробой каждой марки молока вы показываете упаковку и концепцию.
Сначала все пробуют молоко номер 1 и дают ему оценку (вопрос №8).
Далее пробуют молоко 2 и отмечают в анкете и т.д. По окончании дегустации у участников
спрашивают, не пересмотрели ли они свои оценки. Если это произошло, то первую оценку в
анкете можно аккуратно перечеркнуть и поставить новую.
9. Отметьте, пожалуйста, в анкете по каждой марке молока (вопросы №8,9):
- нравится или не нравится его вкус; купите или не купите вы это молоко, соответствует
ли данный товар заявленной цене.
10. Давайте обсудим, как вы оценили каждую марку молока. Какое молоко вам больше всего
понравилось? Почему вы дали именно такую оценку?
11. Давайте обсудим каждую концепцию молока. Какое у вас сложилось впечатление об
описании молока, достаточно ли оно подробное или, может быть, слишком подробное?
Соответствуют ли концепции марок молока их вкусовым качествам. Какой вариант
концепции вам понравился больше всего. Какие еще концепции производят благоприятное
впечатление?
12. Оцените, пожалуйста, варианты упаковки молока по 5-балльной шкале (где 1-полностью
не соответствует вашему мнению, 5-полностью соответствует Вашему мнению) (в анкете
вопрос №10).
Внимание модератор! Привлекательность – в значении привлекает/не привлекает внимание.
Отношение – нравится/не нравится.
13. Какая упаковка молока вам больше всего понравилась и почему? Насколько
привлекательными кажутся вам упаковки. Какая нравится больше и почему? Нравится ли
вам форма упаковки, рисунок, название и почему? Какая упаковка кажется вам более
целостной и гармоничной? Что бы вы добавили или убрали, почему?
Внимание модератор! Необходимо обсудить следующие элементы упаковки: форма; цвет;
размер; рисунок в целом и отдельные детали рисунка; объем информации на упаковке.
 ОЦЕНКА УПАКОВКИ ЙОГУРТОВ (25 минут)
Внимание модератор! Покажите участникам все варианты упаковок йогуртов.
14. Оцените, пожалуйста, эти варианты упаковки йогуртов по 5-балльной шкале (где 1полностью не соответствует вашему мнению, 5-полностью соответствует Вашему
мнению) (в анкете вопрос №11).
Внимание модератор! Привлекательность – в значении привлекает/не привлекает внимание.
Отношение – нравится/не нравится.
15. Давайте обсудим, почему вы так считаете. Насколько привлекательными кажутся вам
упаковки. Какая нравится больше и почему? Нравится ли вам форма упаковки, рисунок,
название и почему? Какая упаковка кажется вам более целостной и гармоничной? Что бы вы
добавили или убрали, почему?
Внимание модератор! Необходимо обсудить следующие элементы упаковки: форма; цвет;
размер; рисунок в целом и отдельные детали рисунка; объем информации на упаковке.
СПАСИБО ЗА УЧАСТИЕ В БЕСЕДЕ!
ПРИМЕР СЦЕНАРИЯ ФОКУС-ГРУППЫ (краткий вариант)
Обсуждение потребления вина (20-25 минут).
1. Заполнение анкеты (вопросы 1-6).
2. Обсуждение:






Поводы употребления вина.
Вкусовые предпочтения вин (красное, белое, сухое, сладкое и т.п.) с объяснениями
причин.
Важность для респондентов определенных сортов винограда; места производства
вина.
Выбор определенных марок вин в зависимости от поводов.
Критерии выбора вина. Качества вина, определяющие решение о покупке.
Удовлетворенность ассортиментом и качеством вин, представленных на московском
рынке.
Закрытое тестирование вина (20 минут - 4 теста)
1. Заполнение анкеты (вопрос 7).
2. Обсуждение:

Оценка проб вина.

Критерии выбора качественного вина (бутылка, этикетка, информация, особенности
продукта и т.п.)
ПЕРЕРЫВ (10 минут)
Открытое тестирование нового продукта (30 минут - 7 тестов)
1. Заполнение анкеты (вопросы 8,9).
2. Обсуждение:


Оценка проб вина.
Концепции представленных марок вина. Соответствие концепций вкусовым качествам
вин.

Оценка этикеток вина (25 минут)
1. Заполнение анкеты (вопрос 10).
2. Обсуждение:

Оценка упаковок различных марок вина (в т.ч., форма; цвет; размер; детали сюжета на
этикетке; количество этикеток; объем информации на этикетках).

Выбор наиболее привлекательных названий: “пасьянс” (40 минут)
1. Заполнение анкеты (вопрос 11-15).
2. Обсуждение результатов “пасьянса”.
Пример краткого Задания на рекрутмент.
1. Требуется набрать 4 группы респондентов:
- 2 группы - женщины в возрасте от 25 до 35 лет, постоянно проживающие в Москве,
употребляющие (или покупающие для членов семьи) молоко в количестве не менее 3-х литров в
неделю;
- 2 группы - женщины в возрасте от 36 до 45 лет, постоянно проживающие в Москве,
употребляющие (или покупающие для членов семьи) молоко в количестве не менее 3-х литров в
неделю;
2. Рекомендуемые методы отбора респондентов:
- отбор респондентов в продовольственных магазинах;
пример скрининг - анкеты
1. Принимали ли Вы в течении последнего года участие в маркетинговых исследованиях
(опросы, фокус-группы и т.п.)?
закончить интервью1. Да
2. Нет
2. Работаете ли вы в области рекламы и маркетинга, производства или продажи
молочных продуктов?
закончить интервью1. Да, работаю
2. Нет, не работаю
3. Ваш возраст.
1. от 25 до 35 лет
2. От 36 до 45 лет
закончить интервью3. Другая возрастная категория
4. Как давно Вы постоянно проживаете в Москве?
1. Более 3-х лет
закончить интервью2. Менее 3-х лет
5. Употребляете ли Вы или члены Вашей семьи молоко?
1. Да
закончить интервью2. Нет
6. Сколько примерно молока Вы или члены Вашей семьи употребляете в неделю?
1. 3 и более литра в неделю.
закончить интервью2. Менее 3-х литров в неделю
Тема 4. Методика проведения фокус-групп. Роль модератора в фокус-группе.
4.1. Личностные (социально-демографические, психологические и т.п.) и профессиональные
требования к модератору. Типы модераторов. Стратегии поведения модератора на разных
этапах работы фокус-группы. Возможные деструктивные элементы в работе модератора.
4.2. Этапы проведения фокус-группы.
4.2.1. Подготовительный этап: проверка степени готовности к проведению фокус-группы,
встреча участников фокус-группы, введение в беседу (знакомство, описание цели встречи).
4.2.2. Основной этап: техника стимулирования процесса общения, методы активизации
дискуссии, методы коррекции лидеров, методы фокусирования обсуждения, методы борьбы с
молчанием, методы организации внутригруппового взаимодействия.
4.2.3. Содержательные, организационные и этические аспекты завершающего этапа.
Список обязательной литературы:
1. Белановский С.А. Метод фокус-групп. М., 1996, С. 147-235.
2. Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социально-психологического
исследования, М., 1997,С. 46-60.
3. Krueger R.A. Focus Groups: A Practical Guide For Applied Research, 2nd ed., , New Delphi,
The International Professional Publishers, 1994, P. 100-126.
4. Lift J. Groups Processes: An Introduction to Group Dynamics. 3e ed., Mayfield Publishing
Company, 1984, P. 113-125.
5. Morgan D.L. Focus Groups As Qualitative Research, New Delphi, The International
Professional Publishers, 1988, P. 53-64.
Список дополнительной литературы:
1. Дмитриева Е. Фокус-группы в маркетинге и социологии. М., 1998, С. 61-73.
2. Богомолова Н.Н., Петровская Л.А. Групповая дискуссия// Социально-психологический
климат коллектива, Под ред. Ю.М.Жукова, М., 1981, С. 41-75.
3. Петровская Л.А. Организация и проведение групповой дискуссии// Жуков Ю.М.,
Петровская Л.А., Растянников П.В. Диагностика и развитие компетентности в общении.
Киев, 1991.
4. Merton R.K., Fiske V., Kendall P.L. The Focused Interview: A Manual of Problems and
Procedures. New York, 2nd edition, The Free Press, 1990.
5. Stewart D.W., Shamdasani P.N. Focus Groups. Theory and Practice. L.-N.Y.: The International
Professional Publishers, 1990.
4.1. модератор
 Возможные стили модераторов:
1. “Полностью ориентированный на респондентов”
2. “Наивный новичок”
3. “Ведущий эксперт”
4. “Бросающий вызов”
5. “Третейский судья”
6. “Психотерапевт”
 Типологии модераторов:
1. По степени контроля за содержанием беседы и групповыми процессами: а) контролирует и
то, и то другое; б) контролирует только содержание; в) контролирует групповую динамику, но
не содержание, г) практически не влияет на группу.
2. По степени формализованности группы: директивный, кооперативный, недирективный.
 Деструктивные стили модераторов.
1.
2.
3.
4.
5.
6.
7.
Растерянный, запутавшийся.
Авторитарный.
Педант.
Попульстительствующий.
Излишне влияющий на ход дискуссии.
Слишком активный.
Плохо слушающий.
8.
9.
10.
11.
12.
Слишком незнающий или слишком знающий.
Комедиант.
Эксгибиционист.
Соблазнитель.
Излишне любопытный.
4.2. Этапы проведения фокус-группы.
 Основные задачи модератора:
1. Регулирование обсуждения, управление групповым поведением
2. Фокусирование обсуждения на проблеме исследования.
 Роли респондентов:
Деструктивные роли
Конструктивные роли респондентов:
респондентов
1. Лидеры мнений.
1.Конкуренты модератора 6. Весельчаки
2. Союзники модератора
2. Доминаторы
7. Болтуны
3. Сдержанные участники
3. Миссионеры
8. Соглашатели
4. Застенчивые участники
4. Антагонисты
9. Пассивные
5. Уточнители
 Общие техники коррекции групповой дискуссии:
1.
2.
3.
4.
5.
Сдерживание излишне болтливых респондентов.
Активизация сдержанных респондентов.
Расширение участия.
Содержательное молчание.
Регулирование взаимодействия в группе.
5.1. Переадресация вопросов.
5.2. “Стравливание” участников.
5.3. Цитирование ранее сказанного.
5.4. Неполное понимание слов респондента.
5.5. Оспаривание.
5.6. Использование прямых вопросов .
57. Вопрос “Почему”.
6.
7.
8.
9.
Реакция на перебивание.
Установление частоты ответов, подсчет голосов.
Нейтрализация эффекта лидера.
“Язык тела”.
 Техники, направленные на получение нужной информации (по критериям эффективности
групповых интервью):
а. Ретроспекция
1. Наглядное представление реальной ситуации (ролик).
2. Вербальные подсказки.
б. Полнота информации
1. Неструктурированные вопросы.
2. Переходные вопросы.
3. Мутационные вопросы.
в. Специфичность информации
1. Спецификация ситуации после сообщения реакции на нее.
2. Явное обращение к стимульной ситуации.
3. Независимый вопрос со ссылкой на ситуацию.
г. Глубина информации.
1. Гибкое ведение интервью.
2. Ретроспективный фокус.
3. Фокусировка на чувствах.
4. Повторение высказанных эмоций.
5. Сопоставление рассматриваемой ситуации и другого опыта.
д. Личностный контекст
1. Поиск идентификации респондента с другими участниками тестируемой ситуации.
2. Проекция реакций респондента на других людей, превращение проективных заявлений в личные.
3. Проведение параллелей между опытом респондента и рассматриваемой ситуацией.
Тема 5. Анализ и представление результатов данных фокус-групп.
5.1. Методологические подходы к анализу данных качественных исследований. Валидность
результатов фокус-групп.
5.2. Стратегии и методы обработки данных фокус-групп. Поэтапный анализ. Параллельный
анализ. Вертикальный и горизонтальный методы анализа данных. Лингвистический анализ.
Контент-анализ.
5.2. Анализ видео- и аудиозаписи фокус-группы. Типология данных фокус-групп. Специфика
анализа вербальных и невербальных данных.
5.3. Виды отчетов по результатам фокус-групп. Стенограммы фокус-групп. Устная презентация
результатов. Письменный отчет. Структура письменного отчета. Адаптация языка
письменного отчета к требованиям Заказчика.
Список обязательной литературы:
1. Белановский С.А. Метод фокус-групп. М., 1996, С. 236-250.
2. Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социально-психологического
исследования, М., 1997,С. 60-69.
3. Дмитриева Е. Фокус-группы в маркетинге и социологии. М., 1998, С. 74-102.
4. Krueger R.A. Focus Groups: A Practical Guide For Applied Research, 2nd ed., , New Delphi,
The International Professional Publishers, 1994, P. 126-184.
5. Morgan D.L. Focus Groups As Qualitative Research, New Delphi, The International
Professional Publishers, 1988, P. 64-70.
Список дополнительной литературы:
1. Богомолова Н.Н., Стефаненко Т.Г. Контент-анализ: Спецпрактикум по социальной
психологии. М., 1992.
2. Джэй Э. Эффективная презентация. Пер. с англ., Минск, 1996.
3. Девятко И.Ф. Методы социологического исследования. Екатеринбург, 1998, с. 113-123.
4. Методологические и методические проблемы контент-анализа, вып.1, 2. М.-Л., 1973.
5. Ядов В.А. Стратегия и методы качественного анализа данных// Социология 4М, 1991, N
1, с.14-31.
6. Analyzing Qualitative Data. Ed. by A.Bryman, R.E.Burgess. London and New York, Routledge,
1993.
7. Ball M. Analyzing Visual Data, London, Sage, 1992.
8. Merton R.K., Fiske V., Kendall P.L. The Focused Interview: A Manual of Problems and
Procedures. New York, 2nd edition, The Free Press, 1990.
9. Stewart D.W., Shamdasani P.N. Focus Groups. Theory and Practice. L.-N.Y.: The International
Professional Publishers, 1990.
5.1. Методологические подходы к анализу качественных данных.
Критерии классификации методов анализа данных фокус-групп:
1.
2.
3.
4.
5.
Индуктивные - дедуктивные.
Субъективные - объективные.
Проверяющие - вырабатывающие.
Конструирующие - замеряющие.
Аналитические и обосновывающие.
Принципы символического интеракционизма:
Особое внимание уделяется не только позиции исследователя, но и позиции респондента.
1.
2.
3.
4.
Видение и интерпретация всего того, что происходит в группе с позиции респондента.
Рассмотрение и детальное описание атмосферы фокус-группы.
Целостный анализ социального контекста.
Учет результатов в динамике, а не в статике.
Принципы позитивизма:
Анализ и интерпретация данных - только с позиции исследователя
 Объединение и установление связей между категориями.
1. Проверка их на логическое соответствие
2. Соотнесение с социальной реальностью и существующим социологическим знанием.
3. Соотнесение с контекстом, в котором говорил респондент.
Валидность результатов фокус-групп.
Валидность метода ФГ зависит не только от процедуры, но и от контекста, от проблемы объекта исследования.
2 вида валидности результатов ФГ:
Очевидная валидность - результаты группы действительно валидны, т.е. не вызывают сомнений.
Предсказательная валидность - в той степени, в которой результаты ФГ подтверждаются
будущим поведением участников или последующими событиями.
5.2. Стратегии и методы обработки данных фокус-групп.
Типологии данных фокус-групп.
1. По степени формализованности.
2. Вербальные и невербальные.
3. По способу фиксации.
Общие стратегии анализа данных фокус-групп:
1.
2.
3.
4.
Поэтапный анализ
Параллельный анализ
Вертикальный и горизонтальный методы анализа данных.
Взаимодополнение количественных и качественных методов анализа данных.
Виды анализа данных фокус-групповых исследований:
1. Лингвистический анализ (анализ беседы, анализ интеракции)
2. Анализ содержания или контент-анализ.
2.1. Прагматический КА
2.2. Семантический КА:
- (designation) - указательный, обозначающий анализ.
- (attribution) - анализ приписывания.
- (assertion) - анализ суждений.
2.3. Психологический КА (sign-vehicle)
Общие правила анализа данных ФГ:
Обращать внимание на слова и их значения.
Учитывать контекст.
Принимать во внимание последовательность ответов и поведение участников.
Исследовать специфичность ответов (базирующихся на собственом опыте, а не
“безличных”).
5. Находить основные идеи.
1.
2.
3.
4.
Похожие документы
Скачать