Обзор фокус-групп AHELO

Organization for Economic
Co-operation and Development
Assessment of Higher Education
Learning Outcomes
Диагностическое исследование AHELO
Инструкция по проведению фокус-групп
Оглавление
Введение .........................................................................................................................................3
Обзор фокус-групп AHELO..........................................................................................................4
Какие данные должны быть получены ........................................................................................5
Виды заданий .................................................................................................................................6
Предварительная подготовка .......................................................................................................7
Циркуляция заданий в исследовании ......................................................................................7
Отбор студентов - участников исследования .........................................................................7
Мотивирование участников исследования .............................................................................7
Завершающий этап подготовки фокус-групп .........................................................................8
Проведение фокус-групп ............................................................................................................10
Этап 1. Представление фокус-групп......................................................................................10
Этап 2. Выполнение заданий в течение определенного времени .......................................11
Этап 3. Обсуждение.................................................................................................................12
Вопросы по тесту в целом ......................................................................................................13
Проверка перевода и адаптации .................................................................................................14
Анализ фокус-групп ................................................................................................................14
Проверка перевода и адаптации на основе данных фокус-групп .......................................14
Описание полученных данных ...................................................................................................15
Кто должен представлять данные ..........................................................................................15
Таблица данных фокус-групп.................................................................................................15
Шаг 1 – Запись заданий ......................................................................................................15
Шаг 2 - Запись заданий без ответа .....................................................................................16
Шаг 3 – Запись данных участников ...................................................................................16
Шаг 4 – Запись данных из анкеты для Задания 1 .............................................................18
Шаг 5 – Запись данных из анкеты для Задания 2 .............................................................19
Шаг 6 – Запись ответов участников на задания с конструируемым ответом ................20
Шаг 7 –Запись ответов участников на задания с множественным выбором.................20
Он-лайн форма .........................................................................................................................20
Информация по фокус-группе............................................................................................21
Вопросы по Заданию 1 ........................................................................................................23
Вопросы по Заданию 2 ........................................................................................................24
Вопросы по тесту в целом ..................................................................................................26
Рис. 21. Завершение заполнения он-лайн формыПриложение А: Сценарий проведения
фокус-групп (скрипт) ..................................................................................................................27
Приложение А: Сценарий проведения фокус-групп (скрипт) ................................................28
Приложение Б: Анкета ................................................................................................................29
Приложение В: Таблица данных фокус-групп .........................................................................30
Приложение Г: План работы модератора .................................................................................33
1
Приложение Д: Он-лайн форма данных для фокус-групп ......................................................36
Приложение Е: Перечень предложений по переводу/адаптации ...........................................37
Приложение Ж: Соглашение о конфиденциальности .............................................................38
2
Введение
Понятие «фокус-группа» относится к такого рода деятельности небольших групп
людей, когда они участвуют в контролируемом обсуждении заданий теста. Фокус-группы
широко используются при разработке исследовательского инструментария. Участники
фокус-групп являются членами такой генеральной совокупности людей, для которой
измерение было разработано. Проведение фокус-групп позволяет обеспечить внутреннюю
валидность заданий исследования. Другими словами, они дают возможность
разработчикам теста проверить действительно ли их тест измеряет те параметры, на
которые они изначально направлены.
При проведении фокус-групп участники выполняют оценочные задания, а затем
обсуждают с модератором каким образом они выполняли каждое задание. Это дает
возможность выразить свое мнение по ряду аспектов выполненных заданий, уровню
трудности каждого задания, описать процессы и методы, задействованные при решении
каждого задания и является ли тест интересным для респондентов в целом.
Модераторы (люди, которые непосредственно проводят фокус-группы) не
общаются с членами фокус-групп до момента завершения работы по тесту. Они ожидают
окончания работы, после чего задают специфические вопросы о бэкграунде участников
исследования и записывают ответы респондентов. В дальнейшем такая качественная
информация анализируется и используется для улучшения заданий теста.
Фокус-группы используются в разработке тестов и образовательных исследованиях
для контроля внутренней валидности измерения. Они позволяют получить огромное
количество информации о способах и методах выполнения респондентами заданий.
Данная информация позволяет разработчикам теста понять действительно ли в процессе
выполнения заданий респондентами используются те знания и умения, которые
необходимо измерить, или участники фокус-групп используют другие возможности.
Одновременно, проведение фокус-групп дает возможность разработчикам теста оценить
понятна ли респондентам форма изложения заданий, или ее необходимо изменить для
лучшего понимания.
3
Обзор фокус-групп AHELO
В диагностической стадии исследования AHELO фокус-группы использовались в
процессе разработки исследования во всех модулях Фазы 1. Обратная связь в формате
фокус-групп будет использоваться для ревизии всех тестовых заданий и только после
этого тестовые задания будут использоваться для широкомасштабной оценки в ходе
проведения основного исследования студентов в рамках Фазы 2 диагностического
исследования.
Так как тесты были разработаны для международного использования, особенно
важным является контроль того, что тесты оценивают эквивалентные знания и умения
респондентов в разных странах. После перевода английской версии не должен быть
нарушен ни один из следующих изначальных параметров:
 Измеряемые конструкты (знания и умения)
 Явный и скрытый смысл тестовых заданий
 Уровень сложности заданий.
Проведение фокус-групп является обязательным условием для всех стран-участниц
проекта AHELO. В каждой стране они должны быть проведены, по крайней мере, в 5-10
учебных заведениях на волонтерах. Во время проведения фокус-групп участники должны
работать с печатной версией теста, которая включает две части. После проведения фокусгрупп задания должны быть пересмотрены переводчиком и разработчиками теста в
соответствии с информацией, полученной в ходе проведения фокус-групп.
Допускается возможность проведения и модерации фокус-групп одним человеком,
но рекомендуется задействовать двух человек: один из которых общается с
респондентами, а другой – фиксирует вербальную информацию, полученную от
респондентов.
Проведение фокус-групп AHELO включает в себя три этапа:
 Этап 1: Представление фокус-групп. Задача модератора на этом этапе
объяснить участникам цели проведения фокус-групп и представить инструкцию
выполнения заданий (см. Этап 1 ниже и Приложение А).
 Этап 2: Выполнение заданий в течение определенного времени.
Респонденты выполняют задания в течение определенного времени. Во время работы с
тестом
запрещаются
разговоры
между
участниками
тестирования.
Каждыйучастникработаетиндивидуально.
 Этап 3: Последующее обсуждение.Модератор сначала дает респондентам
анкету по каждому тестовому заданию (Приложение Б) и затем задает вопросы по
процессу выполнению задания, записывая ответы респондентов. Вопросы включают
информацию о том, насколько легко респонденты понимают инструкцию к заданию, как
они справляются в зданием, с какими проблемами перевода пришлось столкнуться
(Приложение Г).
Кроме записи ответов респондентов модератором, также необходима аудиозапись.
Это позволит модератору и его (ее) коллегам еще раз прослушать комментарии
респондентов с целью выявления проблем или спорных моментов, отмеченных
респондентами. Далее модератор и его (ее) коллеги анализируют комментарии
респондентов и определяют пути улучшения задания.
4
Какие данные должны быть получены
На Этапе 2 и Этапе 3 проведения фокус-групп собираются разные данные:
 Этап 2: Выполнение заданий в течение определенного промежутка времени.
Студенты выполняют задания, состоящие из двух частей: Задание 1 (задание с
конструируемым ответом) и Задание 2 (набор вопросов с множественным выбором).
Ответы респондентов на данные задания составляют Данные 1 и Данные 2.
 Этап 3: Последующее обсуждение. После завершения выполнения заданий
респондентами модератор раздает для заполнения анкеты – по одной на каждое задание.
Каждый лист содержит 12 утверждений со шкалой Ликерта для ответов и 2 открытых
вопроса. Ответы на вопросы о Задании 1 составляют Данные 3, о Задании 2 – Данные 4.
Затем модератор задает некоторые вопросы для обсуждения. Первый блок
дискуссионных вопросов относится к Заданию 1 (Данные 5), второй блок – к Заданию 2
(Данные 6), третий блок – к оценке в целом (Данные 7). Модератор записывает ответы
респондентов и делает аудиозапись обсуждения для последующего прослушивания и
внесения дополнительных замечаний в записи, с целью анализа всех замечаний студентов.
Все данные, которые необходимо собрать, указаны в Таблице 1
Таблица 1: Необходимые для сбора данные
Данные 1
Данные 2
Данные 3
Данные 4
Данные 5
Данные 6
Данные 7
Индивидуальные ответы студентов на Задание 1
Индивидуальные ответы студентов на Задание 2
Индивидуальные ответы студентов на анкету о Задании 1
Индивидуальные ответы студентов на анкету о Задании 2
Групповые ответы на дискуссионные вопросы о Задании 1
Групповые ответы на дискуссионные вопросы о Задании 2
Групповые ответы на дискуссионные вопросы об оценке в целом
Для упрощения процедуры представления данных разработаны два метода
представления данных:
1. Таблица данных фокус-групп (файл в формате Excel) – Приложение В
2. Форма данных фокус-групп (он-лайн) – Приложение Д
Таблица данных фокус-групп используется для записи Данных 1, Данных 2,
Данных 3, Данных 4.
Он-лайн форма данных фокус-групп используется для записи Данных 5, Данных 6,
Данных 7.
5
Виды заданий
В процессе проведения фокус-групп студенты выполняют два блока заданий:
- Задание с конструируемым ответом – Задание 1
- Набор заданий с множественным выбором ответов – Задание 2
Так как задания циркулируют в фокус-группах, необходимо аккуратно записывать,
какие конкретно задания использовались при проведении тех или иных фокус-групп. Эти
данные необходимо внести в таблицу Excel, соответствующие инструкции работы с
таблицей приведены ниже.
6
Предварительная подготовка
Циркуляция заданий в исследовании
На выполнение конечной версии заданий респонденту будет дано 90 минут.
Однако, при проведении фокус-групп, респондентам отведено только 60 минут для
выполнения отобранных заданий, так как целью является содействие адаптации теста и
получение от респондентов обратной связи, которая будет учтена при отборе заданий для
конечной версии оценочного инструментария, подготавливаемого для Фазы 2.
Исходя из вышесказанного, а также, потому что заданий, сделанных
разработчиками оценочного инструментария, больше, чем необходимо, задания должны
циркулировать внутри фокус-групп. Национальным координаторам проекта необходимо
наилучшим образом организовать циркуляцию, основываясь на количестве фокус-групп
по стране. Руководство по каждому оценочному инструменту приведено ниже.
Конечная версия теста будет содержать одно задание с конструируемым ответом и
набор заданий с множественным выбором ответов. Для проведения фокус-групп были
подготовлены два варианта теста (документ «Форма А по Экономике: версия для
студентов и версия для специалиста» и «Форма Б по Экономике: версия для студентов и
версия для специалистов». В таком случае:
Задание 1 = одно задание с конструируемым ответом (первая часть Формы А
или Б)
Задание 2 = набор заданий с множественным выбором (вторая часть любой из
форм, используемых для Задания 1)
Если фокус-групп проводится больше шести, необходимо обеспечить одинаковую
частоту использования двух форм (А и В) для того, чтобы все задания с конструируемыми
ответами и наборы заданий с множественным выбором использовались примерно
одинаковым числом участников в каждой стране.
Отбор студентов - участников исследования
Немногочисленная валидация оценочного инструментария, планируемая в Фазе 1,
не требует выборки для отбора студентов. Напротив, задача вуза выбрать
заинтересованных студентов (волонтеров) для участия в фокус-группах.
Участники должны быть студентами бакалавриата последнего года обучения. Их
программа обучения должна соответствовать направлению исследования.
Идеальная фокус-группа должна состоять из 5-10 человек. Это гарантирует
получение достаточного количества данных, ив то же время позволяет находиться в
приемлемых рамках бюджетных и организационных ограничений.
Хотя формально стратифицированная выборка в Фазе 1 не требуется, важно, чтобы
участники фокус-групп имели различный бэкграунд. Это нужно для того, чтобы
постараться в максимальной степени представить разнообразие студентов в вузахучастниках. Хотя студенческие характеристики варьируются между странами,
необходимо соблюдать баланс между участниками мужского и женского пола
представителями различных социально-экономических групп, носителями разных языков
и принадлежащих к разным этническим группам.
Мотивирование участников исследования
Каждая страна самостоятельно принимает решение о поощрении участников
фокус-групп. В некоторых странах это стандартная процедура участия в любых
исследованиях, тогда как в других странах - поощрение невозможно из-за культурных
особенностей. Основное правило - любые поощрения должны иметь в меньшей степени
7
денежное выражение, должны иметь образовательную пользу и не должны оплачиваться
наличными. Часто университеты в виде поощрения за участие используют ваучеры на
приобретение учебной литературы.
Завершающий этап подготовки фокус-групп
Модератору необходимо ознакомиться с оценочными заданиями до начала
проведения фокус-групп. Также ему необходимо знать сценарий проведения (скрипт)
(Приложение А), анкету (Приложение Б) и план-график работы модератора (Приложение
Г).
Необходимо, чтобы модераторы не имели профессиональных или личных
контактов с участниками фокус-групп. Это помогает сохранить конфиденциальность
участников процесса и уменьшает их эмоциональное напряжение.
Если модератор имеет профильное экономическое образование, ему рекомендуется
выполнить самому задания до проведения фокус-группы. Такое ознакомление с
заданиями поможет ему при работе с фокус-группами. Модератор будет знать
характеристики и проблемные аспекты различных частей заданий, сможет предусмотреть,
какие знания и рассуждения вероятнее всего будут использовать участники фокус-групп
при их выполнении, а также инструкции к заданиям. Также модератору необходимо
ознакомиться с системой оценивания для каждого задания, чтобы понимать, что требуется
от каждого студента.
Получая тот же опыт, что и участники фокус-групп, модератор сможет лучше
понять, каким образом респонденты отвечают на задания и их комментарии после
проведения теста. Наиболее важно, что таким образом модератор сможет дать более
значимую информацию по улучшению заданий и их переводу на основе анализа
обсуждения заданий с фокус-группами.
Место проведения и оборудование комнаты для фокус-групп будет влиять на
эффективность участия в фокус-группах. Поэтому необходимо обеспечить:

отсутствие отвлекающих воздействий;

отдельное помещение;

комфортную температуру в помещении (чтобы не было слишком жарко или
холодно);

удобную мебель (столы и стулья) в рабочем состоянии;

правильное освещение для выполнения респондентами заданий и записей
модератором;

исправное устройство для аудиозаписи (при необходимости иметь
дополнительный источник питания);

на аудио-записи должны быть обозначены дата и время проведения.
Записывающее устройство необходимо разместить так, чтобы были слышны как
голоса участников, так и модератора. Также модератору необходимо делать пометки. Он
должен иметь под рукой копию сценария (скрипта) и перечень вопросов по каждому
заданию, а также вопросов об исследовании в целом.
Если возможно, участники в помещении должны располагаться таким образом,
чтобы видеть модератора и друг друга. Это позволит модератору наблюдать за
респондентами во время выполнения заданий, а также более эффективно участвовать в
обсуждении на Этапе 3 проведения фокус-групп.
Модератор должен обеспечить участников всем необходимым для выполнения
заданий:
 именным бейджем;
 одной копией соглашения о конфиденциальности (Приложение Ж);
 одной копией заданий;
 ручками и карандашами;
8
 бумагой для записей.
Всего дается 2 часа на проведение фокус-группы, из которых один час отводится
участникам на выполнение самого теста и один час на обсуждение заданий и теста в
целом.
9
Проведение фокус-групп
Этап 1. Представление фокус-групп
В целях соблюдения стандартного проведения исследования в разных странах
модераторы используют сценарий (скрипт) с инструкциями и вопросами для участников.
Перечень вопросов представлен в Приложении А, а также выделен курсивом ниже с
комментариями и инструкциями.
Задача модератора сделать пребывание участников наиболее комфортным.
Модератор должен обращаться с респондентами соответственно их полу и возрасту, а
также как с равными. Он должен избегать проявления авторитарного поведения.
По мере прибытия респондентов в аудиторию, модератору необходимо попросить
их написать свое имя на бейдже и прикрепить его на одежду. Это позволит обращаться к
участникам по именам во время последующего обсуждения.
Модератор должен попросить участников выключить все электронные приборы и
мобильные телефоны во время проведения тестирования. Рекомендуется оставлять сумки
и иные принадлежности участников в отведенном для этого месте.
Модератор должен представиться, рассказать какую организацию он представляет
и о проекте AHELO. Он должен объяснить, что тестирование состоит из двух основных
частей: выполнение заданий в течение определенного времени и последующие вопросы.
Модератор должен четко объяснить цель проведения фокус-групп - удостовериться, что
задания понятны для участников.
Важно НЕ УПОМИНАТЬ, что фокус-группы направлены на оценку перевода
заданий, так как это может привести к концентрации участников на формулировке
заданий, а не на попытках решить их. Модератор сначала должен сказать:
Спасибо за то, что согласились участвовать в фокус-группе. Меня зовут _______. Я
_____________ (назвать занимаемую должность). Я помогаю в сборе информации для
международного исследования результатов обучения, в котором студентам необходимо
работать с оценочным заданиями.
В процессе проведения фокус-групп вы будете выполнять два задания – сначала вы
выполните задания, после которого мы обсудим каким образом вы их выполняли. Вся работа
займет два часа.
Результаты тестирования не повлияют на ваши оценки или на вашу репутацию в
университете. Наша цель исследования – понять действительно ли задания, которые вы
выполняете, оценивают именно то, для чего они и были изначально разработаны. Нас
интересует только ваш опыт выполнения этих заданий.
После того, как вы завершите выполнение заданий, я задам несколько общих вопросов.
Для того, чтобы быть уверенным, что я уловил всю информацию о вашем опыте решения
заданий, во время проведения будет проводиться аудиозапись, так как для меня/нас очень
важно не пропустить ни единой детали.
Наконец, перед тем, как мы начнем, вам необходимо подписать соглашение о
конфиденциальности. В нем вы обязуетесь не воспроизводить никакие из заданий, которые
вы увидите, а также не обсуждать информацию, связанную с их выполнением, с кем-либо.
Модератор раздает каждому участнику Соглашение о конфиденциальности
(Приложение Ж) и просит подписать и поставить дату, прежде чем вернуть соглашение
модератору. После подписания соглашения респонденты имеют возможность задать
вопросы.
До того, как мы начнем, есть ли у кого-нибудь из присутствующих вопросы?
10
Этап 2. Выполнение заданий в течение определенного времени
Далее модератор раздает бланки с заданиями и просит участников ответить на них.
Необходимо напомнить участникам, что они не должны разговаривать друг с другом во
время проведения тестирования, так как важно исследовать их индивидуальный опыт
выполнения тестовых заданий.
Модератор должен сказать следующее:
Сейчас я раздам вам задания, которые состоят из двух частей. Первая часть
включает задание с конструируемым ответом, а вторая – задания с множественным
выбором. Вам дается 60 минут на выполнение обеих частей, и вы должны потратить
примерно по 30 минут на выполнение каждой из частей. Пожалуйста, выполняйте задания
так, как вы обычно это делаете, проходя тестирование .То есть вы не должны общаться с
другими участниками во время выполнения заданий, а также вы должны максимально
постараться закончить обе части за имеющийся в вашем распоряжении один час.
Если во время тестирования вам потребуются дополнительные ручки, карандаши или
бумага, пожалуйста, поднимите руку. Вы не можете задавать мне вопросы во время
тестирования, но у нас будет достаточно времени для обсуждения после его окончания.
Модератору необходимо проверить все ли поняли его инструкции:
До того, как мы начнем, если у кого-нибудь вопросы?
Далее модератор должен раздать бланки с заданиями, бумагу, ручки, карандаши и
ластики. Модератор должен быть уверен, что у него есть достаточное количество
расходных материалов, если потребуется.
Модератор раздает бланки с заданиями со словами:
У вас есть 60 минут для работы над тестом.
Модератор должен записать на доске время начала тестирования и время
окончания тестирования так, чтобы все участники могли его видеть. Модератор не должен
влиять на ответы респондентов, поэтому необходимо, чтобы он НЕ вступал в
коммуникацию с участниками и не беспокоил их во время проведения тестирования.
МОДЕРАТОР ДОЛЖЕН СЛЕДИТЬ ЗА ВРЕМЕНЕМ.
По прошествии 50 минут с начала тестирования, модератор должен сказать:
У вас осталось 10 минут.
По прошествии 60 минут модератор должен сказать:
Спасибо. 60 минут закончились. Пожалуйста, положите ручки.
Модератор не должен собирать бланки с ответами у респондентов, так как они им
необходимы для обсуждения.
11
Пока участники выполняют задания, модератор должен:
1.
Следить за временем и напоминать участникам, когда до завершения
остается 10 минут, и когда время полностью истекает;
2.
Быть готовым предоставить дополнительные расходные материалы
участникам, если они поднимут руки;
3.
Записывать любое значимое поведение участников во время
тестирования, которое может относиться к выполнению заданий.
Модератор НЕ ДОЛЖЕН БЕСПОКОИТЬ участников во время выполнения
заданий. Он не должен:
- покидать аудиторию;
- шуметь;
- общаться с респондентами.
Этап 3. Обсуждение
После выполнения теста модератор раздает респондентам анкеты. Участники
должны заполнить одну анкету по каждой из частей заданий: одну - по заданию с
конструируемым ответом, вторую – по заданиям с множественным выбором.
Модератор должен сказать:
Сейчас я раздам вам две анкеты. Пожалуйста, заполните обе: первая – по
Заданию 1, вторая – по Заданию 2. Пожалуйста, работайте над анкетами
самостоятельно. Когда вы закончите, я соберу анкеты.
Модератор должен дождаться того момента, когда все участники закончат
заполнять анкеты и собрать их.
Когда все респонденты заполнят анкеты, модератор должен задать им два типа
вопросов:
- специальные вопросы по каждому заданию теста;
- специальные вопросы по тесту в целом.
МОДЕРАТОРУ
НЕОБХОДИМО
ВКЛЮЧИТЬ
ЗАПИСЫВАЮЩЕЕ
УСТРОЙСТВО ПЕРЕД НАЧАЛОМ ОБСУЖДЕНИЯ.
Модератор должен сказать:
Я собираюсь включить записывающее устройство для записи обсуждения, так как
важно не упустить ни одного из ваших предложений и замечаний.
Вопросы по каждому заданию теста
Модератор задает участникам специальные вопросы по каждому выполненному
заданию теста (Приложение Г). Модератору важно задать все вопросы по каждому
заданию и не пропустить ни одного. Необходимо внимательно слушать ответы
респондентов и записывать их ответы. Так как параллельно ведется аудиозапись, нет
необходимости записывать все дословно, можно будет прослушать запись обсуждения
позже.
Модератор должен сказать участникам:
Я собираюсь задать вам несколько вопросов по каждому из заданий теста. Ваше
конкретное мнение по каждому заданию очень важно. Пожалуйста, будьте искренни.
12
В то время как модератор задает вопросы (Приложение Г), он должен делать
пометки в анкете в графе «Ответы участников». До того, как вопросы к каждому заданию
будут заданы, все участники должны быть готовы и модератор должен сказать:
Переходим к обсуждению Задания (№ задания). Пожалуйста, посмотрите на
это задание в ваших материалах.
Модератор должен задавать вопросы по очереди, так как они представлены в
Приложении Г и предоставить участникам достаточное количество времени для ответа.
Модератор должен быть уверен, что ВСЕ участники сказали то, что хотели. Если
некоторые из участников промолчали, модератор должен спросить:
Что вы (назвать по имени) думаете об этом задании?
ТОЧНО ТАКАЯ ЖЕ ПОСЛЕДОВАТЕЛЬНОСТЬ ДЕЙСТВИЙ ДОЛЖНА
ПОВТОРЯТЬСЯ ДЛЯ КАЖДОГО ЗАДАНИЯ.
Если ситуация не позволяет одновременно записывать ответы респондентов и
общаться с ними, на этот случай ведется аудиозапись, по которой можно будет
восстановить ответы респондентов. Гораздо важнее обеспечить естественное течение
обсуждения, чем делать записи ответов участников тестирования.
Вопросы по тесту в целом
Далее модератор задает участникам специальные вопросы по тесту в целом
(Приложение Г). Важно задать все перечисленные в Приложении Г вопросы, не пропустив
ни одного. Модератор должен слушать ответы респондентов внимательно и записывать
их. Если модератор не может записывать все ответы, информация может быть
восстановлена с аудиозаписи.
Модератор должен сказать:
Я собираюсь задать вам несколько вопросов о тесте в целом. Еще раз повторю,
что важным является то, что вы действительно думаете о тесте в целом.
Пожалуйста, будьте искренни.
В то время как модератор задает вопросы из Приложения Г, он должен делать
пометки в анкете в графе «Ответы участников».
Также важно выслушать комментарии ВСЕХ респондентов. Если некоторые из
участников промолчали, задача модератора спросить:
Что вы (назвать по имени) думаете о тесте в целом?
По завершении фокус-групп необходимо поблагодарить участников. Модератор
должен сказать:
Спасибо за ваше участие в фокус-группе. Ваше участие очень важно для нас.
Ваши комментарии очень ценны и будут использованы для улучшения заданий.
Модератор должен собрать все материалы и черновики участников тестирования. В
целях конфиденциальности очень важно проследить, чтобы участники не уносили с
собой какие-либо заметки, сделанные во время проведения фокус-группы.
13
Проверка перевода и адаптации
Анализ фокус-групп
После окончания проведения фокус-групп, необходимо дополнительно прослушать
аудиозапись и добавить комментарии в форму, представленную в Приложении Г, чтобы
отразить всю информацию, сказанную студентами. Модераторы должны проверить свои
записи и предоставить их коллегам. Проверка данных в группе (минимально 2 человека)
будет стимулировать обсуждение и обеспечит полное отображение полученной
информации. Цель данной деятельности определить возможные проблемные аспекты
заданий и их перевод и адаптацию.
Проверка перевода и адаптации на основе данных фокус-групп
При анализе записей модератора и аудиозаписи необходимо быть уверенным, что с
коллегами были обсуждены все проблемы, возникшие у респондентов с пониманием
инструкций, подходы к выполнению заданий и количество затраченного времени на
каждое задание. Это помогает выявить ситуации, когда:
- переведенные задания искажают изначально планируемые параметры для
оценивания;
- переведенные задания интерпретируются респондентами в другом ключе;
- переведенные задания более сложны в прочтении и понимании для респондентов
страны-участницы, чем в оригинальной версии.
На основе анализа записей модератора и аудиозаписи, в групповом обсуждении
необходимо решить каким образом нужно исправить перевод и адаптацию, чтобы
исправить вышеперечисленные проблемы.
В процессе обсуждения модератор должен иметь копию задания оригинальной
версии на английском языке и копию переведенного задания. Модератору необходимо
занести все пометки в переведенном варианте, которые могут внести ясность о характере
необходимых изменений и их причинах.
Модератору необходимо заполнить форму, представленную в Приложении Е, с
рекомендациями для внесения необходимых изменений в переведенную и
адаптированную версию:
- Колонка 1: Задание – Точно указать место в тексте и/или графике, которые
нуждаются в пересмотре, с целью более быстрой дальнейшего поиска и
исправления;
- Колонка 2: Первоначальный перевод – Обеспечить первоначальную версию
перевода
той
части
задания,
которую
необходимо
изменить
в
переведенной/адаптированной версии теста;
- Колонка 3: Модификация - Определить форму, в которой, по вашему мнению,
данная часть задания должна быть представлена в окончательной версии;
- Колонка 4: Обоснование – Объяснить, почему данная часть задания нуждается в
трансформации.
После того как модератор и его коллеги завершат перечень необходимых
модификаций в Приложении Е, они должны прочитать перевод/адаптацию еще раз для
того, чтобы убедиться, что все необходимые поправки внесены в форму.
Помните, что окончательная версия перевода/адаптации должна измерять те
параметры, на которые задания изначально были направлены, в ней не должно быть
разночтений заданий участниками, задание должно пониматься респондентами правильно
и не должно быть в переводе сложнее для участников, чем в оригинальной версии.
14
Описание полученных данных
Кто должен представлять данные
Для каждого вуза предоставляется одна Таблица Данных фокус-групп (Excel) и
одна Форма Данных фокус-групп (он-лайн). Все данные должны быть внесены на
английском языке.
Национальные координаторы проекта являются ответственными лицами за
предоставление данных по стране консорциуму AHELO. Они могут собрать первичные
данные у координаторов университетов-участников и самостоятельно внести данные в
Таблицу данных или Он-лайн форму. Для каждого университета используется своя одна
Таблица данных и своя одна Он-лайн форма. Также национальный координатор проекта
может воспользоваться услугами координаторов университетов-участников для внесения
данных. Если координатор проекта выбирает второй вариант, ему необходимо самому
повторно проверить данные, внесенные координатором университета-участника.
Таблица данных фокус-групп
Таблица данных, представленная в Excel, предназначена для записи выполненных
студентами заданий и их ответов на анкету. Ряды и колонки в данной Таблице подписаны
заранее с целью корректного внесения данных в ячейки Таблицы.
Таблица включает в себя 15 рядов для внесения данных в ситуации, когда в фокусгруппе респондентов больше, чем 10 человек. Каждая строка предназначена только для
одного респондента.
Рис.1. Таблица данных фокус-групп в формате Excel
Каждая секция Таблицы окрашена в разные цвета для более удобной работы. На
страницах ниже даны четкие инструкции заполнения каждой секции. Если у вас
появились вопросы по Таблице или вы не уверены, куда необходимо вносить данные, вы
можете задать вопрос [email protected]
Шаг 1 – Запись заданий
Первое, что необходимо записать – какая форма (А или Б) была использована в
процессе проведения фокус-группы.
15
Рис.2. Запись информации об использованной форме
В Таблице Вам необходимо
респондентами: Форма А или Форма Б
указать
какая
форма
была
использована
Шаг 2 - Запись заданий без ответа
В некоторых случаях респонденты отвечают не на все вопросы. Если это случается,
необходимо записать в Таблице в строке данного респондента по заданию цифру 9. Ни
одна ячейка не должна остаться пустой.
Например, в случае, если участник не ответил на вопрос T1Q01, T1Q02 или T1Q03.
Рис.3: Запись заданий без ответа
Шаг 3 – Запись данных участников
Первые шесть колонок Таблицы предназначены для внесения информации о
респондентах. Эти данные расположены в начале анкеты (Приложение Б).
16
Рис.4. Данные респондентов в анкете
Необходимо заполнить в каждой колонке все ответы участников в Таблице
Рис.5: Запись данных студентов
Данные должны быть записаны следующим образом:
Таблица 3: Форма внесения данных респондентов
Переменные
Кодировка
Пол
1=Мужчина, 2=Женщина
Возраста (в годах)
Возраста в годах (2 символа)
Гражданство
Название страны
Родной язык
Название родного языка
Основное направление обучения
Название основного направления
обучения, например, Граждановедение,
Машиностроение, Макроэкономика
Средний балл
Числовой, например, 75%, или
17
буквенный, например, «А», или
словесный, например, «Отличник»
Шаг 4 – Запись данных из анкеты для Задания 1
Следующие 14 колонок таблицы предназначены для записи данных из второй
части анкеты для Задания 1.
Кодировка для каждого задания представлена ниже:
Рис.6. Нумерация вопросов анкеты для Задания 1
Для заданий с множественным выбором необходимо заполнить в каждой колонке
Таблицы ответы студентов:
Рис.7. Запись данных из анкеты для Задания 1
Удостоверьтесь, что вы используете правильную кодировку:
1=Совершенно не согласен
2=Не согласен
3= Ни то, ни другое
4=Согласен
18
5=Совершенно согласен
Для двух заданий с открытыми вопросами в секции T1Q13 and T1Q14 необходимо
записать все, что респонденты отметили в соответствующем поле – не забудьте
предварительно перевести на английский язык. Если респондент ничего не написал,
клетку нужно оставить пустой.
Рис.8. Запись данных анкеты для Задания 1
Шаг 5 – Запись данных из анкеты для Задания 2
Следующие 14 колонок таблицы предназначены для записи данных из второй
части анкеты обратной связи для Задания 2.
Кодировка для каждого задания представлена ниже:
Рис.9.Нумерация вопросов анкеты для Задания 2
Необходимо также записать ответы респондентов на задания с множественным
выбором T2Q01 to T1Q12 в первые 12 колонок.
Для двух заданий с открытыми вопросами в секции T2Q13 and T2Q14 необходимо
записать все, что респонденты отметили в соответствующем поле – не забудьте
предварительно перевести на английский язык. Если респондент ничего не написал,
клетку нужно оставить пустой.
19
Шаг 6 – Запись ответов участников на задания с конструируемым
ответом
В следующей секции Таблицы Excel необходимо записать ответы респондентов на
Задание 1 с конструируемым ответом.
В обеих формах А и Б участникам необходимо дать ответы на несколько
маркированных A, B, C, D, E, F and G частей. В каждой части возможно несколько оценок
ответов респондентов. Важно, чтобы все оценки были внесены в таблицу. Если
респондент пытался выполнить задание, но не заработал ни одного балла, необходимо
поставить 0. Если респондент не написал ничего – ставится 9.
Например, Экономика. Форма А – в этом примере респондент заработал баллы в
частях А, B, C, E, F, но ничего не получил в части D и не пытался ответить на часть G.
Рис.10. Запись ответов респондентов на Задание 1. Экономика
Шаг 7 –Запись ответов участников на задания с множественным
выбором
В последней секции Таблицы Excel необходимо записать ответы студентов на
Задание 2 – задания с множественным выбором.
В обеих формах А и Б респонденты должны ответить на несколько заданий с
множественным выбором. В каждом вопросе выбор возможен из 4 ответов A, B, C и D,
один из которых они должны записать в таблицу. Если студент не выполнил задание – в
ячейке ставится цифра 9.
Например, Форма Б. Экономика – в этом примере респондент ответил на
задания 201040, 201034, 201039 and 201058, но не ответил на задания 201010 or 201011
Рис.11: Запись ответов на Задание 2. Экономика
После окончания заполнения не забудьте сохранить данные!!
Он-лайн форма
В процессе проведения фокус-групп модераторы задают вопросы респондентам по
Заданию 1, Заданию 2 и тесту в целом. Модератор делает аудиозапись обсуждения. После
20
проведения фокус-групп модератор прослушивает запись и дополняет свои записи. Онлайн форма была создана для сбора качественных данных фокус-групп.
Рис.12. Он-лайн форма
Национальному координатору проекта будет выдано по одной интернет-ссылке для
каждого университета в его стране. Каждая ссылка включает уникальный идентификатор.
Национальный координатор может предложить координатору университета заполнить онлайн форму качественными данными фокус-групп этого университета или собрать
первичные данные у координаторов вузов и ввести их самостоятельно.
Если выбран второй вариант проведения фокус-групп, необходимо, чтобы одна онлайн форма была заполнена для каждого университета. Необходимо помнить, что
информация должна вводиться на английском языке.
Информация по фокус-группе
В первой части он-лайн формы должны быть введены данные фокус-групп. Это
отмечено в начале плана работы модератора (Приложение Г).
21
Рис.13. Данные респондентов в плане работы модератора
Необходимо внести данные в ячейки в он-лайн форме. Пожалуйста, учтите, что
только часть записанной информации является необходимой для внесения .
22
Рис.14. Запись данных респондентов в он-лайн форме
Вопросы по Заданию 1
Во второй части он-лайн формы должны быть введены данные о Задании 1. Эти
данные записаны в нижней части плана работы модератора (Приложение Г).
Рис.15. Дискуссионный вопрос о Задании 1 в плане работы модератора
23
Необходимо внести данные в ячейки он-лайн формы. Если модератор печатал
комментарии студентов, возможно скопировать данные из файла Word и вставить в
соответствующую ячейку он-лайн формы.
Рис.16. Запись комментариев участников по Заданию 1 в он-лайн форму
Вопросы по Заданию 2
В третьей части он-лайн формы записываются данные о Задании 2. Данная
информация записана в третьей части плана работы модератора (Приложение Г).
24
Рис.17: Дискуссионный вопрос о Задании 2 в плане работы модератора
Необходимо внести данные в ячейки он-лайн формы.
25
Рис.18. Запись комментариев респондентов по Заданию 2 в он-лайн форму
Вопросы по тесту в целом
В последней части он-лайн формы записываются результаты по тесту в целом.
Данная информация записана в последней части плана работы модератора (см.
Проведение фокус-групп).
Рис.19. Вопросы обсуждения теста в целом в плане работы модератора
Необходимо ввести эти данные в ячейки в он-лайн формы.
26
Рис.20. Запись комментариев респондентов о тесте в целом в он-лайн форму
Для согласия заполнения он-лайн формы необходимо нажать кнопку «Согласен»
Рис. 21. Завершение заполнения он-лайн формы
27
Приложение А: Сценарий проведения фокус-групп (скрипт)
Спасибо за то, что согласились участвовать в фокус-группе. Меня зовут _______. Я
_____________ (назвать занимаемую должность). Я помогаю в сборе информации для
международного исследования результатов обучения, в котором студентам необходимо
работать с оценочным заданиями.
В процессе проведения фокус-групп вы будете выполнять два задания – сначала вы
выполните задания, после которого мы обсудим каким образом вы их выполняли. Вся работа
займет два часа.
Результаты тестирования не повлияют на ваши оценки или на вашу репутацию в
университете. Наша цель исследования – понять действительно ли задания, которые вы
выполняете, оценивают именно то, для чего они и были изначально разработаны. Нас
интересует только ваш опыт выполнения этих заданий.
После того, как вы завершите выполнение заданий, я задам несколько общих вопросов.
Для того, чтобы быть уверенным, что я уловил всю информацию о вашем опыте решения
заданий, во время проведения будет проводиться аудиозапись, так как для меня/нас очень
важно не пропустить ни единой детали.
Наконец, перед тем, как мы начнем, вам необходимо подписать соглашение о
конфиденциальности. В нем вы обязуетесь не воспроизводить никакие из заданий, которые
вы увидите, а также не обсуждать информацию, связанную с их выполнением, с кем-либо.
До того, как мы начнем, есть ли у кого-нибудь из присутствующих вопросы?
Сейчас я раздам вам задания, которые состоят из двух частей. Первая часть
включает задание с конструируемым ответом, а вторая – задания с множественным
выбором. Вам дается 60 минут на выполнение обеих частей, и вы должны потратить
примерно по 30 минут на выполнение каждой из частей. Пожалуйста, выполняйте задания
так, как вы обычно это делаете, проходя тестирование .То есть вы не должны общаться с
другими участниками во время выполнения заданий, а также вы должны максимально
постараться закончить обе части за имеющийся в вашем распоряжении один час.
Если во время тестирования вам потребуются дополнительные ручки, карандаши или
бумага, пожалуйста, поднимите руку. Вы не можете задавать мне вопросы во время
тестирования, но у нас будет достаточно времени для обсуждения после его окончания.
До того, как мы начнем, если у кого-нибудь вопросы?
У вас осталось 10 минут.
Спасибо. 60 минут закончились. Пожалуйста, положите ручки.
Сейчас я раздам вам две анкеты. Пожалуйста, заполните обе: первая – по
Заданию 1, вторая – по Заданию 2. Пожалуйста, работайте над анкетами
самостоятельно. Когда вы закончите, я соберу анкеты.
Я собираюсь включить записывающее устройство для записи обсуждения, так как
важно не упустить ни одного из ваших предложений и замечаний.
Я собираюсь задать вам несколько вопросов по каждому из заданий теста. Ваше
конкретное мнение по каждому заданию очень важно. Пожалуйста, будьте искренни.
Переходим к обсуждению Задания 1. Пожалуйста, посмотрите на это задание в
ваших материалах.
Переходим к обсуждению Задания 2. Пожалуйста, посмотрите на это задание в
ваших материалах.
Что вы (назвать по имени) думаете об этом задании?
Я собираюсь задать вам несколько вопросов о тесте в целом. Еще раз повторю,
что важным является то, что вы действительно думаете о тесте в целом.
Пожалуйста, будьте искренни.
Что вы (назвать по имени) думаете о тесте в целом?
Спасибо за ваше участие в фокус-группе. Ваше участие очень важно для нас.
Ваши комментарии очень ценны и будут использованы для улучшения заданий.
28
Приложение Б: Анкета
Представлена ниже в оригинале на английском языке. Для целей фокус-группы будет
подготовлен ее перевод.
29
Перевод информации, содержащейся в анкете
Отметьте Ваш пол
Мужской
Женский
По какому направлению Вы обучаетесь
________________________________
Гражданство_____________________
Сколько Вам полных лет?__________________
Какова Ваша средняя оценка за обучение?
________________________________________
Ваш родной язык__________________
О задании 1
Абсолютно не
согласен
Абсолютно
согласен
В каждом блоке теста вопросы были логически
связаны
Задания заставили меня подумать
Представленные материалы стимулировали мой
интерес к задаче
Задание отражало оцениваемое содержание
Для выполнения задания необходимо было
применить практические знания и навыки
Задание отражало темы, изученные в рамках моей
учебной программы
Задание оценивало соответствующую область
знаний и навыков
Задание отражало сущность моей программы
исследования
Задание относилось к будущей
профессиональной деятельности
При выполнении задания я использовал знания,
полученные в рамках моей программы обучения
Материалы исследования были легкими для
понимания
Мне было достаточно отведенного времени для
выполнения задания

  



  
  




  
  



  


  


  


  


  


  


  

Какие задания Вы считаете лучшими в этом блоке?
Какие задания данного блока необходимо улучшить?
О задании 2
Абсолютно не
согласен
Абсолютно
согласен
В каждом блоке теста вопросы были логически
связаны
Задания заставили меня подумать
Представленные материалы стимулировали мой
интерес к задаче
Задание отражало оцениваемое содержание
Для выполнения задания необходимо было
применить практические знания и навыки
Задание отражало темы, изученные в рамках моей
учебной программы
Задание оценивало соответствующую область
знаний и навыков
Задание отражало сущность моей программы
исследования
Задание относилось к будущей
профессиональной деятельности
При выполнении задания я использовал знания,
полученные в рамках моей программы обучения

  



  
  




  
  



  


  


  


  


  

30
Материалы исследования были легкими для
понимания
Мне было достаточно отведенного времени для
выполнения задания

  


  

Какие задания Вы считаете лучшими в этом блоке?
Какие задания данного блока необходимо улучшить?
31
Приложение В: Таблица данных фокус-групп
Таблица данных фокус-групп будет прислана дополнительно.
Рис.22. Таблица данных фокус-групп
32
Приложение Г: План работы модератора
Представлен ниже в оригинале на англ. языке. Для целей фокус-группы будет переведен.
Краткий перевод основной информации представлен ниже.
33
Приложение Г: План работы модератора (продолжение)
Перевод информации, содержащейся в плане модератора
Имя модератора
Дата проведения фокус-группы
Количество студентов
Данные студентов (пол, национальность)
Наименование образовательного учреждения
Данные образовательного учреждения
(месторасположение, размер)
Специальные вопросы по заданиям Ответы студентов
Задание №1
Была ли инструкция по выполнению задания понятна? Если нет, объясните
почему.
Вы поняли смысл задания? Если нет, объясните почему.
Каким образом Вы решили, какую информацию и пункты использовать в
ответе на задание?
Какую стратегию решения задания Вы использовали?
Интересное ли было задание? Объясните.
Специальные вопросы по заданиям Ответы студентов
Задание №2
Была ли инструкция по выполнению задания понятна? Если нет, объясните
почему.
34
Вы поняли смысл задания? Если нет, объясните почему.
Каким образом Вы решили, какую информацию и пункты использовать в
ответе на задание?
Какую стратегию решения задания Вы использовали?
Интересное ли было задание? Объясните.
Вопросы фокус-группам
Ответы студентов
Изучали ли Вы темы, представленные в заданиях, в университете? В какой
степени?
Отражали ли задания знания, которыми должен обладать человек,
завершающий обучение в университете? В какой степени?
С содержательной точки зрения все ли аспекты знаний есть в оценке или
необходимо что-либо добавить
Хотите ли Вы еще что-либо сказать об исследовании?/Есть ли у Вас еще
какие-либо замечания по исследованию?
35
Приложение Д: Он-лайн форма данных для фокус-групп
Вы получите доступ к данным он-лайн формы фокус-групп.
Рис.23. Он-лайн форма данных фокус-групп
36
Приложение Е: Перечень предложений по
переводу/адаптации
Ниже представлена в оригинале на англ. языке, дан краткий перевод, для целей фокусгрупп будет подготовлен варинант на русском языке.
Зада
ние
Оригинальная
версия
Модификация
Обоснование
Если необходимо больше места для записи, пожалуйста, сделайте копию данной
страницы.
37
Приложение Ж: Соглашение о конфиденциальности
Необходимо, чтобы все респонденты фокус-групп подписали Соглашение о
конфиденциальности до момента предъявления оценочных материалов. Ниже
представлена форма Соглашения о конфиденциальности в двух экземплярах (будут
подписаны на англ. и русском языках)
38
- - - - - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - Проект ОЭСР AHELO
Подписывая данную форму, я понимаю и принимаю ответственность по защите
безопасности материалов исследования, которые будут мне представлены. Я обязуюсь не
воспроизводить какую-либо часть данных материалов, не обсуждать содержание
оценочных заданий и любую иную информацию об исследовании вне данной фокусгруппы.
Я прочитал и согласен с условиями, представленными выше.
Подпись:_____________________
Дата:______________________
- - - - - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - -- - - Проект ОЭСР AHELO
Подписывая данную форму, я понимаю и принимаю ответственность по защите
безопасности материалов исследования, которые будут мне представлены. Я обязуюсь не
воспроизводить какую-либо часть данных материалов, не обсуждать содержание
оценочных заданий и любую иную информацию об исследовании вне данной фокусгруппы.
Я прочитал и согласен с условиями, представленными выше.
Подпись:_____________________
Дата:______________________
39