PPT 1,9 M

Опыт и проблемы
удаленного тестирования
Определения
В классической экспериментальной психологии под тестированием
понимается метод измерения и оценки психологических характеристик
носителей психики с помощью специальных методик, именуемых
тестами.
(Никандров В.В., Экспериментальная психология, СПб, 2003)
Психологические тесты – это стандартизированные системы
вопросов и заданий, позволяющих обнаружить и измерить уровень
развития различных психологических свойств человека (там же).
Юзабилити-тестирование – тестирование для определения
соответствует ли система или программное обеспечение
определенным требованиям usability. (testingstandarts.co.uk)
Удаленное юзабилити-тестирование (remote usability testing) –
вариация usability-тестирования, с одним большим отличием –
тестируемый со совим ПК может находится где угодно в мире.
(Online Computer Library Center Inc.)
Удаленное
тестирование
Испытуемый находится в
естественной среде
Широкий региональный охват
Тестирование в
лаборатории
Опосредованное техническими
средствами наблюдение
Испытуемый находится в
непривычной обстановке
Узкая локализация участников
тестирования
Непосредственное наблюдение
Меньшие временные затраты
Большие временные затраты
Когда используется:
Web-приложения
Интранет
Большие информационные
сайты
Коммерческие сайты
Получение большого количества
тестового материала в
относительно короткий срок
Когда используется:
Высокий уровень
конфиденциальности
Длительность сессии более трех
часов
При необходимости
непосредственного наблюдения
за испытуемым
Объект тестирования не может
находится в он-лайн доступе
+
Виды удаленного тестирования
Модерируемое
При модерируемом тестировании модератор проводит индивидуальное
тестирование с одним участником, видит его экран, разговаривает с ним,
сам дает инструкцию.
Автоматизированое
Подразумевает большое количество испытуемых, сообщающих о своем
поведении через браузер, в котором етсь поле для ввода текста и
вопросы. В процессе того как пользователь работает с сайтом, он отвечает
на специфичные для данной страницы вопросы или дает обратную связь.
Это больше чем просто опрос, так как изучает еще и поведение, но никто
не наблюдает за действиями пользователя и не говорит с пользователем.
Данные собираются автоматически.
Структура проведения удаленного
юзабилити-тестирования:
Определение тестируемого продукта
Постановка целей и задач тестирования
Определение программы для проведения тестирования
Проектирование и описание процедуры тестирования, создание
подробной инструкции для испытуемого
Подбор испытуемых
Проведение процедуры тестирования
Техническая обработка аудио и видео файлов,
полученных в результате тестирования
Анализ полученных результатов
Написание отчета в формате CIF (Common Industry Format for Usability
Test Reports)
Инструменты и технические требования для
проведения удаленного тестирования:
Инструменты
Программа для проведения удаленного тестирования
Инструмент для фиксации невербальных реакций тестируемого (web-камера)
Инструмент для разговора модератора и испытуемого (телефон, Skype,
внутренние возможности программы для удаленного тестирования)
Требования
Требования к программному обеспечению
Требования к монитору
Требования к аппаратной платформе
Требования к соединению
Примеры программ
для удаленного тестирования:
UserVue от TechSmith
Ethnio от Bolt Peter User Experience
Live Meeting от Microsoft Office
Участники тестирования
Модератор/фасилитатор (moderator, facilitator)
Модератор разговаривает с участником и записывает видео и аудио
информацию с помощью специальной программы для удаленного
юзабилити тестирования. Некоторые программы для удаленного
тестирования позволяют модератору напрямую манипулировать с
объектами на ПК участника.
Наблюдатель (observer) – до 10 человек
Наблюдатель может видеть экран участника в реальном времени и
слышать разговор участника с модератором. Однако не может менять
никакие опции и параметры длящейся сессии. Программы для
тестирования поддерживают возможность подключения до 10
наблюдателей к сессии. Наличие наблюдателя в сессии не является
обязательным.
Участник/испытуемый (participant)
Человек, проводящий непосредственное тестирование какого-либо
продукта под руководством модератора.
Существует три способа подбора участников.
Способы подбора участников тестирования
Традиционный. Подбор испытуемых по объявлениям, через рассылки,
рекрутинговые агентства (на Западе).
On-line. Участники записываются в специальный лист тестирования на
сайте.
Live recruiting. Использование слежения за экраном, в естественной
среде.
Подготовка описания тестирования,
требования к скрипту
Описание процедуры тестирования должно выглядеть
следующим образом:
Должно содержать подробное описание вербального материала, который
будет использован в процессе сессии модератором.
Должны быть сформулированы четкие цели для каждого блока
тестирования.
Требования к взаимодействию модератора и
участника
Модератор должен поздороваться, представиться, напомнить участнику о
том, что была назначена сессия, и спросить готов ли он уделить Х минут
сейчас для ее проведения.
Уточнить есть ли у участника вопросы.
После получения согласия на проведения сессии от испытуемого,
модератор должен рассказать участнику о том, что ему необходимо
установить на свой компьютер программу и предоставить «ключ» для ее
установки. Обязательно надо предупредить участника о том. что будет с
этой программой после завершения сессии.
После установки программы модератор должен озвучить некоторые
правила проведения сессии, например:
«Ваша задача проста, вам необходимо вести себя на этом сайте так, как вы ведете себя на любом другом
сайте. Пожалуйста, будьте честны в своих оценках сайта. Вы не нанесете мне никакого оскорбления своим
мнением, так как я не являюсь разработчиком сайта, а выступаю в роли стороннего исследователя. Вы можете
задавать мне вопросы, на которые по мере своей возможности я буду отвечать».
После завершения вводной части модератор приступает собственно к
тестированию.
После завершения тестирования необходимо поблагодарить участника,
спросить остались ли у него вопросы.
Оформление отчета
Отчет оформляется в соответствии со стандартом CIF (Common Industry
Format for Usability Test Reports).
Проблемы встречающиеся при проведении
удаленного тестирования:
Технические
Требования к аппаратной платформе
Требования к программному обеспечению
Сетевое соединение
«Человеческий фактор»
Поиск испытуемых
FAQ
Сколько участников необходимо для получения
достоверных результатов?
Считается, что для получения модели поведения в процессе
процедуры тестирования конкретного продукта достаточно трех
участников, но рекомендуется все же проводить исследование
на 6-8 испытуемых.
Когда следует проводить тестирование?
- На начальном этапе разработки
- В процессе разработки
- На завершающих стадиях разработки
В подготовке презентации использованы
материалы:
www.ethnio.com
www.techsmith.com
www.livemeeting.com
Cтатьи
Remote Usability Testing, Menghini Calderon Fabrizio Antonio,
2006.04.03
Guide to remote Usability Testing, Nate Bolt, 2006.07.18
Стандарты
Common Industry Format for Usability Test Reports ANSI INCITS 354-2001
(formerly ANSI NCITS 354-2001)