Учебный курс «Проектирование интерфейса пользователя» Преподаватель:

Учебный курс
«Проектирование интерфейса
пользователя»
Преподаватель:
к. т. н. Пескова Ольга Вадимовна
Лекция №14
Оценка проектного решения
Анализ значений юзабилити-показателей
(продолжение)
Место в общем плане проектирования
1
Исследование
пользователей, предметной
области
2
Собранные данные
Стратегия дизайна
Профили групп
Моделирование
Персонажи
Контекстные сценарии
пользователей и контекстов
использования
3
Выработка требований
к проектированию
пользовательских, бизнеса и
технологических
Функциональные,
информационные
требования
4
Информационная архитектура
Общая структура взаимодействия
Сценарии ключевого пути
Проверочные сценарии
Концепция пользовательского интерфейса
Оценка/проверка
Концептуальное
проектирование
общей структуры и
взаимодействия
продукта
5
Детальное
проектирование
поведения, формы и
наполнения
Спецификации
формы, поведения и
содержания
6
Спецификации
программной системы
Выработка требований
к разработке
Проектирование интерфейса пользователя. Лекция №14.
3
Виды показателей юзабилити ПО
1
• Показатели производительности (Performance Metrics)
2
• Показатели, основанные на аспектах для обсуждения юзабилити
(Issues-Based Metrics)
3
• Самоговорящие показатели (Self-reported metrics)
4
• Поведенческие и физиологические показатели (Behavioral and
Physiological Metrics)
5
•Комбинированные и сравнительные показатели
6
•Прочие специализированные показатели
Проектирование интерфейса пользователя. Лекция №14.
4
4
Поведенческие и физиологические показатели
Поведенческие и
физиологические
показатели
Признаки поведения,
регистрируемые с
применением спец.
оборудования
Явные
признаки
поведения
прочее
вербальное
выражение
лица
невербальное
направление
взгляда
(eye-traсking)
электропроводность
кожи, серцебиение
реакция
зрачков
Проектирование интерфейса пользователя. Лекция №14.
5
4
Поведенческие и физиологические показатели
Наблюдение и анализ явных признаков поведения.
Вербальное поведение
•
•
выявление частей интерфейса или продукта, которые вызывают проблемы у
пользователей или, наоборот, вызывают восхищение;
сравнение результатов проектирования после каждой итерации.
Показатели
1) соотношение
позитивных и
негативных
комментариев
(составить
перечень всех
высказываний и
категоризовать
их – позитивные,
негативные,
нейтральные).
Проектирование интерфейса пользователя. Лекция №14.
6
4
Поведенческие и физиологические показатели
Наблюдение и анализ явных признаков поведения.
Вербальное поведение
Показатели
2) доля комментариев,
попавших в каждую
группу (более 3х
категорий
комментариев).
 записи опытных
наблюдателей сессии
 видеозапись сессии
Проектирование интерфейса пользователя. Лекция №14.
7
4
Поведенческие и физиологические показатели
Наблюдение и анализ явных признаков поведения.
Невербальное поведение
•
•
•
выявление частей интерфейса или продукта, которые вызывают проблемы у
пользователей или, наоборот, вызывают восхищение;
ограниченное применение для продуктов, с ограниченным физическим
взаимодействием;
сравнение результатов проектирования после каждой итерации или сравнение
различных продуктов.
Виды анализируемого невербального Пример
поведения
•
процедура установки ПО для
1) выражение лица (хмуриться,
синхронизации MP3-плеера с
улыбаться, выглядеть удивлённо,
компьютером (серийный номер
поднимать бровь и др.);
белыми символами на серебристом
2) язык тела (ёрзать на стуле, изучать
корпусе);
близко к экрану, потирать лоб, голову, •
прищуриваться, вертеть в руках,
подносить к источнику света,
хаотично двигать мышь, глубоко
просить подростков прочитать –
вздыхать и др.)
 записи опытных наблюдателей сессии
 видеозапись сессии
хорошие индикаторы сложности
задачи для пользователей.
Проектирование интерфейса пользователя. Лекция №14.
8
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования
1)
2)
3)
4)
5)
выражение лица;
слежение за взглядом;
анализ реакции зрачка;
электропроводность кожи и сердцебиение;
другие.
Проектирование интерфейса пользователя. Лекция №14.
9
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Выражение лица
•
потенциально точнее выражает ощущения людей (реакцию на продукт), чем их слова.
Техники
1) видеозапись участника во
время сессии:
• анализ вручную
(категории
выражений лица и
их взаимосвязь с
эмоциями);
• автоматический
анализ видеозаписи
(например, 6 эмоций
– радость, злость,
грусть, удивление,
страх, отвращение и
нейтральность).
Проектирование интерфейса пользователя. Лекция №14.
10
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Выражение лица
Техники
2) электромиограмма (ЭМГ) –
сенсоры измеряют
электрическую активность мышц
лица, лоб (хмуриться) и скулы
(улыбаться).
Примеры
1)
2)
[Hazlett, 2003]:
•
28 участников, 5 задач, 2 веб-сайта;
•
«индекс разочарования» коррелирован с
традиционными показателями («успех
задания»).
[Hazlett&Benedek, 2005]:
•
демонстрация возможных особенностей новой
ОС (Microsoft);
•
опрос участников о понравившихся функциях;
•
«показатель желанности» на основе ЭМГ – хотя
бы одно стандартное отклонение от базиса для
мышц скул (положительная реакция) и
одновременное отсутствие движения мышц лба
(негативная реакция).
 для массового использования в ютестировании нужны средства
менее навязчивые с т. з. участника
Проектирование интерфейса пользователя. Лекция №14.
11
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Eye-Tracking
Без аппаратуры на голове
•
•
•
инфракрасные источники света и
инфракрасная камеры встроены в
монитор;
оценка отражённого света от роговицы
глаза и сравнение с положением зрачка;
первичная калибровка.
С аппаратурой на голове
•
•
•
•
оптическая или магнитная система;
отслеживание поворотов головы и
глаз;
минимум первичной настройки;
назойливый способ с т. з. участника.
Пример
•
участник не выполнил задание, так как не совершил переход по ссылке, ведущей к
решению. Почему? (не нашёл её или не понял её)
Проектирование интерфейса пользователя. Лекция №14.
12
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Eye-Tracking
График последовательности фиксаций
• фиксация – задержка взгляда на
определённой области интерфейса;
• размер окружности ~ длительности
фиксации;
• нумерация фиксаций –
последовательность перемещений
взгляда;
• саккада – перемещение между
фиксациями – линии.
(а)
Проектирование интерфейса пользователя. Лекция №14.
13
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Eye-Tracking
«Тепловая карта»
• последовательности фиксаций
множества участников на одной
и той же странице интерфейса;
• самые светлые области –
наибольшая плотность
фиксаций.
Проектирование интерфейса пользователя. Лекция №14.
(b)
14
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Eye-Tracking
Варианты использования в ю-исследовании
1) доля пользователей,
рассматривающих конкретный
элемент или участок ПИ;
2) время, потраченное на просмотр
конкретного элемента или
участка ПИ.
Проектирование интерфейса пользователя. Лекция №14.
15
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Eye-Tracking
Варианты использования в ю-исследовании
3) сравнение продуктивности расположения конкретного элемента ПИ в
различных местах.
Пример.
• где разместить
рекламу: над или
под логотипом
компании?
Проектирование интерфейса пользователя. Лекция №14.
16
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Eye-Tracking
Варианты использования в ю-исследовании
4) время, требуемое для обнаружения конкретного элемента ПИ:
• усреднить время начала первичной фиксации в области данного
элемента, для всех участников, которые его заметили
5) пути изучения страницы:
• длина траекторий перемещения взгляда (чем короче, тем
эффективнее ПИ);
• длительность фиксаций (чем длиннее, тем больше времени
потребовалось участнику на чтение и обработку информации).
Проектирование интерфейса пользователя. Лекция №14.
17
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования. Реакция зрачка
•
•
выявление участков с повышенной умственной концентрацией и/или эмоциональным
возбуждением (увеличением интереса);
многие системы отслеживания взгляда обнаруживают положение зрачка и измеряют
его диаметр.
Примеры применения в юисследовании
1)
[Igbal et al., 2004]:
•
•
2)
4 различных задания, по 2 варианта
каждого задания (легкий и трудный);
существенное расширении зрачка при
выполнении сложных вариантов
заданий, требующих умственных усилий.
Узнать эмоциональную реакцию на
новое графическое оформление
сайта:
•
•
для каждого участника измерить %
отклонений от базиса, усреднить по всем
участникам;
или просто измерить % участников, чьи
зрачки расширялись при рассматривании
сайта.
Проектирование интерфейса пользователя. Лекция №14.
18
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования.
Электропроводность кожи и сердцебиение
•
выявление участков, вызывающих стресс у участников.
Оборудование и показатели
1) Galvanic Skin Response (GSR)
измеряет электрическое
сопротивление:
•
2)
Частота сердцебиений
•
3)
при волнении выделяется пот,
увлажняется кожа, электропроводность
повышается.
при волнении сердцебиение учащается.
Heart Rate Variability (HRV):
•
•
снижается при повышение стресса;
это способность сердца биться чаще или
реже в ответ на эмоциональные или
физические нагрузки.
Проектирование интерфейса пользователя. Лекция №14.
19
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования.
Электропроводность кожи и сердцебиение
Примеры применения в ю-исследовании
1) [Ward et al., 2003]:
•
•
•
•
2 дизайна сайта, хорошо спроектированный и плохо продуманный (интенсивное
использование представления функций в виде раскрывающихся список, скудные подсказки
навигации, случайные всплывающие окна, необоснованная анимация);
базис – измерения в первую минуту сессии;
для продуманного дизайна: снижение сердцебиения и электропроводности кожи;
для плохо продуманного варианта: увеличение электропроводности кожи и сердцебиение на
базовом уровне.
Проектирование интерфейса пользователя. Лекция №14.
20
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования.
Электропроводность кожи и сердцебиение
Примеры применения в ю-исследовании
2) [Lin et al, 2005]:
•
•
•
3D-игра Super Mario, 3
различных участка игры,
ограничено время
прохождения участка
(более, чем достаточно для
выполнения задачи);
поиск зависимости между
продуктивностью,
субъективными рейтингами
и электропроводностью
кожи;
сильная корреляция между
субъективными рейтингами
задач (от участников) и
показаниями GSR.
из опроса
Проектирование интерфейса пользователя. Лекция №14.
21
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования.
Электропроводность кожи и сердцебиение
Примеры применения в ю-исследовании
3) [Trimmel et al., 2003]:
•
•
•
анализ сердцебиения в
зависимости от уровня
стресса, вызванного
реакцией на время
ожидания загрузки вебстраницы;
время загрузки страницы: 2,
10 или 22 секунды;
для электропроводности
кожи выявлен аналогичный
шаблон.
Проектирование интерфейса пользователя. Лекция №14.
22
4
Поведенческие и физиологические показатели
Наблюдение и анализ признаков поведения, регистрируемых
посредством специального оборудования.
Электропроводность кожи и сердцебиение
Применение в ежедневном ю-исследовании
1) во время сессии участники
испытывают давление
осознания наличия
видеокамер,
одностороннего зеркала,
устройства слежения за
взглядом;
2) зажимы на пальцы и т. п.
окончательно запугают
участников;
3) для измерения уровня
стресса требуются менее
навязчивое оборудование.
Проектирование интерфейса пользователя. Лекция №14.
23
5
Комбинированные и сравнительные показатели
Какова общая картина юзабилити продукта?
Комбинированные и
сравнительные
показатели
Комбинированные
показатели
(статистика)
вычисление
относительно
конечных
целей
вычисление
процентных
соотношений
Графические
оценочные сводки
(usability scorecards)
Единый юзабилитипоказатель от J.
Sauro и др. (SUM)
Сравнительные
юзабилити-показатели
(сравнение с эталоном)
гипотетический
эталон
эталон от
экспертов
вычисление
Z-значений
Проектирование интерфейса пользователя. Лекция №14.
24
5
Комбинированные и сравнительные показатели
Комбинированные показатели, вычисленные относительно
конечных целей
Процедура:
1) Сформулировать конечные цели, например:
• «каждый участник должен успешно выполнить хотя бы 80% заданий и потратить
на каждое задание в среднем не более 70 сек».
2) Для каждого участника выставить двоичную оценку достижения цели.
3) Вычислить % участников, которые достигли этих целей в ходе исследования.
Пример
•
•
•
•
средние значения отдельных
показателей удовлетворяют
конечной цели;
успешность задания: 6 из 8 –
75%;
время на задачу: 5 из 8 – 62%;
однако, итоговый показатель
низкий – 38%;
важнее анализ
показателей каждого
участника в отдельности,
чем их среднего
> 80%
< 70 сек
Проектирование интерфейса пользователя. Лекция №14.
25
5
Комбинированные и сравнительные показатели
Комбинированные показатели, основанные на вычислении
процентных соотношений
Процедура:
1) Преобразовать значение каждого отдельного показателя (A) в процентное
соотношение (P%):
• без использования весовых коэффициентов;
• с использованием весовых коэффициентов;
2) Усреднить процентные соотношения разных показателей для каждого участника .
3) Усреднить эти «средние» по всем участникам.
Правила преобразования (или правила выбора минимальных или максимальных
значений).
1) Если по определению значения показателя – от 0 до 100, то P = А%. Пример: SUS.
2) Если минимум – 0, а максимум известен (Max), то P = (A / Max ) * 100%. Пример: число
успешно выполненных заданий, удовлетворённость по оценочной шкале.
3) Если минимум – 0, а максимум неизвестен, то Max = <наибольшее значение,
выявленное в ходе исследования>. Если при этом целью исследование является
минимизация показателя, то P = 1 – (A / Max ) * 100%. Пример: количество ошибок.
4) Если минимум и максимум неизвестны. Max = <наибольшее значение, выявленное в
ходе исследования>, Min = <наименьшее значение, выявленное в ходе исследования>
Пример: время выполнения задания – P = ( Min / A ) * 100%.
Проектирование интерфейса пользователя. Лекция №14.
26
5
Комбинированные и сравнительные показатели
Комбинированные показатели, основанные на вычислении процентных
соотношений. Без использования весовых коэффициентов
Пример 1.
Общая оценка юзабилити – 62%;
доверит. инт. (95%) – 51-72%
•
общая оценка смещена в
сторону показателей
производительности
Проектирование интерфейса пользователя. Лекция №14.
27
5
Комбинированные и сравнительные показатели
Комбинированные показатели, основанные на вычислении процентных
соотношений. Без использования весовых коэффициентов
Пример 2.
( 1 – <Number of Errors> / 5) * 100%
•
Проектирование интерфейса пользователя. Лекция №14.
чем больше %, тем выше
оценка юзабилити
28
5
Комбинированные и сравнительные показатели
Комбинированные показатели, основанные на вычислении процентных
соотношений. С использованием весовых коэффициентов
Пример
Для участника №1 «средняя взвешенная оценка»:
(38%*1 + 47%*1 + 60%*2) / (1 + 1 + 2) ≈ 51%
•
«взвешенные
средние» стали
ближе к оценке
удовлетворённости,
чем средние при
равных весовых
коэффициентах
Проектирование интерфейса пользователя. Лекция №14.
29
5
Комбинированные и сравнительные показатели
Комбинированный показатели, основанные на вычислении zзначений (z-scores)
•
•
основано на предположении о нормальном распределение показателей;
каждое множество показателей нормализуется (μ = 0, σ = 1):
z = ( x – μ ) / σ, где
x – значение показателя (подлежащее преобразованию);
μ – среднее распределения показателя;
σ – стандартное отклонение распределения показателя;
• z-значения показывают, на сколько значений стандартного отклонения значение
показателя больше или меньше среднего;
• для усреднения шкалы всех показателей должны иметь одинаковое направление:
бóльшие значения – лучший результат оценки.
Достоинства:
• никаких предположений относительно минимума и максимума значений
показателя;
• при усреднении z-значения всех показателей делают одинаковый вклад в среднее
z-значение
Недостатки:
• нельзя использовать обобщённое среднее z-значение как обобщённый показатель
юзабилити, так как по определению он равен 0.
Проектирование интерфейса пользователя. Лекция №14.
30
5
Комбинированные и сравнительные показатели
Комбинированный показатели, основанные на вычислении zзначений (z-scores)
Пример 1.
Номер
участника
Время за
задание
(сек)
Завершённые
задачи
(всего – 15)
Рейтинг z-Время z-Время z-Задачи z-Рейтинг Среднее
(0-4)
(-1)
1
2
3
4
5
6
7
8
9
10
65
50
34
70
28
52
58
60
25
55
7
9
13
6
11
9
8
7
9
10
2,4
2,6
3,1
1,7
3,2
3,3
2,5
1,4
3,8
3,6
0,98
0,02
-1,01
1,30
-1,39
0,15
0,53
0,66
-1,59
0,34
-0,98
-0,02
1,01
-1,30
1,39
-0,15
-0,53
-0,66
1,59
-0,34
-0,91
0,05
1,97
-1,39
1,01
0,05
-0,43
-0,91
0,05
0,53
-0,46
-0,20
0,43
-1,35
0,56
0,69
-0,33
-1,73
1,32
1,07
-0,78
-0,06
1,14
-1,35
0,99
0,20
-0,43
-1,10
0,98
0,42
Среднее
Стандартное
отклонение
49,7
8,9
2,76
0
0
0
0
0
15,57
2,08
0,79
1,00
1,00
1,00
1,00
0,90
Используя Excel:
• СРЗНАЧ(<множество зн. показателя>), или AVERAGE(<то же>);
• СТАНДОТКЛОН(<множество зн. показателя>), или STDEV(<то же>);
• НОРМАЛИЗАЦИЯ(<зн. показателя>,<среднее>,<станд. отклонение>), илиSTANDARDIZE(<то же>).
Проектирование интерфейса пользователя. Лекция №14.
31
5
Комбинированные и сравнительные показатели
Комбинированный показатели, основанные на вычислении zзначений (z-scores)
Область применения:
•
итеративное исследование разных прототипов (данные из разных ю-исследований);
•
сравнение данных от разных групп пользователей (в одном ю-исследовании);
•
сравнение разных условий или дизайна) (в одном ю-исследовании).
Пример 2.
Эксперимент:
• цель – изучить влияние
возраста пользователей на
производительность при
пользовании веб-сайтом;
• z-значения как комбинация
показателей времени на
задачу и успешности заданий;
• результат –
производительность
прототипа №2 выше, влияние
возраста отсутствует.
Проектирование интерфейса пользователя. Лекция №14.
32
5
Комбинированные и сравнительные показатели
Единый юзабилити-показатель (Single Usability Metric, SUM)
1) Jeff Sauro и др. (2005);
2) учитываются (равный вклад):
• показатель успешности выполнения заданий;
• время на задание;
• ошибки при выполнении задания;
• позадачная оценка удовлетворённости (близкая к ASQ) – три 5-бальных шкалы,
простота использования, удовлетворённость и воспринимаемое время;
3) по построение SUM уровня задач (в отличие от предыдущих комбинированных
показателей – уровня ю-исследования);
4) итоговый показатель даёт близкие значения к показателям, основанным на
вычислении процентов или z-значений;
5) Excel-таблица для вычисления SUM на http://www.measuringusability.com/sum:
• ввод четырёх показателей;
• значения показателей нормируются;
• для каждой задачи вычисляется значение SUM и его доверительный интервал.
Проектирование интерфейса пользователя. Лекция №14.
33
5
Комбинированные и сравнительные показатели
Единый юзабилити-показатель (Single Usability Metric, SUM)
Пример:
1) 10 участников, 6 заданий;
2) цель – выяснить, какие задания участникам даются легче/сложнее остальных.
доверительные интервалы
Проектирование интерфейса пользователя. Лекция №14.
34
5
Комбинированные и сравнительные показатели
Графические оценочные сводки (Usability Scorecards)
1) представить данные ю-исследования таким образом,
чтобы общие тенденции и наиболее важные аспекты
стали наглядными – на сводных оценочных
диаграммах;
2) два распространённых подвида диаграмм:
• для двух показателей;
• для трёх и более показателей.
Проектирование интерфейса пользователя. Лекция №14.
35
5
Комбинированные и сравнительные показатели
Графические оценочные сводки (Usability Scorecards). Случай
двух показателей
Пример:
1) два показателя:
• уровень выполнения заданий;
• субъективная оценка
выполнения заданий
(удовлетворённость);
2) наглядно отображает:
• различие между заданиями;
• наиболее проблемные для
пользователей задания;
• несоответствие между
тенденциями разных
показателей.
Проектирование интерфейса пользователя. Лекция №14.
36
5
Комбинированные и сравнительные показатели
Графические оценочные сводки (Usability Scorecards). Случай
трёх и более показателей
Лепестковая диаграмма (radar-diagram).
• обобщённые значения показателей –
итоги ю-исследования.
Пример:
1) показатели:
• уровень выполнения заданий;
• посещения веб-страницы;
• аккуратность (отсутствие
ошибок);
• оценка удовлетворённости;
• оценка полезности;
2) наглядно отображает:
• на какие аспекты продукта надо
обратить внимание на
следующей итерации
проектирования.
Проектирование интерфейса пользователя. Лекция №14.
37
5
Комбинированные и сравнительные показатели
Графические оценочные сводки (Usability Scorecards). Случай
трёх и более показателей
Круги Харви (Harvey Balls).
1) Harvey Poppel, Booz Allen
Hamilton, 1970-е гг., –
резюмирование длинных
таблиц с числовыми данными;
2) представление:
• пять уровней отображения
данных;
• от пустого круга (худшее
значение показателя) до
полностью заполненного
(наилучшее значение).
3) представление данных юисследования на уровне
заданий.
Пример.
• таблица со слайда 34.
• наглядно отображает:
• как участники выполнили каждое задание (по строкам);
• какие аспекты продукта выявлены участниками как худшие/лучшие ( по столбцам).
Проектирование интерфейса пользователя. Лекция №14.
38
5
Комбинированные и сравнительные показатели
Показатели, основанные на сравнении с гипотетическим
эталоном.
Процедура:
1) Перед ю-исследованием сформулировать цели:
• на уровне заданий, например:
– «хотя бы 90% типичных пользователей смогут успешно зарезервировать
подходящий номер в гостинице»;
– «хотя бы 85% типичных пользователей смогут открыть новый счёт в сети в
течение 10 минут»;
– «хотя бы 95% новых пользователей смогут в течение 5 минут купить в сети
выбранный ими товар»;
• или на уровне исследования:
– «пользователи смогут успешно выполнить хотя бы 90% их задач»;
– «пользователи смогут успешно выполнить свои задачи, потратив не более 3
минут в среднем на задачу»;
– «пользователи дадут оценку SUS приложению хотя бы на уровне 80%».
2) Цели должны быть «измеряемыми», например, ссылаться на показатели типа:
• уровень успешности заданий;
• время выполнения заданий;
• аккуратность;
• удовлетворённость;
3) Вычислить % участников, которые достигли этих целей в ходе исследования.
Проектирование интерфейса пользователя. Лекция №14.
39
5
Комбинированные и сравнительные показатели
Показатели, основанные на сравнении с гипотетическим
эталоном.
Пример.
•
•
•
всего участников – 10;
цели могут различаться для
различных заданий.
% цели, достигнутый при
выполнении каждого
задания.
Проектирование интерфейса пользователя. Лекция №14.
40
5
Комбинированные и сравнительные показатели
Показатели, основанные на сравнении с данными о
производительности экспертов.
Процедура:
1) Провести два одинаковых ю-исследования:
• первое – с пользователями;
• второе – с экспертами (специалистами в предметной области
продукта, досконально знакомыми как с заданиями, так и с самим
продуктом).
2) Проанализировать, насколько результаты двух ю-исследований близки,
имеют общие тенденции.
3) Наиболее распространённый аспект для привлечения экспертов – время
выполнения заданий, для многих остальных аспектов результат работы
экспертов предполагается очевидным.
Проектирование интерфейса пользователя. Лекция №14.
41
5
Комбинированные и сравнительные показатели
Показатели, основанные на сравнении с данными о
производительности экспертов.
Пример
• вычислить соотношение
значений показателей,
полученных в ходе двух
исследований – с типичными
пользователями и экспертами.
•
усреднённое значение
соотношения
«эксперт/пользователь» –
очередной обобщённый
показатель юзабилити.
Проектирование интерфейса пользователя. Лекция №14.
42
6
Прочие специализированные показатели
Показатели для частных
случаев
анализ
серверных
журналов
Показатель
отдачи ссылок
(click-through
rate, CTR)
Оценка
действующего
веб-сайта
Оценка
информационной
архитектуры
Оценка
визуального
стиля
Многовариантное
исследование
Показатели
покидания
страниц
(drop-off rates)
Показатели A/B
исследования
Обратная
карточная
сортировка
Проектирование интерфейса пользователя. Лекция №14.
43
6
Прочие специализированные показатели
Оценка действующего веб-сайта. Показатель отдачи ссылок
(click-through rate, CTR)
•
•
оценка эффективности различных способов представления ссылок;
самое распространённое применение – реклама в Веб;
CTR 
< количество посетителей, совершивши х переход по ссылке >
100%
< количество посетителей, которым ссылка была показана >
Пример
•
•
Nielsen Norman Group
рекламировали свою
конференцию,
посвящённую вопросам
юзабилити, проводимую в
Лондоне;
реклама показывалась
пользователям поисковой
системы, формулирующим
соответствующие
поисковые запросы.
 есть ли существенная разница между полученными
значениями CTR?
Проектирование интерфейса пользователя. Лекция №14.
44
6
Прочие специализированные показатели
Оценка действующего веб-сайта. Показатель отдачи ссылок
(click-through rate, CTR)
•
•
критерий хи-квадрат – наиболее простой критерий проверки значимости различия двух
качественных переменных;
основан на выяснении, отличаются ли наблюдаемые значения от ожидаемых значений
(теоретически равновероятных);
Пример
CTR (Link1) = 1,4%
CTR (Link2) = 1,7%
Процедура:
1) Построить таблицу ожидаемых частот (с равномерным распределением);
2) Вычислить значение критерия: Хи-квадрат = ∑(Н - О)² / О;
3) Сравнить значение критерия с критическим значением, взятым из таблицы критических
значений критерия с заданной вероятностью ошибки (p <= 0.05) и степенью свободы = 1;
4) Если полученное значение критерия меньше критического, то принимается нулевая
гипотеза, то есть эмпирический и теоретический (равномерный) законы распределения
близки => различие между двумя переменными (Link1 и Link 2) статистически
несущественно. Иначе различие – существенно.
Проектирование интерфейса пользователя. Лекция №14.
45
6
Прочие специализированные показатели
Оценка действующего веб-сайта. Показатель отдачи ссылок
(click-through rate, CTR)
Пример (продолжение)
Click
No Click
Итого
Link 1
145
10289
145+10289=10434
Link 2
198
11170
198+11170=11368
Итого
145+198=343
10289+11170=21459
21802
Ожидаемые частоты Click
No Click
Итого
Link 1
(343*10434)/21802=164,1529
(21459*10434)/21802=10269,8471
10434
Link 2
(343*11364)/21802=178,7841
(21459*11364)/21802=11185,2159
11368
Итого
343
21459
21802
Итоговая таблица для вычислений будет выглядеть так:
Наблюдаемые Ожидаемые (Н - О)2 / О
Link 1
Link 2
Click
145
164,2
2,2
No Click 10289
10296,8
0,006
Click
178,8
2,06
11185,2
0,02
198
No Click 11170
Сумма: 4,286
Критическое значение χ2 (0,95;1) = 3.84 < 4,286.
Следовательно, нулевая гипотеза отвергается - различия частот достоверны => существует
статистически значительно различие между двумя ссылками Link1 и Link2.
Проектирование интерфейса пользователя. Лекция №14.
Используя Excel:
=ХИ2ТЕСТ(<диапазон
наблюдаемых
значений>; <диапазон
ожидаемых значений>).
46
6
Прочие специализированные показатели
Оценка действующего веб-сайта. Показатели покидания
страниц (drop-off rates)
Специализированный способ выяснения, в каком месте в последовательности страниц:
• пользователь уходит;
• прерывает процесс, например, открытия счёта или совершения покупки.
Пример:
• пользователь создаёт
учетную запись;
• этот процесс занимает на 5
страниц;
• процентные соотношения в
таб. 9.5 - относительно
количества пользователей,
начавших процесс со
страницы 1.
выяснить разницу между
тем, сколько человек
перешли на страницу и
тем, сколько её
завершили успешно
Проектирование интерфейса пользователя. Лекция №14.
47
6
Прочие специализированные показатели
Оценка действующего веб-сайта. A/B исследование
Процедура:
1) Создать два (несколько) вариантов веб-страницы – А и В,
отличающиеся:
• взаимным расположением функциональных и
информационных элементов страницы;
• графическим оформлением элементов или всей страницы;
• информационным представлением элементов страницы и др.
2) Случайным образом показывать различные варианты разным
пользователям.
3) Вычислять юзабилити-показатели отдельно для каждого варианта:
• процент продаж для интернет-магазинов;
• уровень конверсии;
• число посетителей и др.
Инструмент для A/B исследования:
Google's Website Optimizer
Проектирование интерфейса пользователя. Лекция №14.
48
6
Прочие специализированные показатели
Оценка действующего веб-сайта. A/B исследование
Пример. http://aquasoft.net/
В: повышение процента
продаж на 20%.
Вариант В (перепроектированный)
Вариант А (изначальный)
См. http://visualwebsiteoptimizer.com/split-testingblog/how-aquasoft-increased-their-sales-by-20-doing-absplit-tests-in-multiple-phases/
Проектирование интерфейса пользователя. Лекция №14.
49
6
Прочие специализированные показатели
Оценка действующего веб-сайта. Многовариантное
исследование исследование
1) Создать несколько вариантов представления элементов одной и той же страницы, например,
заголовка, изображения, текста и др.;
2) Применять только для веб-сайтов с высоким трафиком (более 1000 показов в неделю).
Инструмент для многовариантного
исследования:
Google's Website Optimizer.
См. http://www.conversionvoodoo.com/blog/2010/03/the-differencebetween-ab-testing-or-split-testing-and-multivariate-testing/
Проектирование интерфейса пользователя. Лекция №14.
50
1) Завершение
транзакции
●
●
2) Сравнение
продуктов
●
●
3) Оценка
частого
использования
продукта
●
4) Оценка
навигации
и/или
информацион
ной
архитектуры
●
5) Повышение
понимания
продукта
●
●
●
●
●
Карточная сортировка
Показатели
действующего вебсайта
●
●
●
Комбинированные и
сравнительные
показатели
Поведенческие и
физиологические
показатели
Самоговорящие
показатели
Показатели,
основанные на
выявлении ю-аспектов
для обсуждения
Обучаемость
Эффективность
(затраты)
Ошибки
Время на задание
Успешность заданий
Сценарий
ю-исследования
10 общих сценариев ю-исследования и наиболее
подходящие для них показатели оценки
●
●
●
●
●
●
Проектирование интерфейса пользователя. Лекция №14.
●
51
●
●
Карточная
сортировка
●
●
●
8) Создание
общего
позитивного
опыта
пользователя
●
●
9) Оценка
мелких
изменений
10) Сравнение
альтернативных
проектных
решений
Показатели
действующего вебсайта
Комбинированные
и сравнительные
показатели
Поведенческие и
физиологические
показатели
Самоговорящие
показатели
Показатели,
основанные на
выявлении юаспектов для
обсуждения
●
6) Обнаружение
проблем
7) Повышение
юзабилити
"критического"
продукта
Обучаемость
Эффективность
(затраты)
Ошибки
Время на задание
Успешность
заданий
Сценарий
ю-исследования
10 общих сценариев ю-исследования и наиболее
подходящие для них показатели оценки
●
●
●
●
Проектирование интерфейса пользователя. Лекция №14.
●
52
На самостоятельное изучение.
Количественный анализ пользовательских
интерфейсов (без тестирования с участием
пользователей)
Модель GOMS (Goals, Operators, Methods, and Selection rules):
• один из подходов к количественному анализу моделей [Card, Moran
and Newell, 1983].;
• позволяет выполнить сравнительный анализ нескольких моделей
интерфейсов в терминах, сколько времени потребуется опытному
пользователю на выполнение конкретной операции при
использовании данной модели интерфейса;
Другие методы оценки:
• количественные методы оценки производительности интерфейсов;
• оценка скорости движения курсора (закон Фитса);
• оценка времени, необходимого для принятия решения (закон
Хикка).
Джеф Раскин (Jef Raskin) (26 марта 1943 — 26 февраля 2005) — специалист
по компьютерным интерфейсам, автор статей по юзабилити и книги «The
Human Interface», сотрудник №31 фирмы Apple Computer, наиболее
известен как инициатор проекта Макинтош в конце 70-x [Википедия].
http://raskin-interface.narod.ru
Проектирование интерфейса пользователя. Лекция №14.
53