Amsterdam • Boston • Heidelberg • London • New York • Oxford
Paris • San Diego • San Francisco • Singapore • Sydney • Tokyo
Morgan Kaufmann is an imprint of Elsevier
Основы юзабилити-тестирования
На старт, внимание…тест!
Кэрол М. Барнум
Москва, 2022
УДК 004.622
ББК 32.972
Б24
Б24
Барнум К. М.
Основы юзабилити-тестирования / пер. с англ. Д. А. Беликова. – М.: ДМК
Пресс, 2021. – 408 с.: ил.
ISBN 978-5-97060-960-6
В книге описываются методики и приемы юзабилити-тестирования – процедуры оценки разнообразных продуктов (будь то устройства, сайты, мобильные
приложения и т. д.) с точки зрения легкости и удобства их использования.
В начальных главах читатель узнает о принципах тестирования, выборе оборудования и места для его проведения. Отдельная глава посвящена изучению пользовательских потребностей. Наконец, подробно рассказывается о том, как спланировать и провести юзабилити-тест, а затем проанализировать его результаты.
Издание пригодится тем, кто работает над созданием новых продуктов и заинтересован в повышении пользовательского спроса. Книгу могут использовать
как новички, готовящиеся к проведению первого юзабилити-теста, так и опытные
экспериментаторы, желающие развить свои навыки.
Содержание
https://t.me/it_boooks
Предисловие ............................................................................................................................................13
Благодарности ......................................................................................................................................15
Об авторе .................................................................................................................................................16
Введение: руководство по началу работы ...........................................18
Глава 1. Закладываем основы ..............................................................................27
Фокусируйтесь на пользователе, а не на продукте .................................................................28
Начнем с важных определений ......................................................................................................29
Что такое юзабилити? ...................................................................................................................29
Что такое юзабилити-тестирование? ......................................................................................32
Что такое опыт взаимодействия пользователя с продуктом? ......................................35
Что такое дизайн, ориентированный на пользователя? .................................................35
Как и зачем проводить небольшие юзабилити-исследования ..........................................36
Установка профиля пользователя ............................................................................................37
Создание сценариев на основе задач ...................................................................................37
Думать вслух .....................................................................................................................................37
Внесение изменений и проведение повторного тестирования ..................................38
Как и зачем проводить крупные исследования .......................................................................39
Используйте одни и те же или разные задачи ...................................................................40
Собирайте метрики для количественной оценки результатов – с процессом
«мысли вслух» или без него.......................................................................................................40
Выберите метод или комбинацию методов ........................................................................41
Сбалансируйте свои цели и бюджет..............................................................................................41
Заручитесь поддержкой для проведения юзабилити-тестирования ...............................42
Познакомьтесь с заинтересованными лицами ...................................................................42
Привлекайте заинтересованные лица к исследованию от начала до конца.........42
Выступайте за более частое (и более раннее) юзабилити-тестирование
в процессе разработки продукта .............................................................................................43
Обоснуйте необходимость экономичного юзабилити-тестирования .......................43
Идите в ногу со временем ..........................................................................................................45
Гибкая методология разработки – быстрая и целенаправленная ..............................46
Текущий подход к дизайн-мышлению сфокусирован на 5-дневном спринте ......46
Резюме к главе 1 ...................................................................................................................................48
Глава 2. Юзабилити и инструменты UX-специалиста ..............50
Открываем набор инструментов и смотрим, что там есть....................................................52
Инструменты анализа закладывают фундамент................................................................52
Инструменты проектирования и реализации позволяют встраивать
пользовательские исследования в процесс разработки ................................................55
Содержание
7
Инструменты развертывания предоставляют обратную связь
о фактическом использовании .................................................................................................57
Разбираемся, какой инструмент подходит для работы .........................................................58
Выбираем эвристическую оценку из набора инструментов ...............................................61
Эвристическая оценка – это проверка, осуществляемая экспертами ......................61
Эвристическая оценка имеет четко определенную методологию .............................63
Для разных людей экспертная оценка может означать разные вещи .....................64
У неформальной оценки может не быть правил ...............................................................65
Сравнение результатов эвристической оценки и юзабилити-тестирования ...............66
Использование повествования для эвристической оценки ................................................70
Объединяем оба метода: двойной удар ......................................................................................71
Признание процесса проектирования, ориентированного на пользователя ..............72
Резюме к главе 2 ...................................................................................................................................73
Образец отчета.......................................................................................................................................75
Глава 3. Тестируем и тут и там ...............................................................................81
Приобретение базового оборудования для юзабилити-тестирования ..........................82
Расширяем свои возможности с помощью специализированного
оборудования и программного обеспечения............................................................................84
При тестировании мобильных устройств используется специализированное
оборудование и программное обеспечение ......................................................................84
Оборудование для окулографии показывает, куда смотрят пользователи ............85
Использование конференц-зала или офиса ..............................................................................89
Инвестиции в отдельную лабораторию .......................................................................................90
Оценка недостатков лабораторного тестирования .................................................................94
Попадаем в мир пользователя с помощью полевого тестирования................................94
Преимущества полевого тестирования .................................................................................95
Недостатки полевого тестирования ........................................................................................96
Доступ к пользователям всегда и везде с помощью удаленного тестирования .........97
Модерируемое удаленное тестирование является синхронным ...............................97
Немодерируемое удаленное тестирование является асинхронным ........................99
Использование других онлайн-инструментов для расширения возможностей
удаленного немодерируемого тестирования ......................................................................... 102
Выбор правильного метода ........................................................................................................... 105
Резюме к главе 3 ................................................................................................................................ 106
Глава 4. Пользователи и их цели .................................................................... 109
Люди целеустремленны................................................................................................................... 110
Когда люди пользуются интернетом, они делятся своим опытом
и ожиданиями ...................................................................................................................................... 112
Люди ожидают, что элементы на странице сайта будут находиться
в определенных местах............................................................................................................. 113
Произведите хорошее впечатление с самого начала. Второго шанса
может и не быть............................................................................................................................ 116
Пользователи сразу решают, можно ли доверять сайту .............................................. 116
Люди не хотят читать. Они хотят действовать ........................................................................ 117
8
Содержание
Когда дело доходит до использования технологий, различия между
поколениями имеют значение ...................................................................................................... 118
Три четверти взрослых американцев ежедневно выходят в интернет................. 119
Что мы знаем о пожилых пользователях в интернете ................................................. 120
Что мы знаем о миллениалах, сидящих в интернете ................................................... 122
Что мы знаем о подростках, пользующихся интернетом............................................ 124
Что мы знаем о детях, проводящих время в интернете .............................................. 125
Гендерные различия имеют значение, когда речь идет об использовании
интернета и социальных сетей ..................................................................................................... 126
Пол влияет на дизайн сайта .................................................................................................... 126
Пол влияет на использование технологий и социальных сетей .............................. 127
Пол влияет на стиль общения в социальных сетях ....................................................... 128
Гендерные исследования и исследования поколений проливают свет
на ваших пользователей........................................................................................................... 129
Персонажи помогут вам узнать своих пользователей ........................................................ 129
Персонажи основаны на реальной информации о реальных пользователях ... 129
Персонажи – занятие творческое, но не увлекайтесь .................................................. 131
Количество персонажей должно быть управляемым ................................................... 132
Персонажи должны быть видны ............................................................................................ 132
Сценарии рассказывают историю целей ваших пользователей..................................... 133
Разница между задачей и целью .......................................................................................... 133
Разница между вариантом использования и сценарием ........................................... 134
Разница между пользовательской историей и сценарием ........................................ 136
Рассказывайте о своих персонажах убедительно.......................................................... 136
Резюме к главе 4 ................................................................................................................................ 139
Глава 5. Планирование юзабилити-тестирования .................... 142
Совещание по планированию....................................................................................................... 143
Установите цели тестирования ............................................................................................... 143
Определите, как тестировать продукт ................................................................................. 149
Согласуйте подгруппы пользователей ................................................................................ 155
Определите характеристики подгруппы ............................................................................ 156
Сосредоточьтесь на мотивации пользователей .............................................................. 157
Смешивайте характеристики внутри подгруппы............................................................ 158
Комбинируйте характеристики в профиле пользователя .......................................... 160
Определите размер вознаграждения для участников ................................................. 162
Составьте скринер для отбора участников ....................................................................... 164
Создавайте сценарии на основе задач, соответствующих целям
тестирования ................................................................................................................................. 175
Определить методы обратной связи для сбора количественных
и качественных данных ............................................................................................................ 183
Установите даты для тестирования и результатов работы ......................................... 185
Составление плана тестирования ................................................................................................ 189
Написание неформального плана тестирования ........................................................... 190
Использование других неформальных способов документирования
планов тестирования .................................................................................................................. 190
Содержание
9
Написание формального плана тестирования ................................................................ 194
Резюме к главе 5 ................................................................................................................................ 195
Глава 6. Подготовка к юзабилити-тестированию ...................... 197
Отбор участников ............................................................................................................................... 198
Как самому отбирать участников .......................................................................................... 198
Как вести отбор участников через рекрутинговую компанию ................................. 202
Как отбирать участников через рекрутинговую компанию в режиме
онлайн .............................................................................................................................................. 203
Как отбирать участников через платформу онлайн-тестирования ......................... 203
План на случай неявки участника ........................................................................................ 203
Распределение командных ролей и обязанностей .............................................................. 205
Разработка контрольных списков ............................................................................................... 207
Написание сценария модератора ............................................................................................... 211
Написание сценария модератора для тестирования с личным
присутствием участника............................................................................................................ 212
Написание сценария модератора для удаленного тестирования ........................... 216
Подготовка или использование других форм ........................................................................ 217
Подготовка формы согласия на видеосъемку.................................................................. 218
Подготовка специальной формы согласия на тестирование при участии
несовершеннолетних ................................................................................................................. 219
Использование соглашения о неразглашении ................................................................ 219
Подготовка формы наблюдателя .......................................................................................... 220
Создание анкет.................................................................................................................................... 220
Создание анкеты, которая выдается перед началом тестирования ....................... 221
Создание анкеты, которая выдается после выполнения задачи ............................. 223
Создание анкеты, которая выдается после тестирования .......................................... 224
Использование стандартных анкет после выполнения тестирования ......................... 228
Использование анкеты SUS..................................................................................................... 229
Использование анкеты CSUQ ................................................................................................. 231
Использование NPS® (Net Promoter Score®) ................................................................... 231
Создание или использование методов обратной связи для сбора
качественных отзывов...................................................................................................................... 233
Использование карточек реакции на продукт ................................................................ 233
Завершающее интервью ................................................................................................................. 234
Подготовка к тестированию ........................................................................................................... 236
Проведение разбора .................................................................................................................. 236
Проведение пилотного теста .................................................................................................. 237
Управление всей этой подготовкой к тесту ............................................................................. 239
Резюме к главе 6 ................................................................................................................................ 239
Образец отчета.................................................................................................................................... 241
Глава 7. Проведение юзабилити-теста..................................................... 244
Подготовка к тестированию ........................................................................................................... 245
Быть эффективным и непредвзятым модератором ............................................................. 245
Следите за языком тела ............................................................................................................. 248
10 Содержание
Следите за похвалой .................................................................................................................. 248
Задавайте хорошие вопросы.................................................................................................. 249
Избегайте плохих вопросов .................................................................................................... 253
Знайте, как и когда вмешаться ............................................................................................... 254
Механизмы обратной связи после проведения тестирования................................. 256
Управление вариациями на тему тестирования .................................................................... 259
Тестирование с двумя и более участниками .................................................................... 259
Тестирование с двумя и более модераторами ................................................................ 260
Удаленное тестирование с модератором .......................................................................... 261
Работа с наблюдателями ................................................................................................................. 263
Наблюдатели с вами и участником ...................................................................................... 263
Наблюдатели в комнате ............................................................................................................ 266
Удаленные наблюдатели........................................................................................................... 268
Предоставление справки или помощи от службы поддержки клиентов ................... 268
Регистрация наблюдений................................................................................................................ 270
Работа в одиночку.............................................................................................................................. 270
Резюме к главе 7................................................................................................................................. 271
Образец журнала ............................................................................................................................... 274
Глава 8. Анализ результатов ................................................................................. 278
Что мы увидели? ................................................................................................................................. 279
Соберите данные, полученные ото всех лиц .................................................................... 279
Соберите лучшие и неожиданные результаты ................................................................ 280
Выберите свой метод организации ..................................................................................... 281
Что это значит? .................................................................................................................................... 286
Определите, кто должен проводить анализ...................................................................... 286
Сопоставьте результаты ............................................................................................................ 287
Предоставьте количественные данные .............................................................................. 288
Как и когда работать со статистикой ................................................................................... 289
Проанализировать анкеты ....................................................................................................... 293
Используйте качественные отзывы из процесса размышлений вслух ................. 295
Сопоставьте ответы из карточек реакции на продукт .................................................. 295
Что с этим делать?.............................................................................................................................. 296
Триангулируйте данные результатов ................................................................................... 296
Охарактеризуйте результаты по степени серьезности ................................................ 298
Определите глобальные и локальные результаты ......................................................... 299
Дать рекомендации .................................................................................................................... 300
Резюме к главе 8 ................................................................................................................................ 303
Примеры результатов ....................................................................................................................... 305
Глава 9. Подготовка отчета о полученных результатах ....... 309
Следуя совету Аристотеля ............................................................................................................... 311
Подготовка сообщения.............................................................................................................. 311
Написание неофициального отчета ........................................................................................... 312
Подготовка официального отчета ............................................................................................... 315
Планирование отчета в виде документа ........................................................................... 317
Содержание
11
Написание резюме...................................................................................................................... 319
Организация остальной части отчета в соответствии с потребностями
вашей аудитории ......................................................................................................................... 321
Планирование отчета в стиле презентации ..................................................................... 323
Представление результатов ........................................................................................................... 325
Использование таблиц .............................................................................................................. 326
Использование скриншотов .................................................................................................... 328
Использование диаграмм и графиков ................................................................................ 331
Вставка видеороликов ............................................................................................................... 334
Упорядочивание результатов ................................................................................................. 335
Представление результатов после выполнения заданий и проведения
тестирования ........................................................................................................................................ 336
Представление ответов, полученных в ходе анкетирования .................................... 336
Представление результатов по анкете SUS ...................................................................... 338
Представление качественных ответов................................................................................ 338
Даем рекомендации ......................................................................................................................... 340
Предоставление устного отчета ................................................................................................... 343
Планирование презентации.................................................................................................... 344
Подготовка видеороликов ....................................................................................................... 344
Репетиция презентации ............................................................................................................ 345
Проведение презентации ........................................................................................................ 345
Как и когда задавать вопросы................................................................................................ 346
Больше ориентированного на пользователя проектирования ....................................... 347
Резюме к главе 9 ................................................................................................................................ 348
Глава 10. Юзабилити-тестирование с участием
пользователей из других стран ....................................................................... 350
Сбор информации о пользователях из других стран .......................................................... 351
Некоторые пользователи находятся «здесь» ................................................................... 351
Другие пользователи находятся «там» ............................................................................... 352
Понимание культурных различий ............................................................................................... 352
Книги для получения дополнительной информации ................................................... 352
Статьи для получения дополнительной информации .................................................. 353
Применение работы Холла и Хофстеде для анализа пользователей
из других стран ................................................................................................................................... 362
Концепция высококонтекстных и низкоконтекстных культур Эдварда
Холла ................................................................................................................................................. 362
Концепция культурных измерений Герта Хофстеде ...................................................... 363
Создание персонажей пользователей ....................................................................................... 365
Сосредоточьтесь на конкретных культурных особенностях ...................................... 366
Учитывайте другие соображения .......................................................................................... 367
Составьте план исследования ................................................................................................. 368
Планирование тестирования ......................................................................................................... 371
Где проводить тестирование ................................................................................................... 372
Как проводить тестирование .................................................................................................. 376
Структурирование протокола тестирования ........................................................................... 378
12 Содержание
Локализация сценариев ........................................................................................................... 378
Локализация анкет ...................................................................................................................... 380
Планирование отдельных сеансов или сеансов co-discovery ................................... 383
Размышления вслух или ретроспективное воспоминание: что выбрать ............. 383
Выбор модератора............................................................................................................................. 384
Предвидение других аспектов...................................................................................................... 385
Что, если участник приедет не один? .................................................................................. 386
Следует ли уделять больше времени знакомству и приветствиям?........................ 387
Нужно ли увеличить перерывы между сеансами? ......................................................... 387
Можете ли вы интерпретировать невербальные коммуникативные
сигналы? .......................................................................................................................................... 388
Резюме к главе 10 .............................................................................................................................. 388
Образец отчета.................................................................................................................................... 390
Список статей и литературы ...................................................................................................... 392
Предметный указатель.................................................................................................................... 406
Предисловие
В 2008 г. я решил собрать группу на ежегодной конференции Ассоциации профессионалов в области юзабилити. Ее тема – «Тестирование
со скидкой, проводимое любителями: причина для беспокойства или
угроза?»
В то время я хотел рискнуть и написать книгу1, основанную на предположении, согласно которому каждый, кто участвует в создании сайтов, должен проводить собственное юзабилити-тестирование.
Неудивительно, что любители, которые делают работу профессионалов, рассматриваются некоторыми членами сообщества как потенциальная угроза полной занятости и высоким стандартам, хотя
эти опасения редко обсуждались публично. Поэтому я подумал, что
было бы неплохо провести открытые дебаты – желательно до того,
как я потрачу год, который обещал стать болезненным, на написание
книги.
Рэндольф Биас любезно согласился занять противоположную позицию («Тестирование, проводимое любителями, – очень плохая идея
по многим причинам»), но нам было нужно, чтобы кто-то сидел между нами и отстаивал разумную, сбалансированную точку зрения. Это
должен был быть очень умный человек, пользующийся большим авторитетом в этой профессии. Я сразу подумал о Кэрол Барнум.
Чтобы помочь людям проникнуться духом происходящего и, надеюсь, встать на чью-то сторону, мы даже придумали серию кнопок с подстрекательскими фразами
вроде «Стив, ты невежественная шлюха!» и «Рэндольф, ты
невежественная шлюха!»2. Кнопку для Кэрол написать было легко.
Хотя я был знаком с Кэрол большее десяти лет, думаю,
что впервые подумал о ней как о голосе разума в 2002 г.,
когда прочитал ее статью об одном из вечных вопросов в нашей области: сколько участников нужно для прохождения юзабилити-теста,
чтобы выявить большинство проблем3?
1
2
3
Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability Problems, New Riders, 2010.
Отсылки к крылатой фразе Дэна Эйкройда («Джейн, ты невежественная
шлюха») из старого скетча «Субботним вечером в прямом эфире», где он
и Джейн Кёртин – новостные аналитики, чьи дебаты проходят в весьма
резкой форме.
The «magic number 5»: Is it enough for Web testing? Proceedings of the 1st European UPA Conference, London, September 2002.
14 Предисловие
В ней она привела аргумент, который грозил длиться вечно, и, наконец, нашла в нем смысл, резюмируя все исследования (наиболее
познавательные из которых были проведены ее студентами из Южного политехнического университета), аккуратно обобщив различные точки зрения и сделав, как мне казалось, невероятно поучительные выводы.
С тех пор она стала одним из тех людей, к кому я обращаюсь, когда
мне нужен совет по вопросам, связанным с юзабилити.
Вам может быть интересно, почему я рекомендую книгу Кэрол по
юзабилити-тестированию, если только что сам опубликовал свою. Но
моя книга – очень короткая, она охватывает только основы одного из
«видов» тестирования. Я был безжалостен, упуская из виду целые темы – важные темы, – потому что у меня была очень конкретная цель:
чтобы ее читатели могли приступить к работе.
Но я чувствовал, что могу позволить себе быть таким только потому, что знал: как только люди попробуют юзабилити-тестирование,
они захотят узнать больше, и я смогу привести книги, в которых подробно описаны все важные темы.
И хотя книга Кэрол еще не была написана, я все равно включил ее
в свой список литературы, рекомендуемой к прочтению (это очень
короткий список – я рекомендую только те книги, которые считаю отличными), потому что знал, что это будет одна из лучших книг.
Я рад, что она наконец-то здесь. И рад, что оказался прав: она превосходна.
Я знал, что так и будет.
Стив Круг
Бруклайн, Массачусетс
Май 2010
Благодарности
Прошло десять лет между первым и вторым изданием книги «Основы
юзабилити-тестирования: на старт, внимание... тест!» Казалось бы, десять лет. Столько всего изменилось, но многое все же осталось прежним.
Второе издание книги отражает то, что осталось неизменным, – основные принципы и практики планирования, подготовки и проведения юзабилити-тестирования, анализа результатов и составления
отчетов о полученных результатах. Книга также отражает то, что изменилось, – быстрое расширение онлайн-инструментов для поддержки
основных принципов, включая постоянно увеличивающееся количество программных платформ. Они могут поддерживать или выполнять
работу по юзабилити-тестированию за вас в удаленных модерируемых
и немодерируемых форматах в небольшом или в большом количестве.
Благодаря интернету я могу следить за исследованиями, просматривать текущие продукты и сервисы и обращаться за советом к коллегам, не выходя из своего домашнего офиса. Когда я находила то, что
хотела включить в эту книгу, я связывалась с автором или владельцем
и во всех случаях получала быстрый и утвердительный ответ на запрос о разрешении поделиться своей работой в книге.
Среди моих многочисленных коллег и друзей по цеху я особенно
признательна своему дорогому другу Стиву Кругу, который великодушно согласился написать предисловие для первого издания и которому нечего было добавить ко второму изданию. Ему нравится то, что
он написал, и мне тоже!
За запуск второго издания и за то, что поддерживали меня в процессе работы, я хочу выразить свою признательность команде Стива Меркена из Elsevier, старшему редактору по закупкам; Андрэ Аке
и Крис Хокадей, менеджерам редакционных проектов, и особенно Камачи Мадхавану, старшему менеджеру проекта, который без устали
работал со мной на протяжении всего производственного процесса.
Выражаю благодарность рецензентам второго издания, которые
представили вдумчивые и проницательные обзоры рукописи, я благодарю Сьюзан Фаулер, Субхашини Ганапати, Марджори Раш Ховде, Роберта Пастеля, Джанет Тейлор и Дэвида Йейтса. Я слушала вас
и училась у вас.
Моим студентам, которым я преподаю уже на протяжении многих
лет и которые всегда вдохновляли меня продолжать учиться, – спасибо за отличную работу и за то, что поделились некоторыми из своих выводов в этой книге и на сайте издания. Мне приятно знать, что
для многих из вас один единственный курс юзабилити-тестирования
положил начало вашей профессиональной карьере в области UXпроектирования.
Об авторе
Кэрол М. Барнум, доктор философии, стала сторонником юзабилити в начале 1990-х гг. Это случилось, когда она услышала слово «юзабилити» на
конференции Общества технической коммуникации. Технические писатели всегда считали себя
адвокатами пользователя, но тут возникла новая
дисциплина, отстаивающая дело пользователя!
Это была любовь с первого взгляда.
В 1993 г. Кэрол посетила вторую конференцию
Ассоциации профессионалов в области юзабилити, где была счастлива пообщаться с несколькими
сотнями специалистов по юзабилити из корпоративного кампуса Microsoft. Эти две конференции
вызвали желание объединить ее любовь к обучению студентов тому,
как быть четкими коммуникаторами, с вновь обретенной страстью
помогать компаниям понять, как обеспечить надлежащее взаимодействие между их продуктом и пользователями.
В 1994 г. Кэрол открыла свою первую юзабилити-лабораторию
в подвале без окон в Государственном университете Кеннесо (бывший Южный политехнический государственный университет). За
свою педагогическую карьеру она создала несколько лабораторий,
разработала курс юзабилити-тестирования, программу для выпускников по информационному дизайну и коммуникациям. Кэрол работала с большим количеством клиентов, чтобы помочь им понять
пользовательский опыт, касающийся программного обеспечения,
оборудования, документации и обучающих продуктов, мобильных
устройств, веб-приложений, сайтов, приложений и многого другого.
Не уходя на пенсию, она оставила педагогическую карьеру в 2013 г.
в звании почетного профессора, чтобы стать штатным консультантом по UX-проектированию, тренером и оратором. Она путешествовала по миру, выступая на конференциях и обучая UX-специалистов
и студентов. Признание за ее выступление включает приз за презентацию на первой конференции Европейской ассоциации профессионалов в области юзабилити и высшие оценки на конференциях UXPA,
STC и IEEE по профессиональной коммуникации.
Кэрол – автор еще пяти книг и более 50 статей и отдельных глав
книг по различным темам. Они включают в себя состояние UX-исследований, стили подготовки отчетов для UX-проектирования, влияние
гибкой методологии разработки на юзабилити-тестирование, «магическое число 5». Также раскрывается вопрос использования карточек
Об авторе
реакции на продукт от корпорации Microsoft для понимания фактора
желательности в пользовательском опыте, повествования и проблем,
влияющих на международное и межкультурное общение и дизайн.
Работа Кэрол принесла ей признание Общества технической коммуникации, в том числе звание научного сотрудника, премию Рейни
за исследования и премию Гулда за выдающиеся достижения в преподавании технической коммуникации. Она также получила премию
Blicq за отличие в образовании в области технических коммуникаций
от IEEE Professional Communication Society.
Прежде всего Кэрол по-прежнему любит помогать другим улучшать пользовательский опыт во всех аспектах их жизни.
Чтобы быть в курсе того, чем занимается Кэрол, или задать ей вопрос, посетите ее сайт https://www.carolbarnum.com.
17
Введение:
руководство
по началу
работы
Юзабилити нельзя увидеть
Вам нравится ваш смартфон, умные часы, умная колонка, возможно,
даже робот-пылесос? У вас есть любимое приложение, без которого
не смогли бы обойтись? Возможно, у вас их несколько, а то и десятки. Являются ли онлайн-банкинг или покупки в интернете настолько
легкими и удобными, что вы больше не заходите в обычный банк или
розничный магазин?
На то есть причина. Юзабилити.
Когда удобство использования, или юзабилити, присуще продуктам и услугам, которыми мы пользуемся, оно незаметно. Мы не думаем о нем. Но мы знаем, что оно есть.
Мы живем в эпоху цифровых технологий, когда все
и вся – или, по-крайней мере, так нам кажется – взаИнтернет вещей определяется как взаимодействие
имосвязаны. Мы общаемся посредством медиа, часто
вычислительных устройств,
работаем удаленно, перемещаем что-то в облако, чтовстроенных в повседневные
бы иметь доступ к чему угодно откуда угодно, и ожиобъекты через интернет, что
даем, что продукты и услуги, которыми мы пользупозволяет им отправлять
емся, органично впишутся в нашу жизнь. Интернет
и получать данные.
вещей – один из примеров того, как развиваются и растут цифровые продукты.
Прошли те времена, когда от нас требовалось подДополнительные сведения
о стратегии дизайн-мышления чиняться дизайну продукта. Сейчас мы ожидаем, что
и роли юзабилити-тестирова- сами продукты будут знать, как мы хотим работать
ния в этом процессе
или развлекаться. Стратегия под названием «дисм. в главе 1.
зайн-мышление» поддерживает цель разработки продуктов с учетом целей пользователя.
Даже несмотря на то, что дизайн-мышление и юзабилити-исследования встроены в дизайн, существуют продукты, которыми нужно
учиться пользоваться. Но правильно спроектированные и удобные
Пользователи не терпят неудачного опыта взаимодействия
19
в использовании продукты упрощают процесс адаптации за счет
применения принципов юзабилити, чтобы:
•
•
•
•
было легко учиться;
их просто было использовать;
обеспечить интуитивность;
было весело (давайте не забывать о важности веселья).
Почему произошло такое резкое изменение, по сравнению с теми
временами, когда продукты были сложны для изучения и ожидалось,
что пользователи будут сталкиваться с трудностями? Потому что теперь у нас есть выбор.
Пользователи не терпят неудачного
опыта взаимодействия
В эпоху цифровых технологий появилась возможность избавиться от
неудачного опыта взаимодействия. Для этого достаточно одного
щелчка кнопкой мыши, прикоснуться к экрану или провести по нему
пальцем. Исследования показывают, что у сайта есть 50 мс, чтобы
произвести хорошее первое впечатление. Если сайт по какой-либо
причине непривлекателен, то мы переходим к другому, а потом к следующему.
Неудачный опыт использования продукта вы- Подробнее об этом рассказынуждает нас обратиться к продавцу, чтобы вернуть вается в главе 4.
его. Исследование, проведенное компанией Accenture
в 2007 г. среди розничных продавцов бытовой электроники, производителей и операторов связи в США, показало, что 68 % возвратов продукции были определены словами «никаких проблем не обнаружено». Если учесть все причины возврата, то только 5 % возвратов были
связаны с дефектом продукта. Это означает, что 95 % продуктов работали так, как и было задумано, но пользователи не смогли разобраться, как ими пользоваться, или испытывали чувство «раскаяния покупателя», потому что понимали, что не могут оставить его. В 2011 г.
Accenture опубликовала обновленную версию своего исследования.
То, что она обнаружила, было поразительно: процент возврата продукции увеличился более чем у половины опрошенных розничных
продавцов и почти у половины опрошенных производителей.
Эти исследования говорят о том, что потребители не будут тратить
время, пытаясь научиться пользоваться продуктами. А когда недовольные покупатели возвращают товары, которые, похоже, не работают, в проигрыше оказываются все.
Должны ли все продукты разрабатываться с учетом требований потребителя? Глупый вопрос. Тогда что же нужно, чтобы встроить в них
юзабилити?
Ответ кроется в вас.
20 Введение: руководство по началу работы
Юзабилити – это вы
Если вы веб-разработчик, инженер-программист, проектировщик
взаимодействия, информационный архитектор, технический писатель, визуальный или графический дизайнер, преподаватель, специалист отдела по поддержке клиентов, технолог-инструктор или
любой другой человек, участвующий в разработке или поддержке
какого-либо продукта, значит, вы – лицо юзабилити. Ваша страсть
к пользователю, защита его интересов и действия от имени пользователя могут влиять и влияют на удобство использования продукта.
Несмотря на ваше желание поддерживать потребности пользователей, возможно, вы еще не проводили юзабилити-тестирование.
Или, вероятно, уже делали это, но вам бы хотелось оформить или нормализовать этот процесс и даже расширить его.
Эта книга дает основы, которые помогут вам приступить к работе
или получить новые знания, чтобы дополнить свой опыт. Имея прочный фундамент в лице стратегий достижения успеха и моделей, которые покажут, как нужно действовать, вы разовьете нужные навыки
в дополнение к тем, которые у вас уже есть.
Как пользоваться этой книгой
Начните с того, что важно для вас. Если вы студент или новичок
в этой области, то, вероятно, имеет смысл начать с самого начала
книги и читать главы в том порядке, в котором они идут. Однако если
у вас уже есть некоторый опыт или вы читали об этой теме раньше,
то можете сразу перейти к той главе или главам, которые интересуют
больше всего.
Может быть, эта книга вам нужна сейчас для подготовки к своему
первому юзабилити-тесту. Или, возможно, вы уже провели неформальное тестирование и ищете методологию, которую можно было бы применить для стандартизации своих практик тестирования.
В таком случае можно начать с главы 5, посвященной планированию
тестирования, или перейти к главе 7, где рассказывается о его проведении.
Возможно, вы интересуетесь юзабилити-тестированием c участием пользователей из зарубежных стран и хотите узнать о конкретных
аспектах планирования такого рода тестирования. Тогда сразу переходите к главе 10.
Цель данной книги состоит в том, чтобы дать вам инструменты
и методы, необходимые для работы, или расширить уже имеющиеся
знания. Вот почему она называется «Основы юзабилити-тестирования». Подзаголовок – «На старт, внимание…тест!» – означает, что вы
должны выбрать подходящую отправную точку.
Как пользоваться этой книгой
21
За десять лет может случиться многое
За последние десять лет с тех пор, как вышло первое Подробнее о демографииздание этой книги, демография пользователей резко ческих характеристиках
изменилась. С поколения беби-бумеров, некогда са- поколений и о том, как они
мой большой демографической группы, акценты сме- используют интернет, читайстились на поколение миллениалов, самой большой те в главе 4.
группы сегодня. Будучи цифровыми аборигенами,
миллениалы ежедневно работают со своими устройствами, особенно
со смартфонами, в течение всего дня.
В этот же период в мире юзабилити-тестирования произошел
технологический сдвиг, связанный с увеличением доступности онлайн-инструментов для получения более быстрых отзывов от пользователей. Стратегии более быстрого проектирования, вовлечения заинтересованных лиц на протяжении всего процесса и предоставления
результатов исследований в рамках гибкой методологии разработки
определили способ и место применения юзабилити. Даже название
того, что мы делаем – «юзабилити-тестирование» – было отнесено
к категории «опыт взаимодействия пользователя с продуктом» (UX).
Юзабилити-тестирование вполне может стать одним из множества
исследовательских инструментов, которые вы будете использовать
для понимания опыта взаимодействия своих пользователей.
Что нового во втором издании
Как изменения последнего десятилетия влияют на содержание второго издания? Вот несколько моментов:
• изменение в терминологии и точках зрения приводит к перехо-
•
•
•
•
ду от узкого взгляда наюзабилити-тестирование к расширенной
концепции опыта взаимодействия пользователя с продуктом
(UX). Чтобы отобразить этот переход, первые главы были реорганизованы, а глава 2 (ранее глава 3 в 1-м издании) получила новое
название, чтобы на раннем этапе познакомить вас с инструментами UX-специалиста, которые можно использовать для проведения юзабилити-тестирования;
переход от одного тематического исследования в качестве основного примера в конце глав ко множеству примеров охватывает сайты, программное обеспечение, мобильные устройства
и многое другое;
обновление ресурсов и ссылок отражает текущий образ мыслей;
обновление инструментов и методов описывает онлайн-инструменты, доступные в текущей практике, и более «быстрые и грязные» техники;
обновление и расширение контрольных списков включает в себя
подготовку к модерируемому удаленному тестированию и вы-
22 Введение: руководство по началу работы
полнение работы с небольшими командами, состоящими из одного или двух исследователей;
• обновление обсуждения и примеры отчетов для множества контекстов включают в себя отчеты в стиле презентации.
Учитывая все эти изменения, важно также отметить, что базовые
методы планирования, подготовки, проведения, анализа и отчеты по
результатам юзабилити-тестирования остаются неизменными. Основные принципы – непоколебимы.
Как устроены главы
Глава 1 «Закладываем основы» предназначена именно для того, о чем
говорится в ее названии. Она дает основы определения юзабилити
и юзабилити-тестирования, а также связанную с этим терминологию
опыта относительно опыта взаимодействия пользователя и ориентированного на пользователя дизайна, чтобы вы начали со списка терминов, которые могли бы применять в дальнейшем. После краткого
обзора традиционных методов тестирования в этой главе рассказывается о том, что обычно делается сегодня в небольших формативных и крупных суммативных исследованиях. В конце главы подчеркивается важность заручиться поддержкой для проведения юзабилити-тестирования посредством взаимодействия с заинтересованными
лицами, продвижения преимуществ раннего и частого тестирования
и необходимости обоснования, оправданного с точки зрения затрат
юзабилити-тестирования. В ней также предлагаются стратегии по
внедрению юзабилити-тестирования в рамках динамичного и гибкого процесса разработки и включения себя в команду, которая занимается дизайн-спринтами.
В главе 2 «Юзабилити и инструменты UX-специалиста» юзабилити-тестирование рассматривается в контексте процесса проектирования, ориентированного на пользователей (UCD). В этой главе вы
познакомитесь с набором техник и стратегий, которые можно использовать до и после юзабилити-тестирования, чтобы помочь своей компании расширить понимание опыта взаимодействия пользователя. Данный набор включает в себя множество инструментов из
трех групп: инструменты анализа, которые закладывают основу, инструменты проектирования и реализации, позволяющие встраивать
исследования в процесс разработки, и инструменты развертывания,
обеспечивающие обратную связь после запуска продукта. Особое
внимание уделяется эвристической или экспертной оценке, потому
что этот инструмент уступает юзабилити-тестированию только с точки зрения использования и часто сопровождает его.
В главе 3 «Тестируем и тут и там» рассматриваются варианты тестирования, включая неформальное (без лаборатории), формальное
(в лаборатории), полевое тестирование и удаленное – модерируемое
и немодерируемое – с информацией о том, как использовать некоторые наиболее популярные онлайн-инструменты для удаленного
тестирования.
Как пользоваться этой книгой
Глава 4 «Пользователи и их цели» запускает процесс предварительного планирования, сосредоточив свое внимание на пользователях,
которые являются стержнем всех решений, если говорить о тестировании. Эта глава начинается с обзора основ, касающихся пользователей в целом, после чего в ней рассматривается то, что мы знаем
о веб-пользователях в частности, ориентируясь на гендерные различия и разницу в поколениях.
Затем будет показано, как получить общие сведения о группах
и подгруппах пользователей и добавить конкретные данные о своих пользователях для создания персонажей и сценариев, на которых
и будет строиться разработка вашего плана юзабилити-тестирования.
Самое главное находится в главах с 5 по 7: планирование, подготовка и проведение юзабилити-теста. В некоторых случаях у вас может быть время, чтобы все спланировать, затем подготовиться, а после этого провести тест в три отдельных этапа. В других ситуациях,
возможно, придется объединить этапы планирования и подготовки
в один, а тестирование последует сразу после подготовки. Тем не менее вне зависимости от сроков – будь то несколько недель или дней –
вам понадобится спланировать тест, затем подготовиться к нему,
а после этого провести его. Вот почему каждому из этих этапов посвящена отдельная глава.
Что делать со всеми этими выводами юзабилити-теста? Глава 8,
«Анализ результатов», поможет понять информацию, которую вы получили от пользователей.
В главе 9 «Подготовка отчета о полученных результатах» рассматриваются формальные и неформальные подходы – в письменной
и устной формах, – чтобы поделиться своими выводами с другими.
Глава 10 посвящена проведению юзабилити-тестирования с участием пользователей из зарубежных стран. Интерес к изучению пользователей из других стран и культур растет вместе с растущим числом
исследований о таких пользователях. В этой главе рассматриваются
уникальные аспекты такого рода юзабилити-тестирования.
Специальные элементы, которые вы можете
использовать или пропустить
В книге вы найдете ряд специальных элементов, которые можно использовать или пропустить в зависимости от потребностей. К ним
относятся:
• ссылки – данная книга предназначена для того, чтобы вы могли
•
получить доступ к необходимой информации. Ссылки указаны
в примечаниях на полях, а их полный список приводится в конце книги;
примечания на полях – я также использую поля, чтобы предложить вам соответствующие источники или указать на другую
главу для получения дополнительной информации. Если вы чтото пропустили в книге, то они могут особенно пригодиться;
23
24 Введение: руководство по началу работы
• вкладки – это примеры или важная полезная информация, выделенная пурпурным цветом;
• контрольные списки – это краткие справочные списки с инструкциями и задачами для процессов, описанных в главах.
Несколько слов о словах
Смысл слов может быть не очень ясным, особенно если вы используете термины, относящиеся к новой дисциплине. Итак, чтобы понять,
как я использую некоторые ключевые слова в этой книге, ниже приводится объяснение этих понятий:
• юзабилити-тестирование – процесс получения информации
•
•
•
•
1
о пользователях от пользователей путем наблюдения за тем, как
они используют вашу продукцию для достижения конкретных
целей, представляющих для них интерес;
юзабилити-тест – сеанс тестирования;
юзабилити-исследование – общее количество сеансов тестирования;
пользователь – человек, являющийся «покупателем» продукта;
т. е. человек, для которого данный продукт был разработан. Его
также называют «целевой» или «конечный» пользователь. При
проведении юзабилити-тестирования мы набираем целевых
пользователей, которые становятся участниками исследования.
Для некоторых слово «пользователь» является спорным, поскольку здесь существует некий деликатный момент, связанный
с тем, что оно может ассоциироваться с запрещенными веществами1. Другие предпочитают называть пользователей людьми,
как в понятии «человеко-ориентированное проектирование».
Под пользователями я подразумеваю людей, от которых нам
нужно получить сведения, чтобы мы могли использовать наши
знания об их опыте использования продуктов, которые мы для
них разрабатываем.
Предостережение: не называйте своих пользователей «испытуемыми». Данный термин – пережиток времен экспериментального проектирования. Сегодня мы не работаем с испытуемыми;
мы работаем с людьми, которые тестируют наши продукты для
нас, чтобы мы могли оценить их практический опыт. Некоторые
специалисты по юзабилити называют их «тестировщиками», потому что они тестируют продукт;
участник – это слово относится к тестировщикам, или пользователям. Называя их участниками, мы фокусируемся на их роли
в исследовании в качестве целевых пользователей;
User (англ.) – пользователь. Вероятно, здесь имеется в виду ассоциация со
словом «abuser», часто применяющимся в словосочетании «drug abuser»,
что переводится как «наркоман». – Прим. ред.
Отзывы и пожелания
• продукт – общий термин для обозначения любого элемента или
компонента дизайна, который прямо или косвенно влияет на
опыт взаимодействия пользователя. Продукт может быть аппаратным или программным обеспечением, веб-приложением
или приложением для цифрового устройства, а также сайтом.
Это может быть электронный учебный курс, интрасеть компании, компьютерная игра или интерактивная система голосового ответа. Это может быть распечатанный документ, например
мануал, руководство по началу работы, краткий справочник или
инструкция по сборке или упаковка, с которой начинается опыт
«Из коробки». В юзабилити-тестировании продукт – это «вещь»
или процесс, который тестируется;
• интерфейс – часть продукта, с которой пользователь взаимодей-
ствует для выполнения задач. Это то место, где взаимодействуют пользователь, устройство и приложение. Иногда слово «интерфейс» используется вместо слова «продукт», особенно когда
тестирование проводится на компьютере или портативном
устройстве, таком как смартфон или планшет.
Посетите наш сайт
На сайте https://www.elsevier.com/books-and-journals/book-companion/
9780128169421 можно найти много интересного. В частности:
• загружаемые формы и контрольные списки, которые вы видите
в книге;
• полные письменные и видеоотчеты по различным исследованиям.
Если вы инструктор, то можете получить доступ к материалам,
предназначенным только для инструкторов на странице https://www.
textbooks.elsevier.com. Среди них:
•
•
•
•
•
образцы учебной программы и типовых заданий;
руководство инструктора;
вопросы и темы для обсуждения;
упражнения для занятий в классе или дома;
различные виды деятельности по разработке проекта юзабилити-тестирования.
Отзывы и пожелания
Мы всегда рады отзывам наших читателей. Расскажите нам, что вы
думаете об этой книге, – что понравилось или, может быть, не понравилось. Отзывы важны для нас, чтобы выпускать книги, которые
25
26 Введение: руководство по началу работы
будут для вас максимально полезны.
Вы можете написать отзыв на нашем сайте www.dmkpress.com,
зайдя на страницу книги и оставив комментарий в разделе «Отзывы и рецензии». Также можно послать письмо главному редактору
по адресу dmkpress@gmail.com; при этом укажите название книги
в теме письма.
Если вы являетесь экспертом в какой-либо области и заинтересованы в написании новой книги, заполните форму на нашем сайте по
адресу http://dmkpress.com/authors/publish_book/ или напишите в издательство по адресу dmkpress@gmail.com.
Список опечаток
Хотя мы приняли все возможные меры для того, чтобы обеспечить
высокое качество наших текстов, ошибки все равно случаются. Если
вы найдете ошибку в одной из наших книг, мы будем очень благодарны, если вы сообщите о ней главному редактору по адресу dmkpress@
gmail.com. Сделав это, вы избавите других читателей от недопонимания и поможете нам улучшить последующие издания этой книги.
Нарушение авторских прав
Пиратство в интернете по-прежнему остается насущной проблемой.
Издательства «ДМК Пресс» и Elsevier очень серьезно относятся к вопросам защиты авторских прав и лицензирования. Если вы столкнетесь в интернете с незаконной публикацией какой-либо из наших
книг, пожалуйста, пришлите нам ссылку на интернет-ресурс, чтобы
мы могли применить санкции.
Ссылку на подозрительные материалы можно прислать по адресу
электронной почты dmkpress@gmail.com.
Мы высоко ценим любую помощь по защите наших авторов, благодаря которой мы можем предоставлять вам качественные материалы.
Закладываем
основы
https://t.me/it_boooks
1
Общение равносильно запоминанию того, что значит не знать.
— Ричард Сол Вурмен
С того момента, когда вы уже знаете достаточно, чтобы говорить
о продукте – любом продукте, будь то аппаратное или программное
обеспечение, видеоигра, мобильное приложение, учебное руководство или сайт, – вы знаете достаточно, чтобы сказать, будет ли данный
продукт пригодным для человека, который не знает того, что знаете
вы. Как сказал Якоб Нильсен, убежденный сторонник юзабилити при
проектировании продукта, «ваше лучшее предположение недостаточно хорошее». Вот почему юзабилити-тестирование так важно.
С его помощью мы видим, что на самом деле делают люди – что им
подходит, а что нет, – а не то, что, по нашему мнению, они сделали бы
или даже что, по их мнению, сделали бы они, если бы использовали
ваш продукт. Когда юзабилити-тестирование является частью проектирования и разработки, знания, которые мы получаем в ходе работы
с пользователями, поддерживают все аспекты проектирования и разработки.
В этой главе представлены основы юзабилити-тестирования, в том
числе необходимость:
•
•
•
•
сосредоточиться на пользователе, а не на продукте;
начать с важных определений:
дать определение юзабилити;
дать определение юзабилити-тестированию и определить различия между двумя основными его типами:
формативным тестированием,
суммативным тестированием;
28
Глава 1 • Закладываем основы
• дать определение UX (опыт взаимодействия пользователя с продуктом);
• дать определение UCD (ориентированное на пользователя проектирование);
• знать, как и зачем проводить небольшие исследования, включающие в себя:
установление профиля пользователя,
создание сценариев на основе задач,
использование процесса размышления вслух,
внесение изменений и повторное тестирование;
• знать, как и зачем проводить большие исследования, включающие в себя:
использование одних и тех же или разных задач и сценариев,
сбор метрик для количественной оценки результатов,
выбор метода или комбинации методов, включая:
– модерируемые исследования,
– немодерируемые исследования;
•
• заручиться поддержкой для проведения юзабилити-тестиробалансировать цели и бюджет;
вания:
знакомясь с заинтересованными лицами,
вовлекая их в свое исследование от начала до конца,
выступая за более частое (и более раннее) проведение юзабилити-тестирования на протяжении всего процесса разработки
продукта,
становясь частью процесса поддержки гибких процессов разработки, включив себя в состав команды, работающей с дизайн-спринтами.
Фокусируйтесь на пользователе,
а не на продукте
Фокусируясь на пользователе, а не на продукте, вы узнаете, что подходит вашим пользователям, а что – нет, что им нравится, над чем
они ломают голову и что их расстраивает. Вы понимаете, как они взаимодействуют с продуктом, и можете определить, соответствует ли
дизайн их ожиданиям и целям.
Юзабилити-тестирование дает вам доступ к пользователям, использующим ваш продукт для выполнения задач, которые они хотели бы выполнять, в соответствии с целями, являющимися для них
реалистичными. Во время тестирования у вас есть возможность полу-
Начнем с важных определений
чить их комментарии, понаблюдать за языком тела (во многих случаях), выяснить, каковы их пожелания и какие надежды они возлагают
на продукт, и узнать, насколько хорошо он помогает им в достижении
их целей. Мантра юзабилити-тестирования: «Мы тестируем продукт,
а не вас». Многие начинают сеанс тестирования с этого утверждения.
Даже если вы не скажете этого участнику, важно помнить, что это основная цель тестирования.
Начнем с важных определений
Чтобы не путаться в терминологии, нужен набор определений основных терминов, которые мы будем использовать. В частности:
•
•
•
•
юзабилити;
юзабилити-тестирование;
опыт взаимодействия пользователя с продуктом (UX);
проектирование, ориентированное на пользователя (UCD).
Также необходимо различать два основных типа юзабилити-тестирования:
• формативное;
• суммативное .
Что такое юзабилити?
Наиболее известное определение юзабилити дает ИСО, Международная организация по стандартизации (9241–11: 2018): «Степень, в которой система, продукт или услуга могут использоваться указанными
пользователями для достижения определенных целей с производительностью, эффективностью и удовлетворенностью в указанном
контексте использования».
Хотя это довольно формальное определение, как и следовало ожидать от стандарта, мне оно нравится, потому что включает в себя три
важнейших элемента:
• конкретных пользователей – не просто любого пользователя,
•
•
а конкретных пользователей, для которых разработан данный
продукт;
конкретные цели – конкретные пользователи должны разделять
цели продукта, а это означает, что цели продукта представляют
их цели;
определенный контекст использования – продукт должен быть
спроектирован для работы в окружении, в котором эти пользователи будут его использовать.
Оно мне нравится еще и потому, что фокусируется на критически
важных показателях юзабилити, показанных на рис. 1.1.
29
30
Глава 1 • Закладываем основы
Эффективность
Удовлетворенность
Производительность
Рис. 1.1 Эти три важнейших показателя юзабилити
определяются опытом взаимодействия пользователя
Производительность и эффективность означают, что продукт поддерживает потребность пользователя в точном и быстром достижении цели. Часто это также означает, что продукт поддерживает пользователя лучше, нежели текущий способ работы пользователя. Эта
часть юзабилити, касающаяся повышения ценности. Если продукт не
повышает ценность способа, которым пользователь в настоящее время выполняет задачи или с помощью которого ему нужно научиться
выполнять их, то пользователь не будет брать данный продукт.
Однако, помимо производительности и эффективности, важнейшим критерием является удовлетворенность. Хотя показатели производительности и эффективности в некоторой степени определяются
тем, как эти качества воспринимает пользователь, нельзя отрицать,
что удовлетворенность полностью основывается на восприятии. Доволен ли пользователь тем, как информация отображается на странице или экране? Нравится ли пользователю дизайн? Является ли
общее впечатление положительным? Если ответ на эти вопросы «да»,
то мотивация к использованию продукта часто будет преобладать
над признанными проблемами, влияющими на производительность
и эффективность. А «фактор желательности» часто оказывается неуловимым крупным призом, который разработчики, в особенности
члены команды по маркетингу, пытаются заполучить при работе
с новыми продуктами.
Удовлетворенность была явно важна при разработке стандарта
ИСО, но сегодня она стала еще более важной – некоторые сказали бы,
что это самый важный показатель юзабилити. Это объяснятся тем,
что пользователи ожидают, что продукты будут удобными в использовании. Отвечая ожиданиям пользователей с целью удовлетворить
их, можно определить, будут ли они сопротивляться, отталкивать
продукт или даже протестовать против его применения. Смотрите
приведенную ниже врезку, где приводится обновленное толкование
определения юзабилити во втором издании стандарта.
Начнем с важных определений
31
ISO 9241–11: 2018 расширенное определение юзабилити
Во втором издании определения юзабилити, опубликованном в 2018 г., приведенное ниже примечание расширяет значение этого определения.
«Юзабилити связано:
• с регулярным постоянным использованием, чтобы пользователи могли эффективно, результативно и с удовлетворением достигать своих целей;
• обучением, позволяющим новым пользователям эффективно, результативно
и с удовлетворением использовать систему, продукт или услугу;
• нечастым использованием, чтобы пользователи могли эффективно, результативно и с удовлетворением повторно пользоваться системой;
• использованием людьми с широчайшим спектром возможностей;
• минимизацией риска и нежелательных последствий ошибок использования;
• сопровождением, в том смысле что юзабилити позволяет эффективно, результативно и с удовлетворением выполнять задачи по сопровождению».
Уитни Кузенбери, известный консультант по юзабилити и моя коллега, сводит определение юзабилити
к следующим легко запоминающимся измерениям,
которые она называет 5E.
Измерение
Статью Куизенбери о 5E
можно найти на странице
https://www.wqusability.com/
articles/getting-started.html.
Определение
Effective – эффективность
Насколько полно и точно выполнена работа или
достигнуты цели
Efficiency – производительность Насколько быстро можно завершить эту работу
Engaging – вовлеченность
Насколько хорошо интерфейс вовлекает пользователя
во взаимодействие и насколько приятно им
пользоваться
Насколько хорошо продукт предотвращает ошибки
Error tolerance – устойчивость
и может помочь пользователю исправить ошибки,
к ошибкам
которые все же происходят
Ease of learning – легкость
Насколько хорошо продукт поддерживает
восприятия
первоначальную ориентацию и непрерывное обучение
на протяжении всего срока использования
Питер Морвилл, известный информационный архитектор и один из авторов книги «Белый медведь»,
объединил многие из этих концепций юзабилити
в визуальной форме, которую он назвал сотами опыта взаимодействия пользователя (рис. 1.2). Первоначально они были предназначены для объяснения тех
качеств опыта взаимодействия пользователя, которые
должны учитывать веб-дизайнеры, но с такой же легкостью они могут продемонстрировать опыт, который
должны учитывать все проектировщики продукта.
«Information Architecture
for the World Wide Web:
Designing Large-Scale Web
Sites», 2006. Теперь эта книга
называется «Information
Architecture: For the Web and
Beyond, Rosenfeld, Morville,
and Arango», 2015.
32
Глава 1 • Закладываем основы
Рис. 1.2 Аспекты опыта взаимодействия пользователя
представлены в виде сот
Соты включают в себя как поведенческие показатели, так и нематериальные определения, такие как
«ценный», «желательный» и «заслуживающий доверия», которые пользователи определяют в процессе
использования продукта.
Вы можете использовать соты как основу для обсуждения того, какие аспекты наиболее важны, чтобы их можно было включить в ваши
продукты, дабы опыт взаимодействия пользователя был положительным, а также с целью определить, о каких аспектах вы хотите узнать
при проведении юзабилити-тестирования.
Объяснение сот приводится
в колонке Питера Морвилла
на странице
https://semanticstudios.com/
user_experience_design.
Что такое юзабилити-тестирование?
Говоря о юзабилити-тестировании, я имею в виду действия, направленные на наблюдение за пользователями, которые работают с продуктом и выполняют реальные и значимые для них задачи.
Хотя в подходах к выполнению юзабилити-тестирования многое
изменилось, основное определение остается неизВо время удаленного
немодерируемого юзабилити- менным. Изменения в технологиях, включая доступ
тестирования вы не видите,
к пользователям в любом месте в любое время, нарякак пользователи работают
ду с изменениями в объеме тестирования (от очень
с продуктом в реальном
крупных исследований к очень маленьким), означавремени, но записи сеансов
ют, что определение юзабилити-тестирования должпозволяют увидеть все или
но расширяться, чтобы охватить методы и практики,
типичные сеансы вскоре
которые поддерживают тестирование во многих разпосле этого.
личных окружениях и в самых разных условиях. Как
вы увидите в ходе чтения этой книги, простое определение, которое
я использую, может сделать это понятие растяжимым.
Используя данное определение юзабилити-тестирования, теперь
можно разделить тестирование на два типа в зависимости от точки,
в которой оно проводится, и цели исследования:
Начнем с важных определений
• формативное тестирование – пока продукт находится на стадии
•
разработки, с целью диагностики и устранения проблем; обычно
оно основано на небольших исследованиях, которые повторяются во время разработки;
суммативное тестирование – когда продукт почти готов или закончен, с целью установления базовых показателей, подтверждающих, что продукт отвечает требованиям; обычно требует
больших чисел для статистической достоверности.
Теперь, когда у нас есть эти важные определения для обсуждения
юзабилити-тестирования, можно приступить к их применению.
Те из вас, кто сначала хочет пойти в обход, могут взглянуть на
краткую историю практики юзабилити-тестирования, приведенную
на следующей врезке. Я поместила ее в первую главу, потому что
по-прежнему встречаются люди, которые задаются вопросом: как получить хорошие результаты в ходе небольших исследований. Я считаю, что мне часто нужно объяснять, как и почему работает юзабилити-тестирование, когда вы видите всего несколько пользователей.
Если нужно обоснование этого аргумента, вы получите его из этой
вкладки.
Юзабилити-тестирование – тогда и сейчас.
Краткий экскурс в историю
«Тем, кто не знает истории, суждено ее повторить».
Эдмунд Бёрк, британский философ и государственный деятель, сказал это
в XVIII в., и вы, вероятно, слышали что-то подобное на уроках истории или где-то
еще. Итак, в чем же важность этого высказывания? Небольшой экскурс в историю поможет понять, откуда взялась эта практика и как ее применяют сегодня.
Некоторые до сих пор считают, что единственный способ при проведении юзабилити-тестирования – традиционный. Если вам нужен краткий обзор того, как оно
проводилось вначале и как проводится сегодня, читайте дальше.
Традиционное юзабилити-тестирование опирается
на методы экспериментального проектирования
Юзабилити-тестирование, как оно обычно проводилось с момента своего зарождения и вплоть до 1990-х гг., было формальным процессом, в котором использовались методы экспериментального проектирования. По сути, это было
дорого, требовало много времени и усилий. Лаборатории, где проводились такие
тесты, управлялись экспертами по юзабилити, которые обычно были когнитивистами, экспериментальными психологами или специалистами по инженерии человеческих факторов. Поскольку тесты рассматривались как исследовательские
эксперименты, для них обычно требовалось от 30 до 50 «испытуемых».
Кто мог себе такое позволить? Мало кто. Поэтому юзабилити-тестирование проводилось не так часто.
Однако в начале 1990-х гг. некоторые исследования показали, что эффективное
тестирование можно проводить и с меньшими цифрами. Среди авторов этих ис-
33
34
Глава 1 • Закладываем основы
следований были Якоб Нильсен и его коллега Том Ландауэр; оба, кстати, исследователи человеческих факторов. Они хорошо разбирались в методах экспериментального проектирования для юзабилити-исследований. Однако они искали более быстрый способ получить результаты и нашли его.
Объяснение метода,
используемого для построения кривой, можно
найти в публикации
Нильсена «Why You
Only Need to Test with
5 Users», 2000.
«Дисконтное» юзабилити-тестирование
изменило наше представление о тестировании
Нильсен и Ландауэр (в то время они работали исследователями
в Bellcore) определили, что максимальное соотношение затрат и выгод, полученное путем взвешивания затрат на тестирование и полученных выгод, достигается при проведении тестирования с тремя-пятью участниками, как показано на приведенной ниже классической
«кривой».
Вот что Нильсен говорит о ней:
Самое поразительное в этой кривой заключается в том, что количество пользователей, равное нулю, не дает никаких выводов. Как
Текст, выделенный
только вы собираете данные от одного пользователя, количество
полужирным шрифтом, выводов резко возрастает, и вы уже знаете почти треть всего, что
взят из оригинала.
нужно знать о юзабилити дизайна. Разница между нулем и даже небольшим количеством данных поразительна.
По словам Нильсена, после пятого пользователя нужно остановиться, потому что
вы видите, что одни и те же вещи повторяются, и вы достигнете оптимальной отдачи в 85 % от результатов, которые должны быть обнаружены.
Хорошие идеи обычно «всплывают» одновременно. Другие исследователи также
публиковали аналогичные результаты небольших тестов.
Роберт Вирци, в то время научный сотрудник GTE Laboratories, сообщил о своих выводах в ходе небольших исследований в статьях «Оптимизация процесса
проектирования: запуск меньшего количества объектов» и «Улучшение тестовой
фазы оценки юзабилити: сколько объектов достаточно?». Джеймс Льюис, исследователь из IBM, опубликовал свои выводы в статье «Размеры выборки для юзабилити-исследований: дополнительные соображения». Вирци и Льюис обнаружили, что небольшие исследования раскрывают 80 % результатов конкретного теста.
Согласно утверждениям Нильсена и Ландауэра, эта цифра составила 85 %.
Начнем с важных определений
35
Эти исследователи предоставили нам доказательства того, что не- Подробнее о проведебольшие исследования могут быть очень эффективными. Объеди- нии такого типа анализа
нив их результаты, можно с уверенностью сказать, что такие ис- в небольших исследоваследования могут дать 80–85 % результатов конкретного теста. Это ниях читайте в главе 8.
значение не следует путать с 80–85 % результатов юзабилити всего
продукта. Для этого потребуется очень много исследований. Однако
результаты конкретного исследования часто можно применить к другим частям
продукта, которые не тестировались.
По сравнению с крупными небольшие исследования дают следующие преимущества. Их можно:
• включить в разработку продукта за небольшую плату;
• включить в разработку продукта без ущерба для сроков разработки;
• проводить на раннем этапе и делать это часто.
По этим причинам Нильсен назвал этот подход «дисконтным» юзабилити-тестированием. В настоящее время нам не нужно давать ему такое официальное название. Мы называем его просто юзабилити-тестированием.
Конечно, по-прежнему есть веские причины для проведения более масштабных
и формальных исследований, наиболее частая из которых заключается в том, что
на карту поставлены безопасность и здоровье, например когда речь идет о юзабилити-тестировании медицинских устройств.
Что такое опыт взаимодействия пользователя
с продуктом?
Пока я дала определение юзабилити и юзабилити-тестирования. Теперь нужно добавить определение опыта взаимодей- В главе 2 описывается
наиболее распространенный
ствия пользователя.
Опыт взаимодействия пользователя (User experi- набор инструментов
ence – UX) – это общий термин, охватывающий все из набора UX-специалиста.
аспекты продукта и взаимодействия с ним пользователя. Он включает в себя юзабилити-тестирование, а также многие другие исследовательские инструменты. Опыт взаимодействия пользователя обогнал
юзабилити как термин, наиболее часто используемый для описания
задачи юзабилити-тестирования, цели пригодного для использования продукта, исследования, которое люди проводят, когда обнаруживают или подтверждают взаимодействие пользователя с продуктом, и должности, которую они занимают.
Что такое дизайн, ориентированный
на пользователя?
Последний термин, нуждающийся в определении, – это дизайн, ориентированный на пользователя (User-centered design – UCD).
Дизайн, ориентированный на пользователя, – это процесс получения информации об опыте взаимодействия пользователя с помощью
36
Глава 1 • Закладываем основы
юзабилити-тестирования и других видов пользовательских исследований при разработке продукта посредством итеративного процесса проектирования. В «Википедии» ориентированный на пользователя дизайн описывается как «многоступенчатый процесс решения
проблем, который требует от проектировщиков не только анализа
и представления о том, как пользователи могут потреблять продукт,
но и подтверждения своих предположений относительно поведения пользователя в реальных тестах». В основе этого процесса подтверждения лежит юзабилити-тестирование.
Разобравшись с этими важными определениями для обсуждения
юзабилити-тестирования, опыта взаимодействия пользователя и того, как юзабилити-тестирование вписывается в ориентированный на
пользователя процесс проектирования, можно приступить к рассмотрению основных различий между формативным и суммативным тестированием.
Как и зачем проводить небольшие
юзабилити-исследования
Сейчас небольшие исследования по юзабилити-тестированию являются общепризнанным эффективным средством для оценки целей,
мотивации и взаимодействия пользователей с продуктом. Небольшие исследования обычно носят неформальный характер и часто повторяются на этапах разработки продукта. Их называют формативным юзабилити-тестированием. Их ценность заключается в том, что
они предоставляют команде разработчиков список результатов для
анализа и исправлений, после чего проводится еще одно небольшое
исследование, чтобы увидеть, сработали ли эти исправления.
Формативные исследования также показывают, что нравится пользователям. Эти положительные впечатления важно зафиксировать
в отчете или примечаниях к исследованию, чтобы они не пропали
в процессе разработки продукта.
Такие исследования также являются отличным инструментом для
прекращения споров. С помощью небольшого исследования разработчики могут выяснить, что лучше всего подходит пользователям,
а не то, что, по мнению активного члена команды или менеджера,
подойдет им лучше всего.
Будучи небольшими, данные исследования не предоставляют метрик или статистики, но список результатов, полученных в результате их проведения, дает разработчикам отличные результаты, которые
можно сразу же воплотить в жизнь.
Чтобы получить хорошие результаты в ходе небольших исследований, необходимо включить сюда следующие важные элементы:
• установить профиль пользователя;
• создать сценарии на основе задач;
Как и зачем проводить небольшие юзабилити-исследования
37
• использовать процесс «мысли вслух»;
• внести изменения и провести повторное тестирование.
Установка профиля пользователя
Большинство продуктов предназначено для удовлетворения потребностей самых разных пользователей с разным уровнем навыков,
знанием предметной области и множеством других факторов. Даже
внутри четко определенной группы пользователей могут быть значительные различия. Разве вы не хотите знать обо всех этих пользователях и различиях? Конечно, хотите. Но реальность такова, что
в большинстве случаев бюджет, выделяемый на тестирование, невелик, и любое юзабилити-тестирование, которое вы можете провести,
должно быть выполнено быстро, чтобы вашу оценку практического
опыта пользователя можно было добавить к продолжающейся разработке продукта.
Когда вы планируете небольшое исследование с пятью или шестью
участниками, необходимо выбрать одну подгруппу из пользовательского контингента, создать профиль этого пользователя и сделать его
основой для отбора участников для своего исследования. Вероятно,
это самая важная часть планирования для получения хороших результатов.
Если вы планируете более крупное исследование, то можно увеличить количество профилей и уменьшить количество участников
из каждой подгруппы, поскольку, вероятно, в результатах из разных
подгрупп будут совпадения. Например, если у вас есть бюджет на исследование с 10 участниками, то можно создать три Подробнее об определении
профиля для трех групп по три человека с еще одним подгрупп пользователей чичеловеком в одной из этих групп. Чем больше сумма тайте в главе 5.
бюджета, тем больше профилей.
Создание сценариев на основе задач
Чтобы небольшие исследования принесли полезные результаты,
нужно дать участникам определенные задачи. Эти задачи встроены
в сценарии, которые представляют собой реалистичные описания
целей пользователей. Когда пользователям дается описание цели, вы
можете наблюдать за тем, какие методы они используют для ее достижения. Без общего набора сценариев пользователи Подробнее о создании сценабудут по-своему работать в интерфейсе, что затруд- риев на основе задач читайте
няет выявление шаблонов использования и приводит в главе 5.
к повторным проблемам.
Думать вслух
Процесс размышления вслух (формально он называется протокол
«мысли вслух») – это процесс, в котором вы побуждаете участника делиться с вами своими мыслями во время работы с продуктом.
38
Глава 1 • Закладываем основы
В главе 7 более подробно
рассказывается о том, как
обеспечить пользователям
надлежащий уровень
комфорта, когда вы просите
их думать вслух.
Зачем нужно думать вслух? Хотя для большинства
людей думать вслух – это не «нормально», когда пользователи делятся своими мыслями, реакциями, удовольствием, болью и т. д., это помогает гораздо больше
узнать об их опыте взаимодействия с продуктом. Вы
не только видите действия пользователей, но и получаете пользу от того, что слышите, почему пользователи предпринимают те или иные действия и как они думают о процессе – хорошо или плохо. Когда пользователи думают вслух, не придется
угадывать, о чем они думают. Они сами говорят вам это.
Внесение изменений и проведение повторного
тестирования
Если у вас есть бюджет и время только на одно небольшое исследование, то обязательно проведите его. Однако небольшие исследования
обычно показывают, в чем заключаются проблемы, но не обязательно демонстрируют способы их решения. В ходе последующего исследования можно протестировать решения, чтобы увидеть, сработают
ли они. С помощью еще одного небольшого исследования можно
проверить интеграцию аспектов продукта в процессе его разработки. Поскольку стоимость небольших исследований невелика и они
занимают мало времени, можно быстро добавлять последующие исследования, не влияя на общий бюджет разработки или сроки выполнения.
Этот процесс повторяющихся исследований называется итеративным тестированием (как показано на рис. 1.3). Существенное преимущество такого типа тестирования состоит в том, что вы можете получать сведения от пользователей, вносить изменения, основываясь на
том, что вы узнали, а затем проводить повторное тестирование.
Рис. 1.3 Итеративный процесс показывает тестирование
на протяжении всей разработки
Как правило, при итеративном тестировании вы увидите, что продукт становится лучше. Поскольку появляется меньше серьезных
Как и зачем проводить крупные исследования
39
проблем, которые мешали пользователям идти дальше в более ранних исследованиях, теперь возникают оставшиеся проблемы, потому
что они были освобождены от «препятствий» на раннем этапе. Еще
одно преимущество итеративных исследований заключается в том,
что вы можете подтвердить: опыт взаимодействия пользователей
с продуктом улучшился, что видно по ответам в анкетах, которые вы
используете в своих исследованиях.
Как и зачем проводить крупные
исследования
Большинство крупных исследований носит итоговый характер, а тестирование проводится, когда продукт уже полностью разработан.
Такие исследования требуют большого количества пользователей,
потому что результаты обычно используются для получения метрик,
таких как среднее время выполнения задачи, частота выполнения
и ошибок, оптимальный путь навигации и другие показатели.
Однако не все крупные исследования посвящены готовой продукции. В некоторых случаях необходимы обширные исследования, пока
продукт находится в разработке. Вот несколько причин для проведения крупных исследований продуктов, находящихся на стадии разработки:
• когда вы тестируете большие сложные системы, в том числе
•
•
большие сайты, и хотите оценить опыт взаимодействия пользователя из множества разных подгрупп;
когда вы тестируете системы или функции, требующие убедительного подтверждения высокого уровня юзабилити, например
те, которые связаны с риском для жизни или травмой при неправильном использовании;
когда не удается убедить руководство небольшими исследованиями.
Хотя все согласны с тем, что во многих ситуациях
небольшие исследования могут дать хорошие результаты, некоторые задаются вопросом, подходит ли
данный метод для больших и сложных сайтов. Поскольку первоначальное изучение обоснованности
небольших исследований основано на тестировании
программного обеспечения, возник вопрос, подходит
ли оно для сайтов. Некоторые ставят под сомнение
обоснованность «магического числа 5» для исследования крупных сайтов с большой и разнообразной базой
пользователей.
Если ваша команда или руководство чувствуют, что
вам необходимо понимать широкий круг пользовате-
Powered by TCPDF (www.tcpdf.org)
О сравнительном юзабилитиисследовании читайте на
странице https://www.dialogdesign.dk/CUE.html, а также
статью Спула и Шредера
«Testing Web Sites: Five Users
Is Nowhere Near Enough»,
2001. Еще одну точку зрения
можно найти в моем
контраргументе в статье
«The ‘Magic Number 5’: Is it
Enough for Web Testing?»,
2002–03.
40
Глава 1 • Закладываем основы
лей с множеством различных целей, и вам предоставлен бюджет и время для тестирования с бóльшим числом участников, формативное исследование с большим количеством участников решит эту проблему.
Когда ставки высоки, как в случае с системами, в которых риск
для жизни или травма являются потенциальным результатом плохого юзабилити, необходимы более масштабные исследования, чтобы
выявить больше проблем, даже те, которые могут возникать лишь от
случая к случаю.
Наконец, если вам не удастся убедитьруководство, что небольшое
исследование дает надежные результаты, то вы, вероятно, сможете
получить поддержку для проведения более крупного исследования.
Я поняла, что, если мне удастся убедить руководство понаблюдать за
этими тестами, они захотят, чтобы я остановилась еще до конца исследования, потому что они уже достаточно насмотрелись на одни и
те же проблемы после четырех или пяти пользователей, чтобы знать,
что им нужно, и исправить их. Но если вы не можете заставить руководство принять участие в наблюдении, то более крупное исследование предоставит более убедительные доказательства, необходимые
для принятия результатов.
Используйте одни и те же или разные задачи
Крупные исследования предоставляют количественные данные, которые могут быть представлены не так,
как в небольших исследованиях, где основное внимание уделяется качественным результатам.
Если крупное тестирование следует после одного или нескольких
небольших, в нем можно использовать тот же набор задач и сценариев из более ранних исследований, или же можно сосредоточиться
на конкретных функциях или процессах, которые теперь полностью
разработаны и интегрированы в продукт. Если вы используете одни
и те же задачи, то можно измерить, как улучшился опыт взаимодействия пользователей, сравнивая результаты по одной и той же задаче
с результатами предыдущих исследований.
В главе 8 рассказывается
о работе с данными крупных
и небольших исследований.
Собирайте метрики для количественной
оценки результатов – с процессом «мысли
вслух» или без него
Смотрите статью Льюиса
«Usability: Lessons Learned
… and Yet to Be Learned»,
2014 г., где представлено
превосходное резюме этого
исследования.
Обоснование для крупных исследований – это метрики. При сборе типичных метрик, таких как время выполнения задачи или процент выполнения, исследователи, изучавшие влияние протокола «мысли вслух»
на точность метрик, разделяются в своих мнениях:
одни указывают на то, что размышления вслух отрицательно влияют на измерения, а другие – что у них
нет побочных эффектов.
Сбалансируйте свои цели и бюджет 41
Во избежание разногласий некоторые UX-специалисты удаляют
этот процесс из протокола тестирования при сборе метрик, особенно при суммативном тестировании. Некоторые регулирующие органы, такие как Управление по санитарному надзору за качеством
пищевых продуктов и медикаментов США (FDA), указывают на то,
что в ходе суммативного тестирования при проверке медицинских
устройств нельзя использовать протокол «мысли вслух». Там, где
есть такая возможность, команда должна решить, что важнее: взаимодействовать с пользователем во время теста или дождаться, пока
пользователь выполнит задание (или тест) перед тем, как задать вопросы.
Выберите метод или комбинацию методов
По причине самой природы крупных исследований, Смотрите главу 3 для
как правило, проводить их в качестве модерируемых получения дополнительной
сеансов юзабилити-тестирования слишком дорого. информации об удаленном
К счастью, существуют веб-сервисы, предоставляю- немодерируемом
щие все необходимое для настройки и проведения юзабилити-тестировании.
удаленного немодерируемого юзабилити-тестирования.
Если вы воспользуетесь одним из таких сервисов, то получите много информации, просмотрев случайные или конкретные записи сеансов, и, конечно же, получите метрики, подтверждающие удобство
использования продукта в сравнении с целями исследования. Но вы
не сможете поговорить с участниками ни во время тестовой сессии,
ни после нее. В такой ситуации может возникнуть желание организовать модерируемое исследование меньшего масштаба и сравнить результаты с результатами немодерируемого исследования. Настройка
небольшого модерируемого исследования перед проведением большого немодерируемого исследования также поможет понять, как построить язык сценариев и вопросы, которые вы захотите использовать для крупного исследования.
Сбалансируйте свои цели и бюджет
На планирование юзабилити-тестирования всегда влияет необходимость соотношения времени и средств с желаемым результатом юзабилити-исследования. Если желаемый результат – добиться прогресса за счет выявления проблем и их устранения, а бюджет на тестирование невелик, тогда будет справедливо прибегнуть к небольшим
исследованиям: лучше протестировать хоть что-то, чем ничего.
Однако если у вас сложный продукт, большая пользовательская
база и есть время и бюджет для тестирования с большими цифрами,
тогда можно провести тестирование с несколькими пользователями
из нескольких подгрупп.
42
Глава 1 • Закладываем основы
Заручитесь поддержкой для
проведения юзабилити-тестирования
Возможно, вы думаете, что к настоящему времени преимущества
юзабилити-тестирования настолько внятны и оценены, что каждый
увидит необходимость проводить его на ранних этапах и как можно
чаще. Но, что удивительно, многие компании еще не пришли к такому уровню понимания. Этот род деятельности все еще находится
на начальной стадии, поэтому ваша задача как специалиста по юзабилити – заручиться поддержкой для проведения юзабилити-тестирования и призывать проводить его почаще, когда к вам присоединятся заинтересованные лица. Но сначала нужно познакомиться
с ними.
Познакомьтесь с заинтересованными лицами
Если вы единственный человек, занимающийся юзабилити в своей
организации, или вас пригласили провести юзабилити-тестирование
в качестве консультанта, важно, чтобы вы обратились к заинтересованным лицам и выяснили, что для них наиболее важно касательно
тестируемого продукта.
Если вы являетесь частью команды, то уже знакомы с некоторыми
заинтересованными лицами, такими как менеджер по продукту, менеджер проекта, визуальный дизайнер или проектировщик взаимодействия или ведущий инженер-программист. Но не останавливайтесь на достигнутом. Делайте ставку на встречу и знакомство с другими людьми, заинтересованными в успехе продукта. Это могут быть
представители или менеджеры служб поддержки клиентов, обучения,
технической коммуникации, контент-стратегии, продаж, маркетинга, обеспечения качества и других областей компании.
Привлекайте заинтересованные лица
к исследованию от начала до конца
После того как вы определились с заинтересованными
лицами, назначьте встречу, чтобы рассмотреть проект
и узнать, что для них важно, что их беспокоит, что они
хотят узнать в ходе пользовательских исследований,
а также что им уже известно. Затем сделайте так, чтобы они оставались с вами в процессе планирования
исследования, его реализации, анализа выводов, и составления отчета о результатах.
Если не можете привлечь всех заинтересованных
лиц, обратитесь к тем, кто хочет и может работать
с вами. Затем, когда исследование будет завершено, поделитесь результатами со всеми, кто заинтересован в продукте.
Для получения дополнительной информации о том, как
и почему привлекать
заинтересованные лица
к своим проектам в области
юзабилити, см. книгу Томера
Шэрона «It’s Our Research:
Getting Stakeholder Buy-in
for User Experience Research
Projects», 2012.
Заручитесь поддержкой для проведения юзабилити-тестирования
43
Выступайте за более частое (и более раннее)
юзабилити-тестирование в процессе
разработки продукта
В каждом своем отчете или презентации призывайте чаще проводить
юзабилити-тестирование и делать это как можно раньше в следующем проекте. Это подходящее время, чтобы:
• продемонстрировать, что юзабилити-тестирование может дать
•
•
•
понимание опыта взаимодействия пользователя с продуктом;
продвигать итеративное тестирование, чтобы убедиться, что изменения в дизайне улучшают опыт взаимодействия пользователя, а также дают новые результаты;
расширить юзабилити-тестирование, включив в него другие
группы пользователей и другие платформы для продукта;
продвигать юзабилити-тестирование других продуктов.
При продвижении итеративного подхода учитывайте точку зрения Джеймса Льюиса, одного из первых сторонников небольших исследований и специалиста в области инженерии человеческого фактора
из компании IBM. Льюис напоминает нам, что юзабилити-тестирование похоже на восхождение на холм.
С каждым небольшим исследованием вы поднимаетесь все выше в гору. А в гору может вести множество
тропинок. Несмотря на то что разные исследования
могут идти по разным маршрутам и раскрывать по
пути разные вещи, Льюис говорит: «Я не могу вспомнить ни одного примера из своего опыта, когда изменение дизайна руководства по юзабилити-тестированию привело бы к ухудшению дизайна».
Примеры того, как это сделать, вы найдете в главе 9.
Смотрите врезку «Юзабилити-тестирование – тогда
и сейчас. Краткий экскурс
в историю», где говорится
о Джеймсе Льюисе.
Восхождение к вершине –
это техника математической
оптимизации, которую можно
использовать для решения
проблем, у которых есть
множество потенциальных
решений.
Обоснуйте необходимость экономичного
юзабилити-тестирования
В рамках планирования юзабилити-тестирования и получения поддержки заинтересованных лиц вы можете определить конкретные
меры, чтобы обосновать необходимость экономичного юзабилити-тестирования. Типичные показатели включают в себя:
•
•
•
•
•
увеличение продаж и конверсии;
сокращение звонков в службу поддержки;
рост веб-трафика;
более широкое использование специальных функций и инструментов;
улучшенную производительность и продуктивность пользователей (особенно важно для внутренних инструментов и интрасетей);
44
Глава 1 • Закладываем основы
• сокращение времени разработки благодаря коллективному
•
•
•
изучению потребностей пользователей в ходе юзабилити-тестирования;
снижение требований к документации за счет улучшенного дизайна продукта;
снижение затрат на обучение благодаря более интуитивно понятному дизайну продукта;
повышение лояльности к бренду.
Вероятно, что у вас не будет времени или ресурсов
для отслеживания всех этих показателей, даже если
все они актуальны, поэтому следует выбрать несколько. Если продукт в настоящее время уже существует,
можно получить данные о текущем трафике звонков
клиентов или веб-аналитику по трафику и отказам
или коэффициенту конверсии. Затем выберите эти
же показатели после юзабилити-тестирования, чтобы определить улучшения, которые будут эффективным показателем
окупаемости инвестиций.
Если продукт новый, то можно начать процесс окупаемости инвестиций с получения исходных показателей при запуске, а затем, если
вы эффективно отстаиваете необходимость итеративного тестирования, можете измерить улучшенную окупаемость после дополнительного юзабилити-тестирования. Также можно использовать эти расчеты, чтобы убедить незаинтересованные лица присоединиться к вам.
Что касается возражений, с которыми вы можете столкнуться и которые необходимо преодолеть, см. следующую врезку.
Для получения дополнительной информации по этой теме
с примерами из различных
компаний см. книгу Рэндольфа
Байаса и Деборы Мэйхью
«Cost-Justifying Usability: An
Update for the Internet Age»,
2005.
Сделать юзабилити приоритетной задачей –
пропагандировать ценность пользовательских исследований
— Кори Лебсон
Вот список возражений, с которыми вы можете столкнуться, и рекомендации по
их преодолению, когда вы будете пропагандировать ценность пользовательских
исследований. Полную версию статьи, первоначально опубликованную в Intercom в октябре 2012 г., можно найти у автора на странице https://lebsontech.com/
STC_Intercom_Value%20of%20UX_CoryLebson.pdf.
• «У меня потрясающая команда дизайнеров. Мне не нужно, чтобы кто-то это
оценивал»
Рекомендация: не думайте, что команда дизайнеров, какой бы замечательной она
ни была, сможет увидеть недостатки в своей работе. В идеале сайт или приложение должны оценивать те, кто не участвовал в их создании.
• «Юзабилити-тестирование обходится слишком дорого»
Рекомендация: есть ряд аргументов в пользу экономичного юзабилити-тестирования. Кроме того, юзабилити-тестирование не должно быть дорогостоящим.
Заручитесь поддержкой для проведения юзабилити-тестирования
• «Но мы действительно не можем позволить себе тестирование»
Рекомендация: рассмотрите возможность проведения юзабилити-теста только
с небольшим количеством пользователей, за которым наблюдает заинтересованное лицо. Подумайте о том, чтобы через день или два провести короткую встречу
для обсуждения тенденций и наблюдений.
• «У нас слишком плотный график для юзабилити-тестирования»
Рекомендация: сообщите заинтересованному лицу, что для проведения юзабилити-теста не нужно останавливать остальную работу над проектом.
• «Юзабилити-тестирование значительно увеличит объем моего проекта. Хуже
того, я не хочу начинать с нуля»
Рекомендация: напомните заинтересованному лицу, что можно начинать список
исправлений для следующего выпуска. Однако все незначительные изменения
и самую простую работу можно было бы сделать незамедлительно.
• «Мы уже проводим тестирование программного обеспечения – у нас все под
контролем!»
Рекомендация: выскажите предположение, что потребности реальных пользователей сайта еще не были задокументированы, хотя спецификации были переданы вам заинтересованными лицами.
• «Я выполнил тестирование веб-проектов для настольных компьютеров, но нужно ли мне проводить тестирование и для мобильного контента и приложений?»
Рекомендация: с энтузиазмом подтвердите необходимость проведения юзабилити-тестирования для каждого типа проекта. Во многом юзабилити определяется
контекстом и аудиторией. Работа за компьютером, вероятно, сильно отличается
от использования мобильных устройств. Люди, очевидно, будут находиться в разных ситуациях, когда станут использовать мобильную версию. Кроме того, все
мы – разные, и только некоторые из любителей компьютеров могут использовать
мобильные устройства.
• «Я хочу провести юзабилити-тестирование, но заинтересованное лицо дает
мне лишь одну попытку»
Рекомендация: если у вас только одна попытка на проведение тестирования, то
лучше всего сделать это в самый последний момент, когда можете внести изменения в сайт или приложение, которые не будут очень проблематичными. Тем
не менее, если у вас есть допуск для тестирования с достаточным количеством
типичных пользователей (возможно, от 10 до 12), рассмотрите возможность распределения этих пользователей, например, так: одна половина для стадии прототипа и вторая половина спустя какое-то время после разработки. Возможно, даже
можно разделить пользователей на три группы.
Идите в ногу со временем
Время ни для кого не стоит на месте, в том числе и для исследователей
юзабилити. Две текущие стратегии проектирования и разработки вызывают потребность в еще более быстрых результатах тестирования. Это:
45
46
Глава 1 • Закладываем основы
Гибкая методология разработки ассоциируется с техниками Lean UX и Lean Startup.
Ресурсы по этим темам см.
в книгах Джеффа Готельфа
и Джоша Зайдена «Lean UX:
Designing Great Products with
Agile Teams», 2016, и Дэна
Олсена «The Lean Product
Playbook: How to Innovate
with Minimum Viable Products
and Rapid Customer у Feedback», 2015.
• гибкая методология разработки или Lean UX;
• стратегия дизайн-мышления.
Поскольку это быстрые методологии и стратегии
разработки, вам нужно быть еще быстрее, чтобы не
отставать.
Гибкая методология разработки –
быстрая и целенаправленная
В связи с тем, что гибкие методологии разработки становятся все более популярными по сравнению с более
медленной каскадной моделью, исследователи юзабилити часто оказываются за бортом процесса. Не поКаскад – это линейный подход, который структурирован
зволяйте, чтобы подобное случилось с вами.
вокруг отдельных этапов
Нужно обратиться к ключевым заинтересованным
разработки, причем каждый
лицам с целью найти способ сотрудничества и поэтап завершается до начала
высить значимость. Чтобы предоставить им ценные
следующего.
отзывы от пользователей, нужно будет опередить команду разработчиков, проведя небольшие и быстрые
юзабилити-тесты концепций, прототипов и функций перед типичным 2–4-недельным «спринтом» разработки (то, что мы называем
итерацией).
Как добиться этого? Думайте о мелочах. Разбейте цели исследования на управляемые части и быстро делитесь результатами, желательно в рамках ежедневных собраний, которые лежат в основе гибкой методологии разработки.
Текущий подход к дизайн-мышлению
сфокусирован на 5-дневном спринте
Дизайн-мышление является чем-то новым, оно было популяризировано основателями дизайнерской фирмы IDEO в 1990-х гг., которая
создала собственный подход на основе процесса проектирования,
разработанного в Стэнфордской школе дизайна.
Сегодняшний подход к дизайн-мышлению выглядит иначе, поскольку он привлекает заинтересованных лиц из многих областей,
а не только дизайнеров. Говоря кратко, он применяет стратегию,
когда заинтересованные лица собираются в комнате на 5-дневный
спринт, следуя структурированному плану перехода от идеи, которая
будет использоваться для прототипирования, к дизайнерскому решению, протестированному пользователями. Начало этому движению
положил Джейк Кнапп из Google Ventures, и к нему быстро присоединились другие. При проведении дизайн-спринта вам нужно быть
там, особенно потому, что пятый день – это день юзабилити-тестирования.
Заручитесь поддержкой для проведения юзабилити-тестирования
Дизайн-мышление также включает в себя этап, предшествующий
первому дню, который относится к эмпатии или знакомству с пользователями. Юзабилити-тестирование – это один из способов узнать
у пользователей, что они думают и чувствуют.
Nielsen Norman Group предлагает следующее визуальное представление дизайн-мышления в виде 6-этапного процесса, показанного на
рис. 1.4. Это:
эмпатия;
определение (проблемы);
генерация идей;
прототипирование;
тестирование;
реализация.
Проведите
исследование, чтобы
лучше понять своих
пользователей
ТЕСТИРОВАНИЕ
Возвращайтесь
к своим
пользователям
для получения
отзывов
DESIGN
THINKING
101
ОПРЕДЕЛЕНИЕ
Объедините все
свои исследования
и посмотрите, где у ваших
пользователей есть
проблемы
NNGROUP.COM
ПРОТОТИПИРОВАНИЕ
Создавайте реальные
тактильные
представления
своих идей
ГЕНЕРАЦИЯ ИДЕЙ
Генерируйте
безумные
креативные идеи
ИЗУЧЕНИЕ
Рис. 1.4 Дизайн-мышление – это 6-этапный процесс
Е
НИ
МА
ЛИ
ЗА
ЭМПАТИЯ
Воплотите
видение в жизнь
МАТ
РЕАЛИЗАЦИЯ
НИ
ЕРИ
А
ПО
ЦИ
Я
1)
2)
3)
4)
5)
6)
47
48
Глава 1 • Закладываем основы
Резюме к главе 1
В этой главе изложены основные принципы юзабилити, в том числе:
• сосредоточение внимания на пользователях, а не на продуктах –
•
•
•
•
•
•
•
все дело в опыте взаимодействия пользователя с продуктом, а не
в характеристиках самого продукта;
обоснование основных определений;
удобства использования или юзабилити, включающее в себя:
производительность и эффективность продукта для пользователей, когда они работают с этим продуктом,
неуловимое качество удовлетворенности пользователей, полностью основанное на их восприятии;
юзабилити-тестирование, которое фокусируется на наблюдении
за реальными пользователями, выполняющими реальные задачи, которые имеют для них значение, и его можно разделить на
два типа:
формативное тестирование, проводимое во время разработки
продукта для диагностики и устранения проблем,
суммативное тестирование, проводимое в конце разработки
продукта, чтобы подтвердить, что продукт отвечает требованиям;
опыт взаимодействия пользователя – это общий термин, охватывающий не только юзабилити-тестирование, но и другие инструменты в наборе инструментов исследователя;
ориентированное на пользователя проектирование представляет собой процесс встраивания опыта взаимодействия пользователя в продукт путем включения пользовательских исследований на протяжении всего процесса разработки;
ключевые элементы для проведения эффективных небольших
исследований, которые включают в себя:
создание определенного профиля пользователя для исследования,
создание сценариев, основанных на задачах и направленных
на достижение цели,
побуждение пользователей думать вслух во время работы,
повторное тестирование, чтобы подтвердить, что эти изменения подходят пользователям;
ключевые элементы для проведения эффективных крупных исследований, которые включают в себя:
использование одних и тех же или разных задач и сценариев,
сбор метрик для количественной оценки результатов,
выбор метода тестирования или комбинации методов, которые включают в себя:
Резюме к главе 1 49
модерируемые исследования, проводимые в режиме реального времени с модератором,
немодерируемые исследования, проводимые удаленно без
модератора;
факторы, влияющие на тип проводимого вами исследования, на
основе баланса между вашими целями, поддержкой руководства, бюджетом и временем;
подход к получению поддержки для проведения юзабилити-тестирования:
знакомясь с заинтересованными лицами,
привлекая заинтересованные лица к своим исследованиям от
начала и до конца,
выступая за более широкое (и более раннее) юзабилити-тестирование на всем протяжении разработки продукта,
обосновывая необходимость экономичного юзабилити-тестирования для демонстрации его ценности,
шагая в ногу со временем в быстро меняющемся мире циклов
гибкой методологии разработки / Lean UX и дизайн-спринтов.
•
•
Юзабилити
и инструменты
UX-специалиста
https://t.me/it_boooks
2
В этой главе вы познакомитесь с набором инструментов, чтобы увидеть, где можно проводить юзабилити-тестирование и как выбор
этих инструментов, соответствующих потребностям проекта, бюджету и срокам, помогает процессу проектирования, ориентированного
на пользователя.
Набор содержит исследовательские инструменты, которые можно
использовать до начала разработки продукта, на протяжении всей его
разработки и после его запуска. Некоторые из методов оценки предполагают, что эксперты по юзабилити «проверяют» продукт на наличие проблем с удобством использования. Другие включают в себя
сбор данных, которые уже есть в компании.
В этой главе я сосредоточусь на часто используемых методах
и предложу несколько популярных инструментов. По мере того как
новые инструменты и методы становятся доступными, другие исчезают, поэтому будет невозможно рассказать обо всех или даже быть
уверенным в том, что те инструменты, о которых я говорю сейчас, будут доступны через несколько лет. Лучше всего проверить, доступны
ли новые варианты, когда вы выберете один или несколько инструментов, описанных в этой главе.
Инструменты представлены в зависимости от того, где они чаще
всего используются при разработке продукта.
На рис. 2.1 показан процесс проектирования пользовательского
опыта, разделенный на четыре этапа:
• анализ – инструменты и методики, которые используются до на•
чала проектирования;
проектирование – инструменты и методики, которые используются на ранних этапах проектирования, чтобы создать основу
для включения пользовательских исследований в основной дизайн;
Юзабилити и инструменты UX-специалиста
Рис. 2.1 На этом плакате, подготовленном Ассоциацией профессионалов в области юзабилити,
показаны четыре этапа, которые можно использовать для проведения исследования
в жизненном цикле разработки продукта
51
52
Глава 2 • Юзабилити и инструменты UX-специалиста
• реализацию – инструменты и методики, с помощью которые
•
встраивают пользовательские исследования в разрабатываемый
продукт;
развертывание – инструменты и методики, которые применяются после запуска продукта, чтобы понять, как продукт используется на практике.
Этот популярный плакат был создан ассоциацией UXPA, которая
тогда называлась UPA, и передан участникам ежегодной конференции в 2000 г. Я с гордостью демонстрировала его в своей лаборатории
юзабилити в Южном политехническом университете в течение многих лет до переезда в новую лабораторию, которого он не пережил.
Возможно, с момента создания плаката прошло какое-то время, но
определенные инструменты и методики в основном остались неизменными. Фактически на нем представлено больше инструментов
и методик, чем можно охватить в этой главе, поэтому я выбрала популярные инструменты для каждого из четырех этапов, чтобы кратко рассказать о них. В этой главе вы найдете ссылки для получения
дополнительной информации об этих и некоторых других инструментах.
После того как вы быстро заглянете в свой набор, чтобы увидеть
множество вариантов, я сосредоточусь на одном из инструментов –
эвристической оценке (ее еще называют экспертной оценкой) – не
только потому, что это он такой популярный, но еще и потому, что он
станет отличным помощником во время юзабилити-тестирования.
В конце главы основное внимание уделено тому, почему и как эти
инструменты поддерживают процесс проектирования, ориентированный на пользователя.
Открываем набор инструментов
и смотрим, что там есть
Набор UX-инструментов полон методик, которые можно использовать, чтобы собрать информацию о своих пользователях. Ниже приводится краткое описание некоторых из этих инструментов с разбивкой по месту, где эти инструменты обычно используются при разработке продукта, как показано на плакате UPA.
Инструменты анализа закладывают фундамент
Инструменты анализа обычно используются до начала разработки.
Это этап, на котором вы встречаетесь с заинтересованными лицами
и разрабатываете план сбора требований к продукту на основе информации, которую вы можете получить о пользователях, задачах
и их окружении. Часть этой информации, возможно, уже доступна
в рамках компании. Ваши заинтересованные лица могут помочь най-
Открываем набор инструментов и смотрим, что там есть 53
ти ее. Если ее нет, то вы можете собрать эту информацию самостоятельно или вместе с соответствующими заинтересованными лицами.
Она может поступать из источников, таких как:
• исследование рынка – часто проводится отделом продаж и мар-
•
•
кетинга. На данном этапе обычно используются следующие методы:
фокус-группы – их возглавляет ведущий, который исследует
отношение участников группы к компании и ее продуктам,
а также их опыт взаимодействия с продуктами конкурентов.
На доске для рисования могут быть показаны новые продукты
или функции для потенциального принятия или неприятия;
анкетирование, которое может вызвать большой отклик у существующих или потенциальных клиентов. Инструменты для
веб-анкетирования, такие как SurveyMonkey и Google Forms,
упрощают создание, распространение и анализ результатов;
блоги и социальные сети, которые можно использовать для получения отзывов от клиентов по конкретным темам или потенциальным новым разработкам;
внутренняя информация о пользователях – часто доступная из
одного или нескольких источников:
технической или клиентской поддержки, которую также называют службой поддержки – обрабатывает телефонные звонки
и отвечает на вопросы в режиме онлайн через чат на вашем
сайте; у людей, которые отвечают на эти звонки и запросы,
может быть система для отслеживания типов проблем, с которыми сталкиваются пользователи. Если у них нет формальной
системы, они, как показывает опыт, наверняка будут знать,
где находятся «болевые точки» пользователей;
обучения для внутренних пользователей или клиентов – это обучение для новых пользователей, чтобы люди из этой группы знали, что сложнее всего рассказать другим о продукте,
а также могли поделиться тем, что заставляет пользователей
больше всего беспокоиться при обучении использованию продукта;
технических писателей, которые пишут документацию, тексты
справок и встроенную помощь, чтобы люди из этой группы
знали, какие аспекты продукта труднее всего документировать;
продаж и поддержки на местах – тех, кто слышит, чего хотят
клиенты, когда покупают продукты, а также что им нравится
и не нравится в ваших продуктах и что у конкурентов лучше
или хуже;
посещение участников на месте / контекстное исследование – когда вы выходите в мир, где живут или работают ваши пользовате-
54
Глава 2 • Юзабилити и инструменты UX-специалиста
ли, чтобы изучить их окружение, собрать требования для разработки новых продуктов, узнать, что они уже используют (в том
числе продукты конкурентов), и понять, как ваш продукт может
вписаться в их процессы и окружение. Посещение участников
может принимать различные формы, но среди распространенных методов можно упомянуть следующие:
интервью, которые могут быть структурированы, иметь запланированный набор вопросов или быть частично структурированы, с основными вопросами, которые можно использовать,
чтобы начать беседу;
следование за пользователем в течение дня – позволяет увидеть «один день из жизни» пользователя,
Отличные ресурсы можно
пока вы следуете расписанию пользователя в теченайти в книгах «Contextual
ние всего дня;
Design: Design for Life», Карен
технику критических инцидентов, которая испольХольцблатт и Хью Бейера,
зуется в ситуациях, когда вы не можете наблюдать
2017; «Understanding Your
за людьми, выполняющими свою работу, потому
Users: A Practical Guide to
что она связана с конфиденциальной информациUser Research Methods»,
Кэти Бекстер, Кэтрин Каридж
ей или информацией для служебного пользования,
и Келли Кейн, 2015;
опасна или случается не очень часто. Вместо этого
«Observing the User Experience:
вы просите их описать ситуацию или показать вам,
A Practitioner’s Guide to User
как они делают что-то в такой ситуации;
Research», Элизабет Гудман,
сценарии и ролевые игры – создают ситуации, в коМайк Кунявски и Андреа
торых ваш целевой пользователь может принять
Моэд, 2012; и «User and Task
участие, а вы будете наблюдать за происходящим.
Analysis for Interface Design»,
Джоан Хэкос и Джэнис Рэдиш,
В некоторых случаях вы, возможно, захотите сы1998.
грать роль покупателя в ролевой игре. Эту методику можно использовать вместо методики критических инцидентов или наряду с ней.
Диаграммы сродства объясняют результаты исследования
Информацию из внутренних ресурсов, и информацию, которую вы
привозите с собой после посещения участников на месте, теперь нужно конструктивно отсортировать и упорядочить, чтобы команда могла осмыслить результаты и использовать эти данные для создания
требований, вариантов использования (которые можПодробнее о сценариях
но превратить в сценарии), профилей пользователей
использования и персонажах
(которые можно превратить в персонажей) и потоков
вы узнаете в главе 4.
задач.
Вы, вероятно, будете ошеломлены всем, что узнали
Диаграмма сродства
на данном этапе, но метод, называемый диаграммой
подробно обсуждается
сродства, может помочь вам и вашей команде упоряв главе 8 в качестве метода,
дочить и осмыслить результаты. Метод, показанный
часто используемого при
на рис. 2.2, обычно начинается со стикеров, когда на
анализе результатов
них записываются все идеи или выводы. Затем они
юзабилити-исследования.
Открываем набор инструментов и смотрим, что там есть 55
объединяются в кластеры, состоящие из схожих идей, после чего кластерам присваиваются метки для обозначения категории.
Рис. 2.2 Диаграмма сродства – это метод распределения результатов по группам с последующим
присвоением меток каждой группе
Создавайте профили пользователей, пользовательские
сценарии и план задач на основе исследований
Результаты семинара по построению диаграмм сродства могут стать
основой для создания профилей пользователей, пользовательских
сценариев и анализа задач для соответствия конкретным пользователям и сценариям использования (как показано на плакате UPA).
Эти, в широком понимании, результаты данного
Подробнее о создании
этапа исследования будут формировать более целевые
персонажей вы узнаете
персонажи и сценарии, основанные на задачах, кото- в главе 4, а о создании
рые вы создадите при планировании юзабилити-тес- сценариев – в главе 5.
тирования.
Инструменты проектирования и реализации
позволяют встраивать пользовательские
исследования в процесс разработки
Используя информацию, которую вы собрали на этапе исследования
и анализа, теперь можно приступить к этапу проектирования, который естественным образом ведет к этапу реализации.
Этап проектирования может начинаться с дизайн-спринта для
разработки концепции проектирования на основе требований, собранных на этапе анализа. Результатом дизайн-спринта или другой
стратегии концептуализации дизайна является его прототип. Вам не
нужно ждать, пока продукт будет уже находиться далеко на стадии разработки, прежде чем получать от- Смотрите главу 1 для получезывы. Многое можно узнать из приблизительного бу- ния дополнительной информации о дизайн-спринтах.
мажного прототипа.
56
Глава 2 • Юзабилити и инструменты UX-специалиста
В главе 5 показано,
как использовать
бумажный прототип
для юзабилити-тестирования.
По мере того как продукт проходит стадии проектирования и реализации, вы можете выбрать подходящие инструменты и методы, чтобы встроить отзывы
пользователей и экспертов в процесс итеративного
проектирования. Некоторые из этих методик стали популярными после разработки плаката UPA, поэтому там вы их не увидите. Это доказывает, что новые методики и инструменты появляются постоянно.
Некоторые инструменты и методики, используемые на этапе проектирования и реализации, включают в себя:
• карточную сортировку – обычно используется на ранних этапах
разработки для понимания ментальной модели пользователей,
когда речь идет о структуре контента сайта или программном
продукте. Результаты карточной сортировки дают проектировщикам представление о том, какой организации информационной архитектуры ожидают пользователи. ПользоДополнительную информаватели сортируют и распределяют карточки по катецию о карточной сортировке
гориям, которые представляют контент. Сортировку
см. в книге Донны Спенсер
можно сделать «открытой», т. е. пользователи назна«Card Sorting: Designing Usable Categories», 2009. В гла- чают метки категорий группам карточек после сортиве 3 описывается популярный ровки; или «закрытой», когда метки категорий превеб-инструмент, испольдоставляются в начале. Все это можно проделать при
зуемый для исследований
личном присутствии участников, используя стопку
с помощью метода карточной
каталожных карточек с указанной на каждой из них
сортировки.
темой, или удаленно, с помощью веб-инструмента;
зуется на начальных и средних этапах проектирования и реализации для получения информации от различных групп пользователей по мере развития функций и возможностей продукта.
Никогда не рано начинать получать отзывы пользователей. Как
показано на плакате UPA, можно начать с набросков, используя
бумагу и карандаш;
• количественное/суммативное юзабилити-тестирование – используется в конце или ближе к концу процесса реализации для
документирования юзабилити и функциональности, а также
удовлетворенности пользователей;
В следующих главах вы
найдете гораздо больше
информации о методах
планирования, проведения
и оценки результатов
юзабилити-тестирования.
Популярный инструмент
для дневникового метода
исследования – dscout.
• дневниковый метод исследования – использует-
ся для получения информации об использовании
продукта в иммерсивном контексте с течением
времени. Этот инструмент часто полезен во время
разработки продукта, но также и на первом этапе
исследования, чтобы собрать информацию о задачах и окружении пользователей, а также после
запуска продукта, чтобы получить представление
о готовом продукте при регулярном использовании. Дневниковый метод исследования особенно
Открываем набор инструментов и смотрим, что там есть 57
•
•
•
•
важен для изучения контекста пользователя на мобильных
устройствах;
карту пути клиента – используется для привле- Быстрый поиск в интернете
чения заинтересованных лиц к отображению по этой теме предоставит
результатов пользовательских и клиентских ис- книги, блоги и видеоролики
следований на временной шкале продукта, охва- на YouTube о том, как создать
тывающей все точки контакта. Результатом явля- карту пути клиента или провести семинар.
ется визуализация пути клиента на карте, которая
отражает точки соприкосновения и болевые точки. Подобно дневниковому методу исследования, По этой теме доступно
данный метод можно использовать на этапе ана- множество ресурсов. Чтобы
получить краткий обзор этого
лиза и сбора данных и на этапе развертывания;
процесса с примерами, см.
совместное проектирование – используется для статью Ольги Елизаровой,
вовлечения потенциальных пользователей в про- Джен Бризелли и Кимберли
цесс проектирования. В некоторых случаях этих Доуд «Participatory Design:
пользователей просят просмотреть разрабатыва- What It Is, What It Isn’t and
емый продукт и оставить отзыв; в других случаях How It Actually Works», 2017.
они активно участвуют в разработке дизайнерских концепций;
эвристическую оценку – используется экспертами по юзабилити
для проведения обзора или инспекции продукта с использованием определенного набора методических указаний или, в некоторых случаях, более неопределенным образом;
когнитивный разбор – используется командами Чтобы познакомиться с этим
дизайнеров, в которых член команды заменя- процессом, см. cтатью «Interет пользователя, перебирает прототип продукта action Design Foundation How
и выявляет проблемы, влияющие на легкость об- to Conduct a Cognitive Walkthrough», 2018.
учения.
Инструменты развертывания предоставляют
обратную связь о фактическом использовании
Инструменты на этапе развертывания могут оценивать производительность продукта в окружении пользователя или могут использоваться для сбора требований для следующего выпуска или разработки нового продукта. Они включают в себя:
• тестирование «в поле» – юзабилити-тестирова-
•
Подробнее о полевых испы-
ние, которое проводится в контексте окружения таниях говорится в главе 3.
пользователя. Полевое тестирование делает акцент на поведении реальных пользователей в реальном контексте использования;
аналитику сайтов – скрытая кладезь данных, которая может документировать, куда идут пользователи, как долго они остаются
на странице, куда уходят, а если говорить о сайтах электронной
коммерции – сколько посетителей завершают процесс покупки
58
Глава 2 • Юзабилити и инструменты UX-специалиста
•
•
•
•
•
или запроса. В настоящее время есть два популярных инструмента веб-аналитики – Google Analytics и Adobe Analytics, хотя
появляются и новые инструменты, которые предоставляют дополнительные типы информации, такие как тепловые карты
и пути посетителей;
анализ поисковых запросов – изучение поисковых запросов с целью узнать слова и фразы, вводимые в поле поиска; анализ этих
слов выявляет области вашего сайта, которые должны бросаться
в глаза;
службу поддержки клиентов и журналы чатов – обзор системы
отслеживания или журналирования, используемой службой поддержки клиентов и журналами чатов, чтобы узнать, какие вопросы есть у пользователей; анализ может выявить, есть ли ответы
на эти вопросы на вашем сайте (и легко или трудно их найти);
мониторинг социальных сетей – «прослушивание» и извлечение информации из каналов социальных сетей, таких как блоги,
новостные сайты и сайты социальных сетей, например Twitter
и Facebook, для выявления тенденций, случаев недовольства со
стороны пользователей, лайков и других положительных отзывов;
анкетирование – анкеты, которые предоставляют количественные данные об удовлетворенности клиентов и других показателях юзабилити;
сравнительные юзабилити-исследования – сравнение вашего
продукта с одним или несколькими продуктами конкурентов
для оценки юзабилити вашего сайта по сравнению с конкурентами; также может использоваться для определения базового
уровня проблем юзабилити для разработки следующего продукта или следующей версии существующего продукта.
Разбираемся, какой инструмент
подходит для работы
На рис. 2.3 представлен набор инструментов наряду с документами,
в которых сообщается о результатах использования этих инструментов. Для получения дополнительной информации о том, как их использовать, есть два замечательных ресурса:
Если ваш бюджет ограничен
или его нет вообще, в книге
Эрики Холл «Just Enough
Research», 2013 можно найти
отличные идеи по вовлечению в стратегии быстрых
исследований.
• Usability.gov, официальный сайт правительства США,
•
управляемый Министерством здравоохранения
и социальных служб США: https://www.usability.gov;
Сайт, спонсируемый ассоциацией UXPA: https://www.
usabilitybok.org/.
Разбираемся, какой инструмент подходит для работы
59
Рис. 2.3 Наглядный массив действий и связанных с ними документов,
составляющих набор UX-инструментов
Имея в своем наборе все эти инструменты, вы ви- Для анализа других категорий
дите, что у вас есть из чего выбирать. Конечно, у каж- результатов опросов с редого из них есть свое применение, но какие инстру- зультатами последнего опроменты чаще всего выбирают UX-профессионалы? са посетите сайт Джеффа
Обзор электронных ответов на опросы, проведенные Сауро: https://measuringu.com/
ux-methods-2018/.
ассоциацией UXPA, показывает наиболее часто используемые методы, а также изменения в их использовании с течением времени.
При рассмотрении изменений в использовании за семилетний
период, показанном на рис. 2.4,юзабилити-тестирование (которое
включает все типы от неформального до формального, немодерируемые и модерируемые исследования) осталось самым популярным
методом. Эвристическая оценка стабильно занимает второе место.
Однако интересно наблюдать, что ее популярность со временем
упала.
Что касается других инструментов из набора, то сравнение опросов UXPA, показанное на рис. 2.5, показывает стабильно высокий
уровень использования таких инструментов, как интервью и анкетирование.
На ранних этапах исследования наиболее популяр- В главе 4 обсуждается, как
ной методикой, как показано на рис. 2.6, является со- создавать персонажей.
здание персонажей и профилей пользователей.
60
Глава 2 • Юзабилити и инструменты UX-специалиста
100 %
80 %
60 %
2018
2016
2014
2011
40 %
20 %
0%
75 % 80 % 76 % 82 %
62 % 64 % 70 % 75 %
49 % 48 % 52 % 58 %
10 % 11 % 14 % 16 %
Юзабилититестирование
Эвристическая или
экспертная оценка
Исследования
конкурентов
Окулография
Рис. 2.4 Юзабилити-тестирование продолжает оставаться
самым популярным инструментом, используемым UX-специалистами,
а эвристическая оценка остается на втором месте
100 %
80 %
60 %
2018
2016
2014
2011
40 %
20 %
0%
76 % 80 % 75 % 78 %
54 % 54 % 43 % 53 %
Пользовательское Анкетирование
исследование
(например, интервью
и анкетирование)
35 % 36 % 36 % 28 %
Анализ
веб-метрик/
журналов
33 % 36 % 33 % 31 %
32 % 37 % 35 % 39 %
Опросы на предмет Фокус-группы
определения степени
удовлетворенности
27 % 25 % 25 % 24 %
Исследования
рынка
Рис. 2.5 Инструменты исследования, включая интервью и анкетирование,
часто используются UX-специалистами
100 %
80 %
60 %
2018
40 %
2016
2014
20 %
0%
2011
67 % 70 % 70 % 65 %
48 % 52 % 60 % 60 %
42 % 45 % 45 % 47 %
39 % 43 % 47 % 52 %
Персонажи
и профили
пользователей
Сбор
требований
Контекстное
исследование /
этнография
Анализ задачи
Рис. 2.6 На ранних этапах исследования персонажи и профили пользователей –
популярные методы, используемые профессионалами в области UX
Выбираем эвристическую оценку из набора инструментов
В бесплатном отчете «User Experience Careers», подготовленном
Сьюзан Фаррелл и Якобом Нильсеном, перечислены следующие
10 методов, используемых UX-специалистами, на основе опроса более 1000 респондентов:
•
•
•
•
•
•
•
•
•
•
представить решения и концепции;
убедить другие лица;
проанализировать задачу или действия;
создать прототипы или макеты;
сотрудничать с профильными экспертами;
собрать требования;
определить проектирование взаимодействия;
провести юзабилити-исследования с личным присутствием;
создать раскадровку, карты пути пользователя, блок-схемы;
выполнить оценку проекта или эвристическую оценку.
Хотя термины, используемые в данном отчете, не полностью совпадают с терминологией опросов UXPA, из списка основных действий, описанных в отчете, можно легко увидеть, что в документировании методов, используемых UX-специалистами, присутствует
значительная степень согласованности. Многие из них представлены
в этой главе в наборе UX-инструментов.
Выбираем эвристическую оценку
из набора инструментов
Поскольку эвристическая оценка (в сочетании с экспертным обзором) – это второй наиболее часто выбираемый инструмент из набора UX-инструментов, и поскольку 89 % респондентов в опросе UXPA
в 2016 г., которые сообщили об использовании этого метода, также
рассказали о проведении юзабилити-тестирования, возможно, у вас
возникнет желание использовать эвристическую оценку в своем исследовании. Вот почему здесь я хочу рассказать вам, что это такое,
как ее провести и как она соотносится с юзабилити-тестированием,
будучи инструментом исследования.
Эвристическая оценка – это проверка,
осуществляемая экспертами
Эвристическая оценка – это обзор или «проверка» продукта экспертами. Обычно в данном случае имеются ввиду эксперты по юзабилити, но это также может означать двойную экспертизу в отношении
юзабилити и области продукта. Эвристика – это набор методических
указаний или «практических правил», используемых экспертами для
проверки интерфейса на предмет нарушений эвристики.
61
62
Глава 2 • Юзабилити и инструменты UX-специалиста
Рольф Молик и Якоб Нильсен разработали набор из девяти эвристик в 1990 г., который впоследствии Нильсен пересмотрел, включив
в него следующие 10 пунктов.
Интересно отметить, что десятый пункт относится к документации, которая, по словам Нильсена,
не нужна системам, если они правильно спроектированы. Технические писатели, и я в их числе, могут
привести веский аргумент в пользу того, что всегда есть потребность в документации для тех,
кто в ней нуждается. Независимо от того, насколько хорошо разработан интерфейс, он никогда не
будет полностью интуитивно понятным всем пользователям.
Система всегда должна информировать пользователей о том, что
происходит, посредством соответствующей обратной связи
в разумные сроки
Система должна говорить словами, фразами и понятиями,
знакомыми пользователю, а не терминами, ориентированными
на систему. Следуйте реальным соглашениям, чтобы информация
отображалась в естественном и логическом порядке
3. Контроль
Пользователи часто выбирают системные функции по ошибке, и им
потребуется четко обозначенный «аварийный выход», чтобы выйти
и свобода
из нежелательного состояния без необходимости проходить
расширенный диалог. Активируйте поддержку отмены действия и его
повторного совершения
4. Согласованность Пользователи не должны задаваться вопросом, означают ли разные
слова, ситуации или действия одно и то же. Соблюдайте соглашения
и стандарты
платформы
5. Предотвращение Тщательно продуманный дизайн, который в первую очередь
ошибок
предотвращает возникновение проблемы даже лучше, чем хорошие
сообщения об ошибках. Либо устраните условия, подверженные
ошибкам, либо проверьте их и предоставьте пользователям вариант
подтверждения, прежде чем они совершат действие
6. На экране,
Сведите к минимуму нагрузку на память пользователя, сделав
а не в голове
видимыми объекты, действия и параметры. Пользователь не должен
запоминать информацию, которая поступает из одной части диалога
в другую. Инструкции по использованию системы должны быть
видимыми, или их можно легко получить, когда это необходимо
7. Гибкость
Ускорители, невидимые для начинающего пользователя, часто
могут ускорить взаимодействие для опытного пользователя, чтобы
и эффективность
система могла обслуживать и опытных пользователей, и неопытных.
Разрешите пользователям настраивать частые действия
8. Эстетика
Диалоги не должны содержать неактуальной или редко необходимой
и минимализм
информации. Каждая дополнительная единица информации
в диалоге конкурирует с соответствующими единицами информации
и снижает их относительную видимость
Сообщения об ошибках должны быть выражены простым языком
9. Понимание
(без кодов), точно укажите проблему и предложите конструктивное
и исправление
решение
ошибок
10. Справки
Лучше, если систему можно использовать без документации,
и документация
но, несмотря на это, справка и документация могут потребоваться.
Любая подобного рода информация должна быть удобной для
поиска, ориентирована на задачу пользователя, содержать список
конкретных шагов, которые необходимо выполнить, и не должна
быть слишком большой
1. Наличие
информации
о состоянии системы
2. Сходство
с реальным миром
Выбираем эвристическую оценку из набора инструментов
63
Хотя эти 10 эвристик были первоначально созданы Смотрите, например, статью
для проверки программного обеспечения, они были Чиснелл, Редиш и Ли «New
широко приняты и адаптированы для любого типа Heuristics for Understanding
продукта. Теперь есть эвристики для интернета, циф- Older Adults as Web Users»,
2005.
ровых продуктов, электронного обучения и специализированных групп пользователей.
На рис. 2.7 показано графическое представление 10 эвристик.
ПОВОРОТ
НАЛЕВО
ПОВОРОТ
НАЛЕВО
Наличие
информации
о состоянии
системы
Сходство
с реальным
миром
Контроль
и свобода
Согласованность
и стандарты
На экране,
а не в голове
Предотвращение
ошибок
Гибкость
и эффективность
Эстетика
и минимализм
Помощь
пользователям
с ошибками
Справки
и документация
Рис. 2.7 Графическое представление 10 эвристик обеспечивает визуальный подход к их запоминанию
Эвристическая оценка имеет четко
определенную методологию
Если вы хотите провести настоящую эвристическую
оценку, нужно будет использовать набор эвристик
в качестве основы. Скорее всего, вы будете использовать или адаптировать эвристики Нильсена и следовать его рекомендациям по проведению оценки:
•
•
Полное объяснение исследования, лежащего в основе
эвристики, и методологии
проведения эвристической
оценки приводятся в главе
«Эвристическая оценка»
в оценке участвуют от трех до пяти оценщиков. в книге «Usability Inspection
Такое количество обеспечивает максимальную Methods», 1994.
рентабельность с высокой степенью совпадения
результатов. Для сравнения, один оценщик обнаруживает только
35 % проблем, связанных с юзабилити;
оценщики согласовывают описание целевого пользователя.
В некоторых случаях им предоставляется сценарий использования или набор задач, чтобы задать направление исследованию.
64
Глава 2 • Юзабилити и инструменты UX-специалиста
•
•
•
Сейчас оценщики часто работают с персонажами, чтобы поставить себя на место пользователей при проверке интерфейса. Если оценщики не обладают знаниями предметной области исследуемого продукта, то можно использовать учебный сеанс, чтобы
познакомить всех с продуктом;
каждый оценщик независимо проверяет продукт как минимум
дважды: один раз, чтобы ознакомиться с ним, и второй раз для
проверки продукта на соответствие набору эвристик. Затем результаты проверки каждого оценщика собираются, часто на собрании, где оценщики обсуждают между собой все эти вопросы;
результатам присваиваются коды серьезности в зависимости от
их вероятного воздействия на опыт взаимодействия пользователя. Типичный набор кодов:
1) катастрофа,
2) основная проблема – может существенно повлиять на юзабилити,
3) незначительная проблема – низкий приоритет, но ее следует
отметить,
4) косметическая проблема – устраните ее, если у вас есть время;
отчет документирует проблемы юзабилити, объясняя принцип,
нарушенный каждой из них, и присвоенный ей код серьезности. Хотя Нильсен не требует, чтобы список рекомендаций был
стандартным результатом этой проверки, на практике рекомендации часто являются ожидаемым результатом. Иногда они носят общий характер, например «Сообщения об ошибках должны
быть четкими и ясными». В других случаях предлагается более
конкретная рекомендация, особенно когда решение кажется
оценщикам ясным. Например, несогласованная функциональность клавиши Tab, позволяющая пользователям перемещаться
по полям ввода, может быть идентифицирована как высокоприоритетная проблема, которую необходимо исправить для обеспечения единообразия, контроля и свободы пользователя. Рекомендации также можно выполнить в виде макетов, показывающих изменения в интерфейсе и направленных на устранение
нарушений.
Для разных людей экспертная оценка может
означать разные вещи
В формальной практике эвристическая оценка имеет четко определенную методологию и, как правило, четко определенный набор эвристик для ее проведения. Тем не менее не все употребляют слово
эвристика. Поэтому, чтобы было проще, некоторые предпочитают
называть этот процесс экспертной оценкой. Другие видят разницу
в методологиях.
Выбираем эвристическую оценку из набора инструментов
В зависимости от того, с кем вы беседуете, экспертная оценка может означать:
• единственного оценщика – эксперта, – изучающего интерфейс;
• оценку, которая не включает в себя специальные эвристики,
•
потому что оценщики имеют большой опыт работы с данным
методом и используют его для выявления проблем в интерфейсе на основе рабочего знания принципов, лежащих в основе эвристик;
то же, что и эвристическая оценка, только это более доступный
термин для неспециалистов.
Если вас попросят провести экспертную оценку, то вы, вероятно,
захотите уточнить, чего хочет человек, который об этом просит. Оттуда и пляшите.
У неформальной оценки может не быть правил
Некоторые придерживаются менее строгого подхода к процессу эвристической или экспертной оценки, полностью обходясь без эвристики. В каких-то случаях они могут использовать контрольный список
для руководства процессом, а где-то могут полагаться исключительно
на собственный опыт.
Возможно, один человек в команде осматривает продукт и резюмирует результаты в неофициальном отчете или на встрече. Возможно, несколько человек проведут обзор независимо, а затем соберутся
вместе, чтобы неформально поделиться своими выводами. Чтобы
найти действительно неформальный, но эффективный способ проведения экспертной оценки, см. следующую врезку, созданную двумя
известными UX-специалистами и моими коллегами, Уитни Кузенбери и Кэролайн Джарретт.
Пять шагов к экспертной оценке
(ориентированной на пользователя)
1. Не смотрите (пока)!
У вас не будет второго шанса на «первый взгляд».
2. Напишите (короткий) рассказ.
Кто пользуется этим продуктом?
Почему они это делают?
Как они к нему относятся?
Чего ожидают?
Чем они отличаются от нас?
65
66
Глава 2 • Юзабилити и инструменты UX-специалиста
3. Попробуйте использовать его (следуя рассказу).
Начните со слов «Почему они используют этот продукт?»
Что пытаются сделать?
Какие у них есть вопросы?
Что еще они хотят знать?
Могут ли они найти нужную информацию?
4. Теперь посмотрите на него (теперь, когда у вас была возможность его использовать).
Подумайте о взаимоотношениях, беседе, взаимодействии и внешнем виде.
Взаимоотношения: как согласованы цели пользователей и бизнеса?
Беседа: были ли заголовки и текст полезными и информативными?
Взаимодействие: может ли пользователь найти подходящий «первый щелчок» или узнать, как использовать интерактивную функцию?
Внешний вид: визуальный дизайн помогал или мешал?
5. Отчет.
С какими проблемами вы столкнулись?
Найдите хотя бы один положительный момент.
В конце концов, какой бы подход к проверке продукта вы ни выбрали, вы получите ряд результатов или проблем, которые могут повлиять на юзабилити. Если вы никогда раньше не проводили проверку, то можно начать с набора эвристик. Освоившись с тем, что ищете,
эти рекомендации будут усвоены, и вы сможете от них отказаться.
Сравнение результатов эвристической
оценки и юзабилити-тестирования
Что делать, если у вас небольшой бюджет и нужно выбрать только
один из этих двух методов? Во-первых, вы должны попытаться убедить тех, кто выполняет запрос, позволить вам сделать и то и другое,
разделив имеющийся бюджет на две части: небольшую эвристическую оценку (или экспертную оценку) и небольшое юзабилити-исследование.
Если нужно выбрать что-то одно, выбирайте юзабилити-тестирование, потому что нет ничего лучше, чем наблюдать за реальными пользователями, взаимодействующими с продуктом, и получать
данные от них. Тем не менее эвристическая оценка – популярный
инструмент, поскольку он может выявить потенциальные проблемы, которые могут отрицательно повлиять на опыт взаимодействия
пользователя. Если эти проблемы нельзя устранить до того, как участники начнут работать с продуктом, они смогут продвинуться дальше
Сравнение результатов эвристической оценки и юзабилити-тестирования
67
и рассказать о своем опыте больше, чем могли бы, если бы застряли
на устранимой известной проблеме.
В следующей таблице показаны сильные и слабые стороны эвристической или экспертной оценки.
Сильные и слабые стороны эвристической оценки
Сильные стороны
Находит много проблем
Слабые стороны
Обнаруживает «ложные срабатывания», не влияющие на
реальных пользователей; находит в основном более
мелкие проблемы и пропускает некоторые крупные
Ее можно провести быстро,
Если процесс формальный с участием трех–пяти экспертов,
и это недорого, если есть
он может занять столько же времени и стоить столько же
специалисты; оборудование
(с точки зрения времени экспертов), сколько юзабилитиисследование
не требуется
Может быть выполнена
Неспециалисты склонны упускать из виду выводы, которые
неспециалистами
улавливают эксперты; другими словами, эксперты лучше
с небольшой подготовкой
справляются с такой оценкой; лучшие оценки проводятся
двойными экспертами со знанием пользовательского
интерфейса и предметной области продукта
Может определять проблемы, Часто является заменой юзабилити-тестирования
которые можно исправить на
ранней стадии разработки
Сравните сильные и слабые стороны эвристической и экспертной
оценки (как показано в таблице выше) с сильными и слабыми сторонами юзабилити-тестирования, как показано в следующей таблице.
Сильные и слабые стороны юзабилити-тестирования
Сильные стороны
Привлекает реальных пользователей
Может выполняться на ранних этапах
жизненного цикла разработки продукта
(и часто)
Может положить конец спорам
о направлении проектирования
Слабые стороны
Отбор пользователей и включение их
в список – это трудоемкий процесс
Требуется время, чтобы спланировать
и провести каждое исследование
Если заинтересованные лица не участвуют
в планировании, они могут быть не уверены
в достоверности результатов
Дополнительные сведения о сравнении этих методов см. на следующей врезке.
Что говорит нам об этих методах CUE-4
CUE (Comparative Usability Evaluation), обозначает ряд исследова- О CUE-2 я рассказывала
ний, организованных Рольфом Моликом, известным датским конв главе 1.
сультантом по юзабилити.
68
Глава 2 • Юзабилити и инструменты UX-специалиста
CUE-4, четвертое исследование в этой серии, собрало вместе 17 экспертов по
юзабилити со всего мира, каждый из которых выбрал тот или иной метод для проверки системы бронирования OneScreen в отеле «Пенсильвания» в Нью-Йорке
и написания отчета о результатах (я была участником CUE-4 и выбрала эвристическую оценку).
Анализ отчетов показывает очень небольшую разницу
в выводах
Анализ отчетов, представленных 17 участниками, показывает, что экспертные
оценки и юзабилити-тесты порождают примерно такое же количество важных
проблем и примерно такое же небольшое количество ложных срабатываний. Эти
выводы противоречат выводам Якоба Нильсена, который сообщал о большем количестве «ложноположительных» результатов при эвристической оценке.
Авторы исследования основываются на анализе отчетов и на том факте, что все
команды обладают высоким уровнем знаний по юзабилити. Эти результаты могут
свидетельствовать о том, что оба метода имеют одинаковую ценность при условии, что у специалистов есть опыт работы с методом, который они используют.
Отчеты показывают, что экспертная оценка
предпочтительнее эвристической
Будучи участником исследования CUE-4 и выбрав эвристическую оценку, я взяла на себя ответственность за проведение формальной эвристической оценки,
используя 10 эвристик Нильсена и его методологию. Я наняла коллегу, и каждый
из нас выполнил независимую оценку. Затем мы встретились, чтобы обсудить отдельные выводы, прийти к консенсусу и написать отчет, используя шаблон, предоставленный Моликом, согласно которому у каждого вывода был номер, код типа
вывода и описание вывода. Ниже показан пример из моего отчета.
Коды выводов выглядят следующим образом:
• P = незначительная проблема – клиенты могут колебаться несколько секунд;
• В = серьезная проблема – при значительном числе пользователей задержка
при использовании сайта может составлять от 1 до 5 мин, но в конечном итоге
они смогут продолжить. Может вызывать случайные катастрофы;
• R = критическая проблема – может вызывать частые катастрофы. Катастрофа –
это ситуация, когда сайт «побеждает» пользователя, т. е. когда потенциальный
клиент не может решить приемлемую задачу или когда сайт сильно раздражает
клиента.
ID
Категория Описание
F-01 P
Наличие информации о состоянии системы
Пользователи могут не знать, что приложение One Step загружается
из-за плохого контраста переднего плана и фона. Экран выглядит
черным или темно-зеленым. При нажатии кнопки бронирования он
становится черным.
Рекомендация: создайте достаточный контраст между передним
планом и фоном с помощью другой цветовой схемы, чтобы
пользователи могли видеть текст на фоне и много других последующих
результатов
Сравнение результатов эвристической оценки и юзабилити-тестирования
ID
Категория Описание
F-02 Q
Наличие информации о состоянии системы.
Эстетичный и минималистичный дизайн
Цвета экрана с черным шрифтом и коричневым фоном, скорее всего,
могут затруднить просмотр параметров, вызвать утомление глаз
и помешать пользователям работать с OneScreen
F-03 R
Наличие информации о состоянии системы. На экране, а не в голове
Цветные поля даты могут не иметь значения для пользователей.
Они могут не видеть схему кодирования в нижней части
экрана и не соотносить цвета в календаре с этой схемой
F-04 Q
Сходство с реальным миром
Надпись «Посмотреть подробности» не сообщает, чем она поможет.
Расположение этой информации, критически важной для понимания
того, как пользоваться календарем, не отображается на видном месте,
а находится в нижней части календаря.
Рекомендация: смените название и местоположение
F-05 Q
Справки и документация
Справки концептуальны, они не являются контекстными. Одна и та же
справка появляется всякий раз, когда пользователь нажимает на нее
во время процесса.
Рекомендация: предоставьте контекстно-зависимую справку,
всплывающую подсказку при наведении курсора мыши или встроенную
помощь
F-06 Q
Помогите пользователям распознавать, диагностировать
и устранять ошибки
Справка неверна, используются слова и инструкции, не соответствующие
интерфейсу. Например, инструкция гласит: «Чтобы выполнить сброс,
щелкните по пустым датам в верхнем левом углу таблицы».
Фактически нет возможности «очистить даты» и нет «таблицы», если
только календарь не считается таблицей
F-07 P
Сходство с реальным миром
Трехэкранный макет предполагает линейный процесс (без возможности начать со среднего экрана). Справка также поддерживает процесс,
заявляя: «Начните с выбора даты…»
F-08 P
На экране, а не в голове
Парадоксальная ситуация в том, что касается закрытия справки.
Инструкции сообщают пользователю, как это сделать (нажав на
«Справку» еще раз). Кнопка справки находится не в верхней части
экрана, как ожидалось, а в нижней.
Рекомендация: используйте кнопку Закрыть или символ X, чтобы это
соответствовало более распространенной ментальной модели
пользователя
F-09 P
На экране, а не в голове
Пользователи должны будут узнать, что повторный выбор элемента
(как в F-08) возвращает его в невыделенное состояние. Например,
чтобы поменять выбранный номер, нужно снова щелкнуть кнопкой
мыши, чтобы сделать выбор
При подготовке к семинару нам раздали отчеты всех команд, и только тогда я увидела, что была единственным человеком, проводившим «формальную» эвристи-
69
70
Глава 2 • Юзабилити и инструменты UX-специалиста
ческую оценку. Все остальные эксперты использовали экспертную оценку в том
смысле, что они описывали выводы своими терминами, основываясь на своем
опыте и не используя набор эвристик.
С того момента я изменила способ проведения такой оценки. Я продолжала
обучать своих студентов формальному процессу и на учебных семинарах, поскольку эвристика обеспечивает основу для освещения основных аспектов оценки. Однако со временем и по мере обретения опыта я пришла к выводу, что теперь у меня есть возможность делать все по-своему.
Использование повествования
для эвристической оценки
Повествование стало важной стратегией, чтобы вызвать эмпатию
к пользователям. Уитни Кузенбери и Кевин Брукс написали по этой
теме книгу, которая изменила правила игры.
Роль повествования в проведении экспертной оценки была задокументирована Даной Чиснелл и Джинни Редиш в отчете о влиянии
пользовательского опыта на пожилых людей по заказу AARP. ПодХотя интерактивная область
в блоках навигации очень
большая, Эдит ожидала, что
будет щелкать на ярлыки,
поэтому она удивилась, когда
появилось меню
При попытке щелкнуть по
элементу в показанном
выше меню у Эдит возникли
проблемы с выбором,
потому что курсор мыши
был довольно близко
к вариантам выбора,
показанным ниже, чтобы
открыть это меню, скрывая
элемент, по которому она
хотела щелкнуть
Рис. 2.8 Персонаж Эдит рассказывает историю своего опыта взаимодействия с сайтом
Объединяем оба метода: двойной удар
ход, который они использовали для изучения опыта использования
сайтов пожилыми людьми, заключался в создании двух персонажей – Эдит и Мэтью. При этом каждый автор передает опыт одного
из персонажей, когда он или она участвовал в сценариях, основанных
на задачах, с использованием 50 сайтов. Они назвали свой подход
«оценкой сценария на основе персонажей». Образец из отчета, представленный на рис. 2.8, показывает опыт использования Эдит одного
из сайтов, применявшихся в исследовании.
В конце этой главы я покажу пример из отчета с эвристической
оценкой с использованием данного подхода для документирования
нарушений принципов юзабилити.
Объединяем оба метода: двойной
удар
Лучший вариант – не делать выбор между эвристической оценкой
и юзабилити-тестированием. Лучше объединить их, поскольку каждый из них приносит пользу при создании полезных, удобных в использовании и желаемых продуктов. Вот что я рекомендую, когда
можно использовать и то и другое.
1. Сначала выполните эвристическую оценку (или экспертную). Результаты этой оценки можно использовать двумя способами:
вы можете очистить интерфейс, чтобы избавиться от проблем, которые могут повлиять на опыт взаимодействия пользователя, таких как несоответствие в терминологии или
расположении объектов или отсутствие инструктивной обратной связи в сообщениях об ошибках. В противном случае
можно внести серьезные изменения. Если времени мало, то
можно вначале заняться проблемами, которые легко устранить. Все, что вы можете сделать, чтобы избавиться от отвлекающих факторов, поможет вашим пользователям сосредоточиться на достижении своих целей по продукту;
если у вас нет времени вносить изменения в продукт перед
тестированием, то можно использовать оценку, чтобы определить цели юзабилити-тестирования. Поскольку вы изучили продукт, вы знакомы с ним, и у вас есть четкое представление о проблемах, с которыми могут столкнуться пользователи.
2. Проведите юзабилити-исследование. После эвристической оценки вы либо устранили проблемы, либо определили список проблем, которые хотите изучить в ходе этого исследования:
если вы устранили проблемы, выявленные до тестирования,
то можете узнать, какие дополнительные проблемы возникают у пользователей;
71
72
Глава 2 • Юзабилити и инструменты UX-специалиста
если вы не устранили проблемы перед тестированием, то можете узнать, действительно ли вещи, выявленные вами в ходе оценки, представляют проблемы для пользователей. Если
это так, то вы повысили достоверность результатов, сочетая
процессы. Если обнаруженные вами проблемы на самом деле не беспокоят пользователей, то можно узнать, что исправлять не нужно.
3. Используйте оба метода одновременно. Если в бюджете есть
деньги на использование обоих инструментов, но недостаточно времени на то, чтобы сделать сначала одно, а потом другое,
разделяйте и властвуйте. Проведите экспертную оценку и юзабилити-исследование в одни и те же сроки, сообщая результаты
по отдельности, а затем объедините их, чтобы подкрепить свои
рекомендации.
Признание процесса проектирования,
ориентированного на пользователя
Результат использования инструментов из вашего набора на протяжении всей разработки – это продукты, отражающие проектирование, ориентированное на пользователя. Документ ИСО 9241-210:
2010 «Эргономика взаимодействия человек–система – часть 210» дает определение диапазона работы, которую выполняют профессионалы в области юзабилити и человеческого фактора для проведения
проектирования, ориентированного на пользователя (человека). Когда в 2010 г. этот стандарт был обновлен, в двух результатах акцент
делался на итеративном процессе проектирования:
• разъясняя роль итерации во всем процессе проектирования (не
•
только оценка);
подчеркивая, что ориентированные на человека методы могут
использоваться на протяжении всего жизненного цикла системы.
Оба этих акцента обеспечивают весомую поддержку итеративному процессу проектирования, как показано на рис. 2.9, используя не
только юзабилити-тестирование, но и другие инструменты из набора
UX-исследователя.
На каждом этапе информация от пользователей и о пользователях
играет центральную роль в изучении того, что нужно проектировать
и как это делать, с требованием итерации на протяжении всего процесса проектирования.
Резюме к главе 2 73
BS EN ISO 9241-210:2010
ISO 9241-210:2010(E)
Планируйте процесс
проектирования,
ориентированный на человека
Спроектированное
решение соответствует
требованиям пользователя
Понять и указать
контекст использования
Вносите
улучшения
там, где это
необходимо
Оценить дизайн на предмет
соответствия требованиям
Указать требования
пользователя
Создавать дизайнерские
решения, отвечающие
требованиям пользователей
Рис. 2.9 Стандарт ИСО показывает, что процесс начинается
с планирования ориентированного на пользователя проектирования и итераций,
чтобы встроить UX в продукт
Резюме к главе 2
В этой главе приведен обзор юзабилити-тестирования, помещенного в набор методов, поддерживающих проектирование, ориентированное на пользователя. Если вы рассматриваете юзабилити-тестирование как ключевой компонент инструментов, используемых
UX-исследователями, то получаете представление о том, как набор
методов становится основой для процесса проектирования, ориентированного на пользователя, с юзабилити в качестве цели.
Этот инструментарий полон различных методик, обсуждение которых выходит далеко за рамки этой книги. Я дала краткое описание
часто используемых инструментов и привела ряд ценных ресурсов
для получения дополнительной информации.
Но в этом наборе есть один инструмент – эвристическая, или экспертная, оценка, – который используется настолько часто и который
так хорошо работает в сочетании с юзабилити-тестированием, что
я рассмотрела его более подробно.
Эвристическая оценка может быть формальной:
• оценка основана на наборе эвристик, которые представляют со•
бой «практические правила» или принципы юзабилити;
оценка – это «осмотр» продукта на предмет нарушений этих
правил;
74
Глава 2 • Юзабилити и инструменты UX-специалиста
• оценщики – обычно их двое, трое или больше – проводят неза-
•
висимую оценку продукта, используя эвристику и определенный список кодов серьезности для выявления и ранжирования
проблем;
в отчете даются сопоставленные, ранжированные результаты,
часто с рекомендациями по изменениям.
Экспертная оценка может быть менее формальной и означать разные вещи для разных людей. Например, это может быть:
• оценка, сделанная одним специалистом по юзабилити;
• оценка, в которой не используется определенный набор эври•
стик;
неформальный отчет или встреча, на которой рассматриваются
ключевые выводы.
Лучший вариант – тот, что сочетает в себе два наиболее часто используемых инструмента эвристической или экспертной оценки
и юзабилити-тестирования.
При использовании обоих методов вы получаете следующие преимущества:
• использование эвристической оценки перед юзабилити-тести•
•
рованием может дать вам представление о продукте и определить задачи для тестирования;
использование эвристической оценки одновременно с тестированием (или после него) может выявить ряд проблем, которые могут не возникнуть при тестировании, но которые можно
и нужно решить для улучшения продукта;
комбинированные результаты более убедительно подтверждают
наличие реальных проблем для пользователей и приводят к более строгим рекомендациям.
В конце главы были даны некоторые ключевые моменты из документа ИСО 9241-210 «Эргономика взаимодействия человек–система», который был обновлен в 2010 г., чтобы сделать особый акцент на
итеративном характере проектирования, ориентированного на человека, или пользователя.
Образец
отчета
Отчет с эвристической оценкой,
использующий повествование
Для эвристической оценки книжного онлайн-магазина Better World
Books (https://www.betterworldbooks.com/), выполняющего благотворительную миссию по сбору средств на повышение уровня грамотности,
команда студентов (PHT Solutions) подготовила отчет в двух разных
форматах, это Word/PDF-документ и файл PowerPoint. Здесь приводятся образцы из отчета в формате PowerPoint. На странице https://
www.elsevier.com/book-and-journals/book-companion/9780128169421
можно найти полные отчеты в обоих форматах.
Подход команды заключался в том, чтобы:
• создать персонажа;
• предоставить список задач в контексте сценариев использова•
•
ния персонажа;
выбрать эвристику для оценки – они выбрали 5E от Кузенбери
(из главы 1);
подготовить отчет, используя повествование.
Резюме
Персонажи
Эвристика
Методология с использованием пяти качеств
удобного продукта от Кузенбери
Скриншоты проблем
Сводки
Основные проблемы по степени серьезности
Выводы
Следующий этап
Резюме
Три эксперта изучают сайт BeerWorldBooks.com
Пять качеств удобного продукта от Кузенбери – производительный, эффективный,
увлекательный, устойчивый к ошибкам, простой в освоении
Персонаж – Алекс Паркер – 20 лет, экономный студент колледжа
Цели – поиск книг, продажа учебников, покупка электронных книг
Выводы
• Можно использовать задачи поиска (ISBN, заголовок и автор) и сравнения
цен.
• В процессе покупки электронной книги слишком много шагов, и требуются
учетные записи.
• Дополнительные шаги по выкупу учебников.
• Отсутствие сравнения цен на приобретение и выкуп на одной странице.
• Невозможно выполнить поиск по дате публикации.
• Поиск только по ISBN, автору и названию не обеспечивает последовательных
(жанр, издатель и т. д.) результатов.
Следующий шаг – использовать результаты для разработки плана тестирования
для реальных пользователей
Отчет с эвристической оценкой, использующий повествование
Персонаж – Алекс Паркер
20 лет.
Студент дневного отделения колледжа.
Целевой сотрудник (неполный рабочий
день).
Специалист в области технических
коммуникаций.
Встречается с девушкой на протяжении
года.
Принадлежит к среднему классу.
Родители оплачивают его обучение
с помощью ссуды.
Три эксперта используют эвристику 5E
Производительность – Могу ли я достичь своей цели?
Эффективность – Могу ли я сделать это быстро?
Вовлеченность – Мне это нравится?
Терпимость к ошибкам – Могу ли я сделать это правильно?
Легкость обучения – Могу ли я сделать это правильно с первого раза?
77
78 Глава 2 • Юзабилити и инструменты UX-специалиста
Цели и задачи Алекса
Цель № 1 – Приобрести учебник «Grammar Girl» для урока по английскому языку.
* Задача № 1 – Поиск по ISBN (978080508831/1)
* Задача № 2 – Поиск по автору (Миньон Фогарти)
Цель № 2 – Приобрести художественную книгу Джорджа Р. Р. Мартина
«Танец с драконами».
* Задача № 3 – Поиск по жанру (фэнтези)
* Задача № 4 – Найти книгу в твердом переплете для покупки
Цель № 3 – Поиск манги «Ганц».
* Задача № 5 – Поиск по издателю (Dark Horse Manga)
* Задача № 6 – Сравнить цены на новые и бывшие в употреблении
экземпляры
Цель № 4 – Продать экземпляр учебника «Основы юзабилити-тестирования».
* Задача № 7 – Пройти процесс продажи учебника
(до подтверждения)
* Задача № 8 – Найти/сравнить стоимость покупки и выкупа
Цель № 5 – Покупка электронных книг.
* Задача № 9 – Купить книгу о технологиях менее чем за 10 долл.
* Задача № 10 – Приобрести книгу о графическом дизайне с датой
публикации 2010–2013 гг.
Легко найти поле поиска
Слишком
много
вариантов
в меню
Отчет с эвристической оценкой, использующий повествование
Бесполезное
сообщение об ошибке
Успешный поиск
Powered by TCPDF (www.tcpdf.org)
79
80
Глава 2 • Юзабилити и инструменты UX-специалиста
Нет категории «Фэнтези»
Легко вести поиск
по названию,
автору или ISBN
Легко найти
книгу в твердой
и мягкой обложке
Цены легко найти
Легко заказать
Тестируем
и тут и там
https://t.me/it_boooks
3
Нужна ли лаборатория для проведения юзабилити-тестирования?
Нет.
Вам нужно быть с пользователем, чтобы провести тестирование? Нет.
Вам вообще нужно присутствовать, чтобы проводить его? Нет.
Если какой-либо из этих ответов вас удивил, тогда читайте дальше.
Если вы еще не проводили юзабилити-тестирование, потому что считали, что нужна лаборатория или необходимо личное присутствие, то
можете начинать прямо сейчас, имея в своем распоряжении только
продукт и пользователя.
В наши дни юзабилити-тестирование легко и доступно, поскольку
не требует сложной лаборатории, дорогостоящего оборудования или
даже специального помещения. В наши дни его можно проводить где
угодно.
В этой главе рассказывается, как проводить юзабилити-тестирование в лаборатории или без нее, в полевых условиях или удаленно,
с обзором вариантов удаленного модерируемого и удаленного немодерируемого тестирования. Она включает в себя следующие темы:
• юзабилити-тестирование можно начать, имея под рукой самое
•
•
основное, с возможностью добавить что-то, если это необходимо;
специализированное оборудование включает в себя:
аппаратное и программное обеспечение для тестирования
мобильных устройств,
оборудование для окулографии;
юзабилити-тестирование можно проводить в любом помещении, например в конференц-зале, офисе или арендованном помещении вашей компании;
82
Глава 3 • Тестируем и тут и там
• если это отдельная лаборатория, то вложения могут быть не-
большими, а возможно, и нет, в зависимости от конфигурации
помещения и оборудования;
• у отдельной лаборатории есть много преимуществ, но есть и недостатки;
• выходя из офиса или лаборатории для проведения полевого тестирования, вы попадаете в мир пользователя:
у вашего клиента или дома у пользователя,
в «естественной среде», где бы ни находились ваши пользователи, например в торговых центрах, парках и кафе;
• у полевого тестирования есть много преимуществ, но также
и недостатки;
• удаленное тестирование расширяет возможности везде, где находятся ваши пользователи, и может проводиться в формате модерируемого или немодерируемого тестирования:
модерируемое, или синхронное, удаленное тестирование – модератор находится в одном месте, а пользователь – в другом
в одно и то же время. Как правило, связь осуществляется с помощью программного обеспечения для проведения видеоконференций,
немодерируемое, или асинхронное, удаленное тестирование –
предполагает, что пользователь работает независимо без наблюдения с помощью веб-сервиса, который записывает сеанс
для последующего рассмотрения командой;
• другие веб-инструменты обеспечивают немодерируемую удаленную обратную связь относительно первых впечатлений от
дизайна, первых кликов, информационной архитектуры сайта
и путей навигации.
Есть много причин выбрать ту или иную методику, и, безусловно,
возникнут случаи, когда вы захотите сочетать их. Чтобы помочь сделать выбор, я приведу описание некоторых часто используемых методик и предложу способы, как можно сочетать их.
Приобретение базового оборудования
для юзабилити-тестирования
Как и многие другие технологические продукты, оборудование для
юзабилити-тестирования стало меньше по размерам, дешевле и эффективнее в использовании. Прошли те времена, когда на создание
лаборатории нужно было иметь бюджет в размере 50 000 долл. В наши дни можно проводить тестирование с ноутбуком и программным
обеспечением, которое вы используете каждый день. Однако если
нужно что-то посложнее и у вас небольшой бюджет, чтобы приобре-
Приобретение базового оборудования для юзабилити-тестирования
сти оборудование, то можно создать профессиональную лабораторию, затратив совсем немного времени и средств. Это так же просто,
как купить готовые, легко доступные продукты, подключить их с помощью простых кабелей, и вы готовы к работе.
Что касается места, то все, что вам нужно, – это конференц-зал,
который можно зарезервировать на время тестирования, и одна
или две коробки для хранения оборудования, когда оно не используется.
Как работать с наблюдателями? Вам не нужна отдельная комната с односторонним зеркалом. Наблюдатели могут связываться друг
с другом с помощью программного обеспечения для проведения
веб-конференций, такого как GoToMeeting, Zoom, WebEx или Join.me.
Они могут наблюдать за сеансом откуда угодно – находясьв соседнем
доме или на другом конце земного шара.
Список компонентов для начала работы включает в себя следующие элементы, часть из которых, вероятно, у вас уже есть:
• ноутбук для регистрации событий;
• ноутбук для участника в ситуациях, когда необходимо использо•
•
•
•
вание компьютера;
видеокамеру (встроенную или внешнюю);
микрофон (встроенный или внешний);
различные кабели для подключения всех компонентов;
надежное интернет-соединение и (в некоторых вариантах) Wi-Fi.
Дополнительно:
• мышь и полноразмерную клавиатуру, чтобы облегчить участни•
•
кам работу, особенно если они не знакомы с конкретным типом
предоставленного им ноутбука;
Camtasia от компании TechSmith или аналогичное программное
обеспечение для записи и редактирования видео;
Reframer от компании Optimal Workshop или аналогичное программное обеспечение, чтобы вести журналы и делать метки для
краткого анализа
Все необходимое оборудование и кабели можно приобрести в интернете или в местном магазине менее чем за 5000 долл., а если у вас
не так много средств, то можно купить самое необходимое по цене
менее 2000 долл. Если вы не приобрели подписку на такой инструмент для журналирования и ведения заметок, как Reframer, то можно
использовать Word, Excel, Google Docs или Sheets. Существует множество программ для записи сеансов, которые можно найти в интернете. Бесплатное программное обеспечение, такое как HandBrake,
позволяет конвертировать видео из поддерживаемых исходных форматов в формат MP4. Большинство платных программных платформ
предлагают бесплатные пробные периоды.
83
84
Глава 3 • Тестируем и тут и там
Расширяем свои возможности
с помощью специализированного
оборудования и программного
обеспечения
Помимо требований к базовому оборудованию и дополнительных надстроек для юзабилити-лаборатории, вы можете добавить специализированное оборудование и программное обеспечение для поддержки
потребностей и целей тестирования. Два наиболее часто используемых типа специализированного оборудования включают в себя:
• оборудование и программное обеспечение для тестирования
•
мобильных устройств;
оборудование для окулографии.
При тестировании мобильных устройств
используется специализированное
оборудование и программное обеспечение
Тестирование смартфонов и других мобильных
устройств обычно требует наличия приспособлений
по сравнению со стандартным тестированием настольных компьютеров. Специальное оборудование
Документ-камера также попомогает удерживать устройство на месте или дерзволяет записывать любую
жать его в пределах досягаемости камеры, чтобы вы
документацию или инструкмогли запечатлеть все в фокусе.
ции, которые включены
Такое программное обеспечение, как AirServer
в юзабилити-исследование.
и Reflector, дает возможность увидеть экран мобильного устройства на своем компьютере и выполнить запись, но вам
по-прежнему нужно видеть руки пользователя, и для этого есть документ-камера.
В некоторых лабораториях на потолке прямо над рабочим пространством пользователя установлена камера, которую можно использовать для тестирования мобильных устройств.
Однако вам она не нужна, поскольку документ-камера хорошо
подходит для исследований мобильных устройств, и можно брать ее
с собой, когда нужно проводить тестирование. На рис. 3.1 показано,
что, работая с устройством, пользователь может двигаться естественно, но в определенном диапазоне.
Еще один вариант – изготовить или купить держатель, чтобы мобильное устройство было в фиксированном положении. Поищите
в интернете, и вы найдете множество вариантов, в том числе приспособления, изготовленные своими руками. Один из имеющихся в продаже держателей, показанных на рис. 3.2, может удерживать мобильное устройство или планшет и оснащен встроенной камерой.
Подробнее о настройке
юзабилити-теста мобильного
устройства см. главу 6.
Расширяем свои возможности с помощью специализированного оборудования 85
Рис. 3.1 Участник держит мобильный
телефон под документ-камерой
Рис. 3.2 MOD 1000 позволяет
пользователю свободно перемещаться,
при этом устройство остается неподвижным.
Источник: https://measuringu.com/
Поскольку тестирование мобильных устройств является быстрорастущим сегментом UX-исследований, сейчас доступно множество
недорогих технологий, которые делают его относительно простым
в настройке и использовании. Один из них – Mr. Tappy на рис. 3.3.
Оборудование для окулографии показывает,
куда смотрят пользователи
Если у вас есть бюджет для расширения возможностей тестирования, то можно приобрести оборудование для окулографии. Данный
тип оборудования позволяет точно определить, что видят пользователи и куда они смотрят, отслеживая движения их глаз и время,
в течение которого они фиксируют свое внимание на определенной
части экрана. Тепловая карта экрана с цветовой кодировкой показывает хот-споты – области экрана, получившие наибольшее количество фиксаций и наибольшее время фиксации – для отдельных
людей и для всех участников исследования.
86
Глава 3 • Тестируем и тут и там
Все просто...
1
Прикрепите и расположите Mr. Tappy,
чтобы запечатлеть ракурс пользователя
3
2
Используйте вторую камеру и функцию «картинка
в картинке», чтобы увидеть лицо пользователя
Просматривайте действие с помощью
его обозревателя на базе браузера
Рис. 3.3 Mr. Tappy – недорогое технологическое решение
для юзабилити-тестирования мобильных устройств. Источник: https://www.mrtappy.com
На странице с результатами (рис. 3.4) показана тепловая карта, полученная при исследовании корпоративной информационной страницы сайта. Красный
цвет на тепловой карте показывает самую высокую
концентрацию фиксаций, затем идет желтый и синий.
Когда вы смотрите на тепловую карту, то видите, что
пользователи сосредоточили свое внимание на информации в верхней части страницы и частично внизу в левой части страницы.
F-образный паттерн основан на следующем шаблоне:
Смотрите «F-Shaped Pattern
for Reading Web Content»,
2006. Обновленную информацию об этом исследовании
паттернов чтения см. в статье
«F-Shaped Pattern of Reading
on the Web: Misunderstood,
But Still Relevant (Even on
Mobile)», 2017.
• в первую очередь просматривается контент по горизонтали
•
•
в верхней части страницы;
далее просматривается содержимое чуть ниже верхней части,
снова по горизонтали;
и наконец – глаза идут по вертикали вниз по левой стороне страницы.
Еще один результат отслеживания взгляда – это график взгляда,
показывающий порядок, в котором пользователи перемещались по
сайту. Рисунок 3.5 представляет собой пример графика взгляда пользователя, просматривающего страницу результатов поиска по запросу «кастрюля из жаропрочного материала».
Расширяем свои возможности с помощью специализированного оборудования 87
Рис. 3.4 Тепловая карта показывает,
как взгляд фиксируется на странице сайта с корпоративной информацией.
Источник: «F-образный шаблон для чтения веб-контента», 2006
Те времена, когда пользователи надевали на голову неудобные приспособления, требовавшие длительной настройки, остались позади.
Сегодня оборудование для окулографии работает через устройство,
подключенное к компьютеру участника. Калибровка выполняется
быстро, и пользователь может двигаться естественно, не нарушая ее.
Эти изменения делают использование технологий более управляемым, чем это было раньше.
Затраты на приобретение технологий по-прежнему довольно высоки. Однако варианты аренды сделали стоимость и возможность использования оборудования более доступными.
Пример использования оборудования для окуло- Для получения дополнительграфии показан на рис. 3.6. Устройство размещается ной информации об окулов нижней части экрана ноутбука. Программное обе- графии см. книги Дженнифер
Бергстром и Эндрю Шэлла
спечение выполняет быструю калибровку движений
«Eye Tracking in User Expeглаз участника, а результаты исследования представ- rience Design», 2014 и «Eye
лены на удобных тепловых картах, а также в ряде дру- Tracking the User Experience:
гих вариантов для создания отчетов, которые вы мо- A Practical Guide to Research»,
жете выбрать.
2013.
88 Глава 3 • Тестируем и тут и там
Рис. 3.5 График взгляда показывает порядок, в котором пользователь просматривал страницу
(пронумерованная последовательность), и относительную продолжительность времени для каждой точки
(чем больше круг, тем больше времени было потрачено). Источник: https://www.simpleusability.com/
Рис. 3.6 Устройство Tobii Pro
размещено под областью просмотра экрана ноутбука
Использование конференц-зала или офиса
Что касается исследований, которые заставляют вас выйти за пределы лаборатории в естественную среду пользователя, такие умные
очки, как Tobii Pro 2, позволяют захватывать все детали окружения
с помощью Full-HD-камеры и камеры с четырьмя объективами, чтобы увидеть все, что видит участник. На рис. 3.7 показан пример таких
очков.
Рис. 3.7
Очки Tobii фиксируют взгляд пользователя в естественной обстановке
Использование конференц-зала
или офиса
Чтобы правильно использовать приобретенное оборудование, юзабилити-лаборатория не нужна. Можно занять любой доступный
конференц-зал в своей компании или арендовать его или офисное
помещение. Фирмы, занимающиеся маркетинговыми исследованиями, обычно сдают в аренду свои помещения, в которых уже есть одностороннее зеркало и две комнаты для участников и наблюдателей.
В некоторых случаях местная юзабилити-лаборатория может сдавать
в аренду свое помещение, когда у нее есть свободные дни. Чтобы
обеспечить простое базовое рабочее место, можно арендовать конференц-зал в отеле или воспользоваться услугами таких компаний,
как Regus или WeWork.
Если у вас нет отдельной лаборатории, но вы хотите ее создать,
я приведу некоторые распространенные конфигурации и варианты
для двухкомнатной, трехкомнатной или четырехкомнатной лаборатории.
89
90
Глава 3 • Тестируем и тут и там
Инвестиции в отдельную
лабораторию
Зачем инвестировать в лабораторию, если она не нужна вам для юзабилити-тестирования? Вот несколько причин:
• она здесь, когда вам это нужно. Это избавляет вас от необходи•
•
•
мости искать место для тестирования, собирать оборудование
и расходные материалы и т. д.;
это демонстрирует приверженность организации к юзабилити-тестированию, что может быть важно для «продажи» значимости внутри компании;
как и в случае с физическим присутствием, ее можно поддерживать и обновлять, особенно когда бюджет лаборатории позволяет выполнять обслуживание и вносить улучшения;
ее можно спроектировать для создания идеальной среды тестирования – тихой, с пространством для наблюдателей, которая
обеспечивает основные требования для тестирования, а также
такой, которая может удовлетворить все особые требования к тестированию продуктов, включая требования для тестирования
с людьми с ограниченными возможностями.
Вложения для этого могут быть небольшими или крупными, в зависимости от размера, сложности помещения и оборудования. В лаборатории может быть одна комната, две, три или даже четыре. В однокомнатных размещаются участник, команда тестирования и наблюдатели. В двухкомнатной лаборатории есть помещение для участника
и диспетчерская – для команды и наблюдателей. В трехкомнатных
есть отдельная комната для наблюдателей. Лаборатория с четырьмя
комнатами может включать отдельное помещение для фокус-групп
или других типов пользовательских исследований.
В 1994 г. я открыла свою первую лабораторию в Южном политехническом университете. Она была с двумя комнатами и финансировалась в рамках гранта IBM на управление качеством на сумму
1 млн долл. Стоимость строительства помещения и оборудования для
комнат составила 100 000 долл. Не могу себе представить, чтобы сегодня кто-то потратил такие деньги.
В настоящее время можно создать или оборудовать лабораторию
самостоятельно за гораздо меньшие деньги. В 2009 г. мой университет построил для студентов двухкомнатное помещение (см. рис. 3.8).
Цена вопроса составила 6600 долл., включая стоимость двух настольных компьютеров, четырех мониторов, потолочного блока с четырьмя камерами, документ-камеры, покупки и установки одностороннего зеркала, различных кабелей и программного обеспечения для
ведения журналов. Стоимость оборудования продолжает снижаться,
поэтому оснащение этой лаборатории сегодня обойдется еще дешевле.
Инвестиции в отдельную лабораторию
Рис. 3.8 В этой двухкомнатной лаборатории есть одностороннее зеркало
(со стеклом с одной стороны и зеркалом с другой) между двумя комнатами.
Из диспетчерской видно сторону со стеклом
На рис. 3.9 показан схематический чертеж трехкомнатной лаборатории для юзабилити-тестирования. На чертеже изображена базовая
конфигурация лаборатории, показанной на рис. 3.10. Комната участника – первая слева, с диспетчерской посередине и комнатой для наблюдателей справа. В последней есть прозрачный стеклянный проем
в стене, через который они могут заглянуть в диспетчерскую и в комнату для участников. Поскольку все помещения соединены между
собой, люди в комнате для наблюдателей находятся в зоне прямой
видимости для участника.
Рис. 3.9
На этом схематическом изображении лаборатории для юзабилити-тестирования
показаны все три комнаты, соединенные между собой
91
92
Глава 3 • Тестируем и тут и там
Рис. 3.10
В этой трехкомнатной лаборатории показан вид из комнаты для наблюдателей
через диспетчерскую в комнату для участников
Когда из-за недостатка места нельзя сделать так, чтобы у вас было
три комнаты, соединенных между собой, третья комната может быть
расположена где-нибудь в другом месте, как правило, рядом с лабораторией, но она не будет соединена с ней напрямую. В этой схеме
наблюдатели следят и слушают участника, используя один или несколько плоских мониторов в конференц-зале или в обстановке в театральном стиле.
Поскольку комната для участников довольно большая и оборудована модульными стеновыми панелями, ее можно обустроить для
различных ситуаций тестирования. На рис. 3.11 показано, как мы превратили комнату в гостиную для юзабилити-исследования цифрового
комплекта для самостоятельной установки, где участника и абонента
кабельного телевидения попросили установить приставку.
В некоторых лабораториях также есть отдельная зона ресепшен,
где можно встретиться и поприветствовать участников, а также попросить их заполнить документы. Когда вы сможете это заполучить,
такое помещение поможет разобраться, как справиться с прибытием
участников, чтобы они случайно не подошли к вам во время тестирования.
Конфигурация лаборатории с четырьмя комнатами показана на
рис. 3.12. Она состоит из следующих интегрированных помещений:
•
•
•
•
комнаты для наблюдателей;
диспетчерской и комнаты сбора данных;
комнаты для участников;
комнаты для фокус-групп и для встреч членов команды.
93
Инвестиции в отдельную лабораторию
Рис. 3.11 Конфигурация этой комнаты для участников изменена
для юзабилити-исследования самостоятельной установки приставки для кабельного
телевидения в домашних условиях. Женщина в красном – автор книги и модератор
Комната для
наблюдателей
Комната
управления
и сбора данных
Комната для участников
Комната фокус-группы
Проектор и экран
(ПМ)
(ДК)
(РТТ)
(НМ)
(НМ)
(НМ)
(ПМ)
Сенсорная панель для совместной работы
(ПМ)
(ПМ)
2 Потолочные
динамики
2 Большие мониторы
1 Компьютер с мышью
5 Консольные мониторы
2 Большие мониторы
2 Потолочные динамики
2 Микрофон Push-to-Talk
1 Кодировщик видео
и хранилище
5 Потолочные камеры
4 Потолочные динамики
2 Настольный микрофон (НМ)
2 Потолочные мирофоны (ПМ)
1 Проектор и экран
1 Сенсорная панель
для совместной работы
Рис. 3.12 Конфигурация лаборатории с четырьмя комнатами
предоставляет интегрированные комнаты для юзабилити-тестирования, контроля и сбора данных,
просмотра и организации фокус-групп или создания пространства для совместной работы
94
Глава 3 • Тестируем и тут и там
Оценка недостатков лабораторного
тестирования
Обсуждая все эти причины инвестировать в собственную лабораторию и преимуществ, связанных с отдельным пространством, также
необходимо подумать, почему не нужно инвестировать в лабораторию или даже проводить тестирование в лаборатории, которую вы
арендуете.
Вот несколько причин, по которым юзабилити-тестирование в лаборатории не лучший выбор:
• это искусственная среда. Даже когда прилагаются усилия, чтобы
•
•
•
окружающая среда казалась «реальной», это не реальный контекст, в котором ваш пользователь, вероятно, будет взаимодействовать с продуктом;
поскольку все происходит в лаборатории, участник может нервничать. Модератор может многое сделать для создания комфортной атмосферы, но некоторые участники все равно будут
нервничать в такой обстановке;
поскольку все происходит в лаборатории, вы теряете контекстные подсказки реального окружения пользователя, которые могут повлиять на опыт взаимодействия;
если лаборатория находится в вашей компании, вы можете положительно или отрицательно повлиять на поведение пользователя. Эта проблема усугубляется, когда вы передаете указания
в штаб-квартиру своей компании, которая заранее уведомляет
пользователя о компании и/или продукте. Конечно, если тест
проводится с текущими пользователями, идентификация вашей
компании не является проблемой.
Попадаем в мир пользователя
с помощью полевого тестирования
Чтобы выйти из искусственной обстановки лаборатории, можно провести полевое тестирование.
Такое тестирование может оказаться очень полезным. Наблюдение за пользователями в их естественной среде помогает восполнить то, чего вам не хватает
при работе в лаборатории.
Для этого нужен только ноутбук, а иногда можно
обойтись и без него. Вы также можете получить более
подробную информацию с помощью переносной лаборатории, которая обычно содержит те же основные компоненты,
что и стационарная лаборатория, но ее можно упаковать в чемодан
и взять в самолет или поместить в багажник автомобиля для удобства
Полевое тестирование также
называют этнографическим
исследованием. Это название
берет свое начало из антропологии. Подобно антропологу, вы изучаете культуру мира
своих пользователей, чтобы
лучше понять их контекст
использования.
Попадаем в мир пользователя с помощью полевого тестирования
транспортировки. Переносная лаборатория может состоять из основного оборудования, упомянутого ранее в этой главе, или включать
в себя некоторое специализированное оборудование, также описанное ранее.
На рис. 3.13 показан чемодан, используемый для упаковки и транспортировки переносной лаборатории.
Рис. 3.13 Переносную лабораторию
можно упаковать в чемодан и взять
с собой в дорогу
Преимущества полевого тестирования
Ранее в этой главе я объяснила, почему нужно выйти из лаборатории
и отправиться в поле. Вот список преимуществ полевого тестирования по сравнению с лабораторным.
Вы можете увидеть контекст использования своего продукта и собрать информацию о нем в следующих ситуациях.
В офисе или дома, что дает вам понимание:
• рабочего пространства, условий освещения, доступа к доку-
ментации, типа используемого компьютера и всего, что на нем
есть, возможности подключения к интернету или Wi-Fi и других
аспектов, которые могут потенциально повлиять на опыт взаимодействия пользователя;
• артефактов, которые помогают пользователям в выполнении их
задач, таких как стикеры на мониторе и личные рабочие материалы, которые помогают пользователю запоминать определенные задачи или функции.
В «дикой среде» (пространстве, охватывающем все места, где бывает пользователь), что позволяет понять:
• влияние шума и отвлекающих факторов, например других задач, которые пользователь выполняет одновременно, и сбои, которые могут нарушить концентрацию пользователя;
• влияние различных условий, например видимость при ярком,
естественном освещении или в темноте и т. д. Это особенно полезно при тестировании портативных устройств или киосков
в общественных местах.
95
96
Глава 3 • Тестируем и тут и там
Если вы проводите лабораторные и полевые исследования с использованием одних и тех же сценариев, то можете сравнить результаты, обращая особое внимание на все различия в результатах, связанных с окружением.
Недостатки полевого тестирования
У полевого тестирования есть и свои ограничения, которые необходимо учитывать. Вот некоторые из них:
• окружение нельзя контролировать, поэтому сложно получить
достоверные данные о задачах с привязкой по времени;
• вы не можете удалить себя из окружения, как при лабораторном
тестировании;
• возможно, вам не удастся добиться безраздельного внимания
пользователя, поскольку могут мешать отвлекающие факторы
на рабочем месте или дома;
• возможно, у вас не будет возможности обеспечить достаточную
степень конфиденциальности, когда человек станет размышлять
вслух, или участник может чувствовать себя некомфортно, когда
другие будут слышать его;
• как правило, нельзя протестировать продукт с таким количеством пользователей, поскольку компания, которую вы посещаете, вероятно, не желает допускать нарушений среди своих сотрудников, или вам, возможно, придется переезжать с места на
место в пределах города или из одного города в другой, чтобы
добраться до своих пользователей;
• полевое тестирование стоит дороже из-за дополнительного
времени и затрат, необходимых для того, чтобы находиться вне
офиса. И, когда вы приезжаете к кому-то домой, нужно ходить
в сопровождении из соображений безопасности и ответственности;
• как правило, у вас будет больше данных, чем при лабораторных
испытаниях, потому что также необходимо проанализировать
данные об окружении, за которым вы наблюдали. Дополнительное время, необходимое для проведения анализа после тестирования, нужно учитывать в процессе.
Список недостатков длиннее, чем список преимуществ, что может объяснить тот факт, что полевое тестирование проводится реже,
чем лабораторное. Тем не менее полевое тестирование может дать
огромные преимущества, не последним из которых является обучение команды реальному миру ваших пользователей, задач и окружения. Очевидно, что преимущества могут перевесить затраты, когда
потребность в глубоком понимании опыта взаимодействия пользователя в его собственном мире имеет решающее значение для успеха
вашего продукта.
Доступ к пользователям всегда и везде с помощью удаленного тестирования
97
Но что делать, если вы не можете привести пользователя к себе
и сами не можете прийти к нему?
Доступ к пользователям всегда
и везде с помощью удаленного
тестирования
Удаленное юзабилити-тестирование дает возможность собрать информацию о пользователях, где бы
они ни находились. Методы удаленного тестирования
быстро расширяются, как и термины, которые люди
используют, когда говорят об удаленном тестировании. Однако основных понятия только два:
•
Для получения дополнительной информации об
удаленном тестировании
см. книги «Remote Research:
Real Users, Real Time, Real
Research», 2010, и «Beyond
the Usability Lab: Conducting
модерируемое тестирование означает присут- Large-scale Online User Experience Studies», 2010.
ствие модератора во время тестирования;
• немодерируемое тестирование означает использование веб-приложения для проведения тестирования без модератора.
Модерируемое удаленное тестирование
является синхронным
Модерируемое, также называемое синхронным, уда- Синхронный означает, что вы
ленное тестирование очень похоже на лабораторное и участник связаны в режиме
тестирование. Существенная разница – это расстоя- реального времени.
ние. При модерируемом удаленном тестировании модератор, участник тестирования и наблюдатели физически находятся
в разных местах. В некоторых случаях наблюдатели также могут быть
на расстоянии.
Как провести модерируемое удаленное тестирование
Любые популярные инструменты для организации онлайн-конференций, такие как GoToMeeting, WebEx или Zoom, хорошо подходят
для модерируемого удаленного тестирования. Используя один из
этих инструментов и аудиосвязь, которую обеспечивает данный инструмент, или с помощью телефонного звонка на внешний номер
можно модерировать сеансы на расстоянии, применяя многие из тех
же методов, что и при личной встрече.
Это означает, что вы можете попросить участника подумать вслух,
работая над сценарием. Вы можете видеть и записывать его действия,
используя удаленный доступ к экрану. Записи сеанса можно сохранить у себя на компьютере или в облаке. Затем результаты можно
распространить среди всех желающих.
Технология удаленного доступа к экрану при проведении модерируемого удаленного тестирования постоянно совершенствуется.
98 Глава 3 • Тестируем и тут и там
С повсеместным использованием веб-камер и увеличивающейся
пропускной способностью интернета можно легко включить в сеанс
видео, где будет видно лицо пользователя.
Преимущества модерируемого удаленного тестирования
Вот несколько причин, по которым модерируемое удаленное тестирование может быть хорошим выбором:
• вы не можете приехать к своим пользователям, потому что у вас
нет ресурсов или времени;
• вы можете охватить разных пользователей, которые находятся
в разных местах (в том числе и за рубежом);
• ваши участники не желают тратить время, даже если они местные, для поездки к вам, но готовы участвовать, находясь у себя
дома. Такое часто бывает, когда вы набираете участников с узкой
специальностью или высоким уровнем дохода, в том числе людей с ограниченными возможностями;
• даже когда ваши участники – местные и хотят приехать туда, где
будет проводиться тестирование, а вы хотите узнать, как ваш
продукт работает в их окружении, на их компьютере, в их браузере и т. д., вы не можете договориться о том, чтобы поехать
к ним;
• ваш график тестирования рассчитан на определенный период
времени (неделю или, возможно, больше). Это не сжатый график, рассчитанный на один или два дня в идущих друг за другом
сеансах. Это означает, что индивидуальные тесты можно настроить, когда вы и ваши пользователи доступны и в более широкие
временные рамки;
• вы можете нанять участников за очень небольшие деньги или совсем бесплатно и сделать это очень быстро, создав онлайн-форму, которую можно настроить таким образом, чтобы вы получали уведомление, после того как кто-то ее заполнит.
Ethnio (https://ethn.io/) – одна
Если респондент соответствует требованиям для учаиз таких компаний, которая
выполняет эту работу с помо- стия в исследовании и вы оба доступны, можно сразу
щью веб-приложения. В главе же провести его. Или вы можете работать с компанией
6 подробнее рассказывается по онлайн-рекрутингу, которая займется подбором
о тактике рекрутинга.
участников за вас;
• оплата для участников обычно меньше, чем при исследованиях
с личным присутствием, что объясняется фактором удобства для
участников;
• если у вас нет лаборатории, модерируемое удаленное тестирование позволяет быстро приступить к юзабилити-тестированию
с гораздо меньшими затратами, чем при создании лаборатории.
Доступ к пользователям всегда и везде с помощью удаленного тестирования
99
Недостатки модерируемого удаленного тестирования
Итак, каковы отрицательные стороны модерируемого удаленного тестирования?
Их несколько:
• технологические вопросы могут вызвать ряд проблем, не зави-
•
•
сящих от вас:
участникам необходим определенный уровень комфорта при
скачивании программного обеспечения для веб-конференций и его использовании;
проблемы с пропускной способностью могут помешать вам
одновременно видеть участника и приложение, а это означает, что вы не сможете наблюдать, как пользователь взаимодействует с продуктом, и не сможете улавливать невербальные сигналы;
брандмауэры компании могут препятствовать доступу вашего
программного обеспечения к экрану участника;
пробный запуск для каждого участника, чтобы убедиться,
что технология работает, требует дополнительного времени
и планирования;
даже с пробным запуском и отличным планированием вы находитесь во власти интернета, поэтому вам нужен запасной
план на случай, если сеанс нельзя провести так, как планировалось;
передача материалов участнику должна быть спланирована
и организована заранее. Необходимо включить сюда инструкции о том, когда и как открывать документы. Эти инструкции
также должны приводить объяснение относительно того, как
получить доступ к сеансу и/или загрузить соответствующее программное обеспечение;
проводить удаленное тестирование сложнее, потому что вам
нужно установить взаимопонимание на расстоянии, которое
разделяет вас, и, возможно, у вас не будет возможности видеть
участника. Это не лучший способ, если вы новичок в модерации.
Немодерируемое удаленное тестирование
является асинхронным
Немодерируемое удаленное тестирование также на- Слово асинхронный не подзывается асинхронным или автоматическим тести- разумевает одновременное
рованием. В зависимости от приложения результаты присутствие вас и участника.
включают нажатия клавиш, щелчки мышью, касания
или проведения пальцами по экрану и время завершения и т. д. Записи сеанса доступны для качественного анализа. Исследование настра-
100
Глава 3 • Тестируем и тут и там
ивается с использованием онлайн-инструментов для создания скринера, чтобы набрать участников (обычно из большой группы имеющихся участников) и записать свои задачи или сценарии и вопросы.
Среди интернет-компаний, предоставляющих эти услуги, можно
упомянуть:
Большинство этих сервисов работает по подписке
с разными ценовыми диапазонами, от небольшого
количества исследований в месяц или год до уровня
предприятия. Некоторые из этих сервисов, например
UserZoom, ориентированы на крупные количественные
исследования, тогда как другие, такие как UserTesting, –
на более мелкие. Однако эти различия стираются,
поскольку теперь крупные игроки предлагают ряд услуг, охватывающих все типы исследований, от малых до крупных, отбор участников
из их или вашей базы данных и другие типы онлайн-услуг по UXисследованию, включая модерируемое тестирование.
Хорошая новость заключается в том, что большинство этих сервисов предлагает бесплатный пробный период, который вы можете
использовать для тестирования сервиса, чтобы убедиться, что он соответствует вашим потребностям.
Рынок этих онлайн-услуг
растет и меняется, поэтому
вам понадобится выполнить
быстрый поиск в интернете, чтобы найти текущие
предложения.
• присутствовать во время тестирования необязательно. Вы под-
писываетесь на услугу, заполняете онлайн-формы для скринера,
задачи и вопросы для пользователей, а приложение делает все
остальное;
• если участники не являются вашими клиентами или не принадлежат к иной узкоспециализированной аудитории, не нужно
никого нанимать. Эта задача часто может быть самой
Некоторые из этих веб-сертрудоемкой частью подготовки к модерированному
висов также предлагают вам
юзабилити-исследованию. Приложение само набиравозможность предоставить
базу ваших клиентов.
ет квалифицированных участников;
• оно быстрое. Исследование можно быстро развернуть, чтобы
получить ответ на вопрос команды, что особенно полезно при
Доступ к пользователям всегда и везде с помощью удаленного тестирования
•
•
101
использовании гибких (agile) методологий разработки. Результаты также можно получить быстро, часто в течение нескольких
часов;
чтобы увидеть тенденции, вам могут и не понадобиться большие
цифры. Однако, если небольшое исследование не дает однозначных результатов, вы можете быстро настроить другое, чтобы получить больше информации от пользователя;
такое тестирование отлично подходит для больших исследований, так как его можно использовать одновременно для большого количества участников. Когда модерируемого тестирования
с несколькими пользователями явно недостаточно, чтобы убедить руководство в необходимости внесения изменений, немодерируемое удаленное тестирование может предоставить статистически значимые доказательства.
Недостатки немодерируемого удаленного тестирования
Вот список причин, по которым вы, возможно, не за- Сравнительное исследование
хотите проводить немодерируемое удаленное тести- модерируемого и немодерируемого удаленного
рование:
• вы не можете взаимодействовать с участниками
•
•
•
•
юзабилити-тестирования сайта показало, что синхронное
тестирование лучше, по сравнению с асинхронным, с точки
зрения количества и типов
обнаруженных проблем,
связанных с юзабилити, но
не намного. Смотрите статью
«A Comparative Study of Synchronous and Asynchronous
Remote Usability Testing
Methods», 2013.
напрямую. Это существенное ограничение данного метода. Не имея возможности взаимодействовать со своими участниками, вы не сможете
выяснить причины их действий или получить отзывы об их ответах на анкеты после завершения
задания и тестирования;
в некоторых случаях их нельзя увидеть в записи
сеанса. Та же проблема, что и при удаленном модерируемом тестировании;
вы не можете задавать сложные вопросы, состоящие из нескольких частей, или предлагать сложные сценарии.
Как правило, сценарии должны быть простыми и понятными,
как и вопросы об опыте взаимодействия пользователя после
сценариев;
у вас нет типичного одночасового модерируемого исследования,
поскольку большинство сервисов ограничивает продолжительность сеанса примерно до 20 мин;
вы не можете просмотреть выбранных участников для дальнейшего отбора и участия в исследовании. Вы получаете то, что получаете. В некоторых случаях это будут опытные тестировщики,
которые достаточно квалифицированы, чтобы их включили
в группу, поскольку они умеют мыслить вслух. Их мотивация
к участию в сеансе может не совпадать с мотивацией вашего
пользователя к вашему продукту;
102
Глава 3 • Тестируем и тут и там
• для крупных исследований план тестирования, который нужно
будет приобрести, чтобы охватить большое количество участников, может быть дорогостоящим.
Использование других онлайнинструментов для расширения
возможностей удаленного
немодерируемого тестирования
Концепция удаленного юзабилити-тестирования вышла за пределы
юзабилити-тестирования и включает в себя отзывы пользователей об
информационной архитектуре сайта, возможности поиска информации на сайте, первых впечатлениях от сайта, первых кликах и связанных с этим темах. Все это стало возможным благодаря веб-инструментам для проведения удаленного немодерируемого тестирования.
Есть ряд веб-сервисов, которые предоставляют инДополнительную информаструменты для данного типа удаленного тестировацию о карточной сортировке
ния, но одним из первых стала платформа Optimal
можно найти в главе 2.
Workshop. Ее набор инструментов включает в себя:
• OptimalSort – используется для онлайн-исследований с карточ-
•
•
ной сортировкой, чтобы узнать, как люди упорядочивают контент на вашем сайте или в меню вашего продукта. На рис. 3.14
показан процесс сортировки карточек;
Chalkmark – используется для «микро»-юзабилити-тестов макетов
или прототипов для определения возможности поиска информации путем тестирования с первого щелчка. Участникам предлагается выполнить простое задание. Собранные результаты отображаются на карте кликов, как в примере, показанном на рис. 3.15;
Treejack – используется для получения информации, необходимой для построения интуитивно понятной информационной
архитектуры. Участников просят выполнить несколько задач,
которые могут быть предоставлены случайным образом из базы
задач. На рис. 3.16 показан пример задачи со страницей результатов, показывающей, где люди искали информацию на экране.
Еще один онлайн-ресурс – UsabilityHub.
Это набор юзабилити-тестов, включающий в себя:
• пятисекундный тест – открывается экран на пять секунд, а за-
•
тем задаются вопросы, чтобы зафиксировать первое впечатление и узнать, что помнят пользователи. На рис. 3.17 показан
пример того, как это работает;
тест-вопрос – открывается экран, и пользователей просят отвечать на вопросы без ограничения по времени;
Использование других онлайн-инструментов для расширения возможностей
Рис. 3.14 Участник обращается к списку тем,
перемещая карточки в рабочую область и распределяя их по группам
Рис. 3.15 Chalkmark просит участников выбрать путь, чтобы узнать,
где купить конкретный телефон. В результатах отображается карта кликов для задачи
103
104
Глава 3 • Тестируем и тут и там
Рис. 3.16 Пример страницы анализа из Treejack дает результаты по задаче
Рис. 3.17 Пятисекундный тест обеспечивает отзывы
о первых впечатлениях пользователей от веб-приложения,
что помогает отслеживать и оценивать просмотренные мультфильмы
Выбор правильного метода
105
• клик-тест – обеспечивает анализ по первому клику (как Chalk•
mark);
навигационный тест – имитирует навигацию, чтобы узнать, как
продвигаются пользователи (как в Treejack).
Чтобы найти дополнительные инструменты, которые можно использовать, поищите в интернете и, вероятно, подберете ряд вариантов.
Выбор правильного метода
В лучшем из возможных миров не нужно выбирать один метод вместо другого. Модерируемое тестирование «лицом к лицу» отлично
подходит для начинающих, но если вы не можете провести его, тогда
вам поможет один из быстрых и недорогих онлайн-методов. Будет
лучше, если вы объедините как минимум два метода, чтобы повысить
свою уверенность в результатах. Комбинаций много, но вот несколько советов, которые помогут вам приступить к работе:
• начните с модерируемого юзабилити-исследования рабочего
•
•
прототипа среднего уровня. Добавьте несколько целевых онлайнисследований, чтобы копнуть поглубже или получить больше отзывов о неубедительных результатах. Затем по мере разработки
продукта добавьте более крупное исследование для получения
показателей;
начните с одного из онлайн-инструментов, чтобы быстро получать отзывы о первых впечатлениях, первых кликах или навигации на раннем этапе разработки, используя прототип, макет или
концепцию проектирования. В итеративном процессе проектирования, когда продукт становится надежнее, проведите модерируемое юзабилити-исследование «лицом к лицу». Затем проведите модерируемое удаленное исследование, чтобы охватить
более широкий круг пользователей;
начните с текущего продукта и проведите базовое юзабилити-исследование, чтобы выявить проблемы, которые вы хотите
решить при повторном проектировании или обновлении продукта. Или проведите сравнительную оценку своего продукта
и продукта конкурента, чтобы понять, чем его продукт отличается от вашего, или удаленное немодерируемое исследование
продукта вашего конкурента, чтобы получить ин- Список онлайн-инструментов
формацию, которую можно будет использовать с ценами на автоматическое
или модерируемое онлайн-тепри сборе требований к вашему продукту.
Все варианты, представленные в этой главе, конечно же, зависят от бюджета и поддержки. Но выбрать из
множества вариантов, которые постоянно появляются, – большая проблема.
стирование для мобильных
устройств, компьютеров
и приложений можно найти на
странице https://remoteresear.
ch/tools/ от Ethnio.
106
Глава 3 • Тестируем и тут и там
Резюме к главе 3
В этой главе представлены варианты тестирования в лаборатории
и за ее пределами, с личным присутствием участников и удаленно,
в модерируемых и немодерируемых исследованиях. Для каждого варианта я указала преимущества и недостатки выбора одного метода
по сравнению с другим, а также способы сочетать их.
Если есть какие-то сомнения, я подчеркиваю, что для проведения
отличного юзабилити-тестирования необходимости в лаборатории
нет. Все, что вам нужно, – это ручка и бумага или, что более вероятно,
портативный компьютер и версия продукта, и вы готовы к тестированию. Вы можете найти место в своей компании, рядом с ней или клиентом, также можете отправиться в путь и сделать все в офисе своего
клиента или дома, или в офисе у пользователей.
Если вы хотите создать юзабилити-лабораторию, то можно начать
со следующего базового оборудования, а затем дополнить его:
• базовое оборудование включает в себя ноутбуки, камеры, раз•
•
личные кабели и возможность записи с хорошим подключением
к интернету;
в дополнение можно упомянуть программное обеспечение для
ведения журналов/заметок и редактирования видео;
специализированное оборудование включает в себя аппаратное и программное обеспечение для тестирования мобильных
устройств и окулографии.
Затем я рассмотрела конфигурации лабораторий от простых к сложным с описанием вариантов от одно- до четырехкомнатных лабораторий:
• в однокомнатных лабораториях модератор, участник и наблю•
•
•
датели размещаются вместе в специально отведенном месте;
в двухкомнатных лабораториях часто есть одностороннее зеркало между комнатой участников и диспетчерской / комнатой
наблюдения. Состороны участника находится зеркало, а со стороны наблюдателя – стекло;
в трехкомнатных лабораториях есть смотровая комната для наблюдателей, которая может быть напрямую связана с двумя другими комнатами или находиться рядом с ними;
в лабораториях с четырьмя комнатами есть комната для фокус-групп, которая также может использоваться как пространство для совместной работы.
Конечно, вам не нужна отдельная лаборатория – для тестирования
можно использовать любое помещение; и вам даже не нужно осязаемое помещение, если вы можете приехать к своим пользователям.
Когда вы отправляетесь туда, где находятся ваши пользователи, это
называется полевым тестированием.
Резюме к главе 3 107
Варианты полевого тестирования дают преимущество:
• вы можете наблюдать за реальным окружением пользователя,
чтобы увидеть, каков его мир;
• вы можете оказаться в естественных условиях вместе с пользователем в открытом пространстве.
У полевого тестирования есть и свои ограничения:
• нельзя контролировать окружение – могут возникнуть техниче-
ские проблемы, и они случаются чаще, чем хотелось бы. И с этим
ничего не поделать;
• отвлекающие факторы могут помешать участнику или сбить его
с толку независимо от того, проводится ли тестирование дома
или в офисе пользователя, или в естественных условиях;
• как правило, при проведении полевого тестирования нельзя ох-
ватить столько участников, сколько при тестировании в лаборатории;
• стоимость тестирования возрастает из-за времени в пути и расходов, связанных с поездками к пользователям.
Однако есть решение, которое устраняет ограничения полевого тестирования: дистанционное тестирование.
Дистанционное тестирование можно охарактеризовать двумя способами:
• модерируемое удаленное тестирование, которое работает почти
так же, как лабораторное, за исключением того, что рядом с вами нет пользователя и вы не всегда можете его видеть. Но можно
слышать и разговаривать с ним, пока тот работает, и записывать
все, что он делает во время сеанса. Данный тип тестирования
обеспечивает вам связь с участниками без затрат на поездку,
и им будет удобно;
• немодерируемое удаленное тестирование, которое позволяет
проводить тестирование в любое время без личного присутствия участников. Вот почему его еще называют автоматическим. Компании, предлагающие эту услугу, могут взять на себя
подготовку исследования и предоставить вам результаты по нескольким или сотням и даже тысячам пользователей. Немодерируемое тестирование с большим количеством участников стоит
дорого, поэтому нужно иметь возможность оправдать стоимость
использования этого метода. Но крупные немодерируемые онлайн-исследования дают количественные данные, которые могут обеспечить статистическую достоверность результатов. Несмотря на то что вы получаете много данных, вы не можете сами
поговорить с пользователями, а значит, задать им вопросы, которые могут возникнуть по поводу результатов.
108
Глава 3 • Тестируем и тут и там
Все больше онлайн-инструментов расширяют возможности тестирования и снижают затраты множеством интересных способов.
Компании, предоставляющие эти услуги, включают веб-инструменты:
• для отбора участников и тестирования;
• получения первых впечатлений от прототипов или дизайна;
• получения информации о проблемах с возможностью поиска,
•
показывающей, где пользователи щелками мышью и как часто;
получения отзыва об информационной архитектуре вашего сайта, показывая навигационные пути и процент успешных и неудачных попыток.
Все эти варианты могут показаться сложными. Но учтите следующее: не нужно ничего, чтобы начать работу и сделать ее на отлично.
Поэтому не позволяйте, чтобы что-либо помешало провести тестирование.
Пользователи
и их цели
4
К настоящему времени, если вы читали главы последовательно, вас
уже не нужно убеждать, как важно знать, кто ваши пользователи.
Все, что вы делаете в ходе исследований, должно основываться на
понимании пользователей. В этой главе основное внимание уделяется широким категориям групп пользователей и некоторым обобщениям касательно их поведения. Информация, приведенная в этой
главе, даст основу для создания персонажей и написания сценариев
для подгрупп пользователей, которые будут отражать их мотивацию,
ограничения и цели вашего продукта.
Эта глава состоит из двух частей. Первая часть посвящена тому, что
мы знаем:
•
•
•
•
о пользователях в целом;
ожиданиях пользователей от сайтов и цифровых продуктов;
разнице в поколениях пользователей;
гендерных различиях пользователей.
Вторая часть посвящена информации, которая у вас есть или которую вы можете получить о ваших пользователях и их целях, чтобы создать два важных документа, используемых при планировании
и подготовке к юзабилити-тестированию. Это:
• персонажи – подробные описания ваших пользователей со всеми
•
подробностями, чтобы они были как живые;
сценарии – описание ситуаций, в которых персонажи будут использовать ваш продукт для достижения своих целей.
В рамках обсуждения персонажей и сценариев я предоставлю информацию о некоторых тесно связанных терминах и опишу различия
между ними. Среди них:
110
Глава 4 • Пользователи и их цели
• сценарии использования – используются разработчиками и ди-
•
зайнерами для определения и приоритизации взаимодействия
между системой и агентом / действующим лицом, взаимодействующим с системой;
пользовательские истории – используются специалистами по
гибкой методологии разработки для определения конкретной
функции, часто представлены в виде одного предложения на
карточке.
Разница между этими понятиями заключается в том, что пользовательские истории написаны таким образом, чтобы можно было дать
оценку того, насколько сложным или трудоемким будет их разработка. Сценарии использования обычно слишком велики, чтобы давать
точные оценки. Пользовательская история реализуется в одной итерации проекта гибкой методологии разработки, в то время как сценарий обычно распределяется на несколько итераций.
На основе общей информации о пользователях и их целях, представленной в этой главе, и того, что вы уже знаете, можно создавать
персонажей и сценарии, являющиеся основополагающими элементами, формирующими планирование вашего юзабилити-тестирования.
Люди целеустремленны
Пользователи – это люди, имеющие цель, которую должен поддерживать ваш продукт.
Это делает всех нас пользователями. Когда мы сталкиваемся с выбором новых продуктов, то подходим к принятию решений, оценивая
усилия по изучению продукта по сравнению с потенциальным результатом. Взрослея, мы приносим с собой свой опыт, который оживляет наши представления о том, будет ли легко или
Позже в этой главе я расска- сложно научиться пользоваться новыми продуктами.
жу о разнице между целями
Несмотря на многочисленные различия, во взроси задачами пользователя.
лом возрасте у нас есть следующие общие черты:
• мы хотим действовать немедленно – идти по пути к своей цели;
• нам нужно знать, почему мы должны что-то знать, особенно если
•
•
кажется, что это мешает предпринять действия;
лучше всего мы учимся, когда результат имеет незамедлительную ценность;
мы разрабатываем ментальные модели того, как что-то делается, и применяем их, когда учимся использовать новые продукты.
Наша способность использовать ментальные модели может вызвать желание принимать новые продукты или сопротивляться же-
Люди целеустремленны
111
ланию опробовать их, в зависимости от того, каким Ментальная модель –
был наш предыдущий опыт. Если плохим – стараемся это изображение или карта
не повторять его. Мы испытываем негативные чув- процесса или поведения,
ства по этому поводу. Например, если при нажатии созданная на основе опыта
взаимодействия пользователя.
на интерактивную справку мы не получаем нужную Для получения дополнительинформацию, то, вероятно, не станем повторять по- ной информации о ментальпытку. Подобный неудачный опыт использования од- ных моделях см. книгу Инди
ного или двух продуктов может привести к созданию Янга «Mental Models: Aligning
ментальной модели, согласно которой справка не по- Design Strategy with Human
Behavior», 2008.
может независимо от платформы.
Однако мотивация играет важную роль в нашем
стремлении изучать что-то новое. Чем больше мы мотивированы,
тем больше вероятность, что мы будем настойчивы, даже если интерфейс кажется сложным или иным. Другими словами, если хочется, чтобы продукт понравился, это влияет на нашу приверженность
к его освоению, чтобы он нам действительно нравился. Часто эта
мотивация исходит из ментальной модели, согласно которой бренд
X (введите здесь название своего любимого бренда) делает мои любимые продукты. Таким образом, я знаю, что этот продукт мне понравится.
Ниже приводится врезка, на которой представлено Полный текст см. в статье
10 аспектов касательно поведения людей от Сьюзан «The Psychologist’s View of UX
Вайншенка, известного бихевиориста и моей коллеги. Design», 2010.
Взгляд психолога на UX-проектирование: 10 аспектов
— Сьюзан Вайншенк
1. Люди не хотят работать или думать больше, чем должны. Люди будут осуществлять наименьший объем работы, чтобы выполнить задачу. Предоставляйте только те функции, которые действительно нужны людям.
2. У людей есть ограничения. Люди могут просматривать только определенное
количество информации, не теряя интереса. Сделайте информацию удобной
для чтения.
3. Люди делают ошибки. Предвидьте, какими они будут, и постарайтесь предотвратить их. Лучшее сообщение об ошибке – полное отсутствие сообщений.
4. Человеческая память сложна. Память – хрупкая вещь. Не заставляйте людей
запоминать что-либо, перескакивая от одной задачи к другой или с одной
страницы на другую.
5. Люди социальны. Они обращаются к другим за советом по поводу того, что
нужно делать, особенно если они не уверены. Вот почему, например, рейтинги и обзоры на сайтах очень эффективны.
6. Люди легко отвлекаются. Если вы не хотите, чтобы они отвлекались, избегайте разных миганий на странице и не запускайте видео.
112
Глава 4 • Пользователи и их цели
7. Люди жаждут информации. Часто им нужно больше информации, чем они
могут обработать на самом деле. Наличие дополнительной информации заставляет людей чувствовать, что у них есть больше вариантов выбора.
8. Мозг людей участвует в бессознательной обработке. На поведение людей
в значительной степени влияют факторы, о которых они даже не знают.
9. Люди создают ментальные модели. Чтобы создать положительный опыт взаимодействия пользователя, можно сопоставить концептуальную модель вашего продукта или сайта с ментальной моделью пользователей или выяснить,
как «научить» пользователей получить иную ментальную модель. Самой важной причиной пользовательских исследований является получение информации об их ментальных моделях.
10. Если страницы перегружены, люди не могут найти информацию. Считается,
что вещи, которые находятся близко друг к другу, хорошо «сочетаются». Чтобы показать это, можно использовать цвета.
Когда люди пользуются интернетом,
они делятся своим опытом
и ожиданиями
Интернет появился не вчера. Сегодня можно сказать,
что большинство, если не все, наших целевых пользователей имеют опыт пользования интернетом. Некоторые из них пользуются им на протяжении 20 лет или
более, а кто-то – всю свою жизнь.
Итак, означает ли это, что можно предположить,
будто все они теперь опытные пользователи? И да
и нет.
Якоб Нильсен провел исследование веб-пользователей, чтобы проверить общепринятое мнение, согласно которому веб-пользователи
теперь стали умнее. Вот что он выяснил.
Опытные интернет-пользователи:
Фактически Всемирная
паутина появилась на свет
в Рождество 1990 г. Это был
день, когда Тим Бернерс-Ли
и несколько его коллег установили первую успешную
связь между веб-браузером
и сервером через интернет.
• лучше справляются с такими физическими движениями, как ис•
•
•
пользование мыши и прокрутка страниц;
более уверенно щелкают кнопкой мыши и меньше боятся что-то
испортить;
лучше справляются с базовым поиском и вообще часто ищут
что-то в сети;
быстрее делают то, что они обычно делают на часто используемых сайтах.
Однако когда эти же пользователи переходят на незнакомый сайт,
то зачастую они:
Когда люди пользуются интернетом, они делятся своим опытом и ожиданиями
113
• путаются в информационной архитектуре, не зная, как переме•
•
щаться по сайту или использовать пункты меню;
перегружены объемом информации и ее незнанием, особенно
когда на сайте используется незнакомый отраслевой жаргон;
заходят в тупик при малейшей проблеме, связанной с юзабилити.
Эта информация говорит о том, что пользователи интернета приобрели определенный уровень навыков и уверенности в том, что касается перемещения по сети. Но новый сайт – это совершенно новый
опыт.
В более поздней статье Нильсен представляет исследование, подтверждающее то, что многие из нас узнают в процессе исследований:
даже постоянные пользователи знают и используют лишь небольшую
часть доступных функций. Это справедливо не только в отношении
компьютерных систем, но и мобильных приложений, независимо от
платформы. Причин много, но все сводится к следующему: обучение – это тяжелая работа, и пользователи не хотят ею заниматься. Они
узнают минимум того, что им нужно знать о дизайне, чтобы иметь
возможность сделать что-то прямо сейчас, а затем перестают учиться.
Вот еще одно исследование, в котором были обнаружены интересные предположения, касающиеся пользователей сайтов: можно
ли предположить, что сейчас пользователи знают, что логотип сайта в верхнем левом углу – это ссылка на главную страницу? Согласно
исследованию, проведенному Никки Бристоль и Даниэль Кули, это
не так. Они провели тестирование с участием пользователей, которые сообщили, что знают, что логотип – это ссылка
на главную страницу, и обнаружили, что, если удалить Они представили свои выводы на стендовом докладе на
значок этой ссылки, это сбивает пользователей с тол- конференции UXPA 2015.
ку. На рис. 4.1 показано сравнение результатов.
Та же проблема актуальна для сайтов, использующих значок меню в виде гамбургера
, которое скрывает навигацию. В ходе количественного исследования 179 участников, использующих скрытую
и видимую навигацию как на настольных, так и на мобильных версиях шести разных сайтов, было установлено, что:
• скрытая навигация менее заметна;
• она ухудшает опыт взаимодействия пользователей с сайтом, по-
скольку им требуется больше времени для выполнения задач,
и этот опыт оценивается как более сложный.
Люди ожидают, что элементы на странице
сайта будут находиться в определенных местах
У опытных веб-пользователей есть ментальная модель того, где должны находиться элементы на сайте. Во время исследования по оценке
пользовательских ожиданий участникам было предложено выбрать
из 25 квадратов сетки для размещения каждого элемента.
114
Глава 4 • Пользователи и их цели
Рис. 4.1 Пользователи справляются лучше, когда доступна ссылка на домашнюю страницу
Когда люди пользуются интернетом, они делятся своим опытом и ожиданиями
115
На рис. 4.2 показано, какой выбор сделал наибольший процент
пользователей:
• главная страница / обратно на главную страницу в верхнем ле•
•
•
•
вом углу;
внутренние ссылки слева;
поиск по сайту в правом верхнем углу или рядом с левым верхним углом;
реклама по центру вверху или справа;
раздел «О нас» в нижнем колонтитуле или слева.
На домашнюю
страницу
Рекламные
объявления
Поиск
по сайту
Внутренние
ссылки
О нас
Рис. 4.2 Пользователи ожидают, что общепринятые элементы
будут находиться в определенных местах
В результате этого исследования пользователь- Смотрите, например, статью
ских ожиданий относительно местоположения эле- Строма и Уайтхенда «Where
ментов на странице сайта «Википедия» провела соб- Should the Search Function Be
ственное исследование и изменила расположение Placed?», 2006. Хайнц,
поля поиска, переместив его с левой боковой панели Линксен, Тух, Фрасбек
на верхнюю правую панель. Есть и другие исследо- и Опвис, «Is It Still Where I
Expect It? – Users’ Current
вания, подтверждающие ожидания пользователей Expectations of Interface Eleотносительно местоположения элементов на стра- ments on the Most Frequent
ницах сайтов.
Types of Websites», 2017.
Хотя ментальная модель расположения большинства элементов не изменилось с течением времени, появились ожидания относительно местоположения других элементов. Во время
исследования 841 участника, которым было предложено набросать
свою версию сайта для интернет-магазина, новостного сайта и страницы компании, исследователи обнаружили, что логотип, основной
контент и области навигации остались прежними. Однако другие
116
Глава 4 • Пользователи и их цели
элементы переместились в область нижнего колонтитула, а некоторые исчезли.
Произведите хорошее впечатление с самого
начала. Второго шанса может и не быть
Первое впечатление имеет решающее значение для восприятия
пользователями того, насколько простым или сложным будет их работа в интернете. Одно из исследований показало, что 80 % интернет-пользователей проводят на сайте всего несколько секунд, прежде
чем решить, стоит ли тратить на него время или следует двигаться
дальше. Еще одно исследование показало, что у веб-дизайнеров есть
всего 50 мс, чтобы произвести хорошее первое впечатление.
Время загрузки также влияет на первое впечатление. Якоб Нильсен
сообщил, что после секунды ожидания загрузки сайта пользователи
теряют терпение и видят, что ждут ответа от медлительного компьютера. Через 10 с им все это надоедает, и они покидают сайт.
Пользователи сразу решают, можно ли
доверять сайту
Один из моментов при создании хорошего первого впечатления состоит в том, чтобы обеспечить надежность или доверие. Пользователи
сразу же решают, можно ли доверять сайту. Их решение относительно того, остаться или уйти, часто основывается на чувстве доверия.
Но качества, вызывающие чувство надежности и доверие, находятся
в глазах смотрящего. Для одних какие-то вещи имеют большее значение, чем для других, и доверие имеет более высокий приоритет для
сайтов о здоровье, нежели для сайтов электронной коммерции.
Одно из исследований сайтов о здоровье показало, что потребители выказывают высокую степень доверия, основываясь на эффективном визуальном дизайне, а также полезности и точности информации. Потребители также выразили высокое доверие к независимым
сайтам, посвященным медицине и здоровью, по сравнению с сайтами фармацевтических компаний. Дополнительным фактором, вызывающим доверие, было желание потребителей видеть информацию
от таких же людей, как и они сами, что привело к персонифицированной форме написания статей.
Резюме исследований сайтов, посвященных здоровью, показывает,
что основные факторы, выявленные в более ранних исследованиях,
по-прежнему являются основой доверия потребителей. Дизайн сайта, четкая верстка и авторитет владельца положительно влияют на
доверие.
А как насчет доверия к сайтам электронной коммерПодробнее о культурных
ции? Члены Nielsen Norman Group подтвердили, что
аспектах, влияющих на взаосновные элементы, вызывающие доверие, не сильимодействие пользователей
но изменились за эти годы. К ним относятся качество
с сайтами, см. главу 10.
Люди не хотят читать. Они хотят действовать 117
дизайна (например, визуальный дизайн, организация сайта), контактная информация, цены, дополнительные сборы, исчерпывающий
и актуальный контент, а также доступ к другим источникам в сети
(например, социальные сети и СМИ). Они также обнаружили, что эти
факторы одинаковы как для западной, так и для азиатской культур.
Потребность пользователей в чувстве доверия может зависеть от
того, чем они занимаются. Исследование поведения потребителей,
доверяющих сайту книжного магазина, сфокусировано на двух направлениях – покупке книги и предоставлении личной информации
для получения подарочной карты. Исследователи обнаружили, что
потребители принимают решения о покупке, используя логику (например, наличие сертификата безопасности, уровень риска). Но для
обмена личной информацией они переключаются на интуитивно
понятные процессы, касающиеся определения того, доверяют ли они
сайту. Как и в случае с другими исследованиями факторов, влияющих
на доверие, данное исследование предполагает, что дизайн, эстетика
и профессионализм сайта являются критически важными факторами
для выстраивания доверия в интернете.
Люди не хотят читать. Они хотят
действовать
Поскольку веб-пользователи торопятся достичь своей цели, они редко читают страницы на сайте до тех пор, пока не достигнут содержимого, соответствующего их цели. Так, например, если их цель – прочитать новости дня, они будут это делать, но будут читать только те
новости, которые их интересуют. Если их цель – что-то сделать, предпринять какие-то действия, они не хотят об этом читать. Они хотят
это делать.
Чтобы ускорить свое перемещение по сайту, эти пользователи ищут
слова-триггеры, когда просматривают или пропускают содержимое.
Слово-триггер – это то, что соответствует их цели. Заметив то, что, по
их мнению, соответствует этой цели, они сразу нажимают на ссылку.
Эффективные веб-страницы предназначены для того, чтобы помочь пользователям в этом. Как объясняет Джинни Редиш, известный
консультант по юзабилити и мой коллега:
• хороший веб-райтинг похож на разговор – он начинается с во-
•
проса пользователя, например:
Как мне..?
Где мне узнать..?
Могу я..?
сайт отвечает:
путем предоставления конкретной информации, которую хотят пользователи;
118
Глава 4 • Пользователи и их цели
позволяя пользователям получить ответ, который они хотят,
а затем продолжить, пока они не дойдут до следующего вопроса или пункта разговора.
Поскольку пользователи так мало читают в интернете, веб-контент, созданный для того, чтобы избавиться от слов, соответствует их
ментальной модели того, что они хотят делать и как.
Когда дело доходит до использования
технологий, различия между
поколениями имеют значение
Исследования различий между поколениями многое говорят нам
о возрастных установках и опыте использования технологий. Проект
«Интернет и американская жизнь» исследовательского центра Pew
регулярно изучает использование интернета и технологий, чтобы понять изменения и тенденции между разными поколениями. Проект
определяет поколения, как показано на рис. 4.3, и отмечает, что самое
последнее поколение, которое называется поколение Z, – это люди,
родившиеся с 1997 г.
Рис. 4.3 Исследовательский центр Pew определяет ряд поколений,
от поколения Z до поколения «молчунов»
Возможно, вас не удивит, что и молодежь, и пожилые люди в большом количестве сидят в интернете. Миллениалы отличаются использованием технологий, а старшее поколение стремительно осваивает
их. Это подтверждают статистические данные:
Когда дело доходит до использования технологий, различия между поколениями
• использование смартфонов – 92 % миллениалов владеют смарт•
•
фонами, по сравнению с 75 % представителей поколения X, 67 %
бэби-бумеров и 30 % «молчунов»;
использование социальных сетей – 85 % миллениалов используют
социальные сети, по сравнению с 75 % представителей поколения X, 57 % бэби-бумеров и 23 % «молчунов»;
пользуются интернетом только на смартфонах – 28 % миллениалов пользуются интернетом только на смартфонах (это означает, что дома у них нет широкополосного доступа в интернет), по
сравнению с 18 % представителей поколения X, 13 % бэби-бумеров и 8 % «молчунов».
Интересно отметить, что использование технологий во всех этих
группах значительно выросло с 2005 по 2018 г., как показано на
рис. 4.4.
Также интересно отметить, что представители поколения X чаще
используют планшеты, чем любая другая группа, при этом разница
в использовании между поколением X и миллениалами составляет
10 %.
Рис. 4.4 Процент использования технологий значительно вырос для всех поколений
Три четверти взрослых американцев
ежедневно выходят в интернет
Использование интернета не заняло много времени, чтобы стать реальностью. Мало того, что примерно три четверти взрослых американцев в возрасте 18 лет и старше выходят в сеть хотя бы ежедневно,
более четверти населения (28 %) почти постоянно находятся в сети.
Powered by TCPDF (www.tcpdf.org)
119
120
Глава 4 • Пользователи и их цели
Исследование центра Pew, в ходе которого были получены эти результаты, было проведено в 2019 г. и показывает увеличение на 21 %
по сравнению с предыдущим опросом, проведенным в 2015 г. Важно
отметить, что эти цифры касаются только взрослых! На рис. 4.5 показано, как люди пользуются интернетом. Сюда не вошли 10 %, которые
говорят, что вообще им не пользуются.
Рис. 4.5
Ежедневно более 80 % взрослых американцев выходит в интернет
Когда вы планируете юзабилити-исследование, такие данные чрезвычайно полезны для определения целевых пользователей и уровня
их использования цифровых технологий и удобства работы с ними.
Конечно, также важно понимать, что различия внутри поколений,
особенно в пограничных точках между поколениями, могут быть значительными.
Эти подтвержденные исследованиями выводы об уникальных
интересах и способностях разных поколений – отличная отправная
точка для создания персонажей, которые будут споО создании персонажей речь
собствовать пониманию ваших пользователей.
пойдет позже в этой главе.
Что мы знаем о пожилых пользователях
в интернете
Начнем с того, что люди имеют в виду, когда говорят «пожилой».
Прежде всего для таких пользователей нет стандартной точки перелома. Некоторые исследования включали в эту категорию людей
в возрасте 50 лет. AARP – некоммерческая организация для пожилых
людей – приглашает вступить в нее, когда вам исполнится 50 лет. Исследовательский центр Pew использует возраст 65 лет и старше, когда сообщает об исследованиях использования технологий пожилыми
людьми.
Несмотря на разные способы классификации пожилых людей, мы
знаем, что у них есть много общего. Обычно у них есть деньги, кото-
Когда дело доходит до использования технологий, различия между поколениями
рые они могут потратить, и время, если они на пенсии, чтобы определить, как лучше это сделать. Они используют интернет для разных
целей, в том числе для поиска информации, и особенно вопросов,
связанных со здоровьем, инвестициями и досугом, а также пользуются социальными сетями, чтобы устанавливать и поддерживать связи,
особенно со своими семьями.
Исследования пожилых пользователей, пользующихся интернетом, показывают, что, как правило, они:
• ведут поиск менее эффективно, чем более молодые пользовате-
ли, и легче отказываются от него, если результаты поиска неэффективны;
• читают больше контента, но их легко отвлечь движениями
и анимацией;
• испытывают трудности с чтением мелких шрифтов (менее
12 пунктов), близко расположенного текста (кернинг) и текста
с минимальным пробелом между строками (интерлиньяж);
• им труднее, чем молодым пользователям, вспомнить предыду-
щие шаги и расположение ранее просмотренной информации,
например ссылок, по которым переходили ранее;
• может наблюдаться снижение контрастной чувствительности
(способность различать предметы на земле), что затрудняет
просмотр объектов на экране;
• могут возникнуть трудности с использованием мыши, чтобы
щелкнуть по значку, или использованием каскадного меню или
меню при наведении курсора;
• могут хуже слышать звуки.
Помимо проблем со снижением зрения, слуха и моторики, воспринимаемых пожилыми пользователями как нормальные аспекты старения, определенный процент стареющего населения страдает от болезней, которые могут оказывать более существенное влияние на их
навыки работы с компьютером. Лекарства, которые они принимают,
также могут влиять на это.
Том Таллис, ранее занимавший пост вице-президента по исследованиям пользовательского опыта, и его коллеги из Fidelity Investments проводили исследования с участием пожилых пользователей,
которые хотели отслеживать свои инвестиции через интернет. Их исследования показали, что пожилые пользователи «осторожно щелкают мышью», наводя указатель мыши на ссылку, но не решаются принять решение, чтобы щелкнуть по ней.
UX-команда поняла: это означает, что они не хотели рисковать,
чтобы не ошибиться. Таким образом, команда пересмотрела дизайн,
добавив всплывающую подсказку, в которой описывалось, что будет
делать ссылка, до того, как пользователь щелкнет по ней. Тестиро-
121
122
Глава 4 • Пользователи и их цели
вание этого изменения с участием 70 пользователей всех возрастов
показало, что такие всплывающие подсказки значительно улучшили
производительность задач для пользователей старше 65 и не повлияли на пользователей младше 65 лет. Другими словами, данное улучшение не повлияло отрицательно на более молодых пользователей
и, возможно, фактически помогло всем.
Уитни Кузенбери и Кэролайн Джарретт, два консультанта по юзабилити, работавшие над проектом юзабилити-тестирования для
сайта Открытого университета Великобритании, которым пользуется большое количество студентов университета, пришли к аналогичным выводам относительно влияния изменений, внесенных с учетом требований пожилых пользователей. В ходе изменений сайта
они обнаружили, что улучшили его работу не только для пожилых,
но и для пользователей всех возрастов и уровня грамотности.
Исследования центра Pew подтверждают осторожность со стороны
пожилых пользователей и выражаемое ими недоверие при использовании цифровых технологий. В опросе 2015 г. они обнаружили, что
только 26 % пользователей в возрасте 65 лет и старше говорят, что
чувствуют себя очень уверенно при использовании компьютеров,
смартфонов или других электронных устройств. Около 75 % заявили, что им понадобится кто-то, чтобы настроить новое электронное
устройство и показать, как им пользоваться. Кроме того, исследование показало, что чем старше становится пожилое население, тем
меньше вероятность, что они будут пользоваться цифровыми технологиями.
Исследование также показывает, что, хотя внедрение технологий
среди пожилых людей растет, менее половины людей в возрасте 80
лет и старше сообщают об использовании интернета по сравнению
с двумя третями всех пожилых людей в возрасте 65 лет и старше.
Что мы знаем о миллениалах, сидящих
в интернете
Размер имеет значение. Хотя важно учитывать все поколения, количество миллениалов (тех, кто родился в период с 1981 по 1996 г.) делает их еще более важными, потому что по состоянию на 2016 г. они
стали крупнейшим поколением среди рабочей силы в США, обогнав
поколение X. А пост-миллениалы уже догоняют их.
Итак, что мы знаем о миллениалах, пользующихся интернетом?
Мы знаем, что большинство из них – цифровые аборигены, которые
родились и выросли с доступом к цифровым техноИсследование «Информацилогиям. Людей, родившихся после 1993 г., также наонное поведение исследовазывают поколением Google, потому что они выросли
теля будущего» было провев мире, где господствует интернет, и их первая остадено по заказу Британской
библиотеки и Объединенного новка для получения информации, скорее всего, – это
Google. Некоторые, естественно, предполагают, что
комитета по информационэти пользователи очень хорошо умеют искать и поным системам, 2008.
Когда дело доходит до использования технологий, различия между поколениями
нимать информацию, которую они получают. Но, согласно исследованию, проведенному отделением CIBER Университетского колледжа Лондона, это не так. В центре внимания исследования были
способы, которыми эта возрастная группа получает и использует
информацию.
Вот что обнаружили исследователи, изучая поколение Google и их
поисковые модели:
• скорость, с которой они ищут что-то в интернете, означает, что
•
•
•
•
•
•
они тратят мало времени, оценивая информацию на предмет актуальности, точности или авторитетности;
они плохо понимают свои информационные потребности; таким образом, им сложно разработать эффективные стратегии
поиска;
их информационная грамотность – умение определять местонахождение информации и оценивать то, что они находят – не
улучшилась с расширением доступа к технологиям;
они отдают предпочтение поиску на естественном языке, вместо того чтобы изучать, какие ключевые слова могут быть более
эффективными;
они не очень эффективно оценивают длинный список результатов и часто распечатывают страницы, просто взглянув на них;
они предпочитают такие поисковые системы, как Google или Yahoo!, ресурсам, спонсируемым библиотеками;
поколение Y и старшие возрастные группы быстро догоняют поколение Google в принятии аналогичных привычек и ожиданий
в отношении поиска информации.
Nielsen Norman Group сообщает об аналогичных результатах исследований молодых миллениалов (в возрасте 18–25 лет):
• они не многозадачны. Скорее, они выполняют несколько дей•
•
•
ствий параллельно, но выполняют их по одному, быстро чередуя
задачи, что приводит к снижению эффективности;
используют «парковку страниц» – стратегию поиска информации, при которой они одновременно открывают несколько вкладок в поддержку задачи. Они чередуют быстрый «поиск информации» и «переваривание информации». Когда они ищут что-то,
то открывают еще больше вкладок, а когда переваривают информацию – закрывают вкладки, которые не имеют отношения
к делу;
как правило, они чрезвычайно уверены в своих навигационных
навыках, но это приводит к быстрым переходам на сайты с сайтов и ошибкам;
они редко винят себя, когда что-то идет не так, вместо этого критикуя сайт или компанию.
123
124
Глава 4 • Пользователи и их цели
Что мы знаем о подростках, пользующихся
интернетом
Сразу за миллениалами идут подростки. В этой возрастной группе (от
13 до 17 лет) почти все (95 %) владеют смартфоном или имеют доступ
к нему. Их онлайн-активность возросла до такой степени, что 45 %
подростков говорят, что сидят в сети постоянно, по сравнению с 28 %
взрослых, которые бывают онлайн почти постоянно (как было показано ранее на рис. 4.5).
Что подростки делают в интернете? Чаще всего они используют
социальные сети, но их выбор быстро меняется. В 2015 г. центр Pew
сообщил, что Facebook стала самой популярной платформой. За короткий промежуток времени в три года Facebook, хотя и оставалась
популярной, вышла из числа фаворитов, а YouTube, Instagram и Snapchat стали набирать поклонников среди подростков (см. рис. 4.6).
Рис. 4.6 В 2018 г. подростки указали, что предпочитают социальные сети
В то время, когда вы читаете эту книгу, весьма вероятно, уже существует другой порядок приоритетов, и, возможно, в мире социальных
сетей появились новые игроки.
Nielsen Norman Group провела исследование онлайн-активности подростков. Всего было проведено три исследования с участием
100 подростков за 15 лет, последнее из которых – в 2019 г.
Когда дело доходит до использования технологий, различия между поколениями
Основные результаты исследования таковы:
• подростки все более успешно путешествуют по сайтам, и коли-
чество времени, которое они проводят в интернете, постоянно
неуклонно растет;
• хотя подростки могут чувствовать себя в интернете уверенно,
они совершают ошибки и быстро сдаются, обвиняя дизайн сайта, а не себя;
• по сравнению со взрослыми подростки:
менее осторожны и принимают поспешные решения, что
приводит к меньшему количеству выполненных задач;
используют менее сложные исследовательские стратегии;
у них гораздо меньше терпения;
• подростки часто работают на устройствах с сенсорным экраном,
поэтому у них возникают трудности с взаимодействиями, требующими точности, такими как раскрывающиеся меню, перетаскивание, эффекты наведения и маленькие кнопки.
Что мы знаем о детях, проводящих время
в интернете
Дети очень рано начинают разбираться в интернете. Когда в 2002 г.
Якоб Нильсен впервые провел исследование детей, пользующихся
интернетом, он установил возрастной диапазон от 6 до 11 лет. В двух
последующих исследованиях, проведенных в 2010 и 2018 гг., возрастной диапазон был расширен и включал детей от 3 до 12 лет.
Хотя многие результаты не изменились за годы, прошедшие между
этими исследованиями, есть одно существенное различие в недавних исследованиях. Оно состоит в том, что дети гораздо более опытны и даже в еще более юном возрасте по сравнению с тем возрастом,
в котором они были, когда проводилось первое исследование. Чем
больше у них опыта, тем меньше они хотят читать инструкции или
другой контент.
Еще одно заметное отличие заключается в том, что дети старшего возраста (от 9 лет и старше) с легкостью прокручивают страницы
и предпочитают прокрутку страниц доступу к содержанию на нескольких страницах.
Результаты исследования, которые не изменились за прошедшие
годы, включают в себя следующее:
• плохое юзабилити в сочетании с их нетерпеливостью привело
к тому, что многие быстро уходят с сайта;
• разнообразные элементы дизайна, включая анимацию и звук,
сработали хорошо;
125
126
Глава 4 • Пользователи и их цели
• они использовали «майнсвипинг» (быстрое перемещение курсо-
•
•
•
ра мыши по странице с целью обнаружить ссылки), чтобы навести указатель мыши на экран и найти интерактивные области,
включая рекламу;
они нажимали на рекламу, не имея возможности отличить рекламу от контента, особенно если у рекламы была привлекательная графика;
они медленно набирают текст и плохо владеют мышью;
дизайн должен быть ориентирован на узкие возрастные группы:
самых маленьких (от 3 до 5 лет), среднюю возрастную категорию
(от 6 до 8 лет) и детей постарше (от 9 до 12 лет).
Гендерные различия имеют значение,
когда речь идет об использовании
интернета и социальных сетей
Мы не только находим различия в поведении в интернете, которые
можно отнести к разнице поколений, но исследования также показывают, что гендерные различия влияют на поведение в интернете
и социальных сетях следующим образом:
• пол дизайнера сайта влияет на предпочтения его пользователей;
• пол влияет на то, как подростки используют технологии и социальные сети;
• пол влияет на стиль общения в социальных сетях.
Пол влияет на дизайн сайта
Пол влияет на то, как пользователи воспринимают сайты. Исследование, проведенное Глорией Мосс, показало, что пол дизайнера сайта
влияет на предпочтения его пользователей. Другими словами, женщины предпочитают сайты, разработанные женщинами, а мужчины – наоборот. Почему так происходит? Мосс выяснила, что различия
в дизайне связаны с визуальными эффектами, цветами, шрифтом
и фоном, а также типографикой. Мужчины выбирают прямые линии,
небольшое количество цветов в гарнитуре и фоне, а также формальную типографику. Женщины предпочитают округлые формы, больше
цветов и менее традиционную типографику.
Еще один способ увидеть различия между мужчинами и женщинами в их восприятии сайтов – это применить модель экстремального мужского мозга, как сообщает Лираз Маргалит. Эта модель предполагает, что существует два когнитивных стиля, которые отражают
различия в восприятии мира мужчинами и женщинами. Мужчинам,
как правило, лучше удается систематизация. Это означает, что они
мотивированы анализировать или выстраивать систему, определяя
Гендерные различия имеют значение, когда речь идет об использовании интернета 127
правила, которые управляют ею, чтобы понять, как она будет себя
вести. Женщины, напротив, лучше сопереживают. Это означает, что
у них есть способность поставить себя на место другого, увидеть мир
с другой точки зрения. Тепловые карты из исследования сайта рецептов показывают гендерные различия в зависимости от того, где
в общей сложности 5000 мужчин и женщин просматривали сайт и что
они читали. Мужчины сосредоточились на ингредиентах и этапах
приготовления, что соответствует систематизаторам. Женщины просматривали и другие части страницы. Это свидетельствует о том, что
их интересует все.
Пол влияет на использование технологий
и социальных сетей
В связи с растущим интересом к пост-миллениалам исследование
гендерных различий в технологиях и использовании социальных сетей центра Pew представляет особый интерес. Результаты этого исследования показаны на рис. 4.7.
Рис. 4.7 Девочки и мальчики по-разному общаются с друзьями
128
Глава 4 • Пользователи и их цели
Среди результатов исследования было обнаружено, что:
• 78 % девочек завели друзей в интернете через социальные сети
по сравнению с 52 % мальчиков;
• 57 % мальчиков подружились через онлайн-игры по сравнению
с 13 % девочек;
• 63 % девочек расстались с бывшими друзьями по сравнению
с 53 % мальчиков;
• 62 % девочек каждый день тратят время на переписку с друзьями
по сравнению с 48 % мальчиков;
• 32 % девочек тратят время на обмен мгновенными сообщениями
по сравнению с 23 % мальчиков;
• 97 % мальчиков играют в видеоигры по сравнению с 83 % девочек;
• 74 % мальчиков общаются с друзьями, вместе играя в видеоигры
в отличие от 31 % девочек.
Пол влияет на стиль общения в социальных
сетях
Исследования показывают, что мужчины и женщины по-разному общаются и фокусируются на разных темах в социальных сетях. Мужчины чаще используют социальные сети для поиска информации,
а женщины используют их для связи с другими людьми. Исследование 1,5 млн обновлений статусов, проведенное в Facebook, показало,
что женщины делятся более личными проблемами (семейные дела,
отношения), тогда какмужчины обсуждают более общие публичные
мероприятия (политика, спорт).
Другие исследования показывают, что женщины предпочитают
визуальные платформы, такие как Pinterest и Instagram, в то время
как мужчины отдают предпочтение текстовым онлайн-форумам, таким как Reddit. В рамках проекта Selfie Exploratory Project было проанализировано 640 селфи, размещенных в Instagram в пяти городах
по всему миру, и было обнаружено, что количество селфи у женщин
постоянно превышает количество селфи у мужчин. Те, кто публикует
селфи, как правило, молоды: женщинам в среднем 23 года, а мужчинам – 25 лет. Но после 40 лет тенденция меняется в противоположную сторону: мужчины публикуют селфи чаще, чем женщины. Фактор
улыбки варьировался в зависимости от города: больше всего улыбок
в Бангкоке и меньше всего – в Москве.
Еще одно исследование посвящено стилям общения в Twitter. Анализ 14 000 пользователей Twitter показал, что женщины используют
относительно большое количество эмоциональных терминов, таких
как грустный, радостный, гордый, счастливый и ревнивый; семейные
термины, такие как сестра, мама, папа, муж и дети; а также такие
Персонажи помогут вам узнать своих пользователей
129
аббревиатуры, как LOL и OMG. Мужчины, напротив, используют такие семейные термины, как брат, братан и братишка; ругань, запрещенные слова и сокращенные ответы, такие как не.
Гендерные исследования и исследования
поколений проливают свет на ваших
пользователей
Вы, возможно, думаете, что уже знаете о демографических и других
характеристиках своих пользователей. Возможно, вам интересно, как
применить эти исследования, чтобы понять пользователей. Гендерные исследования и исследования поколений предоставляют основу,
на которую вы можете опираться, когда:
• создаете персонажей своих пользователей;
• создаете сценарии, отражающие их интересы и цели для вашего
продукта.
Персонажи помогут вам узнать
своих пользователей
Первый шаг в подготовке к юзабилити-тестированию – часто он выполняется сам по себе – включает
в себя создание персонажей ваших пользователей.
Персонажи – это вымышленные представления людей, созданные на основе реальных данных о ваших
пользователях.
С тех пор как персонажи впервые появились на
сцене, они получили широкое распространение в качестве общепринятого метода в ориентированном
на пользователя проектировании, позволяющем постоянно помнить о них. С помощью персонажей вы
уменьшаете склонность дизайнеров делать ложные
предположения относительно того, что пользователи
будут делать с продуктом.
Используя персонажей, каждый может говорить
о пользователях как о конкретных людях с особыми потребностями, желаниями, уровнем навыков и контекстом использования. А когда создается несколько персонажей, каждый может увидеть различия между ними.
Изобретение персонажей
приписывают Алану Куперу,
автору книги «Заключенные
правят убежищем», 1999.
Том Ландауэр придумал, как
назвать склонность дизайнеров ошибочно полагать, что
они знают пользователей.
Он называет это ошибкой
эгоцентрической интуиции,
которую описывает как ошибочное представление о том,
что разработчики могут
просто интуитивно понять,
чего хотят пользователи,
думая об этом. Смотрите
«Behavioral Research Methods
in Human-Computer Interaction»,
1997.
Персонажи основаны на реальной
информации о реальных пользователях
Вы думали о своих пользователях. Но понимаете, что этого недостаточно. В этой главе вы получили представление об общих характери-
130
Глава 4 • Пользователи и их цели
стиках пользователей в зависимости от поколения и пола. Теперь вам
нужно узнать об особых характеристиках в контексте использования
ими вашего продукта.
Применяя методы и инструменты, описанные в главе 2, вы знаете, как собирать информацию о пользователях из первых или вторых рук. Обладая этой информацией, вы можете создавать персонажи своих пользователей на основе компиляции моделей поведения,
которые объединяют людей в архетип или общее представление
группы.
Характеристики персонажа обычно включают в себя:
• имя и изображение – обычно это типичное имя и стоковая фото•
•
•
•
•
•
графия;
демографическую информацию – например, возраст, этническую
принадлежность, семейное положение, образование, соответствующие характеристики их поколения;
должность или основное направление деятельности – это может
быть молодой специалист, студент, менеджер среднего звена,
пенсионер;
цели – связанные с продуктом и опытом взаимодействия пользователя;
окружение – контекст использования или другую соответствующую информацию об окружении;
технический опыт или знания в области продуктов – в том, что
касается использования ими вашего продукта;
цитату, в которой резюмируется самое важное для персонажа, –
часто берется из интервью или после посещения участников «на
месте».
Чтобы показать пример, как это работает, я включила сюда двух персонажей, созданных для исследовательского проекта, цель которого понять, как пользователи взаимодействуют с интернет-провайдером или
поставщиком кабельных услуг. Исследование было
проведено с использованием частично структурированных интервью с несколькими группами пользователей, представляющими жителей, получающих счет, жителей, не получающих счет,
и менеджеров, которые предоставляют жителям кабельные и интернет-услуги. Данное исследование легло в основу создания карт пути
клиента для каждого персонажа.
Следующие персонажи представляют две из этих подгрупп:
Смотрите главу 2
для получения дополнительной информации о картах
пути клиента из набора
UX-инструментов.
• конечных пользователей / жителей квартир или кондоминиу•
мов, получающих счет от провайдера (рис. 4.8);
управляющих квартирами или кондоминиумами, которые предоставляют эти услуги жителям (рис. 4.9)
Персонажи помогут вам узнать своих пользователей
Рис. 4.8 Хуан живет
в многоквартирном доме, где ему
предоставляются базовые услуги
кабельного телевидения и интернета.
За дополнительные услуги
он получает счет
131
Рис. 4.9 Мэри управляет студенческим
общежитием, жители которого получают
базовые кабельные и интернет-услуги
Персонажи – занятие творческое,
но не увлекайтесь
Персонажи – отличный вариант для тимбилдинга, потому что каждый в команде может внести свой вклад. Никаких специальных технических знаний не требуется.
Кроме того, создание персонажа – это отличный выход для вашего
творчества. Но нужно быть осторожным, чтобы не увлечься. Персонажи должны быть привязаны к реальным данным. Вы используете данные, чтобы персонализировать характеристики пользователя
с деталями, которые имеют отношение к разрабатываемому вами
продукту. Если важно знать, на какой машине ездит человек, укажите
это. В противном случае уберите. То же касается и любых других персональных деталей.
Принимайте решения о том, что нужно включить сюда, исходя из
того, помогает ли вам эта информация понять мотивацию, страхи,
опасения и цели пользователей, связанные с вашим продуктом. Персонаж Хуана включает в себя его возраст, профессию и технические
навыки, потому что эта информация прольет свет на факторы, которые важны для Хуана при принятии решения о том, какие услуги ему
нужны и как он решает проблемы, когда они возникают. Например,
нам не нужно знать, на какой машине ездит Хуан, если только не будет доказано, что это актуально.
Один из способов обуздать свой энтузиазм и контролировать
включение нерелевантных деталей – ограничить описание персонажа одной или двумя страницами информации о продукте.
132
Глава 4 • Пользователи и их цели
Количество персонажей должно быть
управляемым
Создание персонажа может продолжаться бесконечно, но, чтобы выбрать приемлемое количество, нужно сосредоточиться на основных
пользователях. Затем вы можете добавить других пользователей, которые являются второстепенными, но о которых важно знать.
Итак, сколько персонажей будет достаточно? Количество, которое
вы создаете, может частично зависеть от времени и ресурсов. Если
вы работаете с командой над созданием персонажей и если у вас есть
готовый доступ к информации, необходимой для воплощения персонажей в жизнь, то можно создать семь или восемь персонажей, разделив обязанности. Но если у вас мало времени или ресурсов, возможно, придется ограничиться двумя или тремя. Эмпирическое правило
относительно количества персонажей, которых нужно создать, состоит в том, чтобы стремиться к количеству от трех до пяти, подтверждая, что каждый персонаж достаточно отличается от других, чтобы
функционировать самостоятельно. Если совпадений слишком много,
уменьшите количество.
Персонажи должны быть видны
После создания персонажей нужно убедиться, что вы используете их.
Если вы держите их вне поля зрения, о них можно легко забыть. Поэтому нужно отображать их, чтобы команда видела их во время работы. Если команда размещается в одном месте и у нее есть специально отведенное место для собраний, самый простой и очевидный
способ – разместить их там. Некоторые команды даже ламинируют
их, чтобы они сохранились подольше.
Некоторые компании творчески подходят к тому, как они демонстрируют своих персонажей, используя такие стратегии, как:
• кружки, коврики для мыши или футболки с изображенными на
•
•
них персонажами;
стендап, картонные фигуры персонажей в натуральную величину;
физическое пространство, созданное, чтобы показать окружение, которое отражает, где персонаж живет или работает, – например, при проектировании новой машины одна компания
создала персонажей спальни или гостиной целевого клиента.
Если члены команды находятся в разных местах, то можно использовать интрасети и программное обеспечение для совместной работы, такое как Basecamp или Slack, чтобы поделиться персонажами со
всеми.
При наличии персонажей для обсуждения характеристик продукта
команда может обращаться к ним по имени: что бы подумали Хуан
или Мэри об этой функции? Поможет ли это их целям или помешает?
Сценарии рассказывают историю целей ваших пользователей
133
Если это помогает одному персонажу, но мешает другому, как решить
эту проблему?
Иногда бывает так, что вы не можете удовлетворить все потребности всех своих персонажей в равной степени, поэтому нужно расставить приоритеты. Это означает, что вам нужно решить, чьи потребности важнее. Остин Говелла, UX-проектировщик, объясняет, что есть
много способов расставить приоритеты, но для сайтов он использует
четыре варианта.
1. Контингент – Какой процент пользователей представляет персонаж?
2. Частота – В какой процент от общего числа взаимодействий
вовлечен персонаж?
Для получения более подроб3. Критичность – Насколько важно взаимодей- ной информации о персонаствие персонажа?
жах см. книги «The Essential
4. Влияние – Какое влияние оказывает персонаж на Persona Lifecycle: Your Guide
to Building and Using Persoдругих?
nas», 2010, и «The User is
Совместный семинар по определению приоритетов Always Right: A Practical Guide
может стать отличным способом проработать эти при- to Creating and Using Personas
for the Web», 2006.
оритеты с заинтересованными лицами.
Сценарии рассказывают историю
целей ваших пользователей
Для каждого персонажа необходимо создать осмысленный сценарий, отражающий цели вашего персонажа в мире, где он живет. Как
и в случае с информацией, которая уже может быть доступна, чтобы
помочь вам создать своих персонажей, вы можете обнаружить, что
у вас есть информация, которая поможет приступить к созданию сценариев. Например, если разработчики создали сценарии использования, то можно начать с них.
Разница между задачей и целью
Чтобы создавать хорошие сценарии, нужно понимать разницу между
задачами пользователей и их целями:
• задачи – это то, что делают пользователи: шаги, которые они
•
должны предпринять, процессы и действия, которые нужно выполнять, – для достижения цели;
цели – это результат, к которому стремятся пользователи.
Проиллюстрируем это различие на примере: задачей может быть
заполнение регистрационной формы на сайте. Это нужно, чтобы
добраться до цели – получить доступ к информации или совершить
покупку. Пользователи заинтересованы в достижении своей цели. За-
134
Глава 4 • Пользователи и их цели
дача – необходимое средство для ее достижения. Если пользователь
достаточно мотивирован для выполнения задачи, потому что цель
очевидна и стоит затраченных усилий, т. е. пользователь определил
что-то для покупки или прочитал отрывок из отчета и теперь хочет
прочитать весь отчет, тогда он заполняет форму. Однако, если задача регистрации возникает слишком рано – до того, как пользователь
будет достаточно мотивирован для выполнения требований, – пользователь расстраивается, возможно, считая барьер слишком высоким.
И поэтому сдается.
Хорошие сценарии ориентированы на цели пользователей.
Разница между вариантом использования
и сценарием
Вы, возможно, слышали, как разные заинтересованные лица используют термины «вариант использования» и «сценарий», часто означающие одно и то же. Однако есть различия в зависимости от точки
зрения заинтересованного лица.
Вариант использования – это сфера деятельности проектировщика
взаимодействия. Обычно он фокусируется на взаимодействии между
системой и агентом или актором, взаимодействующим с системой.
Актор – обычно человек, но это может быть и система. Актор не является «персонифицированным», как в случае с персонажем. Скорее,
он определяется ролью, которую играет во взаимодействии с системой. В примере с двумя персонажами, когда мы говорили об услугах
кабельного телевидения и интернет-провайдере, акторами являются
управляющий и житель дома.
Каждый сценарий использования зависит от конкретной задачи.
Он описывает событие с соответствующими деталями и взаимодействия, которые происходят между актором и окружающим миром,
и представлен как серия шагов, обычно в виде причинно-следственной связи. «Актор» делает что-то, что заставляет «мир» или систему
отвечать определенным образом. Варианты использования можно
определить как «существенный» (случай «Солнечный день», когда все идет хорошо) и «крайний» (случай «Дождливый день», когда
все идет не по плану). Дизайнеры и разработчики используют эти
варианты, чтобы определить уровень работ, необходимых для создания системы, с акцентом на основные сценарии использования.
Смотрите следующую врезку, где приводится пример варианта использования.
Напротив, сценарий – это подробный вымышленный рассказ, который конкретизирует ситуацию пользователя и контекст использования, когда он или она преследует цель. Сценарий может содержать
несколько вариантов использования.
Сценарии рассказывают историю целей ваших пользователей
Пример варианта использования
Этот пример взят из отличной статьи Майка Кона, в которой описываются различия между вариантами использования и пользовательскими историями.
Название: плата за объявление о вакансии.
Основной актор: рекрутер.
Уровень: цель актора.
Предварительное условие: информация о вакансии введена, но ее нельзя
просмотреть.
Минимальные гарантии: нет.
Гарантии успеха: вакансия размещена; с кредитной карты рекрутера взимается
оплата.
Основной актор: рекрутер.
Основной успешный сценарий
1. Рекрутер предоставляет номер кредитной карты, дату и информацию для
аутентификации.
2. Система проверяет кредитную карту.
3. Система снимает с кредитной карты полную сумму.
4. Объявления о вакансиях доступны для просмотра соискателям.
5. Рекрутеру присваивается уникальный номер подтверждения.
Расширения
2a. Эта карта не принимается системой.
2a1. Система уведомляет пользователя о необходимости использования другой карты.
2b. Срок действия карты истек.
2b1. Система уведомляет пользователя о необходимости использования другой карты.
2c. Карта недействительна.
2c1. Система уведомляет пользователя о необходимости использования другой карты.
3a. На карте недостаточно средств для размещения объявления.
3a1. Система взимает столько, сколько может, с текущей карты.
3a2. Пользователю сообщают о проблеме и просят ввести вторую кредитную
карту для оплаты оставшейся суммы. Сценарий использования продолжается на шаге 2.
Примечания: в рамках варианта использования термин основной успешный сценарий относится к основному успешному пути через вариант использования.
В данном случае успех достигается после выполнения пяти указанных шагов.
В разделе «Расширения» определены альтернативные пути для варианта использования. Часто расширения используются для обработки ошибок; но также для
описания успешных, но второстепенных путей, например в расширении 3a.
135
136
Глава 4 • Пользователи и их цели
Разница между пользовательской историей
и сценарием
Пользовательская история – это главный компонент гибкой методологии разработки. Сценарий использования отличается от пользовательской истории тем, что история – это деятельность, в ходе которой
вы собираете и определяете приоритеты высокоуровневых функций,
которые затем формируют основу для сценариев использования.
Пользовательские истории подготовлены для разработчиков как высокоуровневое определение требования, чтобы разработчик мог оценить свои усилия. Структура пользовательской истории – часто это
одно предложение – выглядит так:
Как [персонаж] я [хочу чего-то], чтобы [цель могла быть достигнута].
Вот пример, где используется персонаж Хуана: я хочу просмотреть
свой счет в интернете и увидеть расходы с разбивкой, чтобы узнать,
что оплачивает жилой комплекс и что добавил я, чтобы понять полную
стоимость.
Каждая пользовательская история представлена на карточке, на
которой указана цель пользователя и связанные с ней задачи для ее
достижения. Поскольку пользовательские истории являются компонентом гибкой методологии разработки, они должны быть небольшими по размеру, чтобы их можно было реализовать в течение периода спринта, который обычно составляет от одной до трех недель.
История «готова», когда пользователь может завершить задачу.
Обычные сценарии конкретизируют одно предлоПодробнее о создании и исжение, чтобы рассказать историю, которая вовлекает
пользовании пользовательперсонажа в действие в контексте использования. Поских историй в гибкой методобно пользовательским историям, сценарии преддологии разработки см. книгу
ставляют личность, задачу и цель. Но они оживляют
«User Story Mapping: Discover
персонажа в контексте истории, чтобы дизайнеры
the Whole Story, Build the Right
могли поставить себя на его место при принятии реProduct», 2014.
шений.
Если коротко, вот как эта терминология работает в разных контекстах:
• варианты использования лучше всего используются разработчи•
•
ками в области разработки программного обеспечения и систем;
пользовательские истории хорошо применяются командой разработчиков в окружении гибкой методологии разработки;
сценарии удобны для UX-исследователей.
Рассказывайте о своих персонажах
убедительно
Создавая хорошие сценарии, рассматривайте этот процесс как рассказ об опыте вашего персонажа. Как говорит Уитни Кузенбери,
Сценарии рассказывают историю целей ваших пользователей
«истории приводят персонажей в движение». Через
рассказ вы приглашаете аудиторию войти в мир своего персонажа и прочувствовать его изнутри.
Вот основные моменты для создания убедительной
истории:
Подробнее о рассказывании
историй см. книгу «Storytelling
for User Experience: Crafting
Stories for Better Design»,
2010.
• сделайте своего персонажа центральным действующим лицом;
• установите проблему или ситуацию;
• создайте знакомую сцену, чтобы каждый из этой группы персо•
•
•
137
нажей сказал: да, мне знакома эта ситуация или проблема;
опишите цель главного героя;
используйте собранные вами реальные данные, чтобы обосновать рассказ в виде составного представления фактов;
сделайте историю запоминающейся, с яркими (но актуальными)
деталями и цитатами.
Чтобы показать пример того, как это работает, возьмем персонажей Хуана и Мэри и поместим их в сценарии, рассказывающие их
истории.
Что важно для Хуана, если говорить об услугах кабельного
телевидения и интернете
Хуану нравится его квартира, и он рад, что
здесь есть кабельное телевидение и интернет.
Он любит расслабиться после работы, поэтому
включает кабельное телевидение и подключается к Wi-Fi через смартфон, чтобы общаться
с друзьями в социальных сетях.
Когда Хуан подписывал договор аренды, он
понимал, что может получить дополнительные услуги, связавшись напрямую с провайдером кабельного телевидения. Но теперь он
понимает, что не знал, что это повлечет за собой, включая затраты
на подключение цифрового видеорегистратора и дополнительных
услуг. Перед началом футбольного сезона он решил, что ему нужен
пакет со спортивными каналами.
Он знал, что получил какой-то рекламный пакет, но не знал, когда
он закончится или на сколько вырастет его счет. Его удивил резкий
скачок цен через месяц, когда он пошел оплачивать счет через онлайн-банкинг.
Хуан хотел бы избежать путаницы, увидев в интернете свой счет
с разбивкой по услугам, предоставляемым ему жилым комплексом,
и дополнительным услугам, за которые он платит. Он также хотел бы
знать, когда закончится эта промоакция и каковы варианты продления услуги или ее прекращения. Он не хотел бы звонить в службу поддержки, так как ненавидит время ожидания и ему не нравится неточ-
138
Глава 4 • Пользователи и их цели
ная информация, которую он получает, а предпочел бы оплачивать
свои счета на сайте провайдера кабельного телевидения.
Срок аренды у Хуана истекает через несколько месяцев, и, возможно, он захочет посмотреть другие квартиры, чтобы узнать, доступны
ли ему более подходящие и удобные варианты кабельного телевидения и интернета.
Что важно для Мэри при управлении услугами кабельного
телевидения и интернета, предоставляемыми арендаторам
Мэри управляет студенческим жилым
комплексом недалеко от кампуса Университета Арканзаса. Его жители очень
мобильны и проводят от одного года
до нескольких лет в студенческом общежитии. Ежегодно ее основная задача заключается в том, чтобы в начале
осеннего семестра все переехали и подключились к кабельному телевидению
и интернету. Самый пик приходится на
июнь, когда многие студенты съезжают.
У Мэри хорошие отношения с региональным представителем поставщика услуг кабельного телевидения, но не очень хороший опыт
взаимодействия со службой поддержки клиентов. Представители
службы поддержки, похоже, не имеют достаточной подготовки, чтобы понять, что она управляет «массовым» счетом многоквартирного
комплекса. Они переводят ее от одного представителя службы поддержки к другому, потому что не знают, как найти номер ее счета
в своей системе.
Когда у студентов возникают проблемы с кабельным или интернет-обслуживанием, это обычно происходит «в нерабочее время»,
а значит, студенты должны сами звонить в службу поддержки. Их
опыт взаимодействия даже хуже, чем у Мэри, потому что у них нет
номера счета на свое имя. Их разочарование передается Мэри на следующий день или после выходных, и она должна попытаться решить
проблему за них. Ситуация часто бывает наиболее напряженной во
время заключительной экзаменационной недели из-за того, что одновременно идет очень много интернет-трафика.
Мэри хотелось бы избавиться от этого стресса, да и студентам тоже. Идеальным решением было бы перейти на сайт поставщика услуг
кабельного телевидения, выбрать тип учетной записи из раскрывающегося меню и самостоятельно разместить заказы или технические
запросы на обслуживание. Если это невозможно в ближайшем будущем, она хотела бы иметь возможность позвонить по телефону, чтобы связаться с представителями службы поддержки оптовых клиентов, которые будут в курсе ее ситуации и смогут найти ее счет в своей
системе.
Резюме к главе 4 139
Ей также хотелось бы разорвать порочный круг, из- Подробнее о том, как использа которого она вынуждена получать бумажные копии зовать персонажей и сценаброшюры об услугах кабельной компании. Вместо рии для планирования своего
юзабилити-теста, рассказываэтого она хотела бы размещать информацию на сайте
ется в главе 5.
своего жилого комплекса или предоставить студентам
ссылку на сайт кабельной компании, чтобы узнать, на какие скидки
они имеют право при повышении класса обслуживания.
Создание персонажей и их использование в реальных сценариях
оживляет ваших пользователей и дает возможность заглянуть в их
мир. Эти персонажи и сценарии не только помогут вам понять ваших
пользователей как людей, но также помогут спланировать юзабилити-тест.
Резюме к главе 4
Эта глава дала вам инструменты для понимания ваших пользователей. Исследования послужили отправной точкой для изучения пользователей и их целей. Вот некоторые вещи, которые мы поняли в ходе
исследований:
• люди целеустремленны. Все, что они хотят сделать с вашим продуктом, мотивировано стремлением к цели;
• интернет-пользователи привносят на ваш сайт свой опыт и ожидания:
со временем пользователи интернета стали лучше разбираться в некоторых вещах, но новые сайты часто сбивают с толку
и даже расстраивают пользователей;
у пользователей есть ожидания относительно того, где должны располагаться веб-объекты. Эти ожидания исходят из ментальных моделей использования, которые они создают на основе своего опыта;
первое впечатление действительно имеет значение. Пользователи не задерживаются надолго, если не видят то, чего хотят, или им не нравится то, что они видят;
доверие определяется тем, что наиболее важно для конкретного пользователя, но доверие к сайту важно для всех пользователей. Они сразу же решают, можно ли доверять сайту;
люди не хотят читать. Они хотят действовать. Пользователи
теряют терпение, если не могут найти слова-триггеры, которые приведут их к своей цели. Контент, который не способствует ее достижению, мешает им;
• различия между поколениями имеют значение:
мы много знаем о том, что важно для каждого поколения, от
поколения «молчунов» до миллениалов и пост-миллениалов;
140
Глава 4 • Пользователи и их цели
нам известны особенности целей пожилых и молодых пользователей. Мы знаем, что:
– пожилые пользователи чаще используют интернет для разных целей;
– пожилые пользователи читают больше контента, но выполняют поиск менее эффективно, чем молодые;
– молодые пользователи не умеют сортировать информацию,
чтобы знать, что хорошо, а что – нет, или даже знать, что
является рекламой, а что – нет;
– миллениалы, как правило, чрезвычайно уверены в своих
способностях, но это приводит к быстрым переходам с сайта на сайт и ошибкам;
– дети начинают разбираться в интернете в очень раннем
возрасте и, как и взрослые пользователи, теряют терпение
из-за плохого юзабилити;
гендерные различия имеют значение:
женщины предпочитают сайты, разработанные женщинами,
а мужчины – наоборот;
женщины и мужчины по-разному взаимодействуют с сайтами;
женщины и мужчины демонстрируют разные стили общения
в социальных сетях;
девочки заводят друзей чаще, чем мальчики, через социальные сети; мальчики чаще заводят друзей, играя в видеоигры.
•
Обладая этой информацией о пользователях в целом и о пользователях интернета в частности, вы можете применить ее к информации, которая у вас уже есть или которую вы можете собрать о ваших
пользователях и их целях. Она становится основой для двух документов, которые вы будете использовать при планировании юзабилититестирования, это:
• персонажи – «плоть и кровь» демографических характеристик
•
и мотивации ваших пользователей;
сценарии – которые помещают персонажей в их собственные
истории, отражающие, как они хотят использовать ваш продукт
исходя из своих потребностей и желаний.
Хотя сценарии чаще всего используются в UX-исследованиях, разработчики, проектировщики и специалисты по гибкой методологии
разработки используют другие термины. Они включают в себя:
• варианты использования, которые сосредоточены на взаимодей-
ствии между системой и агентом/актором, взаимодействующим
с системой. Обычно актор – это человек, но это также может
быть система. Варианты использования делятся на «существенные» и «крайние» случаи, которые определяют приоритетность
усилий по разработке;
Резюме к главе 4 141
• пользовательские истории, которые созданы для поддержки
процесса гибкой методологии разработки. Они обеспечивают
высокоуровневое определение требования, чтобы разработчик
мог оценить усилия. Структура пользовательской истории часто
представляет собой одно предложение.
Когда вы помещаете своих персонажей в сценарии, то можете убедительно рассказать историю каждого персонажа. Их истории становятся основой планирования юзабилити-тестирования.
Планирование
юзабилититестирования
5
Независимо от того, много ли у вас времени или, возможно, всего
несколько дней, нужно выделить время, чтобы спланировать юзабилити-тестирование. Процесс планирования можно разделить на
несколько этапов, начиная с того, что вам нужно собрать людей, которые будут участвовать в процессе планирования, и установить время для совещания по планированию. На этом совещании вы и члены вашей команды сделаете как можно больше за отведенное время,
а затем продолжите работу над материалами для тестирования после
собрания и перед тестированием.
В этой главе описаны основные этапы планирования тестирования, в том числе:
1) совещание по планированию, на котором вы:
• определите цели тестирования;
• определите, как тестировать продукт;
• согласуете подгруппы пользователей;
• определите стимулы для участников;
• составите скринер (скринеры) для отбора участников;
• создадите сценарии на основе задач, соответствующих целям тестирования;
• определите степень успеха и неудачи задачи;
• определите методы обратной связи для сбора качественных
и количественных отзывов;
• установите даты тестирования и результатов работы;
2) написание плана тестирования:
• написание неформального плана тестирования;
• передача решений о плане тестирования другими способами;
• написание формального плана тестирования.
Совещание по планированию
Во всех ваших обсуждениях в планирование должна быть включена
цель доступности. В этой главе указаны отличные ресурсы для включения целей доступности в процесс планирования.
Совещание по планированию
Планирование юзабилити-исследования начинается с того, что нужно знать, кто должен быть вовлечен в него и что необходимо сделать.
Процесс начинается с организации совещания по планированию
и приглашения на него заинтересованных лиц. Если все находятся в одном месте, то можно встретиться лично. В противном случае
можно назначить встречу с помощью Zoom или другого инструмента
для проведения веб-конференций или с помощью конференц-связи.
После того как вы определили, кого следует пригласить на совещание, понадобится повестка дня, чтобы участники могли подготовиться и предоставить соответствующую информацию, чтобы встреча была продуктивной. Повестку дня можно составить из общей повестки,
показанной на рис. 5.1. Здесь даны не только элементы типичного
совещания по планированию, но и обоснование для их включения
в обсуждение.
Если вы не сможете выделить для совещания полдня или больше,
то, вероятно, не сможете подготовить все документы, перечисленные
в повестке, поэтому у вас должен быть план по распределению задач
между членами команды и обмену черновиками этих документов для
обратной связи и их утверждения после собрания.
Повестка может быть сложной, поскольку необходимо принять
множество решений. Вот почему так важно разослать ее заранее, указав конкретные вопросы, которые необходимо подготовить заблаговременно (и тех, кто должен их подготовить), и выделить время, чтобы добиться значительного прогресса на совещании. Если во время
совещания вы можете выполнить только несколько пунктов из этого
списка, сделайте своим главным приоритетом согласование целей
тестирования, пользовательских групп и ключевых задач. Результатом успешного планирования является согласование этих ключевых
пунктов юзабилити-исследования и список последующих действий
с указанием сроков их выполнения.
Установите цели тестирования
Как это часто бывает, когда вы начинаете планировать юзабилити-исследование, ваша команда или спонсор хотят знать все об удобстве использования продукта. В результате список пожеланий может
быть довольно длинным.
Тем не менее практические аспекты времени и бюджета – не говоря уже о выносливости участников во время сеансов тестирования –
ограничивают объем ваших действий в любом конкретном тесте.
Итак, как выбрать, что тестировать?
143
144
Глава 5 • Планирование юзабилити-тестирования
Планирование повестки совещания
1. Установите цели тестирования на основе следующих пунктов:
а) сколько денег / какой бюджет у вас есть для тестирования – данная информация влияет на
множество решений по планированию, таких как размер исследования (включая то, является
ли это единичным исследованием или частью цикла итеративного тестирования), количество
участников, затраты на их отбор, выплата вознаграждений участникам и другие траты, такие
как аренда или выделение помещения;
b) если продукт находится в стадии разработки, эта информация влияет на тип тестирования,
которое вы будете проводить;
c) кто спонсирует тестирование – эта информация влияет на фокус исследования. Проблемы
службы маркетинга будут отличаться от проблем службы технической поддержки / помощи
пользователям и т. д.;
d) ключевые вопросы, на которые вы хотите получить ответы – в зависимости от стадии
разработки продукта и беспокойства спонсора.
2. Определите, как тестировать продукт, – данное обсуждение может включать в себя обзор
продукта и оценку его статуса в разработке. Требования к тестированию будут определяться
не только статусом тестируемого продукта, но и местоположением участников: локальным,
удаленным или сочетанием двух предыдущих вариантов.
3. Обсудите вопрос, касающийся подгруппы (подгрупп) пользователей, – в зависимости от вашего
бюджета вы можете выбрать одну подгруппу или, при наличии дополнительных средств на
тестирование, две или более.
4. Определите стимулы для участников – это, опять же, вопрос бюджета, но данное обсуждение
часто требует рассмотрения вариантов и согласия относительно того, что подходит для отбора
ваших участников. В зависимости от количества определяемых вами подгрупп пользователей, для
каждой подгруппы стимулы могут быть разными.
5. Создайте или получите необходимые формы, которые обычно включают в себя соглашение
о неразглашении и форму согласия, записанную на видео.
6. Составьте скринер (скринеры) для отбора участников – эта критически важная часть
планирования связана с пользовательскими подгруппами этого теста.
7. Создайте сценарии на основе выбора задач, которые соответствуют целям пользователей
и команды для вашего исследования. Избегайте подсказок и указания шагов. Сценарии должны
быть реалистичными и целенаправленными.
8. Установите критерии успеха и неудачи задачи.
9. Определите методы обратной связи для сбора качественных и количественных отзывов,
связанные с целями вашего исследования.
10. Установите даты для:
а) тестирования;
b) черновиков материалов для тестирования с целью ознакомления (начиная со скринера);
c) итоговых материалов для тестирования (для плана тестирования);
d) готовности продукта к тестированию (разбор);
е) результатов работы после завершения тестирования – определитесь, что это за результаты,
когда они будут получены и в каком формате.
Рис. 5.1
Эта повестка совещания по планированию содержит темы с примечаниями
Начнем с целей тестирования. Это ваш первый пункт повестки
и главный приоритет при планировании теста. Цели тестирования
сосредоточены на том, какую информацию вы хотите получить об
опыте взаимодействия пользователей с продуктом на этапе разработки, на котором вы будете проводить тестирование. Если это ваш
первый юзабилити-тест, то нужно решить, какая информация является наиболее важной. Возможно, есть проблема, которую обсуждала
команда, и вы хотите, чтобы пользователь знал, в каком направлении двигаться. Или вы получили от службы поддержки информа-
Совещание по планированию
145
цию о том, что определенная функция продукта вызывает проблемы
у пользователей, поэтому важно понять, в чем заключается проблема,
наблюдая за пользователями, работающими с этой функцией. Или если это новый продукт и вы хотите знать, понимают ли пользователи,
что это такое и как его использовать, то можно сосредоточиться на
опыте новых пользователей, чтобы понять, соответствует ли их ментальная модель продукта вашему дизайну.
Если вы планируете дополнительное исследование, то можете установить цели, чтобы узнать, были ли решены ранее возникшие проблемы при повторном проектировании в результате предыдущего
исследования. Или можно установить цели в отношении новых функций, которые вы добавили в продукт. Если вы не знаете, как определить цели тестирования, можно использовать такие критерии, как 5E
от Уитни Кузенбери – Effective (Эффективность), Efficiency (Производительность), Engaging (Вовлеченность), Error tolerance (Устойчивость
к ошибкам), Ease of learning (Легкость восприятия), – чтобы придать
форму дискуссии. С помощью принципов 5E ваша
Описание этих параметров
команда может решить, как установить цели для сво- юзабилити см. в главе 1.
его исследования и как измерить, достигнуты ли они.
Вот несколько примеров постановки целей с использованием 5E:
• эффективность – могут ли пользователи находить информацию,
•
•
•
•
необходимую для выполнения задач, без посторонней помощи?
Могут ли они выполнить процесс в течение заранее определенного периода времени?
производительность – могут ли пользователи успешно разместить заказ или подписаться на услугу?
вовлеченность – оценивают ли пользователи свой опыт как удовлетворительный или приятный? Предполагают ли их комментарии (и язык тела), что они получили положительный опыт?
устойчивость к ошибкам – сталкиваются ли пользователи с ошибками? Если да, то сколько их? И когда это происходит, успешно
ли они с этим справляются? Если они получают сообщения об
ошибках, понимают ли они их?
легкость восприятия – могут ли пользователи начать работу прямо сейчас? Улучшается ли их способность выполнять задачи по
мере знакомства с системой? Соответствует ли системная архитектура их ментальной модели относительно способа работы системы, который они ожидают увидеть?
Эти критерии и связанные с каждым из них соответствующие вопросы не только формируют список задач и сценарии, которые вы
создадите, но также помогают определить, какую информацию вы
хотите получить из наблюдений и методов обратной связи после завершения заданий и тестирования.
В этот список не входит – но она так важна для понимания всех
ваших пользователей – цель доступности. Цели доступности требуют
146
Глава 5 • Планирование юзабилити-тестирования
особого внимания и специального отбора участников, поэтому, вероятно, у вас не будет возможности включить их в свой список во время первого исследования. Но по мере того, как вы приобретете опыт
выполнения основных требований к планированию тестирования,
вы, вероятно, захотите охватить всех пользователей, а это означает
изучить удобство использования продукта для людей с ограниченными возможностями, а также для тех, у кого имеются проблемы с мобильностью, зрением или другие проблемы, которые могут быть результатом возраста или немощи. На следующей врезке представлена
полезная информация о целях и ресурсах доступности.
Цели доступности в интересах всех
Доступность – это цель? Так должно быть, если не по юридическим причинам,
то по практическим соображениям. Важно знать, доступен ли ваш продукт для
людей с ограниченными возможностями и другими ограничениями (ухудшение
памяти, зрения в силу возраста, временное нарушение из-за несчастного случая
или болезни). Это поможет понять, как охватить тех пользователей, до которых вы,
возможно, еще не дошли. Тем не менее доступность часто рассматривается как
полезная цель, если позволяют время и ресурсы. Обзор методов UXPA 2018 года,
используемых UX-специалистами, показывает, что тестирование
Джефф Сауро собрал
доступности остается «нишевым методом», но показывает рост,
результаты опроса на
как видно на рис. 5.2.
странице https://measuringu.
Тем не менее можно привести веские аргументы в пользу взаиcom/ux-methods-2018/.
мосвязи между доступностью, удобством использования и инклюВведение в эту тему можно зивным дизайном и преимуществом одновременного рассмотренайти на странице https://
ния всех трех аспектов хорошего пользовательского опыта.
www.w3.org/WAI/intro/usable.
100 %
80 %
60 %
2018
40 %
2016
2014
20 %
0%
2011
21 % 19 % 17 % 14 %
18 % 21 % 21 % 17 %
Тестирование
доступности
Экспертные оценки
доступности
Рис. 5.2 Тестирование доступности – нишевый метод,
но с течением временем он демонстрирует рост
Совещание по планированию
147
Законные основания для решения проблемы
доступности
Руководство по обеспечению доступности веб-контента (Web Руководство WCAG 2.0 было
Content Accessibility Guidelines – WCAG) – это рекомендация опубликовано в 2008 г. и обконсорциума Всемирной паутины (W3C).
новлено в 2016 г.; см. https://
W3C – это организация, разрабатывающая и внедряющая www.w3.org/TR/WCAG20/.
технологические стандарты для Всемирной паутины, которая Новая версия – WCAG 2.1 –
в1997 г. запустила Инициативу по обеспечению доступности была опубликована в 2018 г.;
сайтов (WAI), чтобы гарантировать, что рекомендации W3C см. https://www.w3.org/TR/
WCAG21/.
обеспечивают доступ всем лицам.
В США раздел 508 (поправка 1998 г. к Закону о реабилитации
от 1973 г.) устанавливает стандарты доступности информационных технологий. Он применяется ко всем электронным продуктам и продуктам информационных технологий, которые
разрабатываются, покупаются или обслуживаются федеральным правительством, что дает ему широкий доступ к частной
отрасли. Правительства штатов часто используют раздел 508
в качестве основы собственных стандартов.
Конкретные рекомендации по
доступности для мобильных
устройств, разработанные
Целевой группой по обеспечению доступности для
мобильных устройств, см. на
странице https://www.w3.org/
Закон об американцах с ограниченными возможностями WAI/standards-guidelines/
(ADA) затрагивает и частный бизнес, распространяя защиту на mobile/.
всех людей с ограниченными возможностями, чтобы обеспечить им равный доступ.
Что эта алфавитная мешанина из правил, положений и организаций означает для
вашего продукта? Она означает, что у вас есть много информации относительно
того, как и зачем решать проблему доступности, и много справочной информации
о том, как это сделать.
Со всеми этими рекомендациями и правилами процесс их
соблюдения на первый взгляд может показаться запутанным.
К счастью, WebAIM (Web Accessibility In Mind), некоммерческая организация, предоставляющая услуги в поддержку доступных сайтов, свела требования WCAG к контрольному списку с руководством и примерами того, как выполнять основные принципы доступности. Эти четыре принципа называются
P.O.U.R:
Вы можете загрузить
PDF-файл с этими рекомендациями на странице https://
webaim.org/standards/wcag/
WCAG2Checklist.pdf или
просмотреть их здесь: https://
webaim.org/standards/wcag/
checklist.
1) P – Perceivable (Ощутимый);
2) O – Operable (Работоспособный);
3) U – Understandable (Понятный);
4) R – Robust (Надежный).
Создание экономического обоснования
для тестирования доступности
Есть отличное экономическое обоснование для решения проблемы доступности.
Исследования показали, что при улучшении положения людей с ограниченными
возможностями пользовательский опыт людей, не относящихся к данной категории, также улучшается. К ним относятся:
• пожилые люди;
148
Глава 5 • Планирование юзабилити-тестирования
• люди с низким уровнем грамотности;
• плохо владеющие родным языком;
• имеющие подключение к интернету с низкой пропускной способностью или
работающие с устаревшими технологиями;
• с низким уровнем веб-грамотности.
Поищите в интернете статьи на тему экономического обоснования доступности
и найдете отличные ресурсы. Вот некоторые из них, которые я нахожу полезными:
• Horton and Quesenbery, «A Web for Everyone: Designing Accessible User Experiences», 2013;
• Henry, «Additional Benefits from a Business Perspective» в главе 1 «Web Accessibility: Web Standards and Regulatory Compliance», 2006;
• «Developing a Web Accessibility Business Case for Your Organization: Overview»
на странице https://www.w3.org/WAI/bcase/Overview;
• обширный литературный обзор о доступности интернета для пожилых пользователей на странице https://www.w3.org/WAI/older-users/literature/.
Поиск участников с ограниченными возможностями
Есть отличная статья о том,
с чего начать – «Usability Testing by People with Disabilities:
Some Guerrilla Tactics», 2010.
Итак, вы успешно выступили за включение участников с ограниченными возможностями в свои юзабилити-исследования.
Отлично! А теперь вопрос: где же их найти?
Если вы проводите тестирование с личным присутствием
участников, то можете получить доступ к местным ресурсам,
где собираются люди с ограниченными возможностями или где эти ресурсы предоставляют организации. Сюда могут входить центры для пожилых людей, местные или государственные организации Общества слепых, организации для людей с особыми проблемами со здоровьем, образовательные и учебные центры
для людей с физическими и умственными недостатками и многое другое. Если
вы ищете участников с определенными физическими недостатками, связанными
с каким-то заболеванием, вам может помочь Rare Patient Voice.
Если вы проводите онлайн-исследования, особенно с участием людей, у которых
слабое зрение и которые используют программы чтения с экрана, то можно найти
ресурсы для отбора этих участников через группы потенциальных участников.
Один из онлайн-ресурсов – AccessWorks, где можно найти заинтересованных
участников. Благодаря этому сервису вы сможете работать с местными, а также
с удаленными участниками тестирования, проводя свое исследование.
Проведение экспертной оценки
Если у вас нет ресурсов для юзабилити-тестирования, то можно провести экспертную оценку. Этот тип оценки аналогичен аудиту обеспечения качества, за исключением того, что основное внимание уделяется вопросам, влияющим на доступность. Такая оценка обычно проводится, когда продукт полностью или почти
завершен. Здесь вы ставите себя на место пользователей, пытаясь:
• подтвердить, что все изображения имеют замещающий текст и подписи;
• подтвердить доступность стенограмм для аудио и видео;
• подтвердить, что навигация может осуществляться только с клавиатуры, в том
числе в формах;
Совещание по планированию
149
• просмотреть гиперссылки на предмет значимого содержимого (надпись «нажмите здесь…» не предлагает наличие контента, который будет доступен после
нажатия);
• использовать сайт https://validator.w3.org, чтобы проверить правильность разметки сайтов и https://w3c.github.io/developers/tools/ для проверки HTML, CSS,
ссылок, платформ и других аспектов доступности;
• использовать встроенные специальные возможности устройств Android и iOS
для проверки на предмет доступности.
Определите, как тестировать продукт
При определении того, как тестировать продукт, нужно решить:
• что тестировать – в зависимости от того, где продукт находит•
•
ся в разработке;
где тестировать – рассматривая варианты тестирования в лаборатории, полевого и дистанционного тестирования или их сочетания;
как тестировать – в зависимости от ресурсов, времени и целей.
Что тестировать – продукт
Обсуждение того, что тестировать, будет сосредоточено на том, где
будет разрабатываться продукт, когда вы захотите провести юзабилити-исследование.
В идеале вы будете проводить итеративное тестирование на протяжении всей разработки продукта. Однако, если это первое юзабилити-исследование в вашей компании, вполне вероятно, что руководство или спонсор тестирования захотят подождать, чтобы протестировать продукт, пока он не будет почти завершен. Данный тип
тестирования называется суммативным оцениванием, поскольку
оценивает удобство использования продукта в конце разработки.
Полезно и ценно проводить такое тестирование, если вы хотите подтвердить, что требования к продукту выполнены.
Но, если это ваше первое юзабилити-исследование, следует потрудиться, чтобы убедить лица, принимающие решения, что тестирование должно проводиться на ранних этапах разработки, чтобы результаты тестирования могли привести к разработке продукта, более ориентированного на пользователя. Данный тип тестирования называется
формативным оцениванием, и его можно использовать Подробнее о суммативном
для тестирования очень ранних прототипов, частично и формативном оценивании,
разработанных продуктов, информационной архитек- а также достоинствах обоих
вариантов читайте в главе 1.
туры продукта или отдельной функции.
Где тестировать – местоположение
После того как вы определились, где будет разрабатываться продукт,
когда вы будете выполнять юзабилити-исследование и каковы его
цели, нужно решить вопрос местоположения:
150
Глава 5 • Планирование юзабилити-тестирования
Более подробная информация о типах тестирования
и требованиях к каждому из
них представлена в главе 3.
•
•
• в лаборатории – тестирование в собственной лабо-
ратории или лаборатории, которую вы арендуете;
• в конференц-зале – нужно зарезервировать помещение для тестирования;
в поле – вы отправляетесь к пользователям в их окружение;
на расстоянии – дистанционное тестирование.
Если у вас есть лаборатория, то вы, вероятно, захотите ею воспользоваться, особенно если это ваше первое тестирование продукта.
Конечно, для проведения юзабилити-тестирования лаборатория не
нужна. Забронируйте конференц-зал или воспользуйтесь местным
объектом – этого вполне достаточно.
Если вы уже проводили лабораторное тестирование продукта, то
можете отправиться непосредственно к пользователям, чтобы увидеть, как продукт работает в их окружении. Сочетание лабораторного
тестирования в одном исследовании и полевого тестирования в другом дает более полную картину опыта пользователей, поскольку оно
сочетает в себе контролируемое и естественное окружения тестирования.
Вы также можете проводить удаленное тестирование, которое дает
доступ к пользователям, где бы они ни находились и в их собственном окружении. Возможно, вы захотите использовать удаленное тестирование для всех сеансов или объединить удаленное и лабораторное тестирование в одном исследовании. Вы также можете сочетать
модерируемое и немодерируемое тестирование, используя персональные модерируемые сеансы тестирования вместе с немодерируемым удаленным тестированием, и делать это так, чтобы лучше всего
соответствовало целям вашего исследования и бюджету.
Как тестировать – дизайн
По мере прохождения повестки вы приняли несколько важных решений относительно целей юзабилити-исследования и состояния тестируемого продукта. Теперь нужно обсудить тип тест-дизайна, который вам нужно подготовить. Вот несколько методов, которые можно
использовать для его структурирования:
• формативное оценивание продукта с помощью протокола «мыс-
ли вслух» – где вы ставите перед пользователями ряд задач в сценариях и просите их поделиться своими мыслями (подумать
вслух), пока они работают над задачами. Такой подход обычно
используется для продуктов на стадии разработки. Но его также
можно использовать для существующих продуктов, чтобы получить базовые сведения об опыте взаимодействия пользователя
в рамках сбора требований для переработанного или нового
продукта. Смотрите следующую врезку, где говорится о методе
«Волшебник из страны Оз» для тестирования бумажных прототипов на самых ранних стадиях;
Совещание по планированию
• суммативное оценивание продукта для установления контроль-
•
•
ных показателей эффективности, результативности и удовлетворенности – где вы представляете пользователям задачи или
сценарии (как вы это делаете в формативном тестировании), но
не просите их думать вслух и не взаимодействуйте с ними во
время выполнения задач. Такой подход позволяет участникам
максимально реалистично проходить задачи и предоставляет
вам метрики по времени выполнения задачи, степени выполнения и другие показатели;
сравнение – когда вы даете пользователям два варианта дизайна
или более (меняя порядок презентации для каждого участника),
чтобы оценить плюсы и минусы различных подходов к проектированию;
конкурентная оценка – когда вы ставите перед Позже в этой главе я дам
пользователями задачи, чтобы дополнить свой несколько рекомендаций по
продукт и один или несколько продуктов конку- сравнительному и конкурентрентов, чтобы узнать основу их предпочтений или ному тестированию.
сравнить свой продукт с продуктами конкурентов.
Получение отзывов о бумажных прототипах
с использованием метода «Волшебник из страны Оз»
на ранних стадиях
В самом чистом виде «Волшебник из страны Оз» – это техника, когда участник
не знает, что кто-то манипулирует интерфейсом, пока он выполняет задачи. Такой
подход хорошо подходит для некоторых команд дизайнеров и разработчиков. Но
есть гораздо более простой, менее затратный по времени и эффективный способ
получить представление о том, как пользователи понимают основную навигацию,
терминологию и информационную архитектуру – до того, как будет написан какой-либо код. Нужно использовать бумажные прототипы экранов, которые представляют поток процесса пользователю, пока вы наблюдаете, что ему ясно, а что
сбивает с толку.
Возможно, вы думаете, что не стоит брать бумагу, когда инструменты для создания
прототипов легко доступны, но все же существует определенная магия, которая
происходит, когда участнику дают бумагу. Это предполагает, что продукт еще не
создан или не разработан и что отзывы участников по-настоящему полезны для
команды дизайнеров.
Для создания и проведения юзабилити-исследования с использованием метода
«Волшебник из страны Оз» нужна команда. Вот как работает этот процесс:
• бумажные прототипы создаются командой или визуальным дизайнером, по одному листу бумаги на каждый экран в потоке задач, а для элементов интерфейса, таких как вложенные меню, используются листы бумаги поменьше;
• членам команды назначаются роли. Обычно к ним относятся:
151
мастер – человек, который будет создавать новые экраны или элементы
вложенного меню, когда пользователь взаимодействует с продуктом;
152
Глава 5 • Планирование юзабилити-тестирования
наблюдатели – члены команды, которые делают заметки о взаимодействии
пользователя и помогают мастеру выбрать правильный прототип для следующего экрана в потоке задач;
дизайнер – любой член команды, которого могут попросить быстро создать
неожиданный экран или вложенное меню на основе выбранного пользователем пути. Эти можно делать на стикерах во время сеанса;
• для участников проводится брифинг, где рассказывается, чем они будут заниматься и как взаимодействовать с прототипом. Если вы тестируете цифровой
прототип, то нужно будет объяснить им, как показывать жесты, которые они будут использовать, чтобы провести пальцем по экрану или свести кончики пальцев для увеличения/уменьшения текста или изображения на экране. В противном случае они могут просто нажать или коснуться части экрана, выбранной
для каждой задачи;
• команда находится вместе с участником, чтобы помочь мастеру заменить бумажные экраны на новые;
• разговор с участником в конце сеанса может предоставить отличную информацию, которая поможет сориентироваться при итеративной разработке продукта;
• поищите в интернете, и вы найдете множество видеопримеров, показывающих
как использовать эту технику.
Решение, которое вы принимаете в отношении типа тест-дизайна,
влияет на создаваемые вами сценарии, а также на механизмы отзывов после завершения заданий и тестирования. Помимо этого, также
нужно будет решить, сколько времени необходимо для каждого сеанса тестирования. Если вы используете типичный подход, то, вероятно, будете работать со сценариями, для которых хватит 1–1,5 ч. Более
длинные сеансы могут привести к увеличению количества участников и членов команды, поэтому, если речь идет о более длительном
сеансе, вы, вероятно, захотите сделать перерыв. И, конечно же, можно
запланировать более короткие сеансы тестирования.
Используем в качестве примера одночасовой сеанс. Типичный
день тестирования будет иметь установочное время – час, за которыми следуют сеансы с участниками по часу каждый с небольшими
перерывами и временем на обед. За один день вы, скорее всего, увидите пять или шесть участников. Если вы проводите
Подробнее о настройке ежесобрание для обсуждения результатов в конце дня, то
дневного расписания читайте можете добавить сюда еще час или больше. Из-за тав главе 6.
кого графика тестирования день становится долгим,
но продуктивным.
Но что будет, если у вас нет даже дня на тестирование? Что, если
у вас нет средств на обычное тестирование? Что, если ваш цикл разработки настолько плотный, что команда не может ждать результатов,
прежде чем двигаться дальше? Это часто задаваемые и реалистичные
вопросы, ответы на которые кроются в быстрых и эффективных методах, ускоряющих процесс тестирования и предоставления резуль-
Совещание по планированию
153
татов. В мире графиков, которые становятся все более жесткими, особенно в компаниях, использующих гибкую методологию разработки,
такие более быстрые методы тестирования позволяют оставаться
в курсе последних изменений, касающихся юзабилити. На следующей врезке приводятся некоторые из этих методов.
Тестируем быстрее и дешевле
Для гибкой методологии разработки требуются гибкие
методы юзабилити-тестирования
В каскадной методологии каждый этап разработки четко определен на временной шкале с контрольными точками, чтобы отметить прогресс на отдельных этапах. Планирование юзабилити-тестирования – это вопрос планирования тестирования в определенные моменты на временной шкале разработки.
В настоящее время все большее число компаний переходит на гибкую методологию разработки, что затрудняет добавление юзабилити-тестирования.
Если вы не знакомы с этим методом, то вкратце разберем как он работает: команды проектировщиков работают в очень коротких циклах разработки, которые называются спринтами, длительностью от одной недели до одного месяца, обычно
несколько недель. Цель каждого спринта состоит в том, чтобы спроектировать
функцию или группу функций и написать их код. Общая цель – доставлять работающее программное обеспечение как можно раньше и чаще.
Как сюда вписывается юзабилити-тестирование? Как выяснили некоторые UX-команды, решение заключается в принятии быстрых и гибких методов тестирования. Встраивание
методов UX-исследования в гибкую методологию разработки
действует особенно хорошо, когда команда работает параллельно с командой разработчиков, чтобы специалисты по
проектированию, ориентированному на пользователя, могли
быть отдельной, но скоординированной частью разработки
продукта.
Прекрасное объяснение того,
как это сделала одна компания, можно найти в статье
«Adapting Usability Investigations for Agile User-Centre
Design», 2007.
Метод RITE хорошо подходит для гибкой методологии
разработки и других процессов быстрой разработки
RITE – аббревиатура от англ. Rapid Iterative Testing and Evaluation («быстрое итеративное тестирование и оценка»). Отличное название, которое говорит само за себя. Разработанный
командой, занимающейся юзабилити-тестированием, из Microsoft Games Studios, RITE удовлетворяет потребности бизнеса во внесении быстрых изменений в дизайн сразу после
выявления проблемы.
Полное объяснение того,
как работает этот метод, см.
в главе 17 книги «Cost-justifying usability an update for the
internet age», 2006.
Чтобы RITE работал, требуется отдача всей команды, включая ключевые лица,
принимающие решения, которые хорошо разбираются в дизайне продукта и могут одобрить изменения. Вот как работает эта методика:
• ключевые лица, принимающие решения, наблюдают за участниками тестирования;
154
Глава 5 • Планирование юзабилити-тестирования
Вариант метода, который
сочетает в себе RITE с более
гибким подходом, предложенным Стивом Кругом в книге
«Don’t Make Me Think, Revisited», 2014, можно найти в статье «RITE + Krug: A Combination of Usability Test Methods
for Agile Design», 2013.
• результаты анализируются сразу после завершения сеанса
Дополнительную информацию об использовании RITE
и интеграции лучших практик
юзабилити в циклы гибкой
методологии разработки см.
в мартовском выпуске журнала User Experience Magazine
за 2010 г. на странице https://
uxpamagazine.org/issue/9-1,
где есть несколько статей по
этой теме.
В отличие от традиционного юзабилити-тестирования, когда
вы ждете, пока не увидите всех пользователей, затем анализируете увиденное, рекомендуете изменения и вносите их,
метод RITE фокусируется на устранении проблем, как только
они будут обнаружены, а затем подтверждает, что данное решение подходит. Однако ключ к успеху этого метода – вовлечение всех сторон, чтобы можно было прийти к соглашению
касательно проблем и сразу же внести изменения.
тестирования или, в некоторых случаях, в конце дня;
• как только будет решено, что существует проблема и известно решение, изменение вносится немедленно. Если команда не уверена, что видит реальную проблему, тестирование продолжается до тех пор, пока проблема и решение
не станут более ясными;
• измененный интерфейс повторно тестируется со следующим участником.
Поскольку RITE работает быстро, он хорошо подходит для
гибкой методологии разработки. Используя его, вы можете
включить в список несколько участников во время спринта
или сразу после него и исправить все проблемы, которые видите, чтобы убедиться, что исправления сработали, прежде чем еще несколько
пользователей будут работать с продуктом.
Другие методы тестирования обеспечивают быструю
обратную связь
Помимо метода RITE, потребностям вашего продукта, вашему расписанию и целям могут соответствовать другие методы. Среди растущего числа этих методов,
которые используются в настоящее время, можно выделить следующие:
В главе 3 я представила
этот веб-инструмент для
удаленного немодерируемого
тестирования.
Подробнее о пятисекундных
тестах и о том, как их проводить, см. книгу «The UX
Five-Second Rules: Guidelines
for User Experience Design’s
Simplest Testing Technique»,
2014.
• пятисекундные тесты – этот метод можно выполнить при
личном присутствии там, где собираются ваши пользователи, например в торговом центре или парке, или можно
использовать бесплатный веб-инструмент, доступный на
странице https://fivesecondtest.com/ (или заплатить за дополнительные услуги с разными уровнями поддержки).
С помощью этого инструмента вы загружаете экран, который пользователи должны просматривать в течение пяти
секунд, а затем предпринимаете какие-либо действия. Так,
вы мгновенно получаете отзывы о первых впечатлениях
пользователей и других аспектах дизайна, например о том,
где пользователи щелкают мышью в самом начале и что
они помнят о вашем сайте спустя всего пять секунд;
• быстрое тестирование на конференции – вы можете запланировать тестирование на конференции или выставке, что даст вам доступ к большому количеству
потенциальных пользователей. Это особенно хорошо работает, когда пользователей сложно нанять. Используя выставочный стенд своей компании, чтобы
привлечь (а потом отпустить) заинтересованных участников для проведения
короткого неформального юзабилити-сеанса, вы можете быстро получить от-
Совещание по планированию
155
веты на новые функции и возможности, которые пробуете в разработке. Также
можно заранее набрать людей из списка участников конференции и организовать тестирование в конференц-зале или поставить стол на ресепшен и таким
образом быстро набрать целевых пользователей;
• еженедельное тестирование – участники набираются каждую неделю, поэтому
вы можете протестировать все, что у вас есть. Поскольку при планировании
тестирования на отбор участников требуется больше всего времени, данный
метод устраняет задержку. Если в вашей компании несколько команд разработчиков, работающих над разными продуктами, этим еженедельным графиком тестирования можно управлять с помощью регистрационного листа для
тестирования в порядке очереди. Если у вас нет юзабилити-команды, которая
бы занялась отбором кандидатов и составлением расписания за вас, можно
сделать это самостоятельно.
Суть всех этих методик заключается в том, что существует множество умных вариантов на выбор независимо от того, сколько у вас времени или какой у вас
бюджет. На совещании по планированию можно сосредоточиться на выборе правильного метода, зная, что это будет именно тот метод, который лучше всего подходит для вашей ситуации.
Согласуйте подгруппы пользователей
На данном этапе планирования вы определили цели исследования
и тип проводимого теста. Теперь нужно согласовать подгруппы пользователей.
Как вы знаете, можно провести исследование с пятью пользователями и получить отличные результа- В главе 1 рассказывается,
ты, если все они принадлежат к одной подгруппе. Если почему мы часто используем небольшое количество
у вас есть время и бюджет для тестирования с 10 участ- участников в неформальных
никами, то может быть две подгруппы или, возможно, юзабилити-исследованиях.
даже три. Чем больше участников вы планируете набрать, тем больше подгрупп у вас будет.
Независимо от того, есть ли у вас бюджет или время только на один
день тестирования или несколько, необходимо решить, какую подгруппу или подгруппы вы хотите представить в своем исследовании.
Это может быть трудным решением, потому что ваша команда или
спонсор часто хотят получить информацию об опыте взаимодействия пользователя из множества разных подгрупп пользователей.
На совещании по планированию необходимо заручиться поддержкой
пользователей, которые будут участвовать в этом исследовании.
Если у вас есть готовые персонажи, то это немного упрощает задачу, потому что дает вам отправную точку для обсуждения того, каких
персонажей вы хотите сюда включить. Однако персонаж представляет собой тип пользователя, а в рамках одного персонажа может быть
несколько подгрупп. Кроме того, персонажи обычно не включают
в себя конкретные характеристики, которые вы хотите Подробнее о персонажах см.
в главе 4.
сопоставить в своем исследовании.
156
Глава 5 • Планирование юзабилити-тестирования
Итак, нужно составить список характеристик для каждой подгруппы. Назовем этот список характеристик для определенной подгруппы профилем пользователя. Для каждой подгруппы понадобится
отдельный профиль пользователя. На совещании по планированию
у вас, возможно, будет время составить только список характеристик
для каждой подгруппы. После совещания можно преобразовать эти
характеристики в скринер для каждой подгруппы, а затем разослать
черновики скринеров для обратной связи, и чтобы их утвердили члены команды и все заинтересованные лица до начала отбора участников. Если нужно начать отбор сразу, то это первый результат работы,
который должен быть окончательно согласован во время или после
совещания.
Определите характеристики подгруппы
Единый окончательный список характеристик для каждой подгруппы создать невозможно, но есть некоторые характеристики, которые
обычно вызывают различия между подгруппами. Возьмем в качестве
примеров программное обеспечение, сайты и веб-приложения, мобильные устройства и приложения.
В случае с программным обеспечением это:
• знакомство с типом продукта, который вы тестируете;
• знакомство с вашим продуктом – текущей или более ранней вер•
•
•
•
•
сией;
знание предметной области, связанное с вашим продуктом;
технические навыки, связанные с использованием вашего продукта;
навыки работы с компьютером или каким-либо устройством
в зависимости от типа использования или деятельности и количества времени в день, неделю или месяц;
навыки работы с программным обеспечением в зависимости
от типа использования или деятельности и количества времени
в день, неделю или месяц;
должностная категория:
должность и вид работы, относящиеся к вашему продукту,
может включать другие категории, такие как:
– ученик,
– пенсионер,
– неработающие родители.
В случае с сайтами и веб-приложениями:
• использование интернета в зависимости от типа использования
•
или деятельности и количества времени в день, неделю или месяц;
выбор браузера;
Совещание по планированию
• использование сайтов или приложений конкурентов или собственных сайтов и приложений.
В случае с мобильными устройствами или мобильными приложениями:
• тип/версия используемого мобильного устройства;
• частота / количество времени, которое вы уделяете деятельно•
сти, имеющей отношение к вашему исследованию;
использование приложений конкурентов или собственного приложения.
Вы заметили, что я не распределила характеристики подгрупп по
принципу «новичок» и «эксперт». Эти термины чрезвычайно сложно
определить. А если попросить человека классифицировать себя, то это
вряд ли поможет, поскольку каждый будет интерпретировать значение
терминов совершенно по-разному и, как правило, непоследовательно.
Лучше распределить пользователей по категориям в зависимости
от навыков, это помогает сосредоточиться на их опыте работы с задачами, инструментами или приложениями, которые вы будете использовать во время тестирования. После установки минимального
и максимального диапазона, можно разделить потенциальных участников на группы: эксперт, промежуточный уровень или новичок. Затем вы можете решить, хотите ли вы видеть пользователей из всех
трех категорий или только из одной или двух.
Например, одно исследование может быть сфокусировано на новом
пользовательском опыте с новичками. Другое исследование может
быть сфокусировано на новом пользовательском опыте с людьми, которые использовали похожие продукты, но не ваш продукт. Еще одно
исследование может быть сосредоточено на опытных пользователях
продукта, которые знакомятся с изменениями в дизайне или новыми
функциями. Или если вы можете набрать людей из нескольких подгрупп, представляющих этих пользователей, то можно объединить их
в своем исследовании.
Сосредоточьтесь на мотивации пользователей
Для всех подгрупп наиболее важным фактором при принятии решения об отборе участников является соответствие мотивации
пользователей целям исследования. Например, вы тестируете сайт,
предоставляющий информацию об автомобилях, которая помогает
принять решение о покупке. Все подгруппы пользователей должны
разделять общую цель – интересоваться этой информацией, поскольку они планируют покупку нового автомобиля. Возможно, вы установили срок, в течение которого пользователь намеревается совершить покупку в последующие шесть месяцев. Без такой мотивации
участники исследования, скорее всего, будут воспринимать задачи
как упражнения, не имеющие для них реального значения.
157
158
Глава 5 • Планирование юзабилити-тестирования
Смешивайте характеристики внутри подгруппы
Теперь, когда вы определили подгруппы пользователей, можно смешать некоторые характеристики внутри подгруппы, сохраняя при
этом согласованность между определенными вами критическими
факторами, касающимися мотивации, уровня навыков и опыта. В зависимости от целей исследования и разнообразия пользователей
в подгруппах вы можете получить полезное сочетание следующих
характеристик:
Для получения дополнительной информации о том, как
создавать проверочные
вопросы, касающиеся пола,
см. врезку «Как задавать
инклюзивные вопросы,
касающиеся пола».
•
•
•
•
•
• возраста – диапазон может охватывать весь пользо-
вательский контингент, или можно задать значение
поменьше, например от 18 до 30 лет;
• пола – как правило, нужно сочетание 50/50 или
близкое к этому, если только все ваши пользователи
(или почти все) не мужчины или не женщины;
образования – если у вас есть пользователи с разным уровнем
образования, диапазон может варьироваться от среднего школьного образования (или ниже) до доктора философии. Однако,
возможно, вы захотите сузить диапазон. Например, если нужны
только малограмотные пользователи, определение уровня образования – это критический фактор (хотя могут быть и другие
причины низкой грамотности);
языка – иногда уместно иметь в своем распоряжении пользователей, владеющих вторым языком, а это не обязательно означает низкий уровень грамотности;
этнической принадлежности – возможно, вы захотите, чтобы у вас
были участники из разных этнических групп, если пользователи
продукта относятся к таким группам. При наличии доминирующей этнической группы это становится решающим фактором;
инвалидности – люди с ограниченными возможностями могут
быть отдельной подгруппой, поэтому они перемещаются в отдельную категорию, или можно включить сюда людей с ограниченными возможностями широкого или конкретного характера.
Это можно определить, если вы будете искать людей с ограниченными возможностями либо если оставите таких участников,
когда выявите их во время анкетирования;
экономических факторов – семейный или индивидуальный доход может помочь понять покупательную способность, рыночную дифференциацию и другие факторы. Если установлены
минимальные требования, то можно запросить информацию,
узнав:
есть ли у респондентов жилье,
владеют ли они автомобилем или грузовиком или арендуют
их – сколько их, один или несколько, какой они марки, модели
и года выпуска,
Совещание по планированию
есть ли у них продукты, подобные тому, который вы собираетесь тестировать, – сколько их и какой они марки .
Или, если для вашего исследования требуются определенные категории доходов, задайте вопрос, касающийся семейного или индивидуального дохода.
Как задавать инклюзивные вопросы, касающиеся пола
Гендер (gender) – это персональная и социальная идентичность человека. В английском языке этот термин часто используется вместо слова sex (пол), но, строго
говоря, это понятие относится к характеристикам, связанным с биологическим
полом (мужской, женский), и человек получает его при рождении. При анкетировании участников с целью определить их пол вы будете задавать вопросы исходя
из того, зачем вам это нужно знать.
Подумайте, для чего вам нужно знать о гендерной
идентичности
Если вы работаете с участниками с гендерными различиями, чтобы убедиться, что
не все ваши участники одного пола, нужно определять, как задавать вопросы касательно пола. С другой стороны, если вы работаете с участниками, обязательно
включите сюда тех, кто входит в ЛГБТ-сообщество (лесбиянок, геев, бисексуалов
и трансгендеров). Затем нужен более конкретный вопрос, который дает возможность респондентам выбрать категорию, соответствующую их гендерной идентичности. Однако, если ваш отдел маркетинга или продаж нацелен на конкретную гендерную демографию, например на ЛГБТ-сообщество, важно задавать вопросы для
выявления членов этого сообщества. Если вы хотите провести анализ результатов
по гендерному признаку, важно знать, какова реакция членов разных сообществ.
Подумайте, когда задавать эти вопросы
Гендерные вопросы должны находиться в той части скринера, которая связана
с информацией по демографии. Их лучше всего задавать в конце, после того как
вы отобрали человека для своего исследования на основе других характеристик.
Конечно, если пол является квалифицирующей или дисквалифицирующей характеристикой, нужно задать этот вопрос заранее.
Как правило, задавать демографические вопросы в конце скринера лучше, чем
в начале, потому что, чтобы завоевать доверие потенциальных участников, требуется время. Если вы задаете вопросы лично, по телефону или с помощью инструмента
для опроса, потенциальные участники должны понимать, что вы не пытаетесь им
ничего продать и что их участие будет цениться и уважаться. После того как эти основы установлены и они предоставили информацию, указывающую на то, что они
подходят для вашего исследования, вы можете задать демографические вопросы,
касающиеся этнической принадлежности, образования, возраста, дохода и пола.
Подумайте, как задавать гендерные вопросы
Задавая эти вопросы, следует учитывать следующее:
• не спрашивайте – определите, мужчина это или женщина, по голосу и имени.
Этот подход можно использовать при личной беседе или по телефону, но даже
в этих случаях он может быть неточным;
Powered by TCPDF (www.tcpdf.org)
159
160
Глава 5 • Планирование юзабилити-тестирования
•
•
•
•
задайте открытый вопрос – «Ваш пол?»;
задайте закрытый вопрос, показанный в вопросе № 1 ниже;
задайте закрытый вопрос с полем «Другое», как показано в вопросе № 2 ниже;
попросите выбрать из списка вариантов гендерной идентичности, показанного
в вопросе № 3 ниже;
• задайте закрытый вопрос о трансгендерной идентичности, указанный в вопросе № 4 ниже;
• обратите внимание, что вопросы 3 и 4 могут быть представлены в виде двухэтапного вопроса, и, конечно же, есть другие категории, которые могут быть
включены в список.
Смотрите пост в блоге SurveyMonkey Лауры Вронски
«Why (and How!) to Ask Survey
Questions on Sexual Orientation and Gender Identity».
1. Ваш пол?
Женский
Мужской
2. Ваш пол?
Женский
Мужской
Другое
3. Считаете ли Вы себя:
Гетеросексуалом или натуралом
Гомосексуалистом
Бисексуалом
Подробнее о написании
гендерных вопросов см. пост
в блоге Андреа Фрайреар
«How to Write Gender Questions for a Survey», 2016.
Предпочитаю не отвечать
4. Вы считаете себя трансгендером?
Да
Нет
Комбинируйте характеристики в профиле
пользователя
Нет необходимости включать все характеристики, которые вы указали в своих профилях пользователей. Но нужно будет решить, что
наиболее актуально для вашего исследования, исходя из своих целей.
Примеры из разных типов исследований покажут вам, как решить,
что включить сюда, а что учитывать не нужно.
Пример: цифровое учебное приложение с целью поддержки
продуктивности учащихся средних школ и учителей
• 10 участников в двух группах:
учащиеся 5–8 классов средней школы;
Совещание по планированию
учителя 5–8 классов средней школы.
Должны обладать уверенными навыками компьютерной грамотности и иметь опыт работы с социальными сетями, что определяется степенью активности и временем (активность может
включать в себя общение в Facebook, Instagram, Snapchat, игры,
исследования).
Должен быть смартфон.
Должны использовать компьютер или планшет для видов деятельности, связанных с учебой, таких как загрузка или скачивание заданий.
Должны иметь опыт использования онлайн-инструментов для
планирования заданий (примеры: Edmodo, Edline, приложение
myHomework, сайт учителя).
Равное количество участников мужского и женского пола.
Разные:
семейный доход,
национальности,
государственные и частные системы образования.
•
•
•
•
•
•
Пример: сайт с информацией о курсах и программах
дистанционного обучения (онлайн) в системе
государственных университетов
• 10 участников в 2 группах:
нынешние студенты бакалавриата:
– традиционный возраст 18–21 год,
– нетрадиционный возраст 22–35 лет,
аспиранты:
– нынешние,
– будущие.
Должны проявлять интерес к курсу или программе дистанционного обучения или иметь опыт подобного обучения (онлайн).
Не должны были посещать исследуемый сайт.
Приоритет отдается тем, кто интересуется получением степени
или хочет получить ее в настоящее время, особенно в области
математики и естественных наук.
Должны выходить в интернет с компьютера или планшета как
минимум по 10 ч в неделю (не включая электронную почту) по
разным вопросам, которые могут включать в себя связанные со
школой исследования, поиск другой информации, покупки, общение в социальных сетях, оплату счетов.
Равное количество участников мужского и женского пола.
•
•
•
•
•
161
162
Глава 5 • Планирование юзабилити-тестирования
• Некоторое количество людей со знанием второго языка.
• Разнообразная этническая принадлежность.
Пример: сайт по покупке и продаже фотооборудования
Набрать 12 участников из текущей, недавней базы данных клиентов,
используя следующие критерии:
•
•
•
•
•
•
любители и профессионалы – 50/50;
у всех должен быть компьютер, ноутбук или планшет;
у всех должен быть смартфон;
70 % мужчин / 30 % женщин (с учетом клиентской базы);
разные сделки на сайте клиента;
разные этнические группы и уровень дохода.
Определите размер вознаграждения
для участников
Поскольку вы просите людей найти время, чтобы помочь вам понять
их опыт взаимодействия с вашим продуктом, необходимо компенсировать им их усилия. Однако это непростая тема, потому что нужно,
чтобы вознаграждение воспринималось как подарок в качестве благодарности, а не как взятка. Другими словами, вы не хотите, чтобы
это влияло на замечания, которые они будут делать во время работы
с продуктом и заполнения анкет. Также следует избеПодробнее об отборе
гать отбора «профессиональных» участников, которые
участников рассказывается
делают подобные вещи исключительно ради вознав главе 6.
граждения.
Что такое подходящее вознаграждение?
Когда дело доходит до определения соответствующего вознаграждения, как и в большинстве случаев, связанных с юзабилити-тестированием, «все зависит от обстоятельств». Сумма будет варьироваться
в зависимости от стоимости жизни в вашем городе и того, насколько
удобно добираться до места проведения тестирования. Она может
составлять 50 долл., особенно если до места проведения тестирования легко добраться. У нас в Атланте, где на дорогах ужасные пробки,
сложно набрать людей менее чем за 75 долл. Эта сумма основана на
типичном исследовании продолжительностью около часа, но с учетом времени в пути, а также нашей просьбы, согласно которой участники должны приходить на 15 мин раньше, чтобы полностью оформить документы.
Если вы собираетесь набирать участников из нескольких подгрупп
пользовательского контингента, для каждой подгруппы суммы вознаграждения могут быть разными. Например, некоторые из ваших
пользователей могут быть непрофессионалами, такими как студенты,
Совещание по планированию
163
которых можно нанять за меньшее вознаграждение, нежели профессионалов с высокими зарплатами. Или вы можете набирать людей из
большого числа доступных потенциальных участников. В этом случае
вознаграждение может быть меньше, чем при отборе участников, которых трудно найти или заполучить. Для таких участников, как ITменеджеры сетей или практикующие врачи, возможно, потребуется
увеличить размер поощрения до 150–200 долл. или более.
Помимо наличных, вознаграждение включает в себя подарочные
или дебетовые карты. Номинальная стоимость карты будет равна
соответствующему денежному вознаграждению. Лучше всего чтобы
эта подарочная или дебетовая карта была достаточно универсальной,
чтобы участник могиспользовать ее в разных местах или для разных
целей. Для этого подходят, например, карты Amazon.com. Еще один
подход – предложить различные варианты подарочных карт для конкретных продуктов на выбор. Это хорошо работает, когда вы планируете ряд исследований, потому что можно купить карточки заранее
и держать их под рукой.
Что делать, когда у вас нет денег на вознаграждение?
Поощрение участников является частью затрат на юзабилити-исследование, поэтому сумма, которую вы собираетесь предложить участникам, может определяться бюджетом на тестирование. Если в вашем
бюджете не предусмотрены средства на поощрения, есть способы нанять сотрудников без выплаты вознаграждения. Друзья и члены семьи – один из источников потенциальных участников, которым, скорее всего, не понадобится вознаграждение, но вы должны тщательно
проводить анкетирование, чтобы максимально приблизиться к своим
реальным пользователям из подгрупп, которые вам интересны для
этого исследования.
В ситуациях, когда вы тестируете постоянных клиентов, может выясниться, что они с радостью готовы принять участие в тестировании
без всякой компенсации. Выражение признательности за продукцию
компании может быть достаточным стимулом (кружка, футболка,
бейсболка).
Если ваши целевые участники являются внутренними пользователями, возможно, никакого поощрения и не потребуется. Вместо этого
можно предложить прохладительные напитки. Если уместно небольшое поощрение, то это может быть что-то вроде тало- Не поддавайтесь соблазну
на на посещение кафетерия компании или кофейной и не отбирайте внутренних
участников, если они не
карты местной кофейни.
В некоторых случаях, например если это служащие являются вашими целевыми
США на федеральном уровне и в некоторых госучреж- пользователями. Даже если
они далеки от вашего проекта
дениях, участники не могут принимать поощрение. и продукта, они все равно
Но даже в такой ситуации у них по-прежнему может могут быть «испорчены»
быть достаточная мотивация для участия в исследо- знаниями о компании и ее
вании.
продуктах.
164
Глава 5 • Планирование юзабилити-тестирования
Какое бы поощрение или мотивацию вы ни использовали для отбора участников, необходимо решить, каким оно будет, чтобы можно
было включить их в скринер.
Имейте в виду, что чем меньше вы предлагаете в качестве вознаграждения, тем больше вероятность того, что у вас будут «неявки»
или отмены, а также множество потенциальных участников, которые
отклонят заявку на участие. Определение правильной суммы для целевых групп пользователей – важная часть планирования.
Как уже было сказано ранее,
обычно скринер является
первым документом, который
нужно подготовить, потому
что нельзя начать отбор
участников, пока у вас нет
скринера. Вот почему я включила эту задачу в эту главу.
В следующей главе вы узнаете, как использовать скринер
для отбора участников.
Составьте скринер для отбора
участников
По мере работы с повесткой вы уже проделали тяжелую работу по определению своей подгруппы или
подгрупп пользователей и установили критерии для
выявления, кто будет соответствовать профилю (профилям) пользователя, который вы создали. Если это
все, что вы сделали на совещании, то вам нужно приложить значительные усилия для планирования эффективного исследования.
По-прежнему необходимо составить предварительную версию
скринера, который будет использоваться для отбора участников. Если
вы выделили мало времени, то на совещании по планированию вам,
вероятно, не удастся заполучить набросок скринера. Для этого может
потребоваться отдельное собрание или согласие на то, чтобы кто-то
возглавил составление и распространение скринеров для получения
отзывов и утверждения членами команды. Независимо от того, занимаетесь ли вы отбором самостоятельно или пользуетесь услугами
кадрового агентства, вам нужно заручиться поддержкой заинтересованных лиц касательно специфики скринера, чтобы тот, кто будет заниматься этим, работал на основе утвержденного документа.
Скринеры различаются по сложности в зависимости
от характера исследования
Подробный отчет от Nielsen
Norman Group о том, как отбирать и набирать участников
для юзабилити-исследований, см. в докладе «234 Tips
and Tricks for Recruiting Users
as Participants in Usability
Studies».
Составление скринера, который позволяет вам принять решение о том, кого выбрать для исследования,
а кого нет, имеет решающее значение для успеха вашего юзабилити-исследования, особенно когда вы
используете небольшое количество участников. Некоторые скринеры очень подробны, другие не очень,
в зависимости от характера исследования и размера
подгрупп пользователей.
Совещание по планированию
Вы хотите, чтобы ваш скринер давал результаты, поэтому не нужно, чтобы он был настолько ограничивающим, что вам бы приходилось обращаться к очень большому количеству потенциальных участников в поисках достаточно квалифицированных. В то же время вы
не хотите, чтобы скринер указывал на то, будто «каждый из них» является потенциальным пользователем.
При отборе участников из общего числа людей, где, вероятно, будет много кандидатов, которые подходят для вашего исследования,
нужно включить сюда проверочные вопросы, чтобы отсеять участников-«карьеристов» или других лиц, которые хотят «поиграть»
в систему. Для этого нужно в общих чертах представить суть своего
исследования, не говоря ничего ни о продукте, ни о цели исследования. Например, можно сказать или написать: «Мы ищем участников,
которые регулярно путешествуют по делам или в отпуск и самостоятельно организуют поездки. Вы из их числа?» В этом вопросе вы не
указываете, что подразумевается под «регулярными поездками», не
указываете на то, что ищете участников, которые бронируют поездки
через интернет, и не приводите сайт авиакомпании, который вы тестируете. Эта информация появится позже в вопросах скринера.
В скринер нужно включить конкретные вопросы, где вы просите
участников ответить на список (например, отметьте что-нибудь одно
или все подходящие варианты), и задать несколько открытых вопросов, требующих от участников ответа своими словами.
В следующих примерах некоторые из скринеров были разосланы
по электронной почте со ссылкой на инструмент опроса, другие –
с запросом ответа по электронной почте с указанием заинтересованности и номера телефона для последующих действий с подробными
вопросами проверки. Третьи предоставлены рекрутинговой компании, чтобы она набрала участников из своей базы данных.
Рисунок 5.3 представляет собой скринер для юзабилити-исследования сайта круизной компании класса люкс. На рис. 5.4 показан
скринер для отбора учащихся средней школы, чтобы протестировать
приложение по повышению продуктивности учащихся. Вы заметите,
что этот скринер был направлен родителям, чтобы получить разрешение на отбор детей для исследования. Рисунок 5.5 представляет собой скринер для отбора текущих клиентов для базового исследования
сайта по покупке и продажи фотооборудования. В каждом из этих
примеров критерии отбора участников задокументированы в верхней части скринера.
165
166
Глава 5 • Планирование юзабилити-тестирования
Юзабилити-исследование обновленного сайта
круизной компании класса люкс
[Скринер будет курироваться кадровой компанией с использованием стандартного
представления потенциальным участникам из своей базы данных]
Критерии отбора
• 25–70 лет
• Участники брали отпуск в течение последних двух лет, потратив более 1000 долл. на человека
• Лица, имеющие опыт круизного плавания (за последние 2 года), и лица, не имеющие такового,
но открыты для круизов по океану
• Семейный доход от 150 000 долл. США или сбережения от 500 000 долл. США
• Основное лицо или лицо, принимающее решение о совместном отпуске в семье
• Две подгруппы:
Люксовый сегмент
Семейный сегмент с детьми до 18 лет
В1 К какой из нижеперечисленных возрастных групп вы относитесь?
Моложе 25 лет Дисквалификация
20–34 лет
35–44 лет
45–54 лет
55–64 лет
65–70 лет
71–75 лет Дисквалификация
Старше 75 лет Дисквалификация
Предпочитаю не отвечать Дисквалификация
В2 Ваш пол? [Только в информационных целях. Мы набираем смешанную группу, но знаем,
что обычно соотношение составляет 60/40 женщин/мужчин]
Мужчина
Женщина
В3 Какой из нижеперечисленных вариантов соответствует общему доходу вашей семьи (до
уплаты налогов)?
Менее 40 000 долл. Дисквалификация
От 40 000 до 49 999 долл. Дисквалификация
От 50 000 до 74 999 долл. Дисквалификация
От 75 000 до 99 999 долл. Дисквалификация
От 100 000 до 124 999 долл. Дисквалификация
От 125 000 до 149 999 долл. Дисквалификация
От 150 000 до 199 999 долл.
От 200 000 до 249 999 долл.
От 250 000 до 49 999 долл.
От 500 000 до 999 999 долл.
1 000 000 долл. или больше
Предпочитаю не отвечать Дисквалификация
Рис. 5.3. Данный скринер предназначен
для юзабилити-исследования обновленного сайта круизной компании класса люкс
Совещание по планированию
В4 Когда вы в последний раз делали что-либо из нижеперечисленного?
(Строки идут в случайном порядке)
ПОСЛЕДНИЕ
6 МЕСЯЦЕВ
7–12 МЕСЯЦЕВ
НАЗАД
Брал отпуск
Купил новый дом
Путешествовал
за рубеж
Путешествовал
внутри страны
Посетил спортивное
мероприятие
Посещал концерт
или музыкальное
представление
Купил новую
машину
1–2 ГОДА
БОЛЕЕ
НАЗАД 2 ЛЕТ НАЗАД
НИКОГДА
Дисквалификация, если для опции «Брал отпуск» отмечены варианты «Более 2 лет назад»
или «Никогда»
В5 Как бы вы описали уровень вашего влияния на планирование отпуска?
Это полностью мое решение
Это решение, которое я разделяю наравне с кем-то другим
Я имею право голоса при решении Дисквалификация
Я вообще не имею права голоса Дисквалификация
Не знаю Дисквалификация
В6 Если подумать о вашем последнем отпуске, сколько в среднем вы потратили на человека
(включая все расходы, такие как проживание, авиабилеты, питание и т. д.)? Если не можете
вспомнить, пожалуйста, дайте свою лучшую оценку
Менее 500 долл. Дисквалификация
От 500 до 999 долл. Дисквалификация
От 1000 до 1199 долл.
1200 долл. или больше
Не брал такой отпуск в течение последних 2 лет Дисквалификация
Не знаю / предпочитаю не отвечать Дисквалификация
В7 Если подумать о поездках на отдых, как вы обычно покупаете билеты на самолет,
бронируете отели, устраиваете каникулы, экскурсии и т. д.?
Через агента Дисквалификация
Через колл-центр Дисквалификация
Через сайт
Через сайт и агента / колл-центр
Рис. 5.3 (продолжение)
167
168
Глава 5 • Планирование юзабилити-тестирования
В8 В какой из перечисленных ниже сфер вы или кто-либо из ваших ближайших родственников
в настоящее время работает? (Пожалуйста, выберите все подходящие варианты)
(В случайном порядке)
Образование
Правительство
Финансы
Юриспруденция
Розничная или оптовая торговля
Здравоохранение
Маркетинг Дисквалификация
Туризм / Гостиничная отрасль Дисквалификация
Связи с общественностью Дисквалификация
Ни в одной из вышеперечисленных
В9 С какой из следующих круизных линий вы когда-либо путешествовали?
(Пожалуйста, выберите все подходящие варианты)
(В случайном порядке)
Holland America Line
Norwegian Cruise Line
Princess Cruises
Royal Caribbean International
Carnival Cruise Lines
Celebrity Cruise Line
Disney Cruise Line
Другое (укажите): ____________________
Я никогда раньше не совершал круизов – Будет квалифицирован только при соблюдении
всех остальных критериев
(Если участник ответит, что уже совершал крейсерский полет, задайте вопрос В10. Если нет,
задайте вопрос В12.)
В10 В целом сколько раз вы отдыхали в круизе?
1–2 раза
3–4 раза
5–6 раз
7–8 раз
9–10 раз
11 и более раз Дисквалификация
(Если участник ответит, что уже был в круизе раньше, пропустите вопрос В12 и затем задайте
вопрос В11)
В11 Когда вы в последний раз отдыхали в круизе?
Последние 6 месяцев
7–12 месяцев назад
1-2 года назад
Более 2 лет назад Дисквалификация
Если участник ответит, что был в круизе раньше, пропустите вопрос В12.
В12 В целом как вы думаете, вы когда-нибудь задумывались над тем, чтобы отправиться
в круиз?
Определенно нет Дисквалификация
Наверное, нет Дисквалификация
Мог бы
Наверное
Определенно да
Рис. 5.3 (продолжение)
Совещание по планированию
Демография
В1 Есть ли в вашей семье дети в возрасте до 18 лет?
Да Семейный сегмент
Нет Люкс-сегмент
(Если на этот вопрос был дан ответ «Ни то ни другое», переходите к вопросу В5)
В2 Сообщите возраст всех детей в возрасте до 18 лет, проживающих в вашей семье
ОТ 0 ДО 3 ЛЕТ
ОТ 4 ДО 6 ЛЕТ
ОТ 7 ДО 12 ЛЕТ
ОТ 13 ДО 18 ЛЕТ
Ребенок 1
Ребенок 2
Ребенок 3
Ребенок 4
Ребенок 5
(Набираем семьи с 2 детьми, один в возрасте от 13 до 18 лет, а второй из другой возрастной
группы)
[Следующие вопросы предназначены только для информационных целей; однако желательна
смешанная группа участников]
В3 Какая из следующих групп лучше всего описывает ваше этническое происхождение?
Белый
Черный/афроамериканец
Латиноамериканец
Азиат
Коренной американец
Другое
Предпочитаю не отвечать
В4 Что из следующего лучше всего описывает ваш текущий статус занятости?
Работаю полный рабочий день
Работаю неполный рабочий день
Безработный
На пенсии
Учащийся
Предпочитаю не отвечать
В5 Ваше семейное положение?
Женат или живу как женатый
Холост, никогда не был женат
Разведен
Вдовец
Предпочитаю не отвечать
Рис. 5.3
(окончание)
169
170
Глава 5 • Планирование юзабилити-тестирования
Скринер юзабилити-исследования – группа учащихся
На одночасовые индивидуальные занятия будут набраны 5 участников
Даты исследования: 11–12 ноября
Даты резервного копирования: 2–3 декабря
Критерии анкетирования
•
•
•
•
•
•
•
Учащиеся средней школы
Классы – сбалансированный микс из 6-го, 7-го и 8-го классов
Пол – 3 девочки, 2 мальчика
Знакомство с онлайн-планировщиком; например, вход в устройство для чтения книг или
в электронную книгу для выполнения задания
Использование мобильного устройства / смартфона или планшета/ноутбука
Участие в онлайн-деятельности
Посещение школы, где активно используются современные технологии – ноутбук или концепция
BYOD (Bring Your Own Device)
Введение от лица рекрутера
Здравствуйте, меня зовут _________, и я работаю с компанией, которая разрабатывает онлайнприложение для организации учебы и управления временем учителей, учащихся и их родителей.
Нам нужны отзывы от учащихся средних школ, которые приезжали на одночасовое занятие в наши
офисы в Атланте, чтобы использовать приложение, и мы хотим, чтобы они рассказали, что они
думают о нем. Мы ищем учащихся 6-х, 7-х и 8-х классов, которые используют компьютер, планшет
или смартфон для учебы или вне школы, чтобы играть в игры, делиться фотографиями, участвовать
в социальных мероприятиях с друзьями и т. д.
Сейчас подходящее время, чтобы задать несколько вопросов и понять, подходит ли ваш ребенок
для этого исследования?
Если ваш ребенок соответствует требованиям для участия в этом исследовании и вы хотите, чтобы
он или она участвовали, то вы получите за участие 75 долл. США наличными. Нам понадобится
ваше разрешение на запись сеанса для исследовательских целей.
Вы позволите нам записать сеанс на видео? Да Нет (Завершить)
Общие вопросы
Ваше имя ______________________
Имя вашего ребенка __________________________________
Пол ребенка ______________________
Возраст ребенка ______________________
Класс ______________________
Какая школа _______________________________________
Государственная или частная ___________________________________
Использование компьютера (относится к вашему ребенку)
Ваш ребенок пользуется компьютером, планшетом или сотовым телефоном? Да ____ Нет ____
(дисквалифицировать)
Если да, то что из нижеперечисленного он использует?
____ Настольный компьютер
____ Ноутбук
____ Планшетный компьютер
____ Смартфон
____ Мобильный телефон (не смартфон)
____ Другое
Рис. 5.4
Этот скринер предназначен для родителей, чтобы они предоставили информацию
о своем ребенке для приложения для повышения успеваемости в школе
Совещание по планированию
Работа в сети
Получает ли ваш ребенок в настоящее время или получал ли в прошлом домашние задания онлайн?
Да ____ Нет ____ [Если нет, дисквалифицировать]
Если да, то как ваш ребенок получает эти задания? (онлайн-инструмент, электронная почта,
электронная книга, сайт учителя, другое)
___________________________________________________________________________
Использует ли ваш ребенок какие-либо онлайн-инструменты для планирования домашних заданий?
Да ____ Нет ____ (если нет, дисквалифицировать)
Если да, то какой инструмент?
Примеры:
•
•
•
•
•
Edline
Edmodo
приложение myHomework
сайт учителя
другое
(уточнить) _______________________________________________________________
Ваш ребенок занимается чем-либо из нижеперечисленного в интернете?
____ Играет в игры
____ Использует Facebook
____ Использует Instagram
____ Использует Snapchat
____ Выполняет исследования для школьной работы
____ Занимается в интернете чем-то другим (укажите)
____________________________________________________________________________
Ваш ребенок пользуется компьютером, ноутбуком или планшетом в течение дня в школе?
Да ___ Нет ____
Требуется ли в школе вашего ребенка разрешение родителей на выполнение домашних заданий?
Да ___ Нет ____
Если да, то в какой форме принимается это одобрение?
____________________________________________________________________________
Спасибо! Вы подходите для исследования. Теперь давайте определим, какой временной интервал
лучше всего подходит для вас. Приведите, пожалуйста, все варианты времени, в течение которого
вы доступны, и позже я смогу подтвердить ваше участие и время
Понедельник, 11 ноября
Вторник, 12 ноября
Понедельник, 2 декабря
(дата резервного копирования)
Вторник, 3 декабря
(дата резервного копирования)
Чтобы связаться с вами, мне нужна ваша контактная информация.
Самый подходящий номер телефона для связи: ______________________
Адрес электронной почты: _________________________________________
Рис. 5.4
(окончание)
171
172
Глава 5 • Планирование юзабилити-тестирования
Скринер и организация отбора участников для базового исследования сайта
по покупке и продаже фотооборудования
Организация отбора участников
•
Клиент должен предоставить 200 имен и контактную информацию из клиентской базы,
представляющую тех, кто что-либо покупал и продавал на сайте
•
Мы отправим по электронной почте письмо с описанием исследования и указанием, что
проведем краткое интервью по телефону в порядке очереди, чтобы подобрать участников для
участия в исследовании
•
Участники получат подарочную карту на сумму 50 долл. США
Критерии анкетирования
•
Наберите и подготовьте 10 участников (плюс 2 запасных), в соотношении 50/50: любители/
профессионалы
•
•
•
•
У всех должен быть настольный компьютер или ноутбук и смартфон
70 % мужчин / 30 % женщин (для отражения клиентской базы)
Разные сделки на сайте
Разные этнические группы и уровень дохода
Вопросы для анкетирования (задаваемые во время интервью по телефону)
Считаете ли вы себя профессиональным фотографом или любителем? (Соотношение: 50 %
профессионалов / 50 % любителей)
Любитель
Профессионал
У вас есть
Настольный компьютер, ноутбук или планшет, которым вы владеете или к которому у вас есть
доступ? (Все должны ответить да; при ответе нет прекратить тестирование)
Да
Нет (прекратить)
Смартфон (Все должны ответить да; при ответе нет прекратить тестирование)
Да
Нет (прекратить)
Выберите вариант, который лучше всего описывает ваши действия на [сайт] за последние 2
года (Не для анкетирования, используется только для классификации)
Только покупка фотооборудования
Только продажа фотооборудования
Только ремонт фотооборудования
Покупка и продажа оборудования
Покупка и ремонт оборудования
Продажа и ремонт оборудования
Покупка, продажа и ремонт оборудования
Рис. 5.5
Скринер для отбора текущих клиентов на сайт по покупке и продаже
фотоаппаратов использует базу недавних клиентов
Совещание по планированию
В зависимости от вашего использования, пожалуйста, оцените, насколько вам нравится сайт
по следующим параметрам (Устанавливает основу для текущего сайта)
1–10 (низкая оценка – высокая оценка)
Легко найти то, что я ищу
Легко покупать
Легко продавать
Легко следить за процессом ремонта
Легко найти важную информацию (гарантия, политика возврата)
Легко приобрести аксессуары или сопутствующие товары
Привлекает эстетика сайта
Пол (Соотношение: 70 % мужчин / 30 % женщин)
Мужчина
Женщина
Доход (только для классификации)
Менее 25 000 долл.
От 25 до 50 тыс. долл.
От 50 до 75 000 долл.
Более 75 тыс. долл.
Рис. 5.5
(окончание)
Скринер может быть кратким при наличии широких и общих
характеристик пользователя
Для некоторых исследований ищут участников, которые обладают
широким спектром характеристик, но схожи по целям использования
продукта.
На рис. 5.6 приводится простой скринер для исследования туристического сайта, который предоставляет средства, чтобы получить
желаемое разнообразие после того, как будет соблюден главный критерий опыта бронирования путешествий в интернете. Этот скринер
был создан в SurveyMonkey и позволяет задавать до 10 вопросов и получить до 100 ответов без платной подписки.
173
174
Глава 5 • Планирование юзабилити-тестирования
Скринер для исследования сайта авиапутешествий
•
Вы должны были забронировать и совершить хотя бы один перелет на сайте компании за
последний год
•
Запрещается бронировать международный перелет на сайте компании, для которого
проводится исследование
Мы консалтинговая компания, занимающаяся юзабилити-исследованиями, и мы проводим
исследование авиаперелетов. Отобранные участники исследования получат по 50 долл.
наличными за участие в часовом исследовании, которое будет проводиться в Millennium Building
в Атланте. Мы оплатим парковку во время сеанса.
Дата исследования – понедельник, 12 марта.
Этот короткий опрос состоит всего из 10 вопросов и займет всего несколько минут.
Доступно только несколько мест, поэтому мы свяжемся с вами в ближайшее время, чтобы
сообщить, соответствуете ли вы нашим требованиям.
*1. Сколько авиаперелетов вы забронировали онлайн за последний год?
Ни одного
1–3
4–6
более 6
*2. Кратко опишите вашу последнюю поездку, указав пункт назначения, временные рамки
и причину поездки
*3. Какие сайты авиакомпаний или туристические сайты вы использовали?
Туристические сайты, такие как Orbitz, Travelocity, Expedia и т. д.
Сайты авиакомпаний, такие как Delta, American и т. д.
И то и другое
* 4. Какие сайты международных авиакомпаний вы посещали?
Ни один
Сайт конкретной авиакомпании, базирующейся за пределами США
Если вы использовали сайт конкретной авиакомпании за пределами США, укажите ее название
(названия)
*5. Ваш возраст и национальность?
*6. Чем вы занимаетесь?
Рис. 5.6
Этот краткий скринер предназначен для людей,
которые бронируют авиабилеты онлайн
Совещание по планированию
*7. Ваш самый высокий уровень образования?
*8. Можете ли вы принять участие в одночасовой сессии в понедельник, 12 марта,
в Proscenium Building? Пожалуйста, посмотрите все доступные временные интервалы.
С 12:00 до 13:00
С 13:15 до 14:15
С 14:30 до 15:30
С 15:45 до 16:45
* 9. Пожалуйста, предоставьте контактную информацию, чтобы мы могли связаться
с вами
Имя
Компания
Город
Арес электронной почты
Телефон
Рис. 5.6
(окончание)
Создавайте сценарии на основе задач,
соответствующих целям тестирования
Следующий пункт вашей повестки – определение задач, которые
пользователи должны выполнять с продуктом. Теперь, когда вы знаете, кто является пользователями этого исследования, можете сопоставить задачи с их целями продукта и целями исследования.
Чтобы определиться с задачами, которые будут преобразованы
в сценарии, подумайте о вопросах, на которые вы хотите получить
ответ от ваших пользователей. На рис. 5.7 показано, как перейти от
вопроса о навигации по сайту к задаче и сценарию.
Создавайте «реальные» сценарии
Сценарии должны казаться вашим участникам реальными. Вот некоторые элементы, которые необходимо учитывать при написании
реалистичных сценариев:
• используйте язык пользователя, а не продукт;
• поместите задачи в контекст использования, соответствующий
миру пользователя;
175
176
Глава 5 • Планирование юзабилити-тестирования
Вопрос:
Будут ли пользователи смотреть на верхнюю
панель навигации, чтобы начать поиск
информации?
Задача:
Поиск информации об онлайн-программах
для военнослужащих. Правильный выбор –
Featured Degrees на верхней панели
навигации. Пользователи также могут найти
ссылку на программы для военнослужащих
в описании избранных программ в центре
главной страницы, но она может находиться
ниже, если прокрутить страницу.
Сценарий:
У вас есть друг в армии, который хочет
поступить на курсы в колледже во время
службы. Вы хотите узнать, существуют ли
какие-либо онлайн-программы, на которые
ваш друг может подать заявку. Как бы вы
сделали это на этом сайте?
Рис. 5.7
В этом примере показано, как создать сценарий, начав с вопроса, встроенного в задачу,
которая приводит к сценарию, содержащему задачу
• дайте пользователю цель, а не список шагов для выполнения за•
•
•
дачи и достижения цели;
как можно меньше говорите, чтобы представить цель. Вы же не
хотите писать рассказ, перегружать пользователя ненужными
подробностями или выдавать больше информации, чем он ожидает услышать для выполнения задачи;
в ситуациях, когда системе требуются личные данные от пользователя, предоставьте эти сведения, чтобы уменьшить ненужное
раскрытие личных данных пользователя. Возможно, вам потребуется создать уникальный набор данных для каждого участника, начиная с имени пользователя и пароля, которые система,
которую вы тестируете, будет распознавать. Поместив эту информацию в карточку с заданием – для этого подойдет учетная
карточка, – вы сможете передать ее участнику, чтобы он мог ссылаться на нее во время теста;
в некоторых случаях может понадобиться, чтобы пользователи
применяли собственную информацию, дабы сделать задачи более реалистичными и значимыми. В таких ситуациях необходи-
Совещание по планированию
•
мо пересмотреть это требование во время анкетирования, чтобы убедиться, что участники чувствуют себя комфортно и могут
предоставить необходимые сведения. Будьте готовы к получению фиктивных данных, если кто-то передумает предоставлять
достоверную личную информацию;
для поддержки сценариев, в которых пользователям предлагается отреагировать на определенные ситуации, предоставьте
описание, чтобы помочь им, например:
информацию для ввода в текстовое поле или текстовое сообщение. Например, можно сказать, что если у них захотят
узнать причину запроса пусть ответят, что сообщают о сбое
в обслуживании. Или что им нужно отправить письмо другу с
сообщением об опоздании на 15 мин;
любую другую информацию для нормализации ответов пользователей в сценарии. Например, можно указать, сколько нужно купить чего-либо, для кого и сколько потратить (используя
номер кредитной карты, который вы предоставите).
Определитесь со своим первым сценарием
Как вы хотите, чтобы ваши пользователи впервые познакомились
с вашим продуктом? Какая отправная точка наиболее подходящая?
Выбор первого сценария должен основываться на ответах на эти вопросы, которые связаны с вашими целями исследования. Конкретные
вопросы, которые помогут обозначить первый сценарий, также будут
зависеть от типа тестируемого продукта.
В случае с сайтом:
• вам интересно, как они его находят?
• или вы хотите, чтобы они начинали с домашней страницы?
• если они уже являются посетителями, вы хотите, чтобы они начали с новой функции или сервиса?
В случае с программным обеспечением:
• с чего начать пользователям?
• есть ли приложение, которое им следует установить?
• или вы хотите установить приложение и заставить их запустить
•
•
его, щелкнув по приложению?
если вы сосредоточитесь на новой функции, будут ли они уже
знакомы с основными функциями?
если вы сосредоточены на инструкциях или учебных пособиях,
хотите ли вы, чтобы они начали:
с экскурсии по изучению программного обеспечения?
или с конкретной задачи, чтобы узнать, какие инструкции или
помощь им нужны?
177
178
Глава 5 • Планирование юзабилити-тестирования
В случае с мобильным приложением:
• вы хотите, чтобы они искали его в App Store или Google Play?
• или вы хотите дать им название приложения и велеть им найти
•
его и установить?
или вы хотите предоставить им смартфон для исследования, на
котором приложение уже загружено и готово к работе?
В случае с аппаратным обеспечением:
• вас интересует опыт взаимодействия out-of-box («Из коробки»)?
• вы ориентируетесь на документацию по настройке продукта?
• вам интересно узнать, что пользователи могут сделать, когда
у них нет документации?
Ваш первый сценарий часто рассчитан на то,
чтобы зафиксировать первые впечатления
В любой момент, когда вы начинаете тест, часто цель состоит в том,
чтобы зафиксировать первое впечатление пользователей, особенно
когда исследование носит формативный характер. Первый сценарий,
который я часто использую, называется look and feel (смотреть и чувствовать), потому здесь я прошу участников просмотреть домашнюю
страницу, главный экран или страницу продукта и поделиться первыми впечатлениями, отвечая на следующие вопросы:
• что это за сайт или приложение?
• как вы думаете, что можно здесь делать?
• просмотрите вкладки или ссылки и поделитесь, что, по вашему
•
•
•
мнению, они означают и что, по вашему мнению, произойдет,
если щелкнуть или нажать на них;
что бы вы сделали в первую очередь?
есть ли здесь какие-либо слова или названия, которых вы не понимаете?
каково ваше общее впечатление о сайте, находясь на домашней
странице или главном экране?
Ваш первый сценарий должен быть коротким
Планирование короткого первого сценария дает несколько преимуществ:
• это позволяет участникам увидеть, как будет работать процесс,
•
и чувствовать себя комфортно, если у них возникнут какие-либо
опасения по этому поводу;
это позволяет исправить любые непредвиденные технические
проблемы и другие организационные вопросы;
Совещание по планированию
• это создает естественную остановку, чтобы под-
179
В главе 7 подробно рассказывается
о вариантах распочеркнуть важность того, чтобы участник думал
ложения
модератора.
вслух, если модератор не находится в одной ком-
нате с участником.
Другие сценарии берутся из списка задач
Решив, как начать тест, нужно подумать, сколько еще сценариев вы
хотите создать, используя методику, показанную на рис. 5.7. Задач
(и вопросов) у вас наверняка больше, чем времени, поэтому нужно
будет установить приоритеты для сценариев, которые вы создаете,
и назначить примерное время для каждого из них. Вы также можете
создать несколько дополнительных сценариев, если в каких-то сеансах осталось время.
Свои сценарии можно организовать разными способами, включая:
• последовательность задач, которые должны быть выполнены
•
•
•
•
•
•
в определенном порядке;
задачи, выполняемые наиболее часто;
задачи, получающие наибольшее количество звонков в службу
поддержки;
наиболее важные задачи (которые, возможно, выполняются не
так часто)
новые задачи / новые функции;
задачи или потоки задач, которые являются предметом внутреннего обсуждения (пользователь может показать команде, что
работает, а что нет);
сравнительные задачи с использованием альтернативного дизайна вашего продукта или вашего продукта и продукта конкурента.
Смотрите следующую врезку для получения дополнительной информации о том, как подготовиться к сравнительному или конкурентному тестированию.
Сравнительное или конкурентное тестирование требует
особого внимания
Сравнительное тестирование позволяет опробовать разные варианты дизайна,
чтобы узнать предпочтения пользователей, основываясь на методах обратной
связи для сбора качественных отзывов и количественной оценке юзабилити. Конкурентное тестирование позволяет оценить продукт по сравнению с продуктом
конкурента или сравнить продукты конкурентов друг с другом. Они могут дать
ценную информацию как при формативном, так и при суммативном тестировании, но требуют особой работы для создания сценариев, обеспечивающих баланс
и беспристрастность.
180
Глава 5 • Планирование юзабилити-тестирования
Если вы никогда раньше не выполняли юзабилити-тестирование, я бы не рекомендовала начинать с данного типа тестирования. Я также не рекомендую тестировать более двух вариантов, пока вы не освоитесь с обработкой данных, потому
что с каждым добавленным вами дополнительным продуктом или версией анализ данных становится сложнее.
Однако если вы уже проводили базовое тестирование раньше и цель данного
исследования – сравнить альтернативные версии проекта или определенные задачи в вашем продукте с аналогичными задачами в продукте конкурента или
провести конкурентную оценку продуктов, присутствующих в настоящее время
на рынке, то вам понадобится воспользоваться данным тестом.
Вот некоторые из вопросов, которые нужно будет обсудить. Ответы на них повлияют на то, как будете создавать свои сценарии и проектировать исследование.
• Будут ли одни и те же пользователи тестировать оба продукта? Данный тип
тестирования называется внутрисубъектный план. Когда одни и те же участники используют оба продукта, нужно настроить сравнение A–B, B–A. Это
означает, что половина участников начнет с продукта A, а вторая половина –
с продукта B. Внутри задач вы можете снова изменить порядок, чтобы половина участников сначала выполнила задание 1, а другая половина – задание 2.
Такой вариант предполагает, что задачи не нужно выполнять последовательно.
Очевидно, что внутрисубъектный подход требует больше времени, потому что
участники выполняют одни и те же задачи дважды. Однако оба продукта тестирует один и тот же участник.
• Будет ли половина пользователей тестировать один продукт, а другая по-
ловина – продукт конкурента или альтернативный дизайн? Такой тип тестирования называется межсубъектный план. Для этого нужно будет увеличить
количество отобранных вами участников, а также очень тщательно проверить
их, чтобы они соответствовали характеристикам пользователей продукта. Это
означает, что затраты и время на отбор увеличиваются, как и бюджет поощрений для участников. Тем не менее сеанс тестирования занимает меньше
времени, чем для внутрисубъектного плана, потому что участники работают
только с одним продуктом. Поэтому за день вы можете внести
в список больше участников и, возможно, заплатите меньшее
Для получения быстрого
вознаграждение.
отзыва касательно версий
дизайна или его части можно
Как видите, у каждого из этих подходов есть свои преимущеиспользовать такой
ства и недостатки. Таким образом, команде необходимо ревеб-инструмент, как Whicher,
шить, какой подход лучше подходит для целей исследования,
чтобы ответить на вопрос
времени и бюджета на тестирование. После того как подход
«Что лучше?». https://www.
будет выбран, вы можете разработать сценарии, соответствуюthewhicher.com.
щие ситуации.
Решите, чем закончатся сценарии
Ваши участники должны знать, когда они выполнили сценарий, а вам
нужно знать, когда они думают, что они его выполнили. Для этого
нужно вписать в свои сценарии концовку. Обычно она включает в себя просьбу сообщить вам, когда все будет готово. Например, что-то
вроде: «Когда закончите, дайте нам знать, что все готово».
Совещание по планированию
Важно услышать это от участника, поскольку в ходе юзабилити-исследований часто напрашивается вывод, что участник считает задачу
выполненной, хотя на самом деле это не так. Также иногда бывает,
что вы наблюдаете, как участник выполняет задачу, но затем видите, что он или она продолжает работу после точки завершения, чтобы
подтвердить, что все сделано правильно.
Если вы знаете, когда участник считает, что задача завершена, то
это может иметь решающее значение для понимания того, могут ли
пользователи успешно завершить операцию самостоятельно и уверены ли они в том, что сделали это правильно. Если вы слышите, как
участники говорят: «Думаю, я все сделал правильно», то, скорее всего,
возникла проблема, которую нужно решить.
Решите, как предоставить сценарии участнику
Как предоставить сценарии участникам? Рассмотрим три подхода.
• Дайте участнику первый сценарий. Попросите его сообщить вам,
•
•
когда он или она закончит, чтобы вы могли затем дать им следующий сценарий или анкету после выполнения задания, а затем
следующий сценарий. Сделайте это для каждого сценария.
Дайте участнику все сценарии и велите ему продолжить работу
со следующим, когда он или она завершит предыдущий.
Прочтите сценарий участнику. Спросите, понимает ли он задачи
и цель. Когда участник укажет на завершение первого сценария,
снова прочтите следующий сценарий, пока все не будет завершено.
Преимущество индивидуального подхода к предоставлению каждого сценария участнику состоит в том, что вы можете взаимодействовать с участником в перерывах между сценариями и контролировать количество и порядок сценариев, которые вы даете участнику.
Этот метод хорошо работает, если у вас плотный график или вы меняете порядок сценариев для разных пользователей. Когда это делаете,
то хотите избежать их нумерации, чтобы у участников не сложилось
впечатление, будто их просят сделать одни сценарии, а другие нет.
Вместо того чтобы использовать номер для каждого сценария, берите
описательный заголовок.
Преимуществом одновременного предоставления всех сценариев
является эффективность, поскольку участник может без перерыва перемещаться от одного сценария к другому наряду с анкетами после
выполнения задач, которые содержатся в конце каждого сценария.
Такой метод хорошо работает, если ваша цель – увидеть, как участники выполняют все сценарии, независимо от того, сколько времени на
это требуется, а также его можно использовать в качестве стратегии,
если сценарии связаны. Таким образом, участник заканчивает один
сценарий, а затем естественным образом переходит к следующему.
Использование такого подхода означает, что вам может потребовать-
181
182
Глава 5 • Планирование юзабилити-тестирования
ся больше времени, чтобы обеспечить гибкость, позволяющую запускать сеанс до тех пор, пока все сценарии не будут завершены или
пока вы не решите остановиться в какой-либо момент, когда сеанс
должен закончиться.
Третий вариант – чтение каждого сценария участнику – хорошо
подходит, когда задачи и сценарии короткие. Это сокращает обмен
документами между вами и участником и фокусирует внимание
пользователя на том, чтобы выслушать задачу и цель, а затем подтвердить, что она ему понятна. Данный подход особенно хорошо работает в сеансах удаленного юзабилити-тестирования.
Используйте эти примеры сценариев для идей
Следующие примеры сценариев основаны на предыдущих примерах из этой главы, посвященной характеристикам подгрупп. Сценарии составлены таким образом, чтобы задачи соответствовали целям
участников в отношении продукта и вашим целям в отношении понимания их опыта взаимодействия с продуктом.
Пример: сайт для студентов, заинтересованных
в дистанционном обучении
Сценарий 1. Взгляните на сайт
Откройте сайт (его значок находится в лотке в нижней части экрана)
и сообщите нам:
•
•
•
•
•
свои первые впечатления;
как вы думаете, о чем этот сайт;
что, по вашему мнению, вы могли бы здесь сделать;
еще не нажимая на что-либо, куда, по вашему мнению, вы могли
бы щелкнуть сначала;
какой результат, по вашему мнению, вы получите, перейдя по
этой ссылке.
Примечание: В сценарии не
используется слово «электронное обучение», которое
применяется в терминологии
сайта. Хороший сценарий не
должен побуждать участников
искать конкретные термины
в продукте.
Примечание: Эта задача не
является структурированной,
чтобы участники могли преследовать реальную цель
или интерес. Они были проверены на соответствие их
мотивации целям сайта.
Сценарий 2. Подходит ли вам дистанционное
обучение?
Вы думаете о преимуществах онлайн-курсов, но не
уверены, подходит ли вам дистанционное обучение.
Посмотрите, есть ли на этом сайте информация, которая поможет вам определиться.
Сценарий 3. Получение степени или поиск
интересующего курса
Часть A. Получение степени или поиск курса
Вы решили, что хотите получить степень или найти
курс, который можно пройти в интернете. Согласно
анкете, вас интересует [основная дисциплина].
Совещание по планированию
Посмотрите, можете ли вы найти школу, предлагающую то, что вам
нужно.
Часть Б. Стоимость и регистрация
Теперь, когда вы нашли в интернете что-то, что соответствует вашим
потребностям, сделайте следующее:
• узнайте, сколько этостоит;
• посмотрите, сможете ли вы записаться на этот курс.
Пример: самостоятельная установка цифровой кабельной
приставки
Иногда, как в следующем примере, задача – это процесс, который
укладывается в один сценарий. В данном исследовании основное
внимание уделяется документации для самостоятельной установки
приставки. Цель исследования – выяснить, помогает ли документация предоставить пользователям информацию, необходимую для
успешной установки цифровой кабельной приставки. Дополнительная цель – понять, когда пользователям нужно позвонить в службу
поддержки, и, если они это сделали, смогут ли они самостоятельно
завершить установку приставки после получения помощи.
Инструкции участнику
Используйте документацию, чтобы разобраться с установкой, даже
если вы обычно этого не делаете. Помните, мы тестируем документацию, а не вас.
Настройте свою развлекательную систему так, чтобы цифровая кабельная приставка, телевидение и Apple TV были подключены.
Если вы почувствуете, что вам нужна помощь, позвоните в нашу
службу поддержки.
Когда вы закончите или будете готовы остановиться, сообщите
нам.
Определить методы обратной связи для сбора
количественных и качественных данных
В зависимости от того, проводите ли вы формативное или суммативное оценивание и каковы цели вашего исследования, вы можете сосредоточиться на том или ином типе сбора данных. Однако сочетание
методов обратной связи для сбора качественных и количественных
данных может дать вам более полное представление о пользовательском опыте.
Если ваш продукт достаточно надежен, возможно, будет полезно
и важно задать метрики для исследования. Руководству нравятся метрики, потому что их можно использовать для поддержки бизнес-целей продукта. UX-специалисты любят метрики, потому что они помогают обосновать необходимость улучшения продукта на основе
183
184
Глава 5 • Планирование юзабилити-тестирования
юзабилити-тестирования и более частного проведения такого рода
тестирования.
Но метрики не отражают всей истории опыта взаимодействия
пользователей. И, если ваш продукт находится на очень ранней стадии разработки, метрики могут быть неприемлемы. Однако, когда
продукт достаточно готов, для того чтобы можно было проводить измерения, а также собирать информацию от участников, можно очень
эффективно сочетать метрики со своими наблюдениями, комментариями участников и их ответами на открытые вопросы.
В целях планирования нужно решить, какие типы
В главе 8 подробнее говорится
сбора данных вы будете использовать. В этой главе
об анализе количественных
я дам вам основы для обсуждения возможных варии качественных данных.
антов.
Данные о производительности и предпочтениях являются
количественными
Данные о производительности и предпочтениях являются количественными, если результаты можно подсчитать и сравнить с эталонными показателями.
Данные о производительности основаны на измерениях
Данные о производительности основаны на измерениях действий
пользователей, таких как время выполнения задачи; количество
ошибок, успехов или неудач при выполнении задачи; случаи использования документации или встроенной справки и т. д.
Если продукт, который вы тестируете, достаточно надежен, чтобы
вы могли документировать успехи и неудачи при выполнении задачи, необходимо спланировать, как вы будете документировать ошибки пользователей, когда их увидите. Среди множества вариантов
определения успеха или неудачи можно выделить следующие:
• задача выполнена успешно, потому что участник:
использует самый прямой путь к завершению,
использует косвенный путь к завершению,
требуется поддержка со стороны интерактивной справки /
встроенной помощи,
требуется помощь модератора или звонок в службу поддержки;
задача не была выполнена из-за того, что участник:
сдался,
его останавливал модератор после двух и более неудачных попыток,
считает, что задача выполнена правильно, но это не так.
•
Для некоторых метрик, таких как время выполнения задачи, вы
можете и не знать, как определить успех или неудачу. Если произ-
Совещание по планированию
185
вольно задать метрику, согласно которой пользователи должны завершить процесс установки в течение пяти минут, «успех» при выполнении этой задачи в указанные сроки может не иметь никакого
отношения к их восприятию простоты использования или удовлетворенности процессом. Если у вас нет подходящих метрик до начала
тестирования, то можно установить их на основе анализа результатов
после первого исследования, а затем использовать их в качестве основы для будущих исследований.
Как видите, существует множество способов документировать
успешное или неудачное выполнение задачи, поэтому на этапе планирования важно достичь консенсуса, чтобы определить, как события будут регистрироваться, анализироваться и как будет готовиться
отчет.
Данные о предпочтениях основаны на ответах участников
из анкет
Данные о предпочтениях, основанные на ответах участ- В главе 6 приводится инфорников на вопросы из анкет после завершения задания мация о том, как создавать
и тестирования, являются количественными, когда их собственные анкеты или
можно измерить с помощью оценок участников, кото- использовать уже имеющиеся.
рые они присвоили задачам (например, с использованием пятибалльной шкалы, где 1 – очень легко, а 5 – очень сложно).
Для сбора данных о предпочтениях можно создать собственные анкеты или использовать стандартные.
Наблюдения и комментарии пользователей обеспечивают
качественные отзывы
Наблюдения за вашими участниками дают богатые качественные отзывы. Качественные отзывы собираются в ходе наблюдения за тем,
что участники делают во время работы с продуктом. Вы можете отметить невербальную реакцию, такую как выражение лица пользователя, язык тела и невербальные высказывания, включая смех, вздохи, стоны и даже – иногда – крики (не говоря уже о проклятиях!). Не
стоит недооценивать важность сбора этих показателей: они многое
расскажут о впечатлениях ваших пользователей.
Качественный отзыв также исходит из замечаний участников, когда они думают вслух во время работы, и ответов участников на открытые вопросы из анкеты или во время интервью после того, как
они выполнили сценарии и в конце сеанса тестирования.
Установите даты для тестирования
и результатов работы
Теперь, когда вы обсудили цели своего юзабилити-исследования, обозначили свою подгруппу (подгруппы) пользователей, решили, какие
задачи включить в сценарии, и определили, как вы будете получать
186
Глава 5 • Планирование юзабилити-тестирования
количественные и качественные данные, у вас остается один пункт:
установка дат для тестирования и результатов работы.
Возможно, вам уже известны временные рамки тестирования, поэтому вы и проводите это совещание по планированию. Определение
дат тестирования может зависеть от времени, необходимого для отбора участников, доступности основных членов команды, доступности лаборатории или другого места, которое вы будете использовать
для тестирования, статуса тестируемого продукта и времени, необходимого для результатов работы.
Помимо определения дат тестирования, необходимо выбрать расписание, которое вы будете использовать для каждого дня тестирования. Как правило, тестирование проводится в обычные рабочие часы,
но могут появиться веские причины для проведения тестирования
в нерабочее время или в выходные дни, поскольку график проведения тестирования должен совпадать с доступностью пользователей.
Еще один момент – как внести в список участников из нескольких
подгрупп. Если вы проводите двухдневное тестирование и участников будет легко набрать, а подгрупп у вас несколько, то можно записать одну подгруппу на один день, а другую – на другой. Это немного
упрощает анализ результатов, намеченный на конец дня. Но если
у вас мало времени и вам требуется как можно больВ главе 6 рассказывается об
ше гибкости, то, вероятно, понадобиться заниматься
отборе участников и внесении
этим, когда участники будут проходить анкетироих в список.
вание.
Наконец, нужно учитывать выносливость модератора. Если вы
планируете тестировать от четырех до шести человек в день во время часовых сеансов, один модератор должен спокойно относиться
к такому графику. Но при более длительном ежедневном графике
тестирования с бóльшим количеством участников следует подумать
о привлечении нескольких модераторов. Следующая врезка основана на отзывах опытных специалистов и дает пищу для
В главе 7 рассказывается,
размышлений касательно оптимального количества
как проводить тестироучастников, с которыми может справиться один модевание с двумя или более
модераторами.
ратор и другие члены команды за день.
Какое количество одночасовых сеансов в день является
оптимальным?
На самом деле этот вопрос состоит из двух частей. Ответ на первую часть – сколько сеансов в день вы можете провести? – влияет на вторую часть – сколько времени нужно на анализ? Клифф Андерсон, ветеран юзабилити-исследований, задал
эти вопросы профессиональной частной дискуссионной группе в интернете. Результаты, основанные на 30 ответах, показаны в следующей таблице.
Совещание по планированию
Вопрос
Сколько одночасовых сеансов в день вы можете
провести?
Сколько часов нужно, чтобы проанализировать
10 одночасовых сеансов и записать результаты?
Сколько лет вы занимаетесь
юзабилити-тестированием?
187
Среднее Медиана
значение
4,87
4,75
Мода
4
Низкий
Высокий
показатель показатель
3.5
6.5
39,8
40
40
6
80
13
14
2
29
Вывод, который следует вынести из этих результатов, заключается в том, что тестирование может оказаться довольно утомительным для модератора и команды,
если вы попытаетесь «охватить» более пяти или шести участников за день. Но
анализ, который проводится после тестирования, требует гораздо больше времени, а сроки для получения результатов могут быть намного короче.
Составление графика тестирования
Возможно, на совещании по планированию вам не удастся составить
фактический график, но необходимо определить общий план графика, чтобы можно было приступить к отбору участников.
Что подразумевают, когда говорят «типичный день тестирования»?
Возможно, такого понятия и нет, потому что здесь, как и многое другое, связанное с юзабилити-тестированием, «зависит от…». Если вы
планируете провести разбор и/или пилотный проект заранее или
в первый день тестирования, если вы планируете проводить анализ
результатов в течение дня в перерывах или в конце дня, если вы используете метод RITE или другой подход быстрого реагирования /
повторного проектирования... то все эти переменные влияют на ваш
график тестирования.
Однако у этого дня есть некоторые общие характеристики. Здесь
всегда есть сеансы и (если вы в здравом уме) перерывы между ними. У вас всегда есть участники, обычно по одному за раз. Вы можете
включить или не включать сюда время для анализа результатов, изменения прототипа или подведения итогов в конце дня. Но если эти
действия не выполняются в течение дня тестирования, обычно они
выполняются сразу же после него.
Идеальный график тестирования – это график, который должен
быть гибким, чтобы можно было быстро устранить задержки. Реальность типичного дня тестирования такова, что первая задержка может вызвать цепную реакцию в течение дня, усугубляемую графиком
последовательных сеансов.
Составление графика, соответствующего вашей ситуации
В вашем графике должны быть предусмотрены временные рамки для
каждого сеанса, перерывы между сеансами, а также время для подготовки в начале и подведения итогов в конце. Чтобы получить представление о том, как составить свой график, взгляните на следующую
188
Глава 5 • Планирование юзабилити-тестирования
таблицу, в которой показано несколько вариантов графика для однодневного исследования пяти участников на одночасовых сеансах.
8:00–9:00
9:00–10:00
10:15–11:15
11:30–12:30
12:30–1:30
1:30–2:30
2:45–3:45
4:00–5:00
5:00–6:00
18:00–19:00
или позже
Вариант 1. Подведение
итогов в конце дня
Вариант 2. Подведение
итогов в течение дня
Настройка/подготовка
Участник 1
Участник 2
Участник 3
Обед
Участник 4
Участник 5
Подведение итогов
Подведение итогов
Заканчиваем или готовимся
к следующему дню
Настройка/подготовка
Участник 1
Участник 2
Подведение итогов
Обед
Участник 3
Участник 4
Участник 5
Подведение итогов
Заканчиваем или готовимся
к следующему дню
* Начало – 17:15; подведение итогов начинается в 18:30.
Вариант 3. Пилотный
проект плюс тестирование
и подведение итогов
Настройка/подготовка
Пилотный тест
Пилотный разбор / пересмотр
Участник 1
Обед
Участник 2
Участник 3
Участник 4
Участник 5*
Подводим итоги
или заканчиваем / готовимся
к следующему дню
На этом графике показан 15-минутный перерыв между сеансами.
Его можно расширить, чтобы у вас было больше времени между сеансами. Но не рекомендуется сжимать его, поскольку вам действительно нужно не менее 15 мин, чтобы можно было, например, выполнить
повторную сборку бумажного прототипа, очистку кеша на сайте или
в приложении, удаление учетной записи, созданную пользователем,
рендеринг видеозаписи или настройку следующего сеанса удаленного тестирования.
Некоторые варианты этого графика включают в себя следующие
действия:
• запланируйте пилотный проект на первый временной интервал
дня. Если вы не можете сделать это до начала тестирования, нужно наметить его на начало дня. Затем запланируйте время для
внесения изменений в протокол тестирования после этого;
• начинайте раньше или позже и переходите к вечеру, особенно
если вам нужно запланировать сеансы на раннее утро или на вечер, когда участники доступны. Если нужно организовать оба типа сеансов, можно поставить большой перерыв в середине дня;
• подведите итоги после тестирования каждого участника. Если
вы хотите сделать это, то вам, вероятно, потребуется уменьшить
количество сеансов в день;
• проведите подведение итогов в другой день, чтобы максимально увеличить время тестирования и увидеть еще одного или
двух участников за день. Если вы платите за аренду лаборатории
или конференц-зала и хотите, чтобы наблюдатели увидели как
можно больше участников, это может быть важно;
Составление плана тестирования
189
• сократите или увеличьте продолжительность сеансов, если
участники – дети или пожилые люди, или сделайте перерыв в середине, чтобы дать участникам возможность отдохнуть.
Это всего лишь варианты графика. Каждый проект индивидуален, поэтому вам нужно определить график, который лучше всего
подходит для вашей команды, доступные ресурсы и интервал завершения.
Определяем даты для результатов работы
Следующий пункт, связанный с датами, – определить, когда черновики результатов будут разосланы на рассмотрение и когда будут
готовы окончательные результаты. Вам также нужно будет решить,
кто возьмет на себя инициативу по каждому из результатов. Как
я уже говорила, если тестирование будет проводиться в ближайшее
время, первым результатом должен быть скринер, поскольку больше всего времени занимает анкетирование с целью отбора нужных
участников.
Срок сдачи результатов будет определен планом тестирования. Если продукт, место, где будет проводиться тестирование и команда доступны до начала тестирования, вам понадобятся результаты работы
для разбора или пилотного проекта. Если невозможно все проверить
заранее, то крайним сроком предоставления результатов может быть
день до начала тестирования.
Наконец, нужно согласовать результаты работы по- Глава 9 посвящена тому, как
сле тестирования, чтобы все понимали, когда будут подготовить отчет о полученных результатах.
доступны выводы и в какой форме.
Составление плана тестирования
Независимо от того, какой уровень поддержки у вас будет после
всего, что вы запланировали для проведения своего юзабилити-исследования, все равно необходимо задокументировать это. План тестирования – это запись принятых решений относительно того, что
и как тестировать, кого отбирать для тестирования и т. д. Без этого
документа отдельные моменты могут отличаться, решения могут
быть нечеткими, а результаты тестирования могут быть подвергнуты сомнению.
В плане тестирования записывается все. Если совещание по планированию дало вам время, необходимое для создания черновиков всех
материалов, которые будут использоваться в тесте, то план тестирования можно написать сразу после совещания. Однако чаще всего
работа над материалами для теста продолжается после совещания.
В этой ситуации нужно рассматривать план тестирования как живой
документ, который эволюционирует по мере того, как материалы обретают конкретные черты.
190
Глава 5 • Планирование юзабилити-тестирования
Тем не менее лучше всего определить дату замораживания плана
тестирования, чтобы все согласились работать с одним и тем же планом на основе последних разрешенных изменений.
План тестирования может быть неформальным или формальным
в зависимости от потребностей его получателей. Тип плана, которого
ожидают люди, должен быть определен на совещании по планированию.
Написание неформального плана тестирования
В настоящее время с ростом популярности небольших юзабилити-исследований и коротких сроков, присущих гибкой методологии разработки, планы тестирования, как правило, носят неформальный характер и предоставляются вскоре после завершения планирования.
Они могут начинаться с протокола совещания. На рис. 5.8 приведен
пример протокола совещания, в котором показано, что было сделано,
а что еще предстоит сделать.
Поскольку действия, выходящие за рамки совещания по планированию, выполняются для завершения плана тестирования, документ
с подробным описанием полного плана тестирования обычно следует за протоколом. На рис. 5.9 показан план юзабилити-тестирования
сайта для подготовки налоговых деклараций. Это исследование было
продолжением более раннего исследования, и совещание по планированию было проведено посредством веб-конференции.
Использование других неформальных
способов документирования планов
тестирования
Необходимость документировать решения по планированию имеет первостепенное значение, но существует гибкий способ сделать
это. В дополнение к более типичной документации в виде протокола совещания и неформального плана тестирования можно задокументировать решения. Для этого используйте систему управления
проектами, такую как Trello, или таблицы, как в Excel или Google,
или даже обычную доску, которую вы оставляете в конференц-зале,
если она у вас есть, или просто сделайте фото и разошлите его членам своей команды.
Также можно написать одностраничный план тесДополнительные идеи о том, тирования с использованием подхода «приборная
как создать одностраничный
панель» наподобие того, что создал Дэвид Трэвис, изплан тестирования, см. в ставестный специалист по юзабилити, как показано на
тье «The One Page Test Plan».
рис. 5.10.
Составление плана тестирования
Протокол совещания по планированию юзабилити-исследования приложения
по повышению успеваемости для учащихся и преподавателей
Цели теста
Понимают ли пользователи
• Терминологию и иконографию
• Формат – проектирование взаимодействия
• Содержание – учебные материалы / раскрывающиеся подсказки
• Поточную, навигационную или информационную архитектуру
Является ли дизайн
• Интуитивно понятным
• Полезным
• Пригодным к использованию
Персонажи/Пользователи/Скринеры
Две группы пользователей
•
Учащиеся средней школы
Знакомство с онлайн-планировщиком; например, вход в устройство для чтения электронных книг или
саму книгу для выполнения задания
Использование мобильного устройства / смартфона или планшета/ноутбука
Действия в интернете – требуется список типичных действий в интернете, включая игры/значки
Школа, где используются современные технологии – ноутбук или концепция BYOD
Пол – 3 девочки, 2 мальчика
Классы – микс из учеников 6-х, 7-х, 8-х классов
•
Учителя средней школы
Использование инструментов для планирования заданий
Использование технологий
– Социальная база
– Аудиторная база
Приятно узнать (вопросы для ознакомления)
• Использование системы управления обучением
• Страницу учителя в сети
• Годы обучения / класс / предмет / возраст
• Использование инструмента (инструментов) для выдачи заданий
• Комитеты (особенно по технологиям и разработке учебных программ)
• Работа из дома – если да, то на каком устройстве? Как Вы им пользуетесь?
• Требуется ли одобрение родителей для выполнения заданий?
Задачи/Сценарии
Ученики
• Внешний вид – значки / терминология / эстетические элементы дизайна
• Авторизация – введите имя пользователя и пароль (профиль загружен заранее)
• Панель управления (предварительно загруженные записи календаря)
День – что вы видите?
Перейдите, чтобы увидеть всю неделю
Просмотрите прошлый месяц
• Рабочее место
Создать задание по биологии / купить микроскоп
• Подзадачи
Добавить продолжительность, чтобы купить микроскоп
Понимание «подсказки» – напишите несколько заметок, которые помогут вам спланировать это
Добавить срок до пятницы
Посмотреть у себя в календаре, чтобы убедиться, что вы его добавили
Отметить как готовое
Рис. 5.8 Протокол совещания по планированию юзабилити-исследования приложения
по повышению успеваемости для учащихся и преподавателей документирует,
что было определено и что еще предстоит сделать
191
192
•
•
Глава 5 • Планирование юзабилити-тестирования
Входящие – сообщение от учителя
Найти его
Действовать соответственно
Дополнительный сценарий – награды и значки
Учителя: необходимо пересмотреть сценарии, чтобы они подходили учителям (проект ниже основан на задачах
учеников)
• Внешний вид – значки / терминология / эстетические элементы дизайна
• Авторизация – введите имя пользователя и пароль (профиль загружен заранее)
• Панель управления (предварительно загруженные записи календаря)
День – что вы видите?
Перейдите, чтобы увидеть всю неделю
Просмотрите прошлый месяц
• Рабочее место
Создать задание по биологии / купить микроскоп
Назначить его ученику или ученикам
• Подзадачи
Добавить продолжительность, чтобы купить микроскоп
Понимание «подсказки» – напишите несколько заметок, которые помогут вам спланировать это
Добавить срок до пятницы
Посмотреть у себя календаре, чтобы убедиться, что вы его добавили
Отметить как готовое
• Входящие – сообщение от вашего ученика? Родителя?
Найти его
Действовать соответственно
• Необязательный сценарий (необходим)
Анкеты
Анкета для предварительного тестирования (подлежит уточнению)
• Примеры вопросов для учителей
Поощряете ли вы студенческие учебные группы, требуете ли их создания, или ожидается, что учащиеся
будут формировать их самостоятельно?
Используют ли ваши ученики какое-либо программное обеспечение для совместной работы?
• Примеры вопросов для учеников
Как вы сейчас учитесь или работаете над проектами? В одиночку, вместе с другими учениками, в группах,
назначаемых учителем?
Используете ли вы какое-либо программное обеспечение для работы с другими учениками?
Вопросы после задач (подлежат уточнению)
• Стандартные вопросы такого типа включают в себя
Эта задача заняла меньше или больше времени, или примерно столько, сколько ожидалось?
Была ли задача легче, сложнее или соответствовала вашим ожиданиям?
Механизмы обратной связи после тестирования
• SUS (System Usability Scale) – анкета, основанная на шкале Лайкерта, из 10 пунктов со средним баллом 68
(по шкале от 0 до 100)
• Карточки реакции на продукт – 118 прилагательных/фраз, из которых участники выбирают от 3 до 5
вариантов и объясняют их значение с точки зрения пользовательского опыта
Даты исследования
• Пилотный проект, 19 января, 13: 00–15: 30 (два пользователя – ученик и учитель – один за другим)
• Сроки тестирования (конкретный график отбора участников будет определен)
День 1-й, 20 января, с 8:00 до 16:30, подготовка + 5 участников
День 2-й, 21 января, с 8:00 до 19:00, подготовка + 5 участников, плюс подведение итогов
Рис. 5.8 (окончание)
Составление плана тестирования
Плановое собрание по изучению сайта налогоплательщиков
посредством конференц-связи – 14 августа 20хх
Участники: Джон Джоунс, Алекс Стивенс, Конни Смит и Мануэль Каррера
Цели
•
•
Раздел «Мои формы» был удален после предыдущего тестирования и теперь повторно
используется для тестирования в этом году. Это и будет предметом исследования
Новые цели этого исследования включают в себя тестирование
хлебных крошек для понимания и юзабилити
общей простоты навигации по новому сайту
Сценарии тестирования – те же, что и в предыдущем году
•
•
•
Сценарий 1: первые впечатления
Сценарий 2: регистрация
Вопрос после завершения задачи № 1: оцените уверенность в правильности выполнения
Сценарий 3: подведение итогов
Вопрос после выполнения задачи № 1: оцените уверенность в правильности выполнения
Вопрос после выполнения задачи № 2: оцените общий опыт
Вопрос после выполнения задачи № 3: меньше или больше времени, чем ожидалось
Отзывы по результатам тестирования
•
•
Выберите три или более карточек из колоды карточек реакции на продукт и затем объясните их
значение
Заполните анкету SUS, чтобы сравнить результаты предыдущего тестирования
Профили участников
•
•
•
•
•
•
•
•
Все участники должны быть в возрасте от 21 до 29 лет
Все участники должны подать налоговую декларацию онлайн, используя один из сайтов
конкурентов (но не тестируемый сайт)
Все участники должны иметь текущий опыт работы, чтобы им нужно было подать отчет за
текущий год
Все участники должны были заполнить несколько форм 1040-EZ
Все участники должны четко и свободно говорить по-английски
50 % участников должны состоять в браке и подать совместную налоговую декларацию,
50 % не должны состоять в браке и должны подать индивидуальную декларацию
Представители разных гендеров
Ученики колледжей и те, кто не учится в колледже
Приложение
Тестирование будет проводиться на текущем сайте, или клиент предоставит доступ к приложению на
тестовом сервере. Клиент предоставит 10 уникальных, гендерно-нейтральных имен пользователей
и данные для входа в систему для тестирования.
Рис. 5.9 План тестирования для этого юзабилити-исследования показывает ключевые
решения, принятые во время и после совещания по планированию
193
194
Глава 5 • Планирование юзабилити-тестирования
Рис. 5.10 План юзабилити-теста, представленный в формате приборной панели,
умещается на одной странице
Написание формального плана тестирования
Дополнительные сведения об
элементах плана тестирования см. на сайте https://www.
usability.gov/how-to-and-tools/
methods/planning-usabilitytesting.html.
Формальный план тестирования составляется, когда
требуется или ожидается полный отчет. Обычно он содержит следующие разделы, но они могут отличаться
в зависимости от потребностей читателей или требований организации. Это:
• титульная страница – определяет документ как план тести-
•
•
•
рования для определенного продукта/группы/компании. План
направляется спонсору (или ключевому лицу, принимающему
решения) исследования и с указанием, от кого он: руководителя
команды, группы или внешнего консультанта;
оглавление – отражает заголовки первого и второго уровня в плане тестирования с соответствующими номерами страниц;
резюме – представляет собой краткое, но полное изложение важнейших элементов плана тестирования, предназначенное для
руководящего состава и менеджеров; обычно одна страница;
постановка проблемы и цели тестирования – определить проблемы, которые должны быть решены в ходе тестирования, обозначенные как цели;
Резюме к главе 5 195
• методология – описывает тип тестирования и используемый
•
•
•
•
•
•
•
•
метод;
профили пользователей – опишите пользователей для этого теста. Если тест будет адресован двум или более подгруппам пользователей, то каждый профиль предоставляет определенные характеристики;
скринеры – представьте вопросы, которые будут заданы при отборе участников для каждого профиля пользователя. Их можно
включить в основную часть плана или приложение;
поощрение участников – определяет размер или тип поощрения,
которое используется при отборе участников;
список задач – описывает задачи, которые будут включены сюда, иногда с целью показать, насколько они соответствуют целям
исследования;
сценарии – представляют задачи в рамках реалистичных, целенаправленных описаний. Задачи и цели могут быть указаны
в верхней части каждого сценария. Их можно включить в основную часть плана тестирования или приложение;
методы оценки – описывают методы сбора данных, включая типы данных, которые будут собираться (количественные и качественные). Если анкеты были разработаны или определены на
данном этапе, они включаются сюда;
оборудование для теста и окружение – описывает конкретное
оборудование, которое будет использоваться в кабинете и/или
помещении, если вы арендуете его. Также описываются все конкретные настройки, необходимые для окружения тестирования;
результаты работы – описывают отчеты, кото- Примеры формальных
рые будут предоставлены после тестирования. планов тестирования см. на
Также описано, в каком виде это будет сделано – сайте https://www.elsevier.com/
формально или неформально; будет это бумаж- books-and-journals/bookcomный или электронный документ; устная презен- panion/9780128169421.
тация / встреча; основные моменты, запечатленные на видео, – и указаны даты предоставления.
Резюме к главе 5
В этой главе представлены шаги, которые необходимо предпринять
для планирования юзабилити-исследования. Они станут повесткой
вашего совещания по планированию с ключевыми заинтересованными лицами, чтобы определиться с элементами исследования. В повестку совещания входят:
• постановка целей тестирования, когда вы решаете, какую информацию наиболее важно получить от пользователей во время
исследования;
196
Глава 5 • Планирование юзабилити-тестирования
• определение того, как тестировать продукт, обсуждая, что тести•
•
•
•
•
•
ровать, где и как подготовить тест;
согласование подгруппы (подгрупп) пользователей путем определения характеристик каждой подгруппы и включения этих характеристик в профили пользователей;
определение соответствующего вознаграждения для каждой
подгруппы;
составление скринеров на основе характеристик подгрупп пользователей;
выбор задач для включения в сценарии путем сопоставления
своих целей с целями пользователей и создание сценариев, которые кажутся вашим пользователям «реальными»;
определение механизмов обратной связи, которые вы будете
использовать для сбора метрик производительности и предпочтений, а также качественных отзывов, которые вы получите из
наблюдений, комментариев пользователей и открытых ответов
на вопросы;
установка дат тестирования и запланированных результатов
теста.
После того как все эти решения будут приняты на совещании по
планированию и будут установлены сроки завершения элементов для
юзабилити-исследования, нужно задокументировать свои решения.
Для этого и нужен план тестирования. Планы тестирования могут
быть неформальными или формальными, но чаще всего они бывают неформальными, поскольку всем необходимо быстро получить
информацию, чтобы перейти к этапу подготовки к тестированию. Об
этом и пойдет речь в следующей главе.
Подготовка
к юзабилититестированию
6
На совещании по планированию вы начали подготовку к тестированию. Вы определили или назначили
сроки для подготовки скринера и сценариев, а также
определили механизмы обратной связи, которые будете использовать для сбора качественных и количественных отзывов.
В этой главе рассказывается о других действиях,
которые нужно будет выполнить или назначить при
подготовке к тестированию. К ним относятся:
• отбор участников:
самостоятельно,
через компанию по подбору персонала,
через онлайн-компанию по подбору персонала,
через платформу онлайн-тестирования,
планирование в случае неявки;
распределение командных ролей и обязанностей;
разработка контрольных списков для ключевых командных
ролей;
написание сценария модератора:
для тестирования с личным присутствием,
для удаленного тестирования;
подготовка или использование других форм:
формы согласия, записанного на видео,
специальной формы согласия при тестировании с участием
несовершеннолетних,
•
•
•
•
Разделение планирования
и подготовки на две
фазы и две главы в этой
книге – в некотором роде
произвольное различие, но
я сделала так, потому что
пункты повестки, затронутые
в главе 5, приводят
к решениям, которые
определяют подготовку
к тестированию. Одно из
этих решений – критерий
скринера – должно быть
принято до начала отбора
участников.
198
Глава 6 • Подготовка к юзабилити-тестированию
соглашения о неразглашении,
формы наблюдателя;
• создание анкет:
предварительной анкеты,
анкеты после выполнения задач,
анкеты после выполнения тестирования;
• использование стандартных анкет, выдаваемых после выполнения тестирования:
анкеты SUS (System Usability Scale),
анкеты CSUQ (Computer System Usability Questionnaire),
индекса NPS® (Net Promoter Score®);
• создание или использование механизмов обратной связи для
сбора качественных отзывов:
использование карточек реакции на продукт,
завершающее интервью;
• тестирование теста:
проведение разбора,
пилотный проект;
• управление всей этой подготовкой к тесту.
Отбор участников
Отбор участников требует времени. Если вы проводите его самостоятельно, то можете рассчитывать на то, что потратите много времени,
проверяя потенциальных участников, внося их в список и отвечая на
телефонные звонки, электронные письма или текстовые сообщения,
чтобы держать их в курсе и мотивировать участвовать в назначенное
время.
Если вы нанимаете маркетинговую или рекрутинговую компанию,
то необходимо предоставить ей достаточно времени, чтобы она могла провести отбор участников. Как правило, им требуется минимум
две недели для выполнения этой задачи после того, как будет предоставлен скринер и подписан контракт.
Независимо от того, набираете ли вы людей для исследований
с личным присутствием или для удаленных исследований, время
и внимание, которые вы уделяете этому мероприятию, имеют важное
значение для привлечения подходящих участников.
Как самому отбирать участников
Занимаясь отбором участников самостоятельно, вы можете привлечь
своих нынешних или потенциальных клиентов, если есть к ним до-
Отбор участников
ступ. У вашей компании, возможно, имеется база текущих клиентов
или клиентов, соответствующих определенным критериям, которую
можно использовать, чтобы отобрать участников для своих исследований.
При отсутствии базы можно привлекать участников с помощью
сайта или блога своей компании или страниц на Facebook, Twitter
или LinkedIn. Более того, если у вас есть время на подготовку или вы
планируете проводить тестирование на регулярной основе, то можете начать отбор потенциальных участников, которые соответствуют
вашим профилям пользователей. Это можно сделать с помощью SurveyMonkey или другого инструмента опроса, чтобы получить информацию, которую можно использовать для определения соответствия
вашим требованиям к исследованию. После того как у вас будут конкретные даты тестирования и скринер, можете связаться с теми, кто
соответствует профилям, чтобы узнать, доступны ли они для тестирования.
Установление партнерских отношений с другими отделами, такими как отдел маркетинга, служба поддержки клиентов и отдел бухучета, также может предоставить потенциальных или существующих
клиентов, с которыми вы можете связаться, чтобы пригласить их
принять участие в исследовании.
Конечно, если ваши пользователи – внутренние, то можно привлечь
их к участию непосредственно у себя в компании при условии, что
у вас есть поддержка со стороны руководства или заинтересованных
лиц для взаимодействия с ними. При тестировании с внутренними
участниками необходимо иметь достаточно широкий резерв для выбора, чтобы вы могли и дальше привлекать участников, для которых
данный пользовательский опыт является чем-то новым, только если
не хотите продолжать работать с одними и теми же участниками.
Если вы не набираете участников внутри компании или у вас нет
текущего активного списка потенциальных внешних участников,
можно вести отбор через профессиональные группы или организации в своем районе или через друзей и знакомых. Отправка запроса
друзьям, членам семьи, деловым партнерам и использование связей
часто позволяет найти квалифицированных кандидатов для проведения анкетирования.
Если эти связи вряд ли принесут результаты, особенно когда нужно быстро найти участников, сайт электронных объявлений Craigslist
может предоставить возможности для поиска в вашем районе или
в других городах при условии, что вы ведете отбор участников в нескольких местах или проводите удаленное тестирование.
Craigslist пользуется популярностью на всей территории США,
а также в городах Канады и в ряде других стран. Это бесплатный
сервис, только если вы не публикуете объявление о вакансии. Чтобы получить доступ к бесплатной публикации, выберите community
(а затем – general или events). Или (за небольшую плату) можно опубликовать объявления в разделе gigs offered, используя подраздел для
Powered by TCPDF (www.tcpdf.org)
199
200
Глава 6 • Подготовка к юзабилити-тестированию
компьютеров, если ваше юзабилити-исследование связано с компьютерами или интернетом.
Будьте осторожны при использовании Craigslist, потому что некоторые «профессиональные» тестировщики будут искать такие
объявления, чтобы подзаработать. Предоставление ссылки на опрос
в SurveyMonkey или в одном из других инструментов
В главе 5 представлены пред- онлайн-опросов – эффективный способ сузить колиложения о том, как задавать
чество кандидатов и оставить только тех, кто с наивопросы, чтобы не допустить большей долей вероятности может считаться участнипопадания неквалифицироком. В следующей врезке описан партизанский метод
ванных участников.
набора участников на месте под названием перехват.
Набор участников с использованием метода перехвата
Наверняка вы уже однажды сталкивались с перехватом. Обычно это происходит
в торговом центре, когда к вам подходит некто с папкой-планшетом, чтобы задать
несколько вопросов, касающихся ваших покупательских привычек.
Такой же метод можно использовать при юзабилити-тестировании, когда вы хотите провести неформальное исследование или когда вам трудно найти своих
пользователей. Однако имейте в виду, что такие факторы, как время дня, в течение которого вы ведете отбор участников, готовность людей согласиться на участие без предварительного уведомления и др., могут повлиять на круг участников,
которых вы получите в результате этого процесса.
Чтобы использовать метод перехвата, нужно будет обозначить место, где находятся ваши пользователи. Например, если речь идет о пассажирах общественного транспорта, покупающих билеты через киоск, перехватите их, когда они
находятся у киоска или после поездки в метро (или автобусе, или поезде) на
оживленной станции. Спросите, могут ли они помочь вам с вашим исследованием, выделив 5 или 10 (не более 20) мин, чтобы ответить на вопросы и предоставить отзыв касательно повторного проектирования прототипа киоска или
разрабатываемого приложения. Назовите вознаграждение, которое вы предлагаете.
Для пользователей, которых не просто найти, перехват работает особенно хорошо, если отправиться на конференции, которые они посещают. Их можно
привлечь с помощью кабинки или стола, чтобы провести быстрое исследование. Хотя каждый из них является потенциальным кандидатом для вашего исследования благодаря своему присутствию на съезде, вы все равно захотите
предложить им пройти анкетирование, чтобы получить необходимую информацию об их биографии и опыте.
Если вам нужно очень быстро набрать команду для исследования, предусматривающего вовлечение участников, которых легко найти, можно использовать метод перехвата, стоя на улице рядом со своим офисом или зданием с планшетом
в руке и обращаясь к проходящим мимо людям. Используйте краткий скринер
с вопросами. Это предоставит вам необходимую информацию о каждом участнике исследования.
Отбор участников
Как подготовиться к перехвату
Чтобы подготовиться к перехвату, стоит учесть следующие моменты:
• не набирайте много – вы не сможете принести все лабораторное оборудование, поэтому нужно уменьшить его размер до записывающего устройства
и, возможно, фотоаппарата (с разрешения каждого участника);
• оденьтесь соответствующим образом – если у вас есть брендовая одежда, это
вызовет к вам доверие. В противном случае наденьте повседневную одежду,
чтобы соответствовать ситуации, в которой вы будете искать потенциальных
участников;
• наденьте удобную обувь – вам придется долго стоять. Возьмите с собой папкупланшет. Таким образом, вы будете выглядеть так, будто делаете что-то«официальное»;
• принесите складной стол и несколько стульев – если там, где вы находитесь,
их нет. Не нужно ставить стол и стулья в кофейне, но это можно сделать на
автобусном или железнодорожном вокзале. Кроме того, вам может потребоваться разрешение на проведение исследования. Если это так, то получите его
заранее;
• расположитесь рядом с электрической розеткой – чтобы вы смогли зарядить
свой ноутбук или телефон, или сделайте перерыв, чтобы подойти к розетке
и подзарядить оборудование, если это необходимо;
• приготовьтесь к большому числу отказов – будьте реалистом относительно того, сколько времени потребуется, чтобы набрать нужное число участников для
исследования;
• представьтесь – и быстро объясните, о чем просите, подчеркнув, что вы не
пытаетесь ничего продать и что вы платите вознаграждение за участие в исследовании продолжительностью не более «x» минут. Затем скажите: «Можете ли
вы помочь нам в нашем исследовании?»
В рамках процесса отбора потенциальных участников необходимо
удостовериться, что они будут доступны в период проведения тестирования. Вы можете внести их в список, как только увидите, что
они соответствуют критериям исследования, или можете узнать время, в течение которого они будут доступны, чтобы вы смогли оценить
всех подходящих участников и увидеть, какое сочетание даст вам
самое подходящее представление для требований к исследованию.
Например, может потребоваться выбрать оптимальное соотношение
возраста, пола и уровня образования. Это означает, что нужно будет
разработать расписание на основе пула участников и их доступности
во время тестирования.
Затем нужно снова связаться с потенциальными участниками,
чтобы сообщить им, что вы подтверждаете их участие на определенную дату и время, а им необходимо подтвердить, что они по-прежнему доступны и заинтересованы в участии. После составления
списка необходимо связаться с другими подходящими кандидата-
201
202
Глава 6 • Подготовка к юзабилити-тестированию
ми, чтобы подтвердить их готовность выступить в качестве замены
в случае отмены.
Когда участие всех лиц будет подтверждено, необходимо отправить
инструкции, как добраться к месту тестирования, и номер телефона,
по которому они смогут позвонить перед сеансом, если им потребуется помощь или они опаздывают. Если вы проводите
Подробнее об отборе канудаленное тестирование, необходимо отправить индидатов на замену читайте
струкции по всем подготовительным шагам, которые
далее в этой главе.
им необходимо предпринять, а также инструкции для
входа в сеанс.
Имейте в виду, что ваш ноТем, кого вы не отобрали для этого исследования,
мер телефона может быть не
следует отправить электронное письмо или текстовое
лучшим вариантом, если вы
собираетесь непосредственсообщение или позвонить, чтобы поблагодарить их
но участвовать в сеансах
за проявленный интерес и спросить, хотели бы они,
тестирования в качестве мочтобы с ними снова связались, если у вас будет другое
дератора или регистратора.
исследование.
Как вести отбор участников
через рекрутинговую компанию
Если вы не ведете отбор участников самостоятельно, то можно работать с фирмой, занимающейся исследованиями рынка, или кадровой
компанией. Такие компании обычно набирают людей для исследований с личным присутствием.
Используя предоставленные вами критерии отбора, эта фирма
или компания выберет из своей базы участников, соответствующих
критериям вашего исследования. Им, вероятно, будет комфортно делиться своими мыслями о продуктах, а также они не станут возражать, если их будут записывать во время сеанса.
Если вы раньше не работали с такой компанией, то нужно будет обсудить, как она решает вопросы неявки участников, отмены и замены. Еще один вопрос, который необходимо прояснить, – кто платит
вознаграждение. Если компания, которую вы нанимаете, выплачивает вознаграждение, сумма и способы выплаты должны быть указаны
в контракте.
Для «нормального» общения между рекрутерами и потенциальными участниками нужно создать сценарий, чтобы рекрутеры смогли
его прочитать или одобрить тот, который подготовили они. Использование сценария для отбора участников сводит к минимуму возможное предубеждение, которое может быть внесено рекрутерами,
и увеличивает вероятность того, что участники не будут дезинформированы относительно того, что они будут делать. Я поняла, как важно предоставить сценарий отбора участников, после того как одна из
участниц исследования поделилась со мной, что ей сказали, будто она
будет «подопытным кроликом» для нашего исследования.
Отбор участников
Как отбирать участников через рекрутинговую
компанию в режиме онлайн
Если вы проводите удаленное модерируемое исследование, можете
отбирать участников самостоятельно или выбрать один из веб-сервисов, который займется отбором участников за вас. Среди них:
• https://www.userinterviews.com – набор сотрудников в США из своей базы и внешних источников, если это необходимо;
• https://www.peopleforresearch.co.uk – набор сотрудников из Вели•
•
кобритании из своей базы;
https://www.respondent.io – доступ к участникам по всему миру
с сайтов и онлайн-публикаций;
http://ethnio.io – базирующийся в США сервис для создания скринеров на любом языке для распространения через ссылку или
встроенный JavaScript через каналы в социальных сетях, на вашем cайте или на любом устройстве; включает в себя автоматический отбор и оплату участников.
Как отбирать участников через платформу
онлайн-тестирования
Если вы используете платформу онлайн-тестирования, такую как
https://www.userzoom.com или https://www.usertesting.com, то, скорее
всего, воспользуетесь их скрининговой анкетой, чтобы предоставить
конкретные характеристики ваших подгрупп пользователей. Они будут использовать эту информацию для набора участников из своей
группы респондентов. Однако в некоторых случаях вам может понадобиться набрать собственных участников для исследования, особенно если они являются вашими клиентами или пользователями вашего продукта. Большинство платформ онлайн-тестирования позволяет
это сделать.
В такой ситуации можно связаться со своими потенциальными
участниками, чтобы они подтвердили свою заинтересованность. Затем укажите их контактную информацию на платформе онлайн-тестирования, или же платформа может предоставить вам URL-адрес, который вы можете раздать своим участникам.
План на случай неявки участника
Даже если вы приложите максимальные усилия со своей стороны
или воспользуетесь услугами сторонних компаний или веб-сервисов
по набору участников, можно ожидать, как правило, не менее 10 %
неявок. Следовательно, необходимо подготовить запасных участников. Основное правило отбора запасных участников – подготовить по
203
204
Глава 6 • Подготовка к юзабилити-тестированию
крайней мере одного такого участника на каждые три–пять участников в подгруппе пользователей. Например, если вы набираете 10 человек в двух подгруппах, нужно еще 5 + 1 для каждой подгруппы, в результате чего общее число составит 12 человек.
Вот несколько вариантов подготовки запасных участников на случай отмены или неявки.
1. Подготовьте запасного участника – если возможно, наймите
запасного участника, который будет доступен весь день и сможет добраться до вас за короткий промежуток времени. Если
предыдущий участник отказался или не появился, то можно
связаться с запасным в надежде, что тот сможет быстро приехать. Поскольку вы просите запасного участника, чтобы он был
доступен на протяжении всего дня, возможно, придется выплатить ему вознаграждение независимо от его участия. Если вы
набираете несколько подгрупп, то понадобится такой человек
для каждой подгруппы.
2. Внесите еще одного или двух человек – чтобы подготовиться к вероятности того, что у вас будет неявка или отмена, внесите еще
одного человека в список в конце дня. Если в вашем исследовании несколько подгрупп, то нужно будет назначить дополнительного участника для каждой. При 100%-ной явке можно
либо отменить участие запасных лиц (но компенсировать им
их желание участвовать), либо, если есть время, продолжить
и работать с ними.
3. Внесите еще одного человека из своей компании – если вы проводите тестирование в лаборатории или конференц-зале своей компании, можете нанять запасного участника из числа тех,
кто уже находится на месте. Но это должно быть крайней мерой, потому что человек из вашей компании не будет реальным
пользователем, если, конечно, ваши настоящие пользователи
не работают в ней. Однако можно задействовать кого-то, кто не
знаком с продуктом и в какой-то мере соответствует профилю
пользователя. Хотя этот человек и не будет настоящим пользователем, может оказаться, что он подтверждает выводы, которые вы получаете от других пользователей, тем самым подкрепляя их. Вовлечение еще одного человека из компании обычно
означает, что он может прийти сразу же, если нужно, чтобы вы
не отставали от графика.
4. Запланируйте дополнительные полдня для тестирования запасных участников – если вы проводите тестирование в течение
нескольких дней, то можете заранее запланировать несколько
временных интервалов для тестирования запасных участников
на утро после последнего дня. Скорее всего, вы в любом случае будете использовать следующий день для анализа, поэтому
можете потратить первые несколько часов на тестирование за-
Распределение командных ролей и обязанностей
205
пасных участников, а затем отправиться на совещание по обсуждению результатов. Данный подход особенно хорошо работает, когда нужно заранее зарезервировать конференц-зал или
лабораторию для тестирования.
Распределение командных ролей
и обязанностей
Для проведения юзабилити-исследования не обязательно быть в команде. Но, безусловно, полезно иметь
хотя бы одного человека, и чем их больше, тем лучше.
С помощью команды можно распределить рабочую
нагрузку, у вас будет больше глаз и ушей в качестве наблюдателей и аналитиков, и вы обеспечите поддержку
исследования и его результатов. Хотя размер коллектива может быть разным, есть несколько ролей, которые можно разделить или объединить, в зависимости
от обстоятельств.
Вот типичные роли, которые частично определяются помещением или лабораторией для исследования.
•
Если вы единственный
UX-специалист в своей
компании, то найдете подходящие идеи и методы в книге
«The User Experience Team of
One: A Research and Design
Survival Guide», 2013.
Преимущество удаленного
модерируемого тестирования
заключается в том, что команда принимает те же роли,
с некоторыми изменениями,
соответствующими ситуации
Модератор (которого также называют ведущим) – удаленного тестирования.
этот человек напрямую взаимодействует с участником, поэтому он должен быть наиболее ориентированным
на людей. Это самая сложная роль в команде, потому что модератор должен избегать предвзятого отношения к участнику
во время его или ее взаимодействия с ним, а также, пожалуй,
и самая утомительная роль, поскольку модератор всегда обязан
находиться в режиме активности. Это означает, что он должен
быть одинаково приятным в общении с последним участником,
как и с первым.
• Регистратор / человек, ведущий записи, – реги-
стратор достаточно подробно ведет записи, чтобы команда могла проанализировать результаты
тестирования. Если он находится в одной комнате с модератором и участником, то, вероятно,
будет вести записи на портативном компьютере, возможно, используя соответствующее программное обеспечение, электронную таблицу
или документ Word.
Reframer от Optimal Workshop – это онлайн-инструмент, который позволяет
всем членам команды делать
заметки напрямую в Reframer
для командного анализа.
Хештеги заменяют необходимость в кодах. https://www.
optimalworkshop.com/reframer
Такую работу могут совместно выполнять несколько членов команды, используя шаблон для регистрации результатов, облачное программное обеспечение, такое как Reframer, для совместного ведения заметок, или же можно назначить каждому члену
команды разные типы наблюдений.
206
Глава 6 • Подготовка к юзабилити-тестированию
• Наблюдатели – другие лица, не входящие в состав основной ко-
манды, возможно, захотят понаблюдать, сделать заметки или
могут просто сидеть и смотреть, ничего не делая.
Для данного процесса можно создать форму наблюдателя. Позже в этой главе я приведу образец этой формы. Если форма наблюдателя не подходит для вашего
проекта, можете предоставить наблюдателям пачки
цветных стикеров, чтобы они могли помечать любые
соответствующие выводы по каждому участнику и, возможно,
также для каждого сценария. Что касается удаленных наблюдателей, то можно официально зафиксировать способ, которым
они будут делать записи, используя форму наблюдателя, или
просто позволить им использовать собственный процесс для ведения записей.
В главе 7 представлена информация о том, как работать
с наблюдателями во время
сеансов тестирования.
• Человек, занимающийся вопросами настройки оборудования –
в некоторых ситуациях при тестировании может потребоваться,
чтобы член вашей группы отвечал за настройку оборудования
перед тестированием и решение любых технических проблем,
которые могут возникнуть во время тестирования. Вот некоторые наиболее распространенные ситуации:
если вы проводите тестирование в лаборатории с несколькими камерами и функцией «картинка в картинке», то, возможно, вам понадобится, чтобы один из членов команды отвечал
за настройку камер и выбор этих функций. В исследованиях,
когда участник перемещается для выполнения определенных
задач, может потребоваться переключение между каВ главе 2 обсуждаются
мерами;
варианты оборудования
и программного обеспечения если вы тестируете мобильное устройство, необходля тестирования мобильных
димо настроить оборудование или программное
устройств.
обеспечение, которое вы планируете использовать;
если продукт, который вы тестируете, требует специальной
настройки, в вашей команде может быть кто-то, кто с этим
справится. Если такого человека нет, то нужно организовать
необходимую техническую поддержку;
если вы проводите тестирование в конференц-зале, где можно
расставить столы и стулья, необходимо подготовить комнату,
чтобы в ней могли разместиться члены команды. На рис. 6.1
показан пример помещения, где указаны места для основной
группы, участника и наблюдателей;
если вы проводите тестирование удаленно, необходимо заранее протестировать программное обеспечение для видеоконференций. Затем нужно подготовиться к устранению неполадок, если у участников возникнут проблемы с подключением,
использованием веб-камеры, прослушиванием модератора,
возможностью поделиться своим экраном и другими техниче-
Разработка контрольных списков
•
скими аспектами, связанными с используемым программным
обеспечением. Обычно используются GoToMeeting, Zoom,
Adobe Connect, WebEx, Join.me, Lookback и Skype, причем большинство из них предлагает бесплатные или пробные версии.
Справочная служба – если вы хотите предложить поддержку
клиентов как часть исследования, то вам понадобится человек,
выполняющий функции представителя справочной службы или
службы поддержки клиентов. Если член команды – из службы поддержки клиентов, то эта роль переходит к нему. Однако
в этой роли может выступать любой член команды, знакомый
с продуктом. Если в команде не хватает рук, эту роль можно объединить с другой.
Стол для модератора
и участников
Дополнительные наблюдатели
Место сбора и записи данных
С
л
то
дл
яд
х
ву
бл
на
й
ле
те
а
юд
Записывающее
оборудование
Рис. 6.1 На схеме проведения тестирования в конференц-зале показано,
где будут размещены столы для оборудования, модератора, участника,
членов команды и дополнительных наблюдателей
Разработка контрольных списков
Контрольные списки – это списки «дел» для каждого из активных членов основной команды. Они напоминают каждому, каковы его или ее
обязанности до, во время и после каждого сеанса тестирования. Они
207
208
Глава 6 • Подготовка к юзабилити-тестированию
Эти контрольные списки
также доступны для скачивания на странице https://
www.elsevier.com/booksand-journals/bookcompanion/9780128169421.
будут использоваться в пошаговом руководстве, а затем изменены по мере необходимости.
Даже опытные UX-специалисты полагаются на контрольные списки, которые можно настроить в соответствии со спецификой тестирования. Когда вы спешите,
чтобы подготовиться к сеансу тестирования, использование контрольных списков может помочь всем сосредоточиться
на задаче. Образцы контрольных списков для модератора (рис. 6.2),
регистратора (рис. 6.3) и технического специалиста (рис. 6.4) дадут
вам представление о том, как составить конкретный контрольный
список, необходимый для вашей роли в команде тестирования.
Контрольный список модератора
До прибытия участника
Убедитесь, что продукт готов к первому сценарию
При тестировании сайта убедитесь, что кеш очищен от действий предыдущего
участника
Убедитесь, что на столе есть ручка для заполнения анкеты
Приветствие
Представьтесь, поблагодарите участника за проявленный интерес к участию
Если тестирование проводится при личном присутствии участника,
предложите освежающий напиток; укажите расположение комнат отдыха
попросите участника сесть в указанном месте
сядьте рядом с участником или возле него в указанном вами месте (или
объясните, где вы будете находиться в другой комнате)
покажите участнику расположение камер для записи
При удаленном тестировании
подтвердите способность слышать друг друга (и видеть участника при
использовании веб-камеры)
просмотрите элементы управления в программном обеспечении для
демонстрации экрана, где вы будете передавать участнику управление мышью
Подробнее об этих
формах мы поговорим
далее в этой главе.
Анкеты, которые
вручаются до и после
выполнения тестирования и после выполнения задач, будут
обсуждаться позже
в этой главе.
Форма согласия, анкета перед проведением тестирования, инструкции
Просмотрите согласие, снятое на видео, и соглашение о неразглашении
Дайте участникам время все прочитать и подписать
Если участник уже подписал эти формы, спросите его, комфортно ли ему или ей,
когда ведется запись
Объясните, что есть наблюдатели (в этой комнате или в другой за односторонним
зеркалом или где-либо еще), которые очень заинтересованы в том, чтобы узнать
у участника о его или ее опыте
Спросите, если ли у них какие-либо вопросы или проблемы
Если вы используете анкету перед проведением тестирования, предоставьте ее
участнику, чтобы он заполнил ее, или прочитайте вопросы участнику и запишите
ответы
Рис. 6.2 Пример контрольного списка для модератора
Разработка контрольных списков
209
Инструкции
Объясните цель теста; скажите участнику: «Мы тестируем продукт, а не вас»
Объясните процесс использования сценариев
Объясните, что после каждого сценария нужно будет заполнить краткую анкету; затем
следующий сценарий; потом итоговую анкету и выполнить другие сопутствующие действия
в конце сеанса
Опишите, как работает процесс мыслей вслух, с примерами
Подчеркните, что вам интересны мысли участника, как положительные, так и отрицательные,
когда он или она работает с продуктом
Если служба поддержки / справочная служба являются частью исследования,
продемонстрируйте, как использовать телефон или домофон для вызова справочной службы;
объясните, что на звонок ответит член команды
После каждого сценария
Обеспечьте высокую степень уверенности, особенно когда задачи оказываются трудными;
напомните участнику, что вы тестируете продукт, а не его самого
Дайте отзыв касательно качества процесса мыслей вслух; при необходимости побудите
участников дать больше отзывов, еще раз пересмотрев процесс с примерами
Необязательно: предоставьте участнику анкету по окончании задания или прочтите вопросы
и сделайте записи
При необходимости настройте продукт в качестве отправной точки для следующего сценария
или проинструктируйте участника (например, «Вернитесь на главную страницу для выполнения
следующего сценария»)
После завершения последнего сценария
Вручите анкету после проведения теста (или любое другое средство для сбора отзывов, которое
вы используете)
Если уместно, представьте участника группе или получите вопросы от команды или
наблюдателей, чтобы задать их участнику
Поблагодарите участника
Предоставьте вознаграждение за участие или объясните, как оно будет выплачиваться.
Например, в качестве вознаграждения может использоваться подарочная карта Amazon,
доступная в интернете. Если вы вручаете вознаграждение (типичные виды вознаграждения –
наличные или подарочные карты), то, возможно, захотите, чтобы они подписали форму,
подтверждающую его получения
При тестировании с личным присутствием выведите участника из лаборатории
Рис. 6.2 (окончание)
Помимо индивидуальных контрольных списков для
конкретных членов команды, каждый должен ознакомиться с продуктом, проанализировав все его аспекты,
которые будут использоваться в тесте. Если продукт
в настоящее время проектируется или разрабатывается, необходимо предусмотреть «жесткую остановку»
перед тестированием, чтобы у команды было время
изучить продукт и подготовиться к тестированию.
По опыту я знаю, что когда
«жесткой остановки»
не происходит, это ставит
команду в очень неловкое
положение в первый же день
тестирования. Вы вряд ли
захотите изучать продукт
вместе с первым участником.
210
Глава 6 • Подготовка к юзабилити-тестированию
Контрольный список регистратора
Перед тестом
Включите компьютер или ноутбук
При использовании соответствующего программного обеспечения настройте сеанс
При использовании кодов регистрации просмотрите их в программе или в электронной таблице
Если потребуется распечатать журналы, выполните пробную печать и устраните все проблемы
Если регистратор или команда находится в другой комнате, проверьте гарнитуру и микрофоны,
чтобы убедиться, что все исправно
После каждого участника
Завершите и сохраните сеанс для последующего анализа
Настройте систему ведения журналов для следующего участника
В конце дня или для каждой встречи для обсуждения выводов
Распечатайте или распространите файлы журналов среди членов команды в электронном виде
Настройте систему для следующего дня (при необходимости)
Выключите компьютер, ноутбук и принтер
Рис. 6.3
Пример контрольного списка для регистратора
Контрольный список технического специалиста
До прибытия первого участника
Если вы проводите тестирование при личном присутствии участника:
расставьте все в комнате по мере необходимости, переставив столы и стулья на
запланированные места
настройте компьютеры или ноутбуки в соответствии с требованиями исследования
проведите проверку системы
если вы используете Wi-Fi, убедитесь в надежности соединения (будьте готовы настроить точку
доступа, если потребуется)
При мобильном тестировании:
если имеется документ-камера, расположите ее так, чтобы вы могли видеть пальцы участника,
когда он или она касается экрана или проводит по нему, и позволить участнику свободно
перемещаться в рамках отведенной зоны; или же
если у вас есть держатель, расположите его так, чтобы удерживать мобильное устройство,
используя веб-камеру для записи сверху. Это позволяет видеть пальцы участника, но обычно
держит мобильное устройство в зафиксированном положении; или же
настройте программное обеспечение для зеркалирования экрана, такое как AirServer или
Reflector, через Wi-Fi для зеркального отображения экрана мобильного устройства на ваш
компьютер или ноутбук. Это даст вам высококачественное видео с экрана мобильного
устройства, но не позволит видеть пальцы участника
если вы предоставляете мобильное устройство (устройства) для тестирования, убедитесь, что на
каждом устройстве имеется продукт, сайт или приложение, необходимое для тестирования; если
участники используют собственные мобильные устройства, помогите им настроить продукт для
тестирования, если это необходимо
просмотрите камеры, чтобы подтвердить настройки
Рис. 6.4 Пример контрольного списка для технического специалиста
Написание сценария модератора
выберите настройки «картинка в картинке» для записи участника и экрана
при необходимости проверьте звук и телефон
проверьте Wi-Fi-соединение
при необходимости настройте точку доступа
Для удаленного тестирования:
настройте программное обеспечение для проведения веб-конференций и запустите тест,
чтобы подтвердить работоспособность для участников и для всех удаленных членов команды
и наблюдателей
отправьте приглашения каждому участнику и всем удаленным членам команды и наблюдателям
отправьте участникам формы согласия с инструкциями о том, как они должны подписать
и вернуть форму; в качестве альтернативы можно отправить форму согласия и попросить их
просмотреть ее до сеанса; затем в начале сеанса спросите их, согласны ли они на запись (если
есть какая-либо причина, по которой они не соглашаются, что случается редко, остановите
запись и завершите сеанс либо продолжите его без записи)
откройте сеанс за 5–10 мин до начала и попросите удаленного наблюдателя подтвердить
функциональность
при необходимости помогите каждому участнику и объясните, как использовать программное
обеспечение для проведения веб-конференций
составьте запасной план на случай непредвиденных технологических проблем. У вас есть другое
программное обеспечение для проведения веб-конференций? Можете ли вы перенести сеанс на
другое время? Сеанс начался поздно из-за технических проблем, которые сейчас проработаны,
поэтому один или два сценария должны быть вырезаны из плана?
при удаленном тестировании мобильного устройства убедитесь, что вы видите устройство
участника либо через его веб-камеру, либо через программное обеспечение для демонстрации
экранов мобильных устройств
Во время каждого сеанса тестирования
Нажмите Запись в начале сеанса или в момент, когда участник дает согласие на запись
При необходимости отрегулируйте камеру (камеры)
Во время мобильного тестирования с личным присутствием выполните быструю проверку для
внесения всех необходимых корректировок в положение или настройки камеры
Нажмите Остановить запись в конце сеанса
После ухода участника
Подготовьтесь к следующему участнику, очистив кеш, если необходимо, вернувшись на главную
страницу и выполнив иные необходимые настройки
Для удаленного тестирования откройте программное обеспечение для проведения вебконференций для следующего сеанса и проверьте функциональность (если каждый сеанс
планируется как отдельная встреча) или подтвердите, что встреча остается открытой для
следующего сеанса
В конце последнего сеанса выключите оборудование или закройте программу
Рис. 6.4 (окончание)
Написание сценария модератора
Помимо контрольного списка, модератору нужен сценарий. Сценарий используется на протяжении всего сеанса тестирования, чтобы
модератор говорил каждому участнику одно и то же.
211
212
Глава 6 • Подготовка к юзабилити-тестированию
В конце этой главы приводится пример сценария для
исследования сайта Better
World Books.
Опытные ветераны, выступающие в этой роли в качестве модератора, могут чувствовать себя достаточно
уверенно, чтобы отказаться от сценария, используя
вместо него контрольный список. Однако написание
неформального сценария даже для опытных модераторов обеспечивает беспрепятственную работу в дальнейшем.
Некоторым модераторам чтение сценария может показаться
странным. Возможно, они полагают, что так они выглядят неподготовленными или непрофессионально. Но если модератор говорит:
«Я читаю сценарий, чтобы убедиться, что говорю одно и то же каждому человеку, и быть уверенным, что я ничего не пропустил», то такое объяснение может сгладить чувство неловкости. Естественно, это
утверждение прописано в сценарии.
Написание сценария модератора
для тестирования с личным присутствием
участника
Когда вы используете контрольный список модератора в качестве руководства для создания сценария, то обычно он охватывает следующие пункты.
В Атланте я обычно говорю
о пробках и спрашиваю, были
ли у участника проблемы,
пока он добирался до места
тестирования. Разговоры
о погоде всегда служат неплохим средством завязать
беседу и снять напряжение.
Поприветствуйте участника
Поблагодарите человека за то, что он пришел; завяжите светскую беседу, чтобы успокоить его. Предложите
что-нибудь выпить, например воду, кофе или безалкогольный напиток. Попросите его сесть в кресло и при
необходимости отрегулировать его, чтобы ему было
удобно.
Предоставьте или просмотрите формы, необходимые
для участия
В некоторых случаях вы будете передавать участникам формы для
записи их согласия на видео и соглашение о неразглашении (если
требуется), а затем будете ждать, пока участник заполнит их. В других случаях вы отправите формы заранее или участник заполнит их
в зоне ожидания до начала сеанса.
Если участник уже подписал форму согласия на видеосъемку, еще
раз укажите, что вы будете делать с записью сеанса, и спросите участника, устраивает ли его такая договоренность. Если участник колеблется перед тем, как дать ответ, то можно попытаться понять, что
причиняет ему или ей неудобство, а затем еще раз подтвердить, что
запись предназначена исключительно для определенной цели, как
указано в форме. Затем нужно еще раз удостовериться, согласен ли
участник, чтобы велась запись.
Написание сценария модератора
213
Если продукт находится на стадии разработки и компания требует наличия соглашения о неразглашении, напомните участнику, что
исследование предназначено для продукта, находящегося на стадии
разработки, поэтому вы просите участника дать согласие, что он не
будет ни с кем обсуждать это.
Покажите комнату для оценки или тестирования
Покажите участнику камеру (камеры), микрофон, одностороннее
зеркало (если вы находитесь в юзабилити-лаборатории с односторонним зеркалом) и все остальное, о чем участнику следует знать,
когда речь идет об оснащении комнаты. Если члены команды находятся в комнате вместе с вами, объясните, что они будут делать.
Если ваша команда и/или посетители наблюдают из Я обнаружила, что, когда
другой комнаты или удаленно, сообщите об этом я предлагаю участникам
встретиться с командой после
участнику.
Эта информация может вызвать у участника не- исследования, чтобы команда
который дискомфорт, но ваша задача как модера- могла поблагодарить их за
все, это привлекает участнитора – информировать участника о том, что проков и снимает все опасения,
исходит, и успокоить его, объяснив, почему за ним которые могут возникнуть
наблюдают.
у них по поводу людей, наЯ стараюсь, чтобы эта информация была расплыв- блюдающих за ними.
чатой – я не говорю, сколько людей наблюдает.
Укажите цель исследования
Эта часть сценария помогает прояснить, почему участник находится здесь, а также дает возможность подчеркнуть, что вас интересует
все, что думает и делает участник – положительные и отрицательные
мысли – во время работы с продуктом. Чтобы уменьшить возможное
беспокойство участника по поводу этого «теста», вы должны подчеркнуть, что тестируете продукт, а не участника.
Если вы не являетесь разработчиком, то можете сказать, что полностью открыты для всего, чем участник, возможно, захочет поделиться, чтобы помочь улучшить его или ее опыт взаимодействия. Даже если вы являетесь разработчиком или членом команды разработчиков,
сообщите, что вы хотите узнать у участника, что работает хорошо,
а что – нет. Вот почему вы проводите этот юзабилити-тест.
Объясните процесс тестирования
Скажите участнику, что попросите его или ее выполнить некоторые
задания с продуктом, которые вы предоставите в виде сценариев.
Объясните, где будете находиться, когда участник начнет работать со
сценариями. Если вы будете сидеть рядом, расскажите, для чего это
нужно и какова ваша роль. Если оставите участника работать одного,
объясните, как он должен сообщить вам, что закончил. При наличии
вопросов, которые вы будете задавать после каждого сценария, расскажите участникам свой план.
214
Глава 6 • Подготовка к юзабилити-тестированию
Если вы оказываете помощь через справочную службу или службу поддержки (при участии члена команды, исполняющего эту роль),
объясните, что, когда участник позвонит в справочную службу, она не
будет работать как настоящая справочная служба. Я говорю участнику: «Вместо того чтобы прямо ответить на ваш вопрос, чего вы обычно ожидаете, член службы поддержки, более вероятно, исследует проблему вместе с вами, пытаясь понять ваши опасения».
Опишите процесс мыслей вслух
Конечно, полезно наблюдать за тем, что делает участник. Слышать участника, пока тот работает, и узнавать, что ему нравится, что расстраивает или сбивает
с толку, – вот что важно. Эти сведения можно получить
с помощью протокола мысли вслух.
Поскольку данный протокол так важен в большинстве формальных юзабилити-исследованиях, нужно
помочь участникам понять, как он работает и почему
это важно. В зависимости от типа проводимого исследования вы, возможно, захотите рассмотреть влияние этого протокола на участника
и цели вашего исследования.
Я объясняю участнику: «Я понимаю, что думать вслух во время
работы – ненормально, но это поможет команде лучше понять ваш
опыт, когда вы делитесь своими мыслями таким образом». Я также
привожу примеры того, что имею в виду, говоря «делиться мыслями», например: «Мне это нравится, потому что... Это совсем не то,
что я ожидал увидеть, когда нажал на эту ссылку... Понятия не имею,
что означает это слово... Я очень хочу, чтобы этот продукт позволил
бы мне сделать здесь...».
Имейте в виду, что не каждый может справиться с когнитивной нагрузкой, связанной с мыслями вслух во время работы, поэтому следует ожидать разной реакции от участников. Если вы планируете сидеть
с участником во время сеанса, то можно сказать: «Если вы молчите, что
совершенно естественно, когда концентрируетесь, то я могу задать вопрос, например: “Что вы делаете или о чем думаете сейчас?”»
Некоторые ошибочно называют этот процесс разговаривать вслух, но это неправильный термин, поскольку
разговор вслух – это то, что
мы обычно делаем во время
беседы.
Попросите участника делиться вопросами или проблемами
Когда вы просите участника задавать вопросы или делиться своими
опасениями на данном этапе, это дает вам возможность прояснить
любую путаницу, которая может возникнуть у участника, и убедиться, что он чувствует себя комфортно. Напомните, что он может остановиться в любой момент. Еще раз поблагодарите человека за участие и спросите, готов ли он начать работу.
Начинаем исследование
Предоставьте участнику первый сценарий или зачитайте его. Если вы
предоставляете сценарий, попросите прочитать его вслух. Или если
Написание сценария модератора
215
он короткий, то можете прочитать его участнику сами. Я обнаружила, что, когда
В любом случае спросите, есть ли какие-либо вопросы, я прошу участников прочитать
прежде чем он приступит, и обязательно оставьте сце- сценарий вслух, кажется, что
нарий, чтобы он мог сослаться на него, если необходи- так им проще перейти к размышлению вслух.
мо сделать напоминание о задаче и цели.
Краткий обзор исследований о влиянии мыслей вслух на задачи, назначенные на определенное время, и другие соображения см.
в следующей врезке.
Влияние мыслей вслух на назначенные на определенное
время задачи и другие соображения
Исследование задач, назначенных на определенное
время
Некоторые исследования показывают, что размышление вслух замедляет время
отклика участников и, следовательно, не дает точных данных по задачам, назначенным на определенное время. Даже в исследованиях, в которых это было задокументировано, результаты показывают, что размышления вслух не влияют на
точность мыслей участников.
Что касается увеличения времени выполнения задачи, некоторые исследования
показывают, что это влияние – умеренное и возникает только на ранних этапах
ознакомления с задачами. Другие исследования показывают, что размышления
вслух не влияют на время выполнения задачи или производительность.
Исследование производительности и обнаружение
проблем
Некоторые исследования показывают, что процесс мышления вслух улучшает
производительность.
Недавнее исследование, в котором сравнивались три протокола «мыслить
вслух» – параллельный (мысли вслух при выполнении задания), ретроспективное
воспоминание (просматривая запись после теста, чтобы размышлять вслух о выполненных задачах) и комбинированный или гибридный метод, – показало, что
параллельный метод превосходит два других в облегчении успешного юзабилити-тестирования с большим количеством обнаруженных проблем по сравнению
с ретроспективным воспоминанием.
Перевод исследований в практику
Что это исследование означает для вас и вашего процесса тестирования? Если
назначенные на определенное время задачи являются критически важным результатом тестирования, что часто имеет место при суммативном оценивании,
возможно, вы не захотите использовать протокол «мысли вслух». В большинстве
других случаев, особенно когда тестирование проводится в диагностических или
исследовательских целях, размышление вслух предоставляет богатый источник
информации о том, как пользователь воспринимает юзабилити продукта, и, как
было показано, вызывает больше проблем с юзабилити, чем в случае с ретроспективным воспоминанием.
216
Глава 6 • Подготовка к юзабилити-тестированию
Дополнительное преимущество – удовлетворенность участников. Как показывает исследование Олмстед-Хавала и его коллег (2010), участники, которые думали вслух при активном участии модератора, были более удовлетворены опытом,
в отличие от тех ситуаций, когда модератор не взаимодействовал с ними и они
работали в тишине.
Написание сценария модератора
для удаленного тестирования
При подготовке и написании сценария модератора для удаленного
юзабилити-тестирования применяются многие из тех же правил. Но
есть и отличия. Следующая схема сценария модератора указывает на
то, что основные различия происходят на этапах 2–4.
Следующая схема сценария модератора для удаленного
юзабилити-исследования состоит из 10 этапов
1. Поприветствуйте участника.
2. Объясните процесс скриншеринга (функции, позволяющей
всем видеть картинку рабочего стола компьютера одного или
нескольких участников) и необязательное использование вебкамеры участника.
3. Убедитесь, что звук, видео с веб-камеры и скриншеринг работают.
4. Подтвердите получение подписанных форм или получите устное согласие.
5. Объясните цель исследования, использование сценариев и анкет.
6. Объясните процесс мыслей вслух.
7. Напомните участникам, что они могут остановиться в любой
момент, если им некомфортно.
8. Напомните участникам, что вы тестируете продукт, а не их.
9. Задайте вопросы.
10. Начните с первого сценария.
На этапах 2 и 3, возможно, потребуется объяснить, как участник
должен показывать свой экран и управлять мышью. Если у вас возникнут какие-либо технические трудности, необходимо решить их
или использовать запасной план.
На этапе 4 если вы отправили формы заранее и получили взамен
подписанные формы, то можно быстро просмотреть пункт, касающийся цели использования записи сеанса, и убедиться, что участник
не испытывает дискомфорта по этому поводу. Если вы не отправили
формы заранее, то, возможно, вам потребуется сделать это в начале сеанса и выделить время, чтобы участник просмотрел их. Или же можно
попросить его дать вам устное разрешение на запись сеанса в соответствии с условиями формы согласия, и этого может быть достаточно.
Подготовка или использование других форм
Если вы заранее указали, что участники должны будут дать вам
разрешение на запись, у вас не должно возникнуть проблем с получением их разрешения в начале сеанса. Однако, если участник не
согласен, вы можете либо завершить сеанс, либо продолжить, не записывая его.
На рис. 6.5 показан сценарий модератора для удаленного исследования сайта по покупке и продаже фотоаппаратов. Данный пример
представляет собой полноценный письменный сценарий, который
очень полезен при удаленном тестировании независимо от уровня
навыков модератора.
Сценарий модератора для удаленного юзабилити-исследования
Добро пожаловать
Большое спасибо за то, что согласились принять участие в исследовании сайта по покупке
и продаже фотоаппаратов. Вы разрешили нам записать сеанс для внутренних исследовательских
целей, верно? Вас это устраивает? Хорошо, отлично, спасибо. Теперь мы настроим демонстрацию
экрана, чтобы мы могли видеть ваш экран, а вы могли управлять мышью и клавиатурой.
В данное время ведется работа по перепроектированию сайта, поэтому нам нужно знать ваше
мнение прямо сейчас. Ваш отзыв будет использован для дальнейшей разработки сайта. Сейчас
сайт лишен эстетики, которую вы ожидаете увидеть на готовом сайте, цвета еще не окончательно
определены, большинство фотографий товаров не загружено, а многие описания не являются
окончательными. В некоторых случаях размещение разделов не оптимально.
Важно, чтобы вы сейчас постарались не обращать внимания на эти аспекты дизайнапрототипа.
Введение в сценарии
Мы попросим вас зарегистрироваться, как будто вы стали новым пользователем сайта,
и выполнить типичные задачи, которые клиенты, подобные вам, могут выполнять на сайте.
Нам интересно узнать, что вам подходит, а что вызывает проблемы.
Я попрошу вас думать вслух, то есть делиться своими мыслями, когда вы выполняете эти
задачи. Это означает, что вы будете говорить нам, что, по вашему мнению, работает хорошо, а что –
нет. Мы не разработчики, поэтому можете откровенно делиться своим опытом. Мы будем сообщать
обо всем, что выяснили, разработчикам, которые очень заинтересованы в том, чтобы узнать, как
улучшить работу с сайтом, чтобы всем было удобно.
А теперь я зачитаю вам первое задание.
------ здесь идут задания -----После последнего задания модератор завершает тест
Большое спасибо за участие. Мы многое от вас узнали! В знак признательности компания
отправит вам подарочную карту American Express на сумму 50 долларов. Ищите ее в почте
в ближайшие несколько недель.
Рис. 6.5 Сценарий этого модератора для удаленного изучения сайта,
посвященного покупке и продаже оборудования для камер,
демонстрирует дружелюбность и завершение в конце сеанса
Подготовка или использование
других форм
Сценарий модератора подразумевает наличие таких форм, как форма
согласия на видеосъемку и соглашение о неразглашении. Если у вас
уже они есть, то нужно просто убедиться, что они доступны и адапти-
217
218
Глава 6 • Подготовка к юзабилити-тестированию
рованы для конкретного исследования. При отсутствии форм нужно
их подготовить или приобрести. Помимо этого, если вы ожидаете
присутствия наблюдателей, можно подготовить для них форму наблюдателя. Кроме того, вы, возможно, захотите подготовить или получить руководство наблюдателя.
Подготовка формы согласия на видеосъемку
Участникам нужно будет подписать форму согласия, дающую вам
разрешение записывать их для теста. Некоторые организации предъявляют строгие требования к получению этого согласия. Университеты обычно требуют одобрения исследований со стороны Институционального наблюдательного совета (IRB). У вашей организации
может быть стандартная форма согласия. В противном случае нужно
будет создать ее.
В ней необходимо указать цель исследования и споВ ходе анкетирования мы
собы распространения и использования записанного
сообщаем потенциальным
материала. Необходимо объяснить, как будет идентиучастникам, что их попросят
фицироваться участник. Некоторые организации додать согласие на видеосъемпускают использование имен; другие требуют, чтобы
ку, и просим их сообщить
нам, согласны ли они с этим. участники идентифицировались только по номерам
(участник 1, 2, 3 и т. д.). Форма требует прояснить, что
Затем повторяем вопрос
участник может остановиться в любое время и в люв сценарии нашего модератора даже после того, как они бой момент отказать в согласии. Рекомендуется сдеподписали форму согласия.
лать две копии формы, одна из которых будет храниться у участника, а другая – у вас.
На рис. 6.6 показана базовая форма согласия.
Юзабилити-центр
Форма согласия на видеосъемку
Настоящим даю свое согласие на видеосъемку в рамках моего участия в юзабилити-тесте продукта
X, проводимом _________ [дата] в Юзабилити-центре.
Мое имя может быть указано только в связи с результатами сеанса.
Я понимаю и даю согласие на использование и передачу видеозаписи Юзабилити-центру и клиенту.
Я также понимаю, что видеозапись и все основные моменты, извлеченные из записи, могут быть
использованы для просмотра клиентом и Юзабилити-центром. Типичные отрывки видео также
могут быть использованы в презентациях для клиента, на профессиональных встречах и в рамках
исследования.
Я отказываюсь от любых прав на видеозапись и понимаю, что запись может быть использована для
целей, описанных в этой форме, без дополнительного разрешения.
Я понимаю, что, если по какой-либо причине не захочу продолжать, то смогу уйти в любой момент во
время этого сеанса записи.
________________________________
Расшифровка подписи
________________________________
Подпись
____________
Дата
Рис. 6.6 Образец формы согласия на видеосъемку
Подготовка или использование других форм
Подготовка специальной формы
согласия на тестирование при участии
несовершеннолетних
Каждый раз, когда вы проводите тестирование с несовершеннолетними – участниками младше 18 лет, – необходимо получить согласие
родителя или опекуна. Вот что мы добавляем в нашу стандартную
форму согласия на видеосъемку.
Согласие родителя или законного опекуна,
если участник является несовершеннолетним
Я согласен лично и как родитель или законный опекун несовершеннолетнего, указанного выше, с вышеуказанными условиями и положениями.
Подпись _______________________________
Степень родства ______________________
Использование соглашения о неразглашении
Каждый раз, когда вы работаете над продуктом в стадии разработки, может потребоваться соглашение о неразглашении, подписанное
участником. Если вы являетесь «сторонним наблюдателем», например если вы консультант по юзабилити, вам также необходимо подписать это соглашение, прежде чем вы сможете обсудить или увидеть
продукт. Такие соглашения обычно не используются, когда продукт
уже выпущен на рынок.
Подобные соглашения есть в большинстве компаний. Часто это
длинные документы, подготовленные юристами, с большим количеством слов, чтобы можно было охватить все мыслимые ситуации.
Например, здесь речь может идти о корпоративных документах, которые обычно не выдают участникам юзабилити-тестов. При проведении юзабилити-тестирования главная забота состоит в том, чтобы
люди не рассказывали о том, что они видели или делали во время
сеанса. Спросите у своих юристов, могут ли они подготовить урезанную версию соглашения о неразглашении для юзабилити-тестирования.
Хотя участникам должна быть предоставлена возможность прочитать данное соглашение перед тем, как его подписать, опыт показывает, что большинство участников подписывает его, не утруждая
себя чтением. Если вы не хотите, чтобы они тратили время на чтение
соглашения перед началом исследования, то можно разослать его заранее; однако в форме будет указано название компании, продукт
которой вы тестируете. Если участники будут знать название компании, продукт которой будет тестироваться, возможно, это и не будет
проблемой, но вы должны решить, нужно ли это вам, или вы хотите,
чтобы участники получили эту информацию заранее. Как правило,
лучше попросить их приехать за 10–15 мин до запланированного
219
220
Глава 6 • Подготовка к юзабилити-тестированию
сеанса, чтобы заполнить документы, включая соглашение о неразглашении.
Стив Круг приводит пример
инструкций для наблюдателя
и форму основных результатов из книги «Rocket Surgery
Made Easy». Ее можно найти
на странице https://sensible.
com/downloads/instructions-for-observers.pdf.
Подготовка формы наблюдателя
Если у вас есть наблюдатели, которые будут участвовать в обсуждении результатов, можно создать форму
наблюдателя, чтобы стандартизировать метод, который они используют для ведения записей. Эта форма
упрощает сбор результатов в конце каждого сеанса.
Форма может быть открытой, как показано на
рис. 6.7.
Подробнее об определении
Для назначения разным наблюдателям определентого, из чего состоит успех
ных типов наблюдения можно создать специальные
или провал задачи, рассказыформы. Например, один наблюдатель может отметить
вается в главе 5.
все проблемы, связанные с сообщениями на экране
и терминологией; другой может отметить успешное или неудачное
завершение задачи.
Номер участника / имя:
Сценарий/Задача
Дата / время сеанса:
Отрицательный/
положительный результат
Имя наблюдателя:
Комментарии
Рис. 6.7 Это пример открытой формы,
которую наблюдатели могут использовать во время сеансов тестирования
Создание анкет
Количество анкет, которые вам нужно будет создать, зависит от формата вашего исследования. Если оно проводится на очень ранней
стадии разработки продукта, возможно, и не понадобиться создавать
какие-либо анкеты. Однако, если вы хотите получить структурированные отзывы от участников до, во время тестирования и в конце,
нужно будет их создать. Типы анкет, которые необходимо разработать, включают в себя:
• анкету перед началом тестирования;
• анкету после выполнения задачи;
• анкету после выполнения теста.
Возможно, вы не захотите использовать все три эти типа в каждом
исследовании, но некоторые исследования очень хорошо работают со
всеми этими типами, поскольку каждый из них предоставляет раз-
Создание анкет 221
личный вид информации, позволяя вам понять своего пользователя
и его опыт взаимодействия с вашим продуктом. Работа с одной или
несколькими такими анкетами отнимает время у пользователя, поэтому необходимо взвесить все за и против, прежде чем использовать
их в своем исследовании.
Создание анкеты, которая выдается
перед началом тестирования
Предположим, что все, кто записан для участия в исследовании, соответствуют критериям, указанным в анкете. Тем не менее между участниками есть различия, о которых может быть полезно знать, особенно в том, что касается задач, которые будут выполнять пользователи.
Анкета, выдаваемая перед началом тестирования, дает возможность
получить дополнительную информацию о каждом участнике.
Вот пример того, как работает данный тип анкеты. Для исследования сайта частного гуманитарного женского колледжа мы отобрали
целевую группу: успешных учениц десятых классов, заинтересованных в поступлении в небольшой гуманитарный колледж. Помимо информации, которую мы получили, чтобы подготовить их к участию
в исследовании, мы хотели узнать больше о том, как они использовали
сайты колледжей, которые помогли бы им определиться с выбором.
На рис. 6.8 используется ряд открытых вопросов, чтобы узнать больше
об их стратегиях поиска и критериях сужения поиска.
Вы можете попросить участника заполнить анкету перед началом
тестирования по прибытии или в рамках ориентации. Или если вы
пользуетесь услугами рекрутинговой компании, то можете попросить
рекрутера получить эту информацию после отбора участников для
исследования. Таким образом, вы получите ее перед тестированием.
В любом случае понадобится просмотреть ответы, чтобы у вас и наблюдателей было больше информации об уникальных характеристиках каждого участника.
Преимущество использования такой анкеты заключается в том, что
она может пролить свет на конкретные действия и ответы участника
во время теста. Например, если вы узнали, что участницу особенно
интересуют возможности проведения исследований с участием профессоров по интересующим ее областям, то эта информация поможет
понять, почему она ищет ссылку на исследовательские проекты (или,
возможно, страницы профессоров) на сайте.
Иногда такая анкета имеет форму частично структурированного
интервью, в котором используются вопросы, чтобы начать разговор
с участником. Например, при исследовании набора для самостоятельной установки цифрового кабельного телевидения я попросила
участников рассказать нам, как им нравится устанавливать новое
оборудование. Я поинтересовалась, как они используют информацию, поставляемую с оборудованием, например руководство по началу работы или сопутствующую документацию. Я попросила их
222
Глава 6 • Подготовка к юзабилити-тестированию
рассказать, что они обычно делают, если при установке возникают
проблемы, и поблагодарила их. Затем объяснила, что исследование
было сосредоточено на документации для самостоятельной установки цифрового кабельного телевидения, поэтому попросила их использовать документацию в нашем исследовании, даже если обычно
они этого не делали.
Анкета перед проведением тестирования
1. Какую информацию о колледже вы ищете, являясь студентом, подумывающим о поступлении?
2. Каковы ваши главные критерии при выборе колледжа? Укажите не менее трех пунктов.
1.
2.
3.
4.
5.
3. Какие колледжи вы рассматриваете? Для каждого перечисленного вами колледжа, пожалуйста,
объясните, что вам больше всего нравится в нем.
Колледж
Самый привлекательный аспект
4. Какие специальности или предметы вы хотите изучать в колледже?
•
•
•
•
5. На какие сайты колледжей вы заходили? Назовите хотя бы три.
1.
2.
3.
4.
5.
Рис. 6.8 Это анкета, которая использовалась
для исследования сайта частного женского колледжа
Я могла бы отобрать участников, которые предпочли использовать
документацию, но это затруднило бы их поиск. Вместо этого наша
команда решила, что было бы полезно узнать их предпочтения, но
попросить их начать с документации. Мы думали, что если документация поможет даже тем, кто обычно не пользуется ею, то она поможет и тем, кто пользуется, а также тем, кто обращается к ней только
при возникновении проблем.
Создание анкет 223
Используя эту анкету, команда смогла получить ценную информацию о предпочтительном методе установки нового оборудования
участниками, а затем связать это с тем, как они использовали документацию или отказались от нее во время теста.
Следующий пример (показанный на рис. 6.9) анкеты юзабилити-исследования новостного сайта показывает, как с помощью открытых вопросов получить информацию о конкретных интересах
каждого участника. Эти вопросы были заданы в ходе частично структурированного интервью с участником перед тем, как определить
сайт для исследования.
Анкета для исследования новостного сайта
1. Расскажите мне о своем любимом новостном сайте.
2. Как вы пользуетесь им?
3. Какие устройства вы используете для доступа к сайту? (Компьютер, ноутбук, планшет, смартфон.)
4. Какое устройство вы чаще всего используете для доступа к сайту?
5. Что для вас самое важное на этом сайте?
6. Что вы бы хотели увидеть на сайте?
7. Есть ли на сайте что-то, что работает не так хорошо, как вам хотелось бы?
Просматривая сайт, с которым будем работать сегодня, я попрошу вас рассказать нам, как этот сайт
работает по сравнению с другими сайтами, которые вы использовали. Мы хотим знать, что работает
хорошо, а что нет.
Рис. 6.9 Анкета для исследования новостного сайта
использует формат частично структурированного интервью,
чтобы узнать о текущих предпочтениях пользователей
Создание анкеты, которая выдается
после выполнения задачи
Если ваше исследование строится вокруг отдельных
сценариев, возможно, вы хотите получать мгновенный отзыв от участников после завершения каждого
сценария. Ожидание отзыва до тех пор, пока они не
выполнят все задачи в сценариях, снижает способность участников вспомнить свой опыт после каждого
из них. Создание кратких анкет по окончании задания – даже одного утверждения или вопроса – сразу
же дает вам отзыв и не отнимает много времени.
Вопрос или вопросы могут быть одинаковыми для
каждого сценария и универсальными, например:
Часто используемый вопрос,
который называется Single
Ease Question (Один простой
вопрос), звучит так: «В целом
эта задача была…?» Для
получения дополнительной
информации по этой теме см.
статью «If You Could Only Ask
One Question, Use This One»,
2010.
• оцените легкость или сложность выполнения этой задачи (ис•
пользуя диапазон ответов от очень простого к очень сложному);
оцените время, необходимое для выполнения этой задачи (используя диапазон ответов от меньшего времени к большему, чем
ожидалось);
224
Глава 6 • Подготовка к юзабилити-тестированию
• оцените вероятность того, что вы воспользуетесь этой функцией
•
или задачей (используя диапазон ответов от «маловероятно» до
«очень вероятно»);
оцените свою уверенность в успешном выполнении этой задачи (используя диапазон ответов от «совершенно не уверен» до
«очень уверен»).
Один или несколько таких вопросов могут дать хорошее представление о пользовательском опыте. Например, может произойти неожиданное открытие, когда пользователи довольно уверенно говорят
о том, что успешно выполнили задачу, но на самом деле это не так.
В некоторых случаях такие вопросы могут быть нацелены на конкретные сценарии, как показано в анкете на рис. 6.10. Она использовалась при исследовании сайта для получения информации о курсах
и программах дистанционного обучения в системе государственных
университетов.
Анкета, которая выдается после выполнения задачи
Обведите число, чтобы ответить на следующие вопросы
1. Когда вы рассматриваете прохождение онлайн-курсов, как бы вы оценили информацию, которую
обнаружили на этом сайте?
Бесполезно
1
2
3
4
5
Очень полезно
Объясните свою оценку:
2. Как бы вы оценили качество полученной вами информации относительно своей способности быть
эффективным студентом-заочником?
Бесполезно
1
2
3
4
5
Очень полезно
Объясните свою оценку:
3. Как бы вы оценили полезность найденной информации, которая поможет вам определить,
хороший ли вы кандидат на дистанционное обучение?
Бесполезно
1
2
3
4
5
Очень полезно
Объясните свою оценку:
Рис. 6.10 В этой анкете описан сценарий поиска инструмента на сайте,
который поможет пользователям понять, является ли дистанционное обучение
подходящим для них выбором
Создание анкеты, которая выдается
после тестирования
Как следует из названия, эта анкета выдается после того, как участник
выполнил все сценарии. Как правило, она предназначена для того,
Создание анкет 225
чтобы пользователь мог оценить общее впечатление. Вопросы обычно соответствуют целям исследования. Они могут быть закрытыми
или открытыми или сочетать в себе эти два типа. Это могут быть общие вопросы, которые подходят для любого исследования, или же их
можно настроить для конкретного случая.
Использование обычных вопросов
Обычные вопросы можно использовать в исследованиях одного и того же продукта или разных продуктов. Примеры таких вопросов можно сгруппировать по следующим категориям.
Пример 1: понравилось больше или меньше всего
Какие две вещи вам понравились больше всего?
Какие две вещи вам понравились меньше всего?
Пример 2: волшебные желания
Если бы у вас было три волшебных желания, что бы вы хотели добавить в этот продукт или убрать из него?
1. ___________________
2. ___________________
3. ___________________
Пример 3: противоположные прилагательные
(семантические дифференциалы)
Сегодняшний опыт взаимодействия с продуктом…
…высокого качества --------------------------- низкого качества;
…неорганизованный -------------------------- организованный;
…актуальный ---------------------------------- устаревший.
Семантические дифференциалы выявляют отношение пользователей, предлагая им оценить свои чувства с помощью двух биполярных
прилагательных, таких как «хороший/плохой», «красивый/уродливый». Вы определяете свои пары прилагательных, связывая их с целями своего исследования.
Использование индивидуальных вопросов
Если вы организовали сеанс тестирования таким образом, чтобы
после сценариев оставалось достаточно времени для получения
подробных отзывов от участников, то один из способов сделать
это – задать индивидуальные вопросы, соответствующие целям исследования.
Один из таких примеров исследования FTP-клиента для опытных
пользователей показан на рис. 6.11. Он включает в себя вопросы об
особенностях тестируемого продукта, а также последний вопрос, на
который хотел знать ответ отдел маркетинга.
226
Глава 6 • Подготовка к юзабилити-тестированию
Анкета, которая выдается после тестирования
1. Оцените в целом, насколько легко или сложно было использовать данную программу:
1 – очень сложно;
2 – довольно сложно;
3 – ни сложно, ни легко;
4 – довольно легко;
5 – очень легко.
2. Насколько легко или сложно было выбрать правильный вариант меню?
1 – очень сложно;
2 – довольно сложно;
3 – ни сложно, ни легко;
4 – довольно легко;
5 – очень легко.
3. Как вы думаете, сколько времени понадобится, прежде чем вы почувствуете себя
профессионалом в использовании данного программного обеспечения для выполнения задачи,
которую вы обычно выполняете?
От 10 до 30 минут.
От 1 до 2 часов.
3 часа и более.
Объясните свой ответ:
4. Оцените, насколько в целом вы удовлетворены этой программой:
1 – очень недоволен;
2 – немного недоволен;
3 – ни то ни другое.
5. Если бы менее технически осведомленный коллега попросил вас порекомендовать FTP-клиент,
вы бы рекомендовали ему попробовать эту программу?
1 – Нет [переходите к вопросу 6].
2 – Да [переходите к вопросу 7].
6. Если вы ответили «Нет» на предыдущий вопрос, пожалуйста, объясните, почему.
7. Как вы думаете, вы бы хотели загрузить бесплатную 30-дневную версию этой программы для
оценки?
1 – Нет [переходите к вопросу 8].
2 – Да [переходите к вопросу 9].
8. Если вы ответили «нет» на предыдущий вопрос, объясните, почему.
9. Если вы ответили утвердительно на вопрос 7, что, по вашему мнению, больше всего повлияет на
ваше решение о покупке этой программы в конце оценочного периода?
10. Сколько вы ожидаете заплатить за эту программу?
Рис. 6.11 Пример индивидуальной анкеты, которая выдается после тестирования,
для исследования FTP-клиента
Создание анкет 227
На следующей врезке представлены советы и примеры того, как
писать хорошие вопросы или утверждения для своих анкет.
Поищите в интернете, и вы
найдете множество ресурТребуется практика, чтобы писать вопросы, не влияющие на сов о том, как создавать
ответы, которые вы надеетесь получить. Хотя предоставление эффективные вопросы для
руководства по созданию опросов выходит за рамки данной анкетирования.
книги, вам следует ознакомиться с этой темой, прежде чем
создавать собственные анкеты. Ведь можно очень легко не- В этих примерах используетпреднамеренно внести предвзятость в свои вопросы, если ся пятибалльная шкала, но
вы не знаете, как этого избежать. После составления анкеты, некоторые исследователи
следует протестировать ее, чтобы убедиться, что эти вопросы предпочитают семибалльную
шкалу. Для получения допонятны вашему целевому пользователю.
полнительной информации
Примеры утверждений и вопросов, приведенные здесь, помопо данной теме см. статью
гут вам освоить основы создания эффективных анкет. Многие
«Should You Use 5 or 7 Point
утверждения из этих примеров используют шкалу Ликерта,
Scales?», 2010.
когда вы просите участников зарегистрировать уровень своего согласия или несогласия с утверждением.
Пишем хорошие вопросы
Вот пример.
Термины легко понять
1
Полностью
согласен
2
Согласен
3
Ни согласен,
ни несогласен
4
Не согласен
5
Категорически
не согласен
Чтобы избежать предвзятости и склонности людей давать одинаковые ответы на
ряд утверждений, следует изменять утверждения, как показано ниже.
Использовать этот продукт было сложно
1
Полностью
согласен
2
Согласен
3
Ни согласен,
ни несогласен
4
Не согласен
5
Категорически
не согласен
Еще один подход к созданию вопросов – использовать положительный или отрицательный формат, который представляет оба конца цепочки и предлагает участникам выбрать соответствующий ответ, как в следующем примере.
Насколько легко или сложно было использовать [новую] функцию?
1
Очень просто
2
В некоторой
степени легко
3
Ни легко,
ни сложно
4
Немного сложно
5
Очень сложно
Еще один подход – избегать использования оценочных слов, таких как «легко»
или «сложно», чтобы сделать утверждение нейтральным. Например:
Использовать [новую функцию] было
1
Очень просто
2
В некоторой
степени легко
3
Ни легко,
ни сложно
4
Немного сложно
5
Очень сложно
228
Глава 6 • Подготовка к юзабилити-тестированию
Также можно включить сюда несколько открытых, но структурированных вопросов или утверждений, например:
Вопрос 1: Что было самым лучшим в этом опыте?
или
Утверждение 1: Лучшая часть этого опыта была...
Вопрос 2: Что больше всего расстроило вас?
или
Утверждение 2: Больше всего меня расстроило...
Использование стандартных анкет
после выполнения тестирования
Вместо того чтобы создавать собственную анкету, которая выдается
после тестирования, можно выбрать одну из стандартных. Ряд таких
анкет уже доступен, некоторые из них – бесплатные при условии, что
указана ссылка на источник.
Преимущество использования одной из стандартных анкет состоит в том, что формулировка и проверка вопросов основываются на
исследованиях. В итеративных исследованиях использование одной
и той же анкеты может установить эталон и отслеживать улучшение
результатов благодаря ориентированному на пользователя процессу
проектирования.
Вот несколько широко используемых бесплатных
При сравнительной оценке
анкет данного типа:
двух сайтов с использованием пяти анкет для определения пользовательских
предпочтений Таллис и Стетсон (2004) обнаружили, что
SUS и CSUQ дали наиболее
последовательные результаты с различными объемами
выборки.
•
• SUS – System Usability Scale – разработана Джоном
Бруком из Digital Equipment Corporation. Использует 10 утверждений типа Ликерта с ответами по пятибалльной шкале;
• CSUQ – Computer System Usability Questionnaire –
разработана Джеймсом Льюисом из IBM. Текущая
версия (версия 3) использует 16 утверждений типа Ликерта с ответами на основе семибалльной
шкалы;
UEQ – Usability Evaluation Questionnaire – изначально была разработана для использования в Германии, но в настоящее время
доступна на более чем 20 языках и представлена в двух версиях:
одна – с 26 вопросами, а другая – с 8. В каждой версии представлена пара термов (пример: непонятный, понятный), а пользователи оценивают свое согласие с каждым пунктом по семибалльной шкале Ликерта. Обе версии, а также инструменты анализа
данных и руководство по использованию UEQ доступны на странице https://www.ueq-online.org/;
Использование стандартных анкет после выполнения тестирования
• NPS – Net Promoter Score – разработана Фредом Райххельдом
в 2003 г. в Bain and Company. Использует один вопрос «Вероятность рекомендовать» по 11-балльной шкале от 0 (маловероятно) до 10 (очень вероятно).
Использование анкеты SUS
Анкета SUS (System Usability Scale) широко используется с тех пор, как
Джон Брук создал ее в 1986 г. Брук рекомендует следующий подход
при работе с анкетой SUS:
• дайте ее сразу после завершения тестирования и перед началом
любых других действий по подведению итогов;
• попросите участников незамедлительно записывать ответ на
каждый вопрос, а не задумываться над ним;
• попросите участников ответить на все вопросы, даже если они
считают, что этот вопрос, возможно, не актуален; в таких случаях
они должны отметить центральную точку шкалы.
Брук разработал SUS как «быструю и грязную» анкету, протестировав и затем выбрав 10 пунктов из 50 возможных. Долгое время это
была самая популярная анкета для использования в юзабилити-исследованиях. На то есть три причины.
1. Она быстрая, на нее уходит очень мало времени.
2. Она не «грязная», как утверждал Брук. Со временем она была изучена многочисленными исследователями в области UX
и доказала свою пригодность в исследованиях всего с пятью
участниками.
3. Она не зависит от технологии. Это означает, что ее можно использовать при тестировании аппаратного и программного обеспечения, сайтов, приложений, мобильных устройств
и многого другого.
Брук объясняет, как самостоятельно рассчитать оценку SUS:
• для нечетных вопросов: вычесть единицу из ответа;
• для четных вопросов: вычесть ответ из пяти (получаются значения от 0 до 4 по каждому вопросу);
• сложить все 10 значений;
• умножить сумму на 2,5 (получается значение от 0 до 100).
Я понимаю, звучит немного сложно, но пример, приведенный на
рис. 6.12, показывает, как рассчитать оценку. Или если вы предпочитаете использовать электронную таблицу, то поищите в интернете
и найдете учебные пособия и образцы для использования электронной таблицы Excel или формы Google для расчета оценки SUS.
229
230
Глава 6 • Подготовка к юзабилити-тестированию
Оценка SUS лучше всего представлена в виде одного числа в диапазоне от 0 до 100, представляющего собой составную меру общего
юзабилити исследуемой системы. Она не предназначена для обозначения в процентах.
System Usability Scale
1. Я думаю, что хотел бы часто использовать
эту систему.
2. Я обнаружил, что система излишне
сложна.
3. Я думал, что система проста
в использовании.
4. Я думаю, мне понадобится поддержка
технического специалиста, чтобы
использовать эту систему.
5. Я обнаружил, что различные функции
в этой системе хорошо интегрированы.
6. Я думал, что в этой системе слишком
много противоречий.
7. Думаю, большинство людей очень быстро
научатся пользоваться этой системой.
8. Я нашел систему очень громоздкой
в использовании.
9. Я чувствовал себя очень уверенно,
используя систему.
10. Мне нужно многому научиться, прежде
чем я смогу начать работать с этой
системой.
Общая оценка = 22
Совсем
не согласен
Полностью
согласен
4
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
4
1
2
1
1
4
3
Оценка SUS = 22 × 2,5 = 55
Рис. 6.12 SUS показывает пример ответа по 10 пунктам и общую оценку
Итак, какой же результат считается хорошим?
Джефф Сауро провел метаанализ 5000 оценок из
500 исследований по различным типам приложений
и определил, что средняя оценка составляет 68. Это
означает, что любая оценка выше 68 – выше среднего, а любая оценка
Сауро много писал о SUS.
Смотрите его блоги на сайте
https://www.measuringu.com.
Использование стандартных анкет после выполнения тестирования
231
ниже 68 – ниже среднего. Данное число – 68 – можно использовать
в качестве базового показателя для проведения итеративных исследований.
Со временем в ходе использования исследователи подтвердили,
что некоторые настройки SUS являются приемлемыми. Например,
слово система можно заменить на сайт, продукт, интерфейс или
приложение, не влияя на результаты. Для слова cumbersome (громоздкий) в пункте 8 можно сделать еще одну замену, поскольку люди, не
являющиеся носителями языка или с низким уровнем грамотности,
могут испытывать трудности с этим словом. Можно заменить его на
awkward (неуклюжий) или cumbersome/awkward, не оказывая влияния
на результаты.
Однако не перестарайтесь, иначе это уже будет не SUS. Чтобы иметь
широкое применение, эта анкета обязательно должна носить общий
характер. Если вы хотите подробнее рассказать об аспектах своего
продукта, то можете в конце добавить еще вопросы. Просто имейте
в виду, что вы не должны включать их в оценку SUS.
Использование анкеты CSUQ
Текущая версия CSUQ (Computer System Usability Questionnaire) очень
похожа на другую анкету, PSSUQ (Post-Study System Usability Questionnaire), в каждой из которых используется 16 пунктов, все в позитивном тоне. Утверждения CSUQ (версия 3) показаны на рис. 6.13.
Разница между CSUQ и PSSUQ заключается в основном в используемом времени: PSSUQ использует прошедшее время, а CSUQ – настоящее. Как и в случае с SUS, слово система можно заменить другим
словом, которое соответствует оцениваемому продукту.
Оценки по обеим анкетам выставляются по семиДля получения информации
балльной шкале. Также есть оценка NA (Not applicable
о том, как оценивать подшка– не применимо), чтобы участники могли указать, что лы элементов и как указать,
утверждение не относится к их опыту взаимодействия что вы используете третью
в юзабилити-тесте. Любая анкета может дать четы- версию CSUQ или PSSUQ,
ре балла: один общий балл и три подшкалы, которые см. книгу «Quantifying the User
измеряют качество системы, качество информации Experience: Practical Statistics
и качество интерфейса. Общий балл – это среднее зна- for User Research», 2016.
чение по всем 16 пунктам.
Использование NPS® (Net Promoter Score®)
NPS (Net Promoter Score) часто используется в опросах CX (customer
experience) для измерения степени удовлетворенности и лояльности
клиентов. Она также хорошо работает в юзабилити-исследованиях
B2B (business-to-business) и B2C (business-to-consumer).
232
Глава 6 • Подготовка к юзабилити-тестированию
Полностью
согласен
1 2
CSUQ
Версия 3
1
В целом я удовлетворен тем, насколько легко использовать эту
систему
3
4
5
Категорически
не согласен
6 7
Б/н
2
Использовать эту систему просто
3
Я могу быстро завершить свою работу с помощью этой системы
4
Мне комфортно пользоваться этой системой
5
Научиться пользоваться этой системой было легко
6
Я считаю, что благодаря этой системе моя продуктивность быстро
выросла
7
Система выдает сообщения об ошибках, которые ясно говорят мне,
как исправить проблемы
8
Если я ошибаюсь в использовании системы, я быстро и легко
исправляю ошибки
9
Информация (например, онлайн-справка, экранные сообщения
и другая документация), поставляемые с этой системой, мне понятны
10 Найти нужную мне информацию несложно
11 Информация, предоставляемая с помощью системы, помогает мне
выполнять свою работу
12 Организация информации на экранах системы понятна
13 У этой системы приятный интерфейс *
14 Мне нравится пользоваться интерфейсом этой системы
15 Эта система обладает всеми функциями и возможностями, которые
я ожидаю от нее
16 В целом я доволен этой системой
* «Интерфейс» включает в себя те элементы, которые вы используете для взаимодействия с системой. Например, некоторые
компоненты интерфейса – это клавиатура, мышь, микрофон и экраны (включая их графику и язык).
Рис. 6.13
CSUQ (версия 3) имеет 16 утверждений
Единственный вопрос – это что-то наподобие «Насколько вероятно, что вы порекомендуете [компанию/продукт] другу или коллеге?».
После ответов участники помещаются в одну из
NICE/Satmetrix, разработчик
трех категорий:
NPS, ежегодно проводит
сравнительное исследование.
https://www.netpromoter.com/
compare.
Как показано на рис. 6.14, NPS рассчитывается путем вычитания
процента детракторов из промоутеров. Оценки могут варьироваться от –100 до +100. Контрольные показатели для различных отраслей
можно найти в интернете.
Джефф Сауро задокументировал корреляцию межSauro, «Does Better Usability
ду
NPS и SUS. В исследовании 146 участников, которые
Increase Customer Loyalty?
оценили
свой опыт, используя и SUS, и NPS, люди из
The Net Promoter Score and
категории Промоутер имели среднюю оценку SUS 82,
the System Usability Scale»,
а у Детракторов средняя оценка SUS составляла 67.
2010. Сауро расширил это
исследование, включив в него Для оценки NPS на основе оценки SUS вашего иссленесколько тысяч ответов
дования разделите SUS на 10. Если SUS равна 72, NPS
с одинаковыми результатами. будет 7,2.
Создание или использование методов обратной связи для сбора качественных отзывов
Вовсе не вероятно
Нейтрально
Детрактор
Очень вероятно
Пассивный участник
Промоутер
% ПРОМОУТЕРОВ – % ДЕТРАКТОРОВ = ИНДЕКС NPS
Рис. 6.14
233
11-балльная шкала NPS от 0 до 10
Создание или использование
методов обратной связи для сбора
качественных отзывов
Помимо или вместо использования анкеты после проведения тестирования можно использовать метод обратной связи для сбора качественных отзывов, чтобы завершить сеанс тестирования. Преимущество данного метода заключается в том, что он частично или полностью передает контроль участнику, в отличие от анкеты, в которой вы
просите участников сделать вынужденный выбор в ответ на конкретные вопросы или утверждения.
Сам акт формулирования вопросов или утверждений в значительной степени диктует, что скажут (и не скажут) участники. Используя
метод обратной связи для сбора качественных отзывов, вы открываете возможность для ответов, которые сформированы тем, чем участник хочет поделиться с вами. Процесс предоставления участнику частичного или полного контроля может дать отличное понимание его
пользовательского опыта. Есть два метода обратной связи для сбора
качественных отзывов, которые следует рассмотреть:
• карточки реакции на продукт;
• заключительное интервью.
Использование карточек реакции на продукт
Карточки реакции на продукт были разработаны компанией Microsoft в рамках «набора инструментов для проверки желательности»,
созданного для понимания иллюзорного, нематериального аспекта
желательности, возникающего в результате взаимодействия пользователя с продуктом. Первоначальный инструментарий состоял
из двух частей: (1) исследования лиц, где участникам предлагалось
выбрать фотографию лица, выражение которого соответствовало их
опыту, и (2) исследования с помощью карточек, где участникам предлагалось выбрать описательные слова или фразы из большого набора карточек реакции на продукт. Эти карточки оказались настолько
успешными в первых исследованиях в 2002 г., что стали использоваться и другими группами в Microsoft, в первую очередь при запуске
MSN Explorer 9, интегрированного программного пакета.
234
Глава 6 • Подготовка к юзабилити-тестированию
В главе 7 показано, как
использовать карточки
в исследовании.
На рис. 6.15 показан набор из 118 карточек, 60 % из
которых представляют собой положительные слова,
а 40 % – отрицательные или нейтральные.
Соотношение 60 % положительных и 40 % отрицательных или нейтральных карточек в колоде основано на анализе Microsoft положительных отзывов выше среднего от участников при заполнении анкет
после окончания тестирования в юзабилити-оценках.
Мне нравится использовать эти карточки, потому
В главе 9 приведены примечто они дают невероятно полное представление об
ры, показывающие, как мы
опыте пользователя. На них уходит очень мало врепредставляем результаты
мени: выделяем около 5 мин. И самое интересное
карточек реакции на продукт
открытие, которое мы сделали, используя эти карв наших отчетах.
точки, происходит, когда мы сопоставляем карточки
всех участников исследования и затем можем увидеть, насколько
последовательно они выбирают одну и ту же или тесно связанную
карточку.
Завершающее интервью
Интервью, которое проводится по завершении юзабилити-теста,
дает участникам еще один способ поделиться опытом своими словами. В отличие от закрытых вопросов, которые обычно используются для отбора участников для исследования, открытое интервью в конце сеанса тестирования позволяет участникам поведать
о своем опыте без каких-либо дополнительных подсказок, например вопроса «Расскажите о своем опыте выполнения X (задание
из сценариев)». В некоторых случаях интервью может быть сосредоточено на вопросах, полученных от команды или наблюдателей.
Например, модератор может попросить участника подробно рассказать о том, что наблюдала команда, чтобы помочь ей лучше понять проблему. Иногда бывает полезно вернуть участника к определенному экрану, чтобы помочь ему вспомнить свой опыт. В других случаях, если изучаемый продукт отражает процесс, с которым
пользователь знаком, модератор может попросить участника описать его или нарисовать на бумаге. Или, если участник в настоящее
время использует сайт конкурента, он или она может перейти на
него, чтобы показать команде, как это контрастирует с опытом работы на вашем сайте.
Вы можете начать заключительное интервью, используя частично
структурированный подход, задав несколько заранее определенных
вопросов, но если после этого вы дадите ему идти своим ходом, то
сможете обнаружить некоторые очень полезные идеи. Однако нужно следить за временем, чтобы знать, когда следует закончить интервью.
Чтобы узнать о другом типе заключительного интервью, см. следующую врезку.
Завершающее интервью
Комплект из 118 карточек реакции на продукт
Accessible
Creative
Fast
Доступный
Креативный
Быстрый
Advanced
Customizable
Flexible
Передовой
Настраиваемый
Гибкий
Annoying
Cutting edge
Fragile
Раздражающий
Передовой
Хрупкий
Appealing
Dated
Fresh
Привлекательный
Устаревший
Свежий
Approachable
Desirable
Friendly
Доступный
Желательный
Дружелюбный
Attractive
Difficult
Frustrating
Привлекательный
Сложный
Раздражающий
Boring
Disconnected
Fun
Скучный
Отключенный
Веселый
Business-like
Disruptive
Gets in the way
Деловой
Разрушительный
Мешающий
Busy
Distracting
Hard to use
Занятый
Отвлекающий
Трудный
в использовании
Calm
Dull
Helpful
Спокойный
Тупой
Полезный
Clean
Easy to use
High quality
Чистый
Легкий
Высококачественный
в использовании
Clear
Effective
Impersonal
Ясный
Эффективный
Безличный
Collaborative
Efficient
Impressive
Совместный
Результативный
Впечатляющий
Comfortable
Effortless
Incomprehensible
Комфортный
Легкий
Непонятный
Compatible
Empowering
Inconsistent
Совместимый
Уполномочивающий Непоследовательный
Compelling
Energetic
Ineffective
Неотразимый
Энергичный
Неэффективный
Complex
Engaging
Innovative
Сложный
Привлекательный
Инновационный
Comprehensive
Entertaining
Inspiring
Всесторонний
Развлекательный
Вдохновляющий
Confident
Enthusiastic
Integrated
Самоуверенный
Восторженный
Интегрированный
Confusing
Essential
Intimidating
Невразумительный
Существенный
Пугающий
Connected
Связанный
Consistent
Последовательный
Controllable
Управляемый
Convenient
Удобный
Рис. 6.15 Это 118 слов и фраз из полного набора карточек реакции на продукт
236
Глава 6 • Подготовка к юзабилити-тестированию
Ретроспективное воспоминание – это подробный обзор
сеанса тестирования
Опрос специалистов по UX
показал, что только 21 %
(36 человек) используют эту
технику в большинстве своих
юзабилити-тестов: https://
uxpajournal.org/practices-challenges-think-aloud-protocols-survey/.
Ретроспективное воспоминание – это особый тип интервью,
которое проводится после тестирования, когда вы просматриваете записанный сеанс или его фрагменты вместе с участником. Если вы решите просмотреть с участником весь сеанс, то,
скорее всего, сделаете это вместо того, чтобы просить участника думать вслух во время тестирования.
Преимущество использования данной техники проявляется,
когда вы сосредотачиваетесь на заданиях, назначенных на
определенное время, где вы не хотите, чтобы участник размышлял вслух, или когда сама задача требует такой концентрации, что участник
будет перенапряжен, если его попросят говорить во время работы.
Недостаток – и он существенный – состоит в том, что для использования данного
метода требуется гораздо больше времени. Нужно не только подготовить запись
для просмотра, но также может потребоваться остановить ее во время просмотра,
чтобы участник мог объяснить, что он или она думали и делали во время выполнения задания. Планируя график тестирования, нужно выделить вдвое больше
времени на каждый сеанс тестирования.
Подготовка к тестированию
Любому спектаклю нужна генеральная репетиция. Без этого премьера была бы полна неожиданных сюрпризов. То же самое касается
и юзабилити-тестирования. При всех усилиях, необходимых для эффективного отбора и записи участников, важно, чтобы сеансы тестирования не доставляли забот ни вам, ни вашей команде, ни участникам.
Я рекомендую двухэтапный процесс подготовки к тестированию.
1. Разбор – «чтение» пьесы с замещающим пользователем для тестирования ролей и постановки.
2. Пилотный проект – настоящая генеральная репетиция с реальным пользователем.
Проведение разбора
Разбор дает команде первый шанс занять свои места, пройтись по
протоколу теста и обсудить его. Вы увидите, как все работает. Если
вы проводите тестирование в помещении, то можно продумать его
оснащение и внести необходимые корректировки. При проведении
удаленного тестирования можно удостовериться, что программное
обеспечение для совместного взаимодействия работает, а процесс
обмена сценариями и другие аспекты протокола тестирования хорошо продуманы. Если вы планируете немодерируемое исследование,
Подготовка к тестированию
также можете многому научиться в ходе разбора, что особенно важно, если участники будут работать самостоятельно.
В случае с модерируемыми тестами разбор дает регистратору возможность увидеть, как будет проходить ведение журнала, в том числе
с использованием всех кодов, которые можно настроить для стандартных задач. Среди распространенных кодов можно упомянуть
следующие:
•
•
•
•
•
•
•
•
•
S = начать задачу;
E = завершить задачу;
N = отрицательный результат;
P = положительный результат;
H = пользователь обращается за помощью в онлайн-справку или
звонит в службу поддержки;
F = пользователь не справляется с задачей и сдается;
C = пользователь выполняет задачу;
B = глюк, системная ошибка;
M = инструкция или комментарий модератора.
Настройтесь на то, что разбор будет жестким. Будьте готовы делать
записи и вносить изменения в материалы тестирования. Поскольку
для внесения этих изменений потребуется время, нужно запланировать разбор заранее, чтобы сделать то, что требуется, после. Иногда
из практических соображений это может означать планирование разбора за день или ночь до начала тестирования, поскольку это, может
быть, первая возможность собрать команду или первый шанс поработать с продуктом.
Кто является участником разбора? В идеале – кто-то из вашего
пользовательского пула. Однако в этом нет необходимости и это может оказаться непрактичным. Гораздо чаще можно найти «толерантного» пользователя, который заменит целевого. Этот человек должен
быть готов к тому, что система может выйти из строя, что команде,
возможно, придется остановиться и внести коррективы в материалы,
или могут возникнуть другие проблемы. Вот почему его называют
«толерантным».
Такой человек может относиться к категории «друзья и семья». Однако он не должен быть членом вашей команды и не должен знать
о вашем продукте, целях и т. д. Конечно, чем точнее этот человек
представляет атрибуты вашего целевого пользователя, тем реалистичнее будет результат.
Проведение пилотного теста
Если вы действительно ограничены во времени, то можете не проводить разбор, но непременно должны провести пилотный тест.
В качестве генеральной репетиции пилотный проект представляет собой проверку теста с реальным пользователем и с планом, про-
237
238
Глава 6 • Подготовка к юзабилити-тестированию
веренным в ходе разбора. Даже если вы провели разбор, может потребоваться внести еще несколько изменений на основе пилотного
проекта, потому что вы проводите тестирование с реальным пользователем. Если вы не выполнили разбор, то изменения, которые необходимо внести, могут быть значительными.
Проводя небольшое исследование, возможно, вы решите нанять
дополнительного участника на случай, если вам придется отказаться
от этого сеанса.
Однако, если изменения, необходимые после пилотного проекта,
незначительны, особенно если они не влияют на функциональность
продукта, сценарии или анкеты, которые выдаются после выполнения
задач и окончания тестирования, можно включить сюда результаты
пилотного проекта. Обычно я набираю шесть человек для однодневного исследования и говорю клиенту, что если мы не сможем использовать результаты, полученные от пилотного пользователя, то нам
по-прежнему будет достаточно пяти участников в одной подгруппе.
При проведении тестирования с несколькими подгруппами пользователей вы, скорее всего, выберете одну из них для пилотного проекта (если ваш бюджет не позволяет вам провести пилотный тест для
каждой подгруппы). Выбор, какую подгруппу использовать, зависит
от нескольких факторов, таких как:
• сценарии для конкретной подгруппы, которые больше всего бес•
•
•
покоят вас при тестировании на предмет проблем с синхронизацией или понимания пользователем;
подгруппа пользователей, к которой у вас есть самый простой
доступ, поскольку вы возьмете дополнительного пользователя
из этой подгруппы;
доступность участника в данном временном интервале;
выбор участника, который соответствует некоторым, но не всем
вашим характеристикам из скринера (кто-то менее идеальный,
но достаточно близкий, так что, если вам придется отбросить эти
результаты, это окажет меньше влияния, чем отказ от более подходящего варианта согласно вашему скринеру).
На основе результатов пилотного проекта, если есть время, можно
провести анализ результатов, чтобы понять их процесс и типы, которые вы, вероятно, увидите снова. Даже если вы в конечном итоге не
воспользуетесь результатами этого проекта, благодаря этому сеансу
остальная часть исследования пойдет более гладко.
Вы также можете выбрать любые коды регистрации для конкретного исследования, которые хотите добавить в свой стандартный
список, теперь, когда лучше понимаете, что вы увидите в последуюЕсли вы используете «N» для щем тестировании. Типичные результаты исследоваобозначения отрицательного ния могут быть связаны со следующим:
результата в своих стандартных кодах, то можно написать
«Nav».
•
•
N = навигацией;
T = терминологией;
Резюме к главе 6 239
• ММ = ментальной моделью (соответствие или несоответствие
•
•
ожиданию/опыту пользователя);
FR = запросом на функцию (пользователь выражает желание
улучшить продукт);
Q = цитатой участника (пометить хорошую цитату, которую вы,
возможно, захотите включить в свой отчет).
Еще одно важное продолжение пилотного проекта, если есть время, – просмотр записи сеанса с уделением при этом особого внимания модератору. Поскольку модерация – это приобретенный навык,
начинающие модераторы могут извлечь пользу из отзывов команды
о взаимодействии с участником, которые модератор может использовать, чтобы добавить заметки в сценарий.
Когда следует проводить пилотный тест? Если ответить коротко –
когда будете готовы. Практически это может означать в день тестирования. Если это тот самый случай, то сначала вам нужно будет запланировать пилотный проект. Затем последует перерыв с достаточным
количеством времени, чтобы внести необходимые изменения в материалы до того, как следующий участник будет внесен в список. При
планировании пилотного проекта за день до начала тестирования
можете освободить время для анализа после проекта, а также у вас
будет время для внесения необходимых изменений в материалы для
тестирования.
Управление всей этой подготовкой
к тесту
Чувствуете себя подавленными из-за всего того, что перечислено
в списке дел в этой главе? Не стоит.
Я включила сюда много подготовительных задач, которые могут
вам и не понадобиться, особенно при работе в одиночку или с командой. Все, что вам действительно нужно для начала, – это хорошие
задания или сценарии, подходящие участники, отличная модерация
и правильное ведение записей.
Если вы проводите свои первые тесты, делайте по крайней мере то,
что умеете, чтобы получить достоверные результаты. Со временем
можно приступить к добавлению других подготовительных элементов
в свой план тестирования. Основная цель – иметь план, использовать
его и получать результаты, которые улучшат пользовательский опыт.
Резюме к главе 6
В этой главе описаны шаги, которые необходимо предпринять для
подготовки к юзабилити-тестированию. Они включают в себя:
• отбор и запись участников – задачу, на выполнение которой требуется больше всего времени;
Powered by TCPDF (www.tcpdf.org)
240
Глава 6 • Подготовка к юзабилити-тестированию
• назначение ролей членам команды во время сеансов тестирова-
ния, куда входят:
разработка контрольных списков,
написание сценария модератора;
подготовку или поиск других форм, которые вы будете использовать в сеансах тестирования. Среди них:
форма согласия на видеосъемку для разрешения записи сеанса,
специальная форма согласия при проведении тестирования
с участием несовершеннолетних,
соглашение о неразглашении информации о разрабатываемых продуктах,
форма наблюдателя для стандартизации процесса ведения
записей;
создание или использование доступных анкет в зависимости от
типов, которые вы хотите использовать, в том числе:
анкеты, которая выдается до начала тестирования, чтобы получить больше информации об участниках, прежде чем они
начнут работать с продуктом,
анкет, которые выдаются после выполнения заданий, чтобы
получить незамедлительный отзыв после каждого сценария,
анкеты, выдаваемой после тестирования, чтобы получить отзывы обо всем опыте. Это могут быть:
– стандартные вопросы, которые можно использовать для
любого юзабилити-исследования,
– специальные вопросы для получения отзыва по конкретному исследованию;
использование стандартных анкет, выдаваемых после тестирования, куда входят:
SUS (System Usability Scale),
CSUQ (Computer System Usability Scale),
NPS (Net Promoter Score);
создание или использование методов обратной связи для сбора
качественных отзывов, которые включают в себя:
карточки реакции на продукт от компании Microsoft,
интервью в конце сеанса.
•
•
•
•
Когда эти материалы подготовлены и их можно использовать, последнее, что нужно сделать, – это провести один или оба следующих
теста:
• разбор с «толерантным», а не с фактическим пользователем, что•
бы узнать, как обстоят дела, и выяснить, что нужно изменить;
пилотный проект с реальным пользователем, чтобы провести
генеральную репетицию с последней возможностью внести изменения в материалы перед продолжением шоу.
Образец
отчета
Сценарий модератора
для юзабилити-исследования сайта
betterworldbooks.com
Поприветствуйте участника
Привет, _________. Меня зовут Эндрю, я работаю Полный план тестирования
в PHT Solutions. Как проходит ваш день? Вам понрави- для этого исследования, подготовленный PHT Solutions,
лась лаборатория?
доступен на сопутствующем
сайте: https://www.elsevier.
Укажите цель исследования
com/books-and-journals/bookПрежде всего хочу поблагодарить вас за участие
companion/9780128169421.
в этом исследовании. Я понимаю, что ваше время ценно, но, надеюсь, вам понравится этот опыт.
Мы проводим юзабилити-тестирование сайта книжного магазина
Better World Books. Следующий час мы проведем вместе, чтобы узнать
о ваших впечатлениях об этом сайте. Помните, что мы тестируем
сайт, а не вас.
Мы попросим вас выполнить ряд заданий, соответствующих целям, которые могут быть у типичных пользователей, таких как вы,
при использовании данного сайта. Нам интересно знать, как вы делаете что-то, куда смотрите и т. п. Однако нас больше интересует не
то, что вы делаете, а то, о чем думаете, как реагируете на вещи, представленные на сайте.
Опишите процесс размышления вслух
Одна важная вещь, о которой необходимо помнить во время тестирования, – нам нужно, чтобы вы «думали вслух». Знаете, используя
что-то, вы можете расстроиться или запутаться и думаете про себя:
«Почему все так сложно? Что я ищу? Я думаю, это то, что мне нужно
сделать». Делайте то же самое, но вместо того, чтобы просто думать,
мы хотим, чтобы вы говорили это вслух.
Знаю, звучит немного странно, но вы быстро привыкнете. Это действительно помогает понять, о чем вы думаете, когда пользуетесь
сайтом. Если вам что-то нравится, мы хотим это знать. Если вы расстроены или запутались, мы тоже хотим знать об этом. Мы не можем
определить, о чем вы не хотите нам рассказывать, поэтому, пожалуйста, говорите, что у вас на уме. Я хочу, чтобы вы знали, что в этом
исследовании нет неправильных ответов. Мы ждем ваших искренних
впечатлений.
Мы будем наблюдать за тем, как вы выполняете эти задания, и делать записи, чтобы иметь возможность сообщить о своих результатах
нашим спонсорам. Они будут использовать их для улучшения своего
сайта в будущем.
242
Глава 6 • Подготовка к юзабилити-тестированию
Предоставьте формы, необходимые для участия
У нас есть несколько форм, которые нужно заполнить прежде, чем
продолжить тестирование. Первая – это форма, подтверждающая ваше согласие на видеосъемку. Как мы уже сказали, когда отбирали вас
для этого исследования, сеанс будет сниматься на видео. Вот форма;
прочтите ее и подпишите, если согласны. (Протяните форму пользователю.)
Вторая форма – это анкета, которая вручается перед тестированием. Мы просто пытаемся узнать ваше мнение, каковы ваши ожидания, предыдущий опыт и т. д.
Я зачитаю вопросы вслух, и вы просто честно ответите на них.
У нас есть человек, который запишет эти ответы. (Прочтите анкету
пользователю и запишите ответы.)
Опишите комнату
Я хочу воспользоваться моментом, чтобы описать вам комнату.
Это компьютер, который вы будете использовать для тестирования
сайта https://www.betterworldbooks.com. Он уже настроен, и вы можете
использовать браузеры Chrome или Firefox. Выбор за вами. Есть несколько камер, записывающих и этот сеанс: на потолке, в каждом углу
и две на столе. Это – маленькая белая камера, которая, как вы можете заметить, слегка двигается во время тестирования; не пугайтесь.
Просто мы пытаемся выбрать более подходящий ракурс для вас во
время записи.
Другая камера – это черная камера Logitech у монитора. Она отслеживает движения вашей головы и глаз. Наконец, маленькое черное
квадратное устройство рядом с клавиатурой – это микрофон. Не двигайте его, просто говорите обычным голосом, и мы услышим.
Объясните процесс тестирования
Мы дадим вам ряд заданий, которые нужно будет выполнить.
У каждого – конкретная цель, и мы хотим, чтобы вы изучили сайт
и выполнили все задания. Мы сообщим, нужно ли использовать определенные учетные данные для входа, но большую часть времени вы
будете достигать каждой цели наиболее подходящим для вас способом. Пока вы заняты сайтом, мы будем наблюдать за вами за этим
односторонним зеркалом.
Кроме того, ваши движения глаз будут отслеживаться, чтобы мы
могли видеть, куда вы смотрите на сайте. Давайте сейчас настроим
оборудование для окулографии. (Настройте оборудование вместе
с пользователем; во время настройки объясните ему, как оно работает.)
Я буду находиться с вами во время выполнения первых двух заданий. После каждого из них мы поговорим о вашем опыте, о том, как
вы себя чувствовали во время выполнения задания и так далее. После
пары заданий, когда вы освоитесь с процессом, я выйду и присоединюсь к команде в другой комнате. Выполняйте все задания и делайте
Сценарий модератора для юзабилити-исследования сайта betterworldbooks.com
это как можно лучше. Я подробнее расскажу об этом позже. По окончании вам будет предоставлена заключительная анкета. Мы компенсируем вам потраченное время с помощью этой подарочной карты.
Попросите участника поделиться вопросами
или проблемами
Итак, прежде чем мы начнем, у вас есть какие-нибудь вопросы или
проблемы?
Начните исследование
Хорошо, тогда можем начинать. Вот задание № 1. Как я уже сказал
ранее, я останусь здесь, в комнате вместе с вами, на время первых
двух заданий. Когда вы освоитесь с процессом, я выйду и буду наблюдать из другой комнаты. Как будете готовы, прочтите задание вслух
и дайте мне знать, если у вас возникнут вопросы.
243
Проведение
юзабилититеста
7
Наконец-то. После всего планирования и подготовки наступает время проведения юзабилити-теста. Если это первый тест, то вы, вероятно, нервничаете и взволнованы одновременно. Даже если вы уже
проводили тестирование, возможно, вы впервые применяете процессы и процедуры, изложенные в этой книге. И, если вы похожи на меня
независимо от того, сколько раз участвовали в юзабилити-исследовании, нервозность и волнение никогда не исчезнут.
Почему вы нервничаете? Потому что входите на неизведанную
территорию. Вы тестируете интерфейс, который, возможно, является
новым для вас и почти наверняка новым для ваших пользователей,
и используете план тестирования, уникальный для этого теста.
Почему вы взволнованы? Потому что люди такие замечательные,
и вы столько всего сможете узнать, в том числе и нечто совершенно
неожиданное, когда будете наблюдать и работать с реальными пользователями продукта.
Откровенно говоря, нервная дрожь никогда меня не покидает,
и думаю, что то же самое будет и с вами.
Итак, поехали. Эта глава:
• начинается там, где и ваш день, – с подготовки к тестированию;
• фокусируется на критической роли модератора в обеспечении
•
комфортной ситуации для участника с избежанием при этом
предвзятого отношения к нему через язык тела, комментарии
и вопросы модератора;
описывает способы управления вариациями темы тестирования
при тестировании с двумя или более участниками, двумя или
более модераторами и при модерируемом удаленном тестировании;
Быть эффективным и непредвзятым модератором
245
• описывает внимательное отношение к наблюдателям, когда они
•
•
•
находятся в одной с вами комнате, в другой комнате или наблюдают удаленно;
представляет план «клиентской поддержки», когда участники
обращаются за помощью;
рассматривает методы регистрации результатов с помощью
программного обеспечения или форм наблюдателя;
предоставляет варианты, которые следует учитывать, если вы
работаете в одиночку.
Подготовка к тестированию
День тестирования начинается не с прибытия пер- Информация о создании этих
вого участника. В зависимости от ситуации – будь то контрольных списков привоваша собственная лаборатория, место, которое вы за- дится в главе 6.
резервировали в компании или за ее пределами, или
удаленное тестирование – вам нужно начать свой день с подготовки
к сеансам или удостовериться, что все готово. Используя контрольные списки, каждый из членов команды проходит этот процесс подготовки. Также нужно удостовериться, что продукт готов для первого
участника. Это особенно важно, когда вы тестируете прототип или
версию продукта, которую раньше не видели.
Иногда такие действия также подразумевают подготовку комнаты, где будет проводиться исследование. Большинство исследований проводится в типичном офисе с компьютером или ноутбуком
на столе. Но некоторые продукты требуют специальной подготовки
или специального оборудования. Если у вас уже есть доступ к месту
тестирования, то, конечно, вы все подготовите до начала назначенного дня.
Но если этого нельзя сделать до тех пор, пока вы В главе 2 я показала
не появитесь на месте в день тестирования, то вам изображение лаборатории,
может потребоваться более часа, чтобы все было го- переоборудованной
в гостиную, для ознакомления
тово. При проведении удаленного тестирования нужс инструкциями по установке
но проверить, правильно ли настроено программное цифровой приставки для
обеспечение для скриншеринга.
кабельного телевидения.
Быть эффективным и непредвзятым
модератором
Хотя каждый в команде играет важную роль в достижении успешного
результата тестирования, ключевая роль принадлежит модератору,
потому что модератор – это человек, который напрямую взаимодействует с участником. Правильное взаимодействие очень важно для
создания положительного опыта у участника и получения достоверных результатов. Но вы готовы к своей роли, потому что подготовили
246
Глава 7 • Проведение юзабилити-теста
О подготовке сценария модератора рассказывается
в главе 6.
сценарий модератора и отработали его во время разбора и пилотного теста.
Чтобы быть эффективным модератором, нужно не
только дать участникам возможность почувствовать
Дополнительную информасебя комфортно в начале и на протяжении всего сеанцию о модерации юзабилиса, но также необходимо избегать предвзятого отноти-тестов см. в книгах «Moderating Usability Tests: Principles шения к ним, что выражается языком тела, комментариями и вопросами.
and Practices for Interacting»,
На следующей врезке Чонси Уилсон, известный
2008, и «The Moderator’s Survival Guide: Handling Common, специалист по юзабилити, дает отличный список соTricky, and Sticky Situations in
ветов и стратегий, как стать хорошим модератором.
User Research», 2014.
Изучив их перед тем, как начать исследование, вы
сможете сосредоточиться на самом главном.
Как стать хорошим модератором
Чонси Уилсон
Следующие советы и стратегии предназначены для модераторов, работающих
с участниками тестирования лицом к лицу, но большинство из них может быть
адаптировано для проведения сеансов удаленного юзабилити-тестирования.
1. Успешный сеанс тестирования начинается, когда вы встречаетесь с участником и приводите его или ее в лабораторию. Первая встреча, которая проходит спокойно и душевно (но не слишком дружелюбно), очень важна. Поездка
на лифте или прогулка по коридору часто является тем самым местом, чтобы
приступить к налаживанию контакта.
2. Модератор должен составить список и использовать нейтральные «подсказки»,
которые можно применять для получения информации, деталей, и напоминать
участнику, чтобы он продолжал диалог. Если участник молчит, то можно спросить
его: «О чем вы думаете?» Составьте список нейтральных вопросов или утверждений, и их использование может помочь избавиться от предвзятого отношения.
3. Когда я начинал лабораторное тестирование, то обнаружил, что очень полезно снимать себя на видео во время пилотных и реальных сеансов. Я заметил
небольшие нервные тики и дурные словесные привычки (хм, ну, ладно). Также
можно отметить невербальные сигналы, которые вы можете посылать участнику. Чтобы стать хорошим модератором, можно попросить своих коллег просмотреть сеансы и выступить с критикой в отношении вашего стиля модерации.
4. Избегайте использования нагруженных слов, таких как «тест» (слово «исследование», вероятно, подойдет) и «объекты» («коллеги» или что-то менее негативное, наверное, будет звучать лучше).
5. Я стараюсь следовать правилу Кодекса поведения UXPA, согласно которому
состояние участников после окончания исследования должно быть не хуже
того состояния, в котором они находились, когда пришли сюда. И, если это
возможно, они должны уходить с положительной реакцией на свое участие.
Говоря коротко, «не навредите и по возможности принесите пользу».
6. Хороший модератор должен следить за тем, чтобы все наблюдатели и лица,
ведущие записи, соблюдали ряд правил, например не говорили об участнике
в коридоре или туалете (это может выглядеть не очень хорошо, если участник
Быть эффективным и непредвзятым модератором
7.
8.
9.
10.
11.
12.
13.
не ушел с тестирования, как ожидалось), не смеялись в «звуконепроницаемых» комнатах для наблюдения и не использовали полное имя человека,
даже если оно упоминается на видео.
Модератор всегда должен запускать один или два пилотных сеанса, чтобы
убедиться, что оборудование и программное обеспечение работают должным образом, задания соответствуют требованиям, а сценарий подходит
в качестве руководства для сеанса. Я знаю людей, которые долгое время работали в этой области и которые сразу же приступают к исследованию, не
выполнив пилотный проект. Но даже опытным специалистам необходимо
проводить его. Я также считаю, что хороший модератор сам выполняет все
задания, даже если требуется помощь специалиста в предметной области.
Хорошее знание заданий обеспечивает более тонкое наблюдение.
Хороший модератор очень скрупулезно защищает личные данные человека.
Это так же важно для внутренних пользователей, как и для внешних. Многие
компании несколько пренебрежительно относятся к внутренним пользователям, но у внутреннего пользователя, который плохо справляется с исследованием, могут возникнуть серьезные проблемы с самооценкой, если его
коллеги будут негативно воспринимать его.
Полезно подготовить контрольный список, чтобы помнить обо всех процедурах, формах и т. д. Опять же, это полезно даже для опытных специалистов. Такая простая вещь, как отсутствие ручек для участников, может слегка смутить,
и вы потратите драгоценные минуты, отведенные для сеанса.
Полезно составить сценарий исследования. Если вы собираетесь читать сценарий дословно, сообщите об этом пользователю и объясните, что вы делаете
это, чтобы все было последовательно. Но также обратите внимание на то, что
вы ответите на любой вопрос, касающийся процедур (но не на вопросы по
продукту) в любое время. Даже если вам не нужен подробный сценарий (для
неформального исследования, например), его написание помогает сделать
так, чтобы сеансы шли гладко. Если вы используете сценарий, он не должен
звучать слишком отрепетированным.
Хороший модератор знает, когда закончить задание или попросить человека
уйти после того, как он долго старался изо всех сил. Если пользователь пробует один и тот же ошибочный метод, чтобы выполнить задание шесть раз
подряд, вы вряд ли узнаете что-то новое и можете дать ряд «подсказок», чтобы увидеть, увенчаются ли успехом его действия. Возможно, у вас ограничено
время для каждого задания. Если он не выполнит задание, скажем, за 10 мин,
попросите его перейти к следующему. Сделать это нужно мягко и, возможно,
следует подготовить несколько броских фраз, когда это произойдет (например, «Отлично. Вы сделали то, что нам нужно, поэтому в интересах экономии
времени...»).
Как правило, не сообщайте участнику, сколько заданий запланировано. Если
человек знает, что у вас их 10, а он выполняет только задание № 5 и время истекает, он или она могут начать беспокоиться или смутиться. Вначале можно
сказать что-то вроде: «Мы на вас не давим, заставляя выполнить все задачи,
некоторые задания можно пропустить во время сеанса».
Будьте осторожны, не используйте слишком много утверждений («ОК», «Отлично», «Здорово») во время теста. Например, я неоднократно слышал, как
коллеги используют слово «Отлично!» во время сеанса. Лучше дождаться его
завершения, чтобы похвалить за усилия, вложенные участником в исследование. Положительные утверждения могут восприниматься как намеки на то,
что участник поступает правильно, и, возможно, исказят результаты теста.
247
248
Глава 7 • Проведение юзабилити-теста
Следите за языком тела
Трудно понять, что ваш язык тела сообщает другим. Но если вы хотите быть эффективным и непредвзятым модератором, то необходимо понимать, что выражение вашего лица и движения тела говорят
и значат для участников.
Ваша цель – установить дружеские и профессиональные отношения. Культурные, региональные и гендерные различия могут повлиять
на то, что значит быть дружелюбным и профессиональным, поэтому
универсальных правил не существует. Тем не менее не нужно, чтобы
вас считали слишком дружелюбным. Или слишком неприветливым.
Если вы открыто проявляете свои эмоции (возможно, любите обниматься?), нужно устоять перед соблазном прикоснуться к участнику,
даже если вы хотите приободрить человека. Похлопывание участника
по плечу или руке может означать, что вы занимаете «главенствующее» положение, а это не способствует духу партнерства, которое вы
хотите установить со своим участником.
Язык тела и выражение лица могут работать на вас или против вас.
Например, когда вы наклоняетесь, то показываете интерес к участнику; если отклонитесь назад, это указывает на обратное. Однако, изменяя положение тела, иногда наклоняясь вперед, а иногда – назад,
можно дать участнику понять, что ваше внимание или интерес меняется. Лучше всего принять нейтральную позу и придерживаться ее.
То же самое касается и выражения лица. Оно должно быть нейтральным, если это возможно, или положительным независимо от того, что участник говорит или делает, если, конечно, он намеренно не
говорит что-то смешное. Тогда можно смеяться. В противном случае
старайтесь избегать выражения лица, которое можно было бы интерпретировать как реакцию на действия участника. К ним относятся
неодобрительный, хмурый взгляд и любые невербальные выражения,
такие как вздохи или зевота.
Также следите за руками и ногами. Когда вы скрещиваете руки во
время разговора с участником, это может означать защитную позу
и ограничивать общение. Ерзание (ногой, ступней или рукой) часто
указывает на нервозность.
Изучая записанные сеансы модерации и слушая критику со стороны членов своей команды, вы можете научиться, как общаться невербально, чтобы сосредоточиться на том, что хотите изменить.
Следите за похвалой
Участники часто хотят угодить. Им так этого хочется, что они, как
правило, ставят в анкетах, выдаваемых после выполнения заданий
и тестирования, высокие оценки, показывая, насколько «легко» было
выполнить задание, даже если вы видели, что у них не все получается.
Ривз и Насс сообщают о ряде удивительных открытий, подтверждаю-
Быть эффективным и непредвзятым модератором
щих эту тенденцию, в своей книге «The Media Equation». Например,
они обнаружили, что, когда участникам исследования нужно было
оценить производительность компьютера, они были более позитивны, когда их просили ответить об используемом ими компьютере
в сравнении с другим для ответа на те же вопросы. Другими словами,
люди вежливы и с компьютерами.
Зная эту тенденцию, вы понимаете, насколько важно избегать
предвзятого отношения к типу ответа, который вы хотите получить
от своего участника. Это означает, что не нужно усердствовать, когда вы хвалите его, что бы ни случилось. Умеренная похвала означает
положительный отзыв как в случае неудачного выполнения задания,
так и в случае успеха. Если участник знает, что он не справился с задачей, то может очень расстроиться. Ваша цель – заставить его оценить,
насколько полезно было наблюдать за этим взаимодействием. Подчеркните, что вы получили много информации от него, и похвалите
за усилия.
Я видела, как неопытные модераторы хвалят только за успешное
выполнение задания и ничего не говорят, когда участники сталкиваются с неудачами. Такая похвала только усиливает разочарование
участника по поводу «неудачи» и может еще больше укрепить его веру в то, что модератор хочет слышать только положительные отзывы
о его опыте.
Задавайте хорошие вопросы
Задавать хорошие вопросы – значит формулировать их беспристрастно. Как и многое другое, что делает модератор, это – приобретенный
навык. Нужно не только научиться задавать хорошие вопросы, но
и знать, как отвечать на вопросы, которые задает вам участник.
Например, участник может спросить: «Я правильно сделал?» Если
вам зададут такой вопрос, не отвечайте на него. Конечно, не нужно
быть грубым и просто игнорировать его, но вы узнаете больше, если
вежливо отреагируете, задав ответный вопрос, чтобы участник поделился с вами своими мыслями. Например, отвечая на вопрос участника, можно сказать: «Как вы думаете, что должно было произойти?»
или «Это то, чего вы ожидали?» Таким образом, вы пытаетесь получить больше информации, вместо того чтобы дать ответ, который может внести предвзятость в сеанс.
Иногда у команды появляется пара вопросов к участнику, которые
они хотят, чтобы вы задали. Допустим, команда хочет знать, почему
участник использовал кнопку Back, а не кнопку Home, чтобы вернуться на главную страницу сайта. Не нужно задавать назойливых
вопросов вроде «Почему вы не воспользовались кнопкой Home?».
Вместо этого спросите: «Можете рассказать мне, как вы перешли на
домашнюю страницу?» Или если вы заметили, что участник не на-
249
250
Глава 7 • Проведение юзабилити-теста
шел ссылку на информацию, требуемую в задании (возможно, она
находится «в нижней части страницы» на экране и нужно прокрутить
страницу вниз), то можно спросить: «Как вы думаете, где можно найти более прямой путь к информации, необходимой для этого задания?» Или: «Есть ли другой способ попасть туда отсюда?»
Хорошие вопросы начинаются со слов «что» или «как»
(а не со слова «почему»)
Хорошие вопросы заставят участника почувствовать, что вы заинтересованы узнать больше. Они побуждают участника поделиться
своими впечатлениями о пользовательском опыте. Вопросы, начинающиеся со слов «что» и «как», обычно хорошо справляются с этим.
Например:
• Что вы пытаетесь сейчас сделать?
• Какую дополнительную информацию вы бы хотели увидеть?
• Как, на ваш взгляд, можно было бы решить эту проблему?
Дополнительные советы
и способы задавать хорошие
вопросы можно найти
в статье «How (Much) to
Intervene in a Usability Testing
Session», 1998.
Вопросы, начинающиеся со слова «почему», как
правило, предполагают, что участник сделал что-то не
так. Они склонны заставлять участника защищаться.
Вместо того чтобы спросить «Почему вы выбрали эту
кнопку?» перефразируйте вопрос и спросите что-нибудь менее конфронтационное, например: «Как вы
решили выбрать это?» Или «Расскажите, как вы выбираете этот вариант...» и «Это то, что вы ожидали найти?».
Хорошие вопросы должны быть сбалансированы
Задавая вопрос, содержащий прилагательное – например, успешный
или трудный, – используйте прилагательные в паре (успешный–неудачный или легкий–сложный), чтобы не создавать впечатление, будто
вы хотите получить конкретный ответ. Например:
• несбалансированный вариант: «Итак, насколько сложно это было
•
для вас?»
сбалансированный вариант: «Итак, насколько легко или сложно
это было для вас?»
Или вообще избегайте употребления прилагательных: «Итак, как
все прошло?»
На следующей врезке представлены дополнительПодробнее о создании хороные
инструкции о способах эффективного взаимодейших вопросов см. главу 6.
ствия с каждым участником.
Быть эффективным и непредвзятым модератором
Методы успешного взаимодействия с участниками
По материалам Джуди Рэми, Вашингтонский университет, с дополнениями, предоставленными Usability Analysis & Design, Xerox Corporation.
В целом:
• когда вы отбираете участников для исследования, обратите внимание на то,
как они отвечают на ваши вопросы. Определитесь со стратегией привлечения
участника до того, как он приедет на юзабилити-исследование;
• будьте осторожны при общении с участником:
не шутите, не балуйтесь сарказмом, не флиртуйте и не выдавайте свою нервозность,
будьте «маленьким» по отношению к участнику. Сядьте немного поодаль от
участника на более низком стуле,
избегайте использования резких духов или лосьона после бритья. У участника может быть аллергия на запах, или он может посчитать, что это отвлекает его;
• относитесь к участнику непредвзято:
не выдавайте собственные взгляды или мнения об уровне или навыках
участников,
не позволяйте участнику узнать о вашем предвзятом отношении к продукту;
• избегайте взаимодействий с участником, которые могут сместить акцент
с участника на проектировщика:
не ждите, что участник расскажет вам, как решать проблемы,
не ждите, что участник ответит на другие вопросы, касающиеся дизайна,
всегда сосредотачивайте внимание на участнике, а не на себе. Избегайте
местоимения «я» и длинных объяснений того, как работает система,
сохраняйте связь с участником. Не беспокойтесь о следующем вопросе, который вы собираетесь задать,
записывайте дизайнерские идеи, чтобы не беспокоиться о том, что вы забудете их после теста. Просто убедитесь, что вы пометили их каким-либо
образом, чтобы знать, что это были ваши идеи, а не то, что сказал участник;
• не позволяйте себе терять терпение!
когда кажется, что у участника есть проблема, он часто может решить ее без
вашей помощи,
когда вы чувствуете, что вот-вот вскочите со стула, сначала сосчитайте до 10.
Участнику может потребоваться время подумать,
если вы сделаете это слишком рано, то упустите ценные данные, а участник
может зависеть от вашей помощи;
• научитесь проводить исследования нейтральным способом, чтобы получить информацию, на которой могут основываться улучшения дизайна.
251
252
Глава 7 • Проведение юзабилити-теста
Методы, побуждающие думать вслух
Вот несколько проверенных методов, которые можно использовать:
•
•
•
•
побуждение,
переспрашивание,
«разговорный дисбаланс»,
подведение итогов на ключевых переходах.
Побуждение
• Сосредоточьтесь на задачах, а не на особенностях. Не спрашивайте: «Вам нравится это диалоговое окно?» Спросите: «Помогло ли это диалоговое окно достичь вам своей цели?»
• Сосредоточьтесь на вопросах, а не на ответах.
• Изучите мышление участников нейтральным способом:
не спешите предполагать, что участник заблудился или у него возникла
проблема.
не говорите: «Какая у вас проблема?» Спросите: «Какова ваша цель?» или
«Как вы думаете, что нужно здесь сделать?»
• Не выдавайте свои интересы или точку зрения своими комментариями, акцентом, «просыпаясь» и проявляя интерес, а также выражая свое несогласие выражением лица или голосом.
• Хорошие вопросы, ориентированные на пользователя:
какова ваша цель?
чего вы хотите здесь достичь?
чего вы ожидали, когда вы..?
как вы ожидали, это будет работать?
можете ли вы сказать мне, о чем вы думали?
о чем вы думаете прямо сейчас?
можете ли вы описать шаги, которые вы здесь проходите?
каким вам показался этот процесс?
Переспрашивание
• Повторите их же слова или фразу в ответ на вопрос: «Это сообщение сбивает
вас с толку?» Это настраивает на диалог и укрепляет ожидания: участник чтото говорит, вы это повторяете; участник говорит дальше, потому что это то, что
и ожидается от разговора.
• Не вкладывайте слова в уста участника и не предлагайте интерпретации. Если участник говорит: «Я не знаю, что здесь делать», не говорите: «Значит, вы
запутались, потому что строка меню нечеткая?» Спросите: «Какие у вас есть
варианты?»
• Если участник говорит «Случилось не то, чего я ожидал», не спрашивайте: «Значит, вы думали, что меню задач будет отображаться здесь?» Вместо этого спросите: «Чего вы ожидали?»
• Дайте понять, что вы слушаете («Мммм гмммм…»).
Быть эффективным и непредвзятым модератором
«Разговорный дисбаланс»
• Пусть ваши высказывания сойдут на нет и закончатся подъемом, как если бы вы
задавали вопрос. Обычно участник дополнит ваше высказывание.
«А вы ожидали..?»
«И ваша цель..?»
• Дайте понять, что вы там, что вам интересно, но говорить по-прежнему должны
участники («Ммм гмм ...»).
• Говорите мягче. Если выбудете говорить обычным или мягким голосом, то это
не будет похоже на лекцию или выступление перед аудиторией. Вы разговариваете с участником.
Подведение итогов на ключевых переходах
• Если вы узнали что-то новое, что является ключом к пониманию, очень кратко
опишите событие и мысли, которые исследовал пользователь. Пользователи
могут предложить более подробную информацию о своем мыслительном процессе.
• Не выключайте диктофон или продолжайте вести записи после того, как сеанс тестирования завершен. Пользователи часто высказывают интересные
размышления относительно своих процессов во время случайных замечаний
в конце сеанса.
Избегайте плохих вопросов
Плохие вопросы не дают полезной информации и вносят предвзятость. У вас может возникнуть соблазн задать следующие вопросы, но
следует избегать их.
• Не просите пользователей быть проектировщиками – если только
•
они не являются таковыми по профессии, они, вероятно, будут
изо всех сил пытаться показать или сказать, что они думают, что
дизайн должен быть другим. Выясните у них, что не так с точки зрения дизайна. Например, если пользователь говорит: «Я не
видел этот вариант, потому что он был в правой части экрана,
и я подумал, что это объявление», то такой комментарий говорит
о проблеме с дизайном, но не дает пользователю возможность
проектировать решение.
Не просите пользователей обдумывать будущую ситуацию – вопросы, призывающие пользователей представить себе будущую
ситуацию, в которой они могут что-то сделать (например использовать функцию продукта), ставят их в неловкую ситуацию,
когда они пытаются понять что-то незнакомое. Например, если вы спросите участников, нужна ли им новая функция, которая еще не доступна, то, скорее всего, они ответят «да». Лучше
спросить, как они в настоящее время делают что-то, вместо того
чтобы узнавать, хотят ли они делать это так, как предлагает ваш
дизайн.
253
254
Глава 7 • Проведение юзабилити-теста
Подробнее о том, как задавать хорошие вопросы и избегать плохие, см. в «Three
Questions You Shouldn’t Ask
During User Research», 2010,
и «Avoiding Leading Questions
to Get Better Insights from Participants», 2017.
• Не задавайте наводящих вопросов – наводящие во-
просы вносят предвзятость, что может повлиять
на реакцию участников. Один из способов внести
предвзятость – это попытка интерпретировать
чувства, которые может испытывать пользователь.
Например, не нужно говорить: «Я заметил, что вы
разочарованы тем, как реагирует интерфейс. Расскажите об этом». В этом примере вы предлагаете
определенное отношение, которое, скорее всего,
повлияет на реакцию участника.
Знайте, как и когда вмешаться
Будут возникать ситуации, когда что-то пойдет не так, и вам придется вмешаться. Это может произойти по нескольким причинам:
•
•
•
•
система дала сбой;
участник изо всех сил пытается выполнить задание;
участник отвлекается;
участник слишком глубоко погружается в задание или сценарий.
Каждая из этих ситуаций требует разной стратегии вмешательства.
Система дала сбой
Если вы работаете с прототипом, то весьма вероятно, что он будет «глючить», т. е. может дать сбой. Или могут произойти другие
неконтролируемые ситуации, например исчезнет подключение
к интернету или Wi-Fi. Когда такое происходит, нужно немедленно
вмешаться. Если вы проинформировали участника о возможности
сбоя системы или о неработающих ссылках в прототипе, он с большей вероятностью справится с этими ситуациями без инцидентов.
Можно, например, поручить участникам перезагрузить компьютер
или сообщить им, что они только что столкнулись с ошибкой и что
вы цените тот факт, что участник указал на это (опять же, пользуясь возможностью, чтобы подкрепить действие положительным ответом).
Участник изо всех сил пытается выполнить задание
Когда вы и команда замечаете, что участник изо всех сил пытается
выполнить задание, ваша естественная реакция – броситься на помощь. Сопротивляйтесь этому искушению. Полезно увидеть, как
участники справляются с проблемой. Часто они решают ее сами, что
дает им уверенность в себе, а вам – информацию.
Конечно, вы не хотите, чтобы они слишком долго занимались ею,
ведь то, что считается «слишком долгим», является призывом к осуждению. Со временем вы научитесь лучше понимать, когда пора вмешаться. Кроме того, научитесь справляться с чрезмерно обеспокоен-
Быть эффективным и непредвзятым модератором
ными членами команды, которые хотят, чтобы вы ворвались и спасли
участника.
Если вы сказали участнику на брифинге перед тестированием, что
вам интересно увидеть, как он решает проблемы, это подготавливает
всех – участника и команду – к тому, чтобы увидеть, насколько ценно предоставить участнику время для решения проблем. Однако если
вы наблюдали, как первые три участника падают в одну и ту же затруднительную ситуацию, и команда согласна с тем, что существует
проблема, то можно помогать более активно, говоря: «Мы поняли,
что это задание представляет проблему, поэтому я помогу вам (или
попрошу вас перестать выполнять задание)». Такой подход нужно
использовать только если все согласны, что они все видели и поняли
проблему, поэтому нет необходимости заставлять участников преодолевать трудности.
Участник отвлекается
В отличие от проблемы, когда участник изо всех сил пытается выполнить задание, носящее образовательный характер, есть еще одна
проблема, требующая вмешательства, – когда участник отвлекается.
Это может произойти, если он покинул сайт или безнадежно увяз
в какой-то части интерфейса, совершенно не связанной с целями исследования.
В такой ситуации вы не узнаете то, что вам нужно, наблюдая за
участником, и потеряете драгоценное время. Поэтому придется вмешаться. Но не нужно делать это таким образом, чтобы свести к минимуму негативный эффект, который может возникнуть, когда участник
поймет, что находится не в том месте. Опять же, проявляя позитивный настрой, в то же время направляя участника обратно к текущему
заданию или переходу к следующему, вы можете сгладить этот переход. Скажите что-нибудь вроде: «Большое спасибо за то, что показали
нам, как вы действуете, потому что это поможет нам понять весь процесс. А теперь вернемся к тому экрану, на котором вы остановились»
или «А теперь перейдем к следующему сценарию».
Участники слишком глубоко погружаются в задание
Иногда вы можете обнаружить, что участник настолько погружается
в получение каждого фрагмента информации, доступной для выполнения задания, что на это уходит очень много времени. Даже если кажется, что такой уровень сбора информации отражает обычный для
участника способ решения проблемы, необходимо правильно распоряжаться своим временем, чтобы сосредоточиться на целях исследования и информации, которую хочет получить команда. Как и в ситуации, когда участник отвлекается от задания, можно использовать
позитивное вмешательство, поблагодарив его за то, что он показал,
как будет собирать информацию, но в то же время попросите его сосредоточиться на основной задаче и цели. Скажите что-нибудь вроде:
255
256
Глава 7 • Проведение юзабилити-теста
«Я ценю то, что вы делаете, и это полезно. Чтобы сэкономить время
и поскольку мы хотим увидеть, как вы работаете над другими заданиями, не могли бы вы вернуться к экрану “x”?».
Механизмы обратной связи после проведения
тестирования
Когда участник завершает последнее задание из последнего сценария
и все связанные с ним вопросы, модератор обычно завершает сеанс,
используя один или несколько механизмов обратной связи после тестирования. Они могут идти в форме анкеты, частично
Более подробно эти механиз- структурированного интервью или механизма обратмы обратной связи описаны
ной связи для получения качественных отзывов, нав главе 6.
пример в виде карточек реакции на продукт.
Использование анкеты, которая выдается после
проведения тестирования
Если вы используете анкету, то можете попросить участника заполнить ее, пока ждете, или попросить его поделиться ответами в устной
форме, чтобы вы и наблюдатели могли услышать их, а регистратор
сделать записи. Применяя устный подход, можно прочитать вопросы участнику или попросить его прочитать их вслух. Если вы используете анкету SUS и участник находится за компьютером, то можно
отобразить ее на экране, и тогда каждый сможет видеть ответы, а также прослушать все комментарии участника.
Проводя частично структурированное интервью, вы
Практический совет: поможете делать записи и снимать видео, что даст возскольку анкета SUS строится
можность просмотреть его позже и использовать комс использованием чередуюментарии участника в своем отчете.
щегося порядка элементов
«положительный–отрицательный», убедитесь, что вы
наблюдаете за участниками,
когда они закончат работу
с ней, чтобы можно было
попросить их подтвердить
непривычный ответ, не соответствующий опыту или
комментариям участника.
Использование карточек реакции на продукт
Как я уже объясняла в главе 6, помимо получения качественных отзывов из комментариев участников во
время теста и ответов на открытые вопросы, можно получить качественные отзывы другого типа, используя
карточки реакции на продукт от компании Microsoft.
Наша методика использования этих карточек выглядит так:
• раскладываем карточки в случайном порядке на соседнем столе
•
(см. рис. 7.1);
просим участника подойти к столу, просмотреть все карточки
и выбрать любую комбинацию положительных, отрицательных
или нейтральных карточек, которые отражают его или ее опыт
работы с продуктом. Мы не называем конкретное число, а просто предлагаем три, четыре или пять карточек, как им будет
удобно (см. рис. 7.2);
Быть эффективным и непредвзятым модератором
257
• затем просим участника показать нам карточки и рассказать,
•
•
что означает каждая из них в плане отражения опыта взаимодействия участника с продуктом;
слушаем и записываем рассказ участника;
в перерывах между сеансами мы возвращаем выбранные карточки на стол и перемешиваем их. Если мы используем карточки в сравнительной оценке, то можно оставить те, которые они
выбрали для продукта А, на столе, а затем попросить их оставить
или обменять любые или все карточки для оценВо время сеансов удаленного
ки продукта B.
Иногда мы переключаемся на документ-камеру,
чтобы записать карточки, которые выбирают участники. В других случаях просто записываем их выбор вместе с объяснениями участников относительно их выбора, чтобы у нас была эта информация для анализа.
тестирования мы даем слова
в файле Word или электронной таблице Excel и предоставляем участнику управление мышью, чтобы выделить
выбранные слова.
Рис. 7.1 Карточки реакции на продукт в случайном порядке раскладываются на столе,
чтобы их можно было использовать в конце сеанса тестирования
Рис. 7.2 Участник выбирает карточки из колоды со 118 словами и фразами,
разложенные на столе
258
Глава 7 • Проведение юзабилити-теста
Процесс проведения юзабилити-тестирования, включающий все
этапы, описанные до сих пор, показан на рис. 7.3.
Начало
Настройте
камеры и
компьютеры
Поприветствуйте
участника
Вручите участнику
анкету перед
прохождением
теста
Попросите
участника
подписать согласие
Попросите участника
приступить к выполнению
теста и начните запись
Вручите участнику
индексный
сценарий № 1
Дайте участникам
учебное руководство
по использованию
индекса
Вручите участнику
анкету после
выполнения задачи
для индекса № 1
При необходимости
отрегулируйте
оборудование
Вручите участнику
индексный
сценарий № 2
Вручите участнику
анкету после
выполнения задачи
для индекса № 2
Объясните участнику
юзабилити-тест
и протокол мыслей вслух
Дважды проверьте
оборудование
Предоставьте
участнику
руководство
для поиска
Предложите
участнику сценарий
поиска № 1
При необходимости
отрегулируйте
оборудование
Вручите участнику
анкету после
выполнения задачи
для поиска № 1
Напомните
участнику
о протоколе
«мысли вслух»
Напомните
участнику
о протоколе
«мысли вслух»
Предложите
участнику сценарий
поиска № 2
Вручите
участнику индексный
сценарий № 3
Предложите
участнику сценарий
поиска № 3
Вручите участнику
анкету после
выполнения задачи
для поиска № 2
Да
Нет
Участник
сначала
использует
индекс?
Индексный тест
выполнен?
Нет
Да
Нет
Вручите участнику
анкету после
выполнения задачи
для индекса № 3
Выполнены
оба теста?
Вручите участнику
анкету после
выполнения задачи
для поиска № 3
Да
Вручите участнику анкету
после тестирования
и проясните все вопросы
Поблагодарите
участника
Соберите
и пометьте
все данные
Конец
Рис. 7.3 Эта блок-схема иллюстрирует процесс тестирования от настройки до завершения
юзабилити-исследования, в котором сравнивается юзабилити поиска и индекса для задач поиска
Управление вариациями на тему тестирования
Управление вариациями на тему
тестирования
До сих пор предполагалось, что во время тестирования у вас есть один
модератор, один участник и одна лаборатория или конференц-зал.
Но что, если ситуация отличается? Вы можете проводить:
• тестирование с двумя и более участниками,
• тестирование с двумя и более модераторами,
• удаленное тестирование с модератором.
Тестирование с двумя и более участниками
Метод сo-discovery
Если в реальном контексте использования вашего продукта два человека работают вместе, например родитель и ребенок, два друга или
два сотрудника, тогда нужно будет проводить тестирование в одинаковых условиях. Такой процесс называется co-discovery. Конечно, если вы используете его, то уже все спланировали для этого и отобрали
участников, которые будут работать парами.
При таком подходе вы, вероятно, не будете применять протокол
«мысли вслух», потому что два человека будут общаться друг с другом, работая вместе. Это означает, что у модератора будет меньше
дел с точки зрения запроса отзыва, и он сможет сосредоточиться на
ведении записей.
Если у вас есть отдельная комната, модератор, возможно, захочет
наблюдать оттуда.
Преимущество метода co-discovery состоит в том, что он более
естественен и, следовательно, более комфортен для участников. Недостатком является то, что, возможно, вы не увидите равного взаимодействия, поскольку один человек с большей вероятностью будет
доминировать, особенно когда два участника работают с одной клавиатурой, одним монитором или одним устройством.
Один из способов внести равновесие – попросить участников меняться клавиатурой или по очереди управлять устройством, а также
менять позу, когда они сидят, в перерывах между сценариями. Чтобы
получить индивидуальные ответы на вопросы из анкеты касательно
их опыта взаимодействия, можно дать каждому из них анкеты для
самостоятельного заполнения. Также можно использовать частично
структурированное интервью в конце сеанса, чтобы получить более
подробные отзывы от обоих участников.
Следующая врезка, предоставленная известным UX-исследователем
Сьюзан Фаррелл, представляет образец сценария для co-discoveryтеста.
259
260
Глава 7 • Проведение юзабилити-теста
Частичный скрипт для co-discovery-теста
Сьюзан Фаррелл
Сегодня вы будете работать с программой вдвоем. В то время как один будет
использовать клавиатуру и мышь, другой станет водителем на заднем сиденье,
читать инструкции, давать советы касательно того, что делать дальше, спорить,
правильно ли так делать, и т. д. Я попрошу вас поменяться местами, чтобы вы оба
могли посидеть «за рулем».
Я хочу, чтобы вы все время разговаривали друг с другом. Просто объясните, что
вы делаете, и обсудите, что хотите делать, почему и как, как если бы вам пришлось
разбираться в этом на работе.
Важно, чтобы вы оба все понимали, поэтому нужно будет объяснять друг другу
вещи по ходу дела и задавать вопросы, когда другой говорит или делает что-то,
в чем вы не совсем уверены.
Несколько участников
Также могут быть ситуации, когда вы тестируете более двух участников одновременно. Такой тип тестирования называется одновременным тестированием нескольких пользователей. Ваши потребности
в тестировании могут поддержать данный подход, когда время имеет
существенное значение и нужно поработать с большим количеством
пользователей за очень короткий срок.
Чтобы иметь возможность проводить одновременное тестирование с несколькими участниками, нужна большая комната с разными
станциями либо много комнат, где можно одновременно работать
с несколькими пользователями. В обеих ситуациях понадобится не
один модератор. Или вы можете записать эти сеансы без модератора, а затем просмотреть все видео позже, но это потребует огромных
временных затрат и ресурсов после завершения тестирования.
Тестирование с двумя и более модераторами
Помимо ситуации с одновременным тестированием нескольких
пользователей, есть и другие причины для использования двух или
более модераторов, в том числе:
• тестирование с большим количеством пользователей в индиви•
•
дуальных сеансах, идущих подряд;
тестирование в течение длительного периода времени;
тестирование в разных местах.
При тестировании с большим количеством пользователей в индивидуальных сеансах может понадобиться несколько модераторов изза графика. Например, день, когда проводится тестирование, может
длиться с раннего утра до позднего вечера. Даже если бы один чело-
Управление вариациями на тему тестирования
261
век мог быть доступен в течение всего этого периода Помните результаты опроса,
времени, такое расписание было бы настолько обре- приведенные в главе 5, о том,
менительным для него, что было бы более практично сколько сеансов тестироваразделить рабочую нагрузку с двумя или более моде- ния модератор должен провести в день?
раторами.
При тестировании в течение длительного периода дней или недель, даже если общее количество участников невелико, вам может
потребоваться несколько модераторов, опять же, из-за проблем с графиком.
Если вы проводите тестирование в разных местах и у вас нет
средств на поездки, потребуются модераторы в этих местах. Помимо
вопросов, касающихся бюджета, вы, возможно, предпочтете модераторов, имеющих акцент и знающих местный язык и культуру тех
мест, где будет проводиться тестирование.
Чтобы добиться успеха в ситуациях, когда будет задействовано несколько модераторов, необходимо использовать одну или несколько
следующих стратегий.
• Выполните разбор и пилотный проект – такая стратегия работает
•
•
лучше всего, если вы находитесь в одном месте, но также можно
выполнить разбор с помощью Zoom или другого инструмента
для проведения веб-конференций. Можно использовать разбор,
чтобы обсудить различные ситуации, которые могут возникнуть,
и способы их решения. Это особенно важно, если вы собираете
метрики. Для чисто качественного тестирования, возможно, это
не будет иметь большого значения.
По возможности понаблюдайте за парой сеансов друг друга – делайте записи и обсуждайте любые несоответствия или различия
с целью стандартизировать подход к модерации. Если у вас нет
возможности понаблюдать друг за другом, можно поделиться записями после первого сеанса для каждого модератора и назначить встречу для обсуждения взаимодействия.
Во время тестирования поддерживайте надлежащее взаимодействие и общение среди модераторов – такое взаимодействие
позволяет вносить коррективы, если необходимо, в сценарий
и протокол тестирования.
Удаленное тестирование с модератором
Удаленное тестирование с модератором – с помощью приложения
для скриншеринга, такого как Zoom или GoToMeeting, – имеет ряд тех
же требований, что и тестирование с модератором и участником в одном месте. Но есть и отличия. В главе 6 приводится схема и рекомендации по созданию сценария модератора для удаленного исследования. Также необходимо учесть потенциальные проблемы, связанные
с программным обеспечением для совместной работы и нахождением на расстоянии, например:
262
Глава 7 • Проведение юзабилити-теста
• обеспечить правильную работу программного обеспечения с самого начала,
• справляться с неожиданными событиями во время сеанса.
Обеспечение правильного функционирования
программного обеспечения для совместной работы
с самого начала
Поскольку при удаленной настройке что-то может пойти не так, всегда лучше протестировать все непосредственно перед началом сеанса.
Даже если вы заранее разослали инструкции по настройке, все равно
могут возникнуть технические проблемы. Надеюсь, что любые проблемы, которые вы обнаружите на данном этапе, можно будет исправить, чтобы продолжить тестирование. Если вы чувствуете необходимость в технической поддержке, неплохо бы найти кого-нибудь, кто
поможет решить возникшие проблемы. Из-за возможности появления технических неполадок необходимо найти дополнительное время в графике тестирования для их устранения.
Неожиданные события во время сеанса
Удаленное тестирование – это практический опыт для модератора. Можно сделать очень много для управления сеансом. Многое
нельзя контролировать. Программное обеспечение для совместной
работы постоянно совершенствуется, но проблемы все равно могут
возникать.
Например, при использовании видео (веб-камеры). Если вы начинаете сеанс с участником и модератором, задействуя веб-камеру,
и появились проблемы, часто можно решить их, выключив веб-камеру модератора или обе. В таких ситуациях у вас не будет возможности
увидеть выражение лица или язык тела, чтобы поддержать процесс
общения.
Даже если технические проблемы были решены в самом начале,
вы все равно можете столкнуться с ними во время сеанса. Например, может не работать интернет или Wi-Fi или произойти сбой программного обеспечения, в результате чего участнику придется перезагружать компьютер или повторно входить в онлайн-конференцзал.
Независимо от того, видите ли вы участника или нет, удаленное
тестирование может усложнить задачу заставить участника думать
вслух. Нужно будет решить, насколько убедительными вы можете
быть, чтобы заставить его думать вслух, особенно когда кажется, что
ничего не происходит. Есть хорошее правило – сосчитайте до 10, прежде чем предложить участнику ответить.
Еще одна проблема удаленного тестирования заключается в том,
что участнику, возможно, потребует перерыв, и причины на то могут
Работа с наблюдателями
263
быть самые разные: вызов на встречу, входящий зво- Тестирование также можно
нок, СМС или письмо по электронной почте, его может проводить удаленно без
прервать посетитель или ребенок. Конечно, вы можете модератора. Обычно для
потребовать, чтобы все эти каналы связи были отклю- этого используются такие
онлайн-платформы, как
чены во время сеанса, но, если они этого не сделали, UserTesting.com, UserZoom.
тут уж ничего не поделаешь. Если с такими ситуация- com и Loop11.com.
ми невозможно справиться, иногда можно перенести
сеанс на более удобное время. В других случаях может потребоваться
прервать его, даже если вы не можете перенести сеанс.
Работа с наблюдателями
Наблюдатели – это люди, непосредственно заинтересованные в исследовании, и часто они являются членами основной группы, но
среди них также могут быть и другие заинтересованные лица, не
имеющие прямого отношения к вашему исследованию. Они могут
находиться в той же комнате, что и участник, или в другом месте,
например в диспетчерской или в комнате для наблюдателей, или
наблюдать на расстоянии с помощью программного обеспечения
для проведения веб-конференций. Они могут помочь улучшить ваш
продукт, поскольку чем больше людей увидит участников, работающих с продуктом, тем сильнее будет результат. Но наблюдатели нуждаются в особом обращении, чтобы этот опыт был положительным
для всех.
Наблюдатели с вами и участником
В некоторой степени это открытый вопрос, который, безусловно,
обсуждается специалистами в области юзабилити: когда наблюдатели находятся в одной комнате с участником, что это – преимущество или недостаток? Некоторые специалисты убеждены, что
наблюдатели получают гораздо больше от сеанса, если могут присутствовать на нем лично и, если это можно сделать, не подвергая
участников стрессу. Другие считают, что с наблюдателями не просто иметь дело.
Если у вас есть возможность выбрать, как и где вы хотите видеть
наблюдателей, то, вероятно, вы примете решение исходя из того, что
вам удобнее. Если у вас нет вариантов, потому что комната для проведения теста только одна, а нужно разместить наблюдателей, придется обучить их правилам этикета.
Вот основные правила:
• приходите вовремя и никуда не уходите. Тех, кто опоздает, расса•
живать не будут;
выключите все цифровые устройства. Даже когда
сотовый телефон находится в беззвучном режиме, если наблюдатель вытаскивает его, чтобы по-
Этот пункт этикета необходимо отправить заранее с приглашением принять участие
в наблюдении.
264
Глава 7 • Проведение юзабилити-теста
•
•
смотреть, кто звонил, написал сообщение по электронной почте
или прислал текстовое сообщение, это может отвлечь участника, модератора или их обоих. Если во время сеанса наблюдатели отправляют текстовые сообщения или электронные письма,
это еще больше отвлекает и может показать, что наблюдателю
наскучил этот сеанс или у него есть другие, более важные дела.
Итак, нельзя отправлять текстовые сообщения или электронную
почту;
не разговаривать. Такие вещи сложно контролировать, но необходимость в полной тишине во время работы участника очень
важна для хорошего сеанса. Подчеркните, насколько сложно это
может быть для некоторых, особенно если видно, что участники
стараются изо всех сил, но также подчеркните, как важно хранить молчание. Для удаленных наблюдателей такая ситуация
решается запросом на отключение звука;
никакого негативного невербального общения. Это означает, что
нельзя смеяться, вздыхать, стонать, ерзать и т. д. Улыбка, аплодисменты и поддержка любого рода также неуместны. Постарайтесь подчеркнуть, насколько важно, чтобы наблюдатели
выглядели бдительными и заинтересованными, но при этом не
были настолько вовлечены, чтобы помешать процессу.
Чтобы улучшить опыт наблюдателей – и удержать их продуктивным способом, – можно поручить им работу. Если вы хотите, чтобы
они использовали формы, раздайте их и покажите, что нужно делать.
Если хотите, чтобы они использовали
стикеры, можно предоставить каждому участнику стопку стикеров разного цвета. Попросите наблюдателей
брать по одному стикеру для каждого
наблюдения и ставить на них свои
инициалы. Таким образом, каждая
заметка будет привязана к человеку,
который проводил наблюдение. На
рис. 7.4 показано, как Autotrader помогает наблюдателям подготовиться
к использованию стикеров во время
сеанса.
Если вы хотите назначить определенные роли, касающиеся ведения
записей, разным наблюдателям, расскажите каждому, какова его роль.
Если планируете собирать заметки
наблюдателей, чтобы рассмотреть
их на совещании по обсуждению реРис. 7.4 Наблюдателям раздают стикеры
зультатов, сообщите об этом заранее.
и напоминают, что во время сеанса
нужно соблюдать тишину
Собираетесь пригласить наблюдате-
Работа с наблюдателями
265
лей для участия в этом совещании – сообщите, что их Дополнительные советы
и методы работы с наблювклад очень важен.
Для дальнейшего участия наблюдателей можно по- дателями во время тестиропросить их написать вопрос на карточке или стикере, вания см. в статье «Group
Notetaking for User Research»,
указав, что они хотят, чтобы вы спросили у участника 2017.
между сценариями или после сеанса тестирования. Но
установите основные правила, по которым вы будете решать, какие
вопросы можно, а какие нельзя задавать. Сообщите им, что ваше решение будет основано на времени, которым вы располагаете, и характере вопроса.
Следующая врезка представляет собой краткий обзор ряда исследований по влиянию модератора и других наблюдателей на участника.
Разбираемся с влиянием эффекта наблюдателя
Есть ли разница в результатах, которые вы получаете в ходе проведения модерируемых и немодерируемых тестов? Этот вопрос возникает из-за того, что присутствие модератора и наблюдателей вносит потенциальную предвзятость изза «эффекта наблюдателя», который фокусируется на влиянии наблюдателя на
участника.
Например, стараются ли участники лучше, если знают, что за ними наблюдают?
Мы знаем, что участники хотят нас порадовать, о чем свидетельствуют излишне
положительные ответы, которые они дают в анкетах после выполнения заданий
и тестирования.
Мы знаем не только то, что участники хотят угодить нам, но также, что иногда
они рассматривают модератора как авторитетную фигуру, которая в некотором
роде «контролирует» их работу. Наблюдая, как участники изо всех сил пытаются
выполнить задание, мы часто задаемся вопросом, станут ли они так же стараться,
если будут одни, или они делают это, потому что знают, что за ними наблюдают.
Иногда участники говорят нам, что при самостоятельном выполнении бросили бы
задание, а не старались сделать его. В других случаях они могут не делиться такой
информацией.
В исследовании, где сравнивалось дистанционное немодерируемое тестирование с модерируемым лабораторным тестированием, участники выполняли одни
и те же задания по поиску информации при двух условиях сеанса. В модерируемых лабораторных тестах они выполняли задания, используя в два раза больше
кликов и тратя в два раза больше времени по сравнению с теми же заданиями
в немодерируемых тестах. Другими словами, участники модерируемого тестирования старались лучше.
Помните об этом при модерации юзабилити-тестов, но не позволяйте этому условию мешать вам проводить модерируемые сеансы или привлекать наблюдателей.
Чаще всего модератор придает большое значение ситуации, помогая участнику
раскрыть то, что он или она испытывает, и обеспечивая благоприятную ситуацию,
при которой участник может чувствовать себя комфортно.
266
Глава 7 • Проведение юзабилити-теста
Наблюдатели в комнате
Если в вашей юзабилити-лаборатории есть комната для наблюдателей, то это удобное место, где они могут смотреть за сеансом, не мешая процессу. В некоторых лабораториях, таких как на рис. 7.5, они
находятся непосредственно в такой комнате. В других случаях они
наблюдают за происходящим через HD-мониторы.
Рис. 7.5 В этой лаборатории с тремя комнатами
наблюдатели могут просматривать сеансы из комнаты для наблюдателей,
видя диспетчерскую и то, что находится за пределами комнаты оценки
Если в вашей лаборатории посетители могут находиться в другой
комнате, то это дает прекрасную возможность, и вы захотите максимально использовать ее потенциал. По возможности назначьте члена
команды ведущим комнаты для наблюдателей. Этот человек будет
находиться рядом, чтобы:
• разъяснить цели тестирования и процесс, который вы использу•
•
ете;
если посетители не знакомы с юзабилити-тестированием, объяснить, насколько ценно видеть, как пользователи работают
с продуктом. Это ваш шанс стать сторонником юзабилити;
ответить на любые вопросы посетителей и следить за беседой,
чтобы при необходимости «вмешаться»:
возможно, они захотят сразу же перейти от наблюдения за
проблемой к ее решению. Старайтесь держать их в первом режиме как можно дольше, чтобы они были открыты для наблюдения и понимания действий пользователей и не слишком
быстро переходили к решению;
они могут испытывать шок и трепет перед тем, что наблюдают. Возможны две реакции:
Работа с наблюдателями
267
– винят пользователя: «Где вы нашли такого глупого пользователя?»
– реагируют на негативный отзыв: «Они называют мою малышку уродиной!»
Глупые пользователи
Нужно быть готовым к появлению синдрома «глупого пользователя».
Это происходит, когда наблюдатель видит, что участник отчаянно
пытается сделать то, что наблюдателю кажется очень простым (и очевидным). Неизменно последует реакция: «Где вы взяли такого глупого пользователя? Этот человек не может быть нашим настоящим
клиентом!»
Естественно ожидать, что разработчик или менед- Мы ожидаем проявления
жер по продукту сначала захотят обвинить пользова- синдрома «глупого польтеля. Чаще всего это происходит, когда вы проводите зователя» и делаем копии
тестирование с участием начинающих пользователей, своих скринеров для всех
наблюдателей.
потому что разработчикам трудно понять, что у людей
мало информации о продукте, который они так хорошо знают. Но такое также может произойти, когда опытные пользователи работают с новым продуктом или его новой функцией. В обоих
случаях это напоминает юзабилити-мантру: «Знай пользователя своего, ибо он [или она] не ты».
Что делать при появлении этого синдрома? Сначала покажите наблюдателям скринер и расскажите им, что вы сопоставили его с профилем конкретного пользователя для этого исследования.
Побудите их остаться, чтобы увидеть следующего пользователя,
или, если вы уже провели несколько сеансов, объясните, сколько раз
вы видели, как пользователь ранее пытался решить эту проблему.
В идеале, если наблюдатели останутся, чтобы увидеть, как второй
и, возможно, даже третий участник борется с той же проблемой, они
изменят свое отношение и больше не будут винить пользователя,
а признают наличие проблемы. Кроме того, следует остерегаться их
склонности решать проблему посреди исследования Подробнее о методе RITE см.
(только если вы не используете метод RITE, где устра- в главе 5.
нение проблем является целью каждого теста).
Уродливые малыши
Еще один распространенный ответ наблюдателей, которые являются
разработчиками или менеджерами по продукту, заключается в том,
что они негативно реагируют на критику пользователя, потому что
думают, что пользователь «называет моего малыша уродливым».
И конечно же, если участник использует технику мыслей вслух, то он
или она могут говорить неприятные вещи о продукте.
В ходе проведенного нами тестирования сайта одна из участниц так
расстроилась, что выпалила: «Это худший сайт, который я когда-либо
видела!» Это крайний, но реальный пример того, как назвать малыша
268
Глава 7 • Проведение юзабилити-теста
некрасивым. Опять же, если это случится, вам придется помочь своим
наблюдателям преодолеть это чувство отрицания, чтобы понять, что
хороший юзабилити-тест должен выявить проблемы, чтобы малыша
можно было вылечить до того, как он покинет «больницу».
Удаленные наблюдатели
Для удаленных наблюдателей существует гораздо меньше правил,
потому что вероятность нарушений значительно снижается. Все сводится к одному правилу: выключите звук на телефоне или аудио.
Какой бы формат ни использовался для удаленного исследования,
наблюдатели не могут разговаривать во время сеанса. Вы можете
разрешить им отправлять текстовые сообщения члену команды или
пользоваться онлайн-чатом и можете собрать их вопросы, чтобы задать их участнику, но, как и в случае с наблюдателями, находящимися
на месте, вопросы удаленным наблюдателям остаются на усмотрение
модератора.
Предоставление справки или помощи
от службы поддержки клиентов
Я показала вам, как все эти взаимодействия между
участником и командой входят в обязанности модератора. Однако определенные ситуации во время тестирования дают участникам возможность обратиться
за помощью в виде службы поддержки клиентов или
представителя справочного отдела. Если ваш план
тестирования допускает обращение за справкой или
звонки в справочный отдел, у вас должен быть член
команды, готовый взять на себя эту роль. Эта роль особенно уместна, когда у продукта есть клиентская поддержка, поскольку это соответствует ожиданиям пользователя в отношении возможности получить помощь.
Если в комнате с модератором находятся члены команды или наблюдатели, один из них – обычно эксперт по продукту – назначается для ответа на просьбу участника о помощи. Если ваша группа находится в диспетчерской, участник может попросить о помощи или
воспользоваться телефоном в лаборатории или внутренней связью
для вызова помощи, и назначенный для этого член команды может
ответить.
Когда участник просит о помощи, член команды, выполняющий
функцию представителя службы поддержки, играет важную роль,
потому что такое взаимодействие дает команде возможность разобраться в проблеме, с которой сталкивается участник. Хотя неко-
Мы регулярно используем
роль службы поддержки
в наших исследованиях независимо от того, есть ли у продукта, который мы тестируем,
служба поддержки клиентов,
потому что считаем, что
полезно знать, когда участник
чувствует необходимость
обратиться за помощью.
Предоставление справки или помощи от службы поддержки клиентов
торые аспекты такого взаимодействия похожи на реальный звонок
в службу поддержки, здесь есть и отличия.
Первое, что должен сделать представитель службы поддержки, –
это попросить участника описать проблему. Несмотря на то что человек в этой роли, вероятно, может видеть, что делает участник, полезно попросить участника объяснить все своими словами. Таким образом, когда кто-то обращается в службу поддержки, это соответствует
реальной ситуации.
Однако то, что происходит дальше, отличается от настоящего общения с представителем этой службы, потому что цели у каждого
разные. Реальный сотрудник хочет как можно быстрее решить проблему пользователя. Человек из юзабилити-команды, выполняющий
эту роль, хочет изучить природу проблемы для анализа пользовательского опыта.
При менее прямом подходе к решению проблемы пользователя
представитель службы поддержки может спросить участника, что он
попробовал сделать, или попросить участника предложить, что он,
возможно, захочет сделать дальше. Если данный подход не решает
проблему, следующий шаг – предложить полезный совет. Например,
если участник находится не на том экране и не может этого понять,
назначенный член команды может предложить вернуться на главный экран и попытаться вести поиск оттуда. Если участник находится на правом экране, член команды может сказать, что нужная
ему информация находится на этом экране, и предположить, что,
возможно, тот хочет еще немного осмотреться. Если на панели навигации есть вкладка, которую участник не замечает, член команды
может спросить, просматривал ли участник панель навигации. Или,
если участник говорит, что он обращался к онлайн-справке и не может найти необходимую информацию, можно спросить, какие еще
слова он мог бы использовать для поиска справки. Если это не сработает, добавьте пару слов, чтобы участник мог начать снова.
Еще один подход – ответить на вопрос вопросом. Если участник
спрашивает: «Как создать новую форму?», член команды может ответить: «Как вы думаете, что вы хотели бы попробовать сделать в первую очередь, чтобы создать ее?» Хотя такой подход, возможно, звучит немного витиевато, основная причина этой стратегии состоит
в том, чтобы понять подход к решению проблем, который использует
участник. Часто при небольшом поощрении участник может решить
проблему. Однако знание этой точки неопределенности может быть
очень полезно для дизайнеров продукта.
Как показывают эти примеры, представитель службы поддержки
клиентов должен предоставить наименьшее количество информации, необходимой для того, чтобы человек вернулся в нужное русло,
а затем побудить участника обратиться снова, если потребуется дополнительная помощь.
269
270
Глава 7 • Проведение юзабилити-теста
Регистрация наблюдений
В главе 6 представлен
контрольный список для
регистратора, который часто
включает в себя создание
кодов для регистрации
ожидаемых событий.
Одна из важнейших ролей в основной команде – это
роль регистратора. Если вы работаете в команде, состоящей из двух человек, один из вас будет модерировать, а другой займется регистрацией.
Регистратор может произвольно вести заметки
в Word или Excel или регистрировать результаты с помощью специального программного обеспечения для ведения журнала.
Независимо от того, использует ли регистратор коды, заданные
при планировании, или стиль ведения журнала в произвольной форме, его роль состоит в том, чтобы фиксировать ключевые результаты,
обычно распределенные по сценариям, чтобы журнал можно было
использовать на совещании по обсуждению результатов и при последующем их анализе.
В наших исследованиях, которые, как правило, носят формирующий характер, мы используем содержательный процесс ведения журнала, в ходе которого фиксируем цитаты участников, описания их
действий, взаимодействия модератора и невербальные наблюдения
(человек вздыхает, наклоняется вперед, кладет голову на руки и т. д.).
Мы часто используем электронную таблицу Excel или Google, которую
можно просмотреть на совещании, а также отсортироОбразец журнала приводится
вать ключевые результаты.
в конце этой главы.
Если регистратор отмечает успешное выполнение
В главе 5 обсуждаются спосо- задания или его провал, необходимо использовать
бы классификации успешных определения, разработанные командой на этапе плаи неудачно выполненных
нирования. В ситуациях, когда регистратор не являетзаданий при планировании
ся экспертом в предметной области по продукту, ему
тестирования.
может потребоваться помощь эксперта, чтобы сделать
подходящие записи, которые можно добавить в журнал после сеанса.
Если регистратор находится в диспетчерской, эксперт может помочь
ему в описании действий, предпринятыхучастником, которые должны быть внесены в журнал во время сеанса.
Работа в одиночку
Если вы работаете в одиночку, не паникуйте. Вы можете управлять
необходимыми задачами для проведения эффективного тестирования. Просто нужно принять решение относительно того, как это делать. Вот несколько вариантов, которые следует учитывать, когда вы
играете роль модератора и регистратора.
• Регистрация результатов.
Если вы сидите с участником, то можете вести записи относительно результатов в сценарии модератора. Или можете регистрировать их в своем ноутбуке.
Резюме к главе 7 271
Решив, что хотите использовать шаблон для ведения заметок, вы можете создать его, используя скриншоты, соответствующие сценариям, и сделать пометки на них. Использование шаблона требует предварительной подготовки, но
эти усилия будут вознаграждены более легким ведением заметок.
Если вам нужно замедлить темп сеанса, чтобы успевать вести
журнал, то можно научиться говорить такие вещи, как: «Это
так полезно, когда вы пишете или печатаете»; или: «Не могли
бы вы задержаться всего на минуту, пока я вас догоню».
Если вы оставляете участника работать одного, то можете войти в компьютер в диспетчерской. Но вам нужно будет проинструктировать участника, что прежде, чем начать, он должен
подождать 1–2 мин, чтобы вы могли попасть в диспетчерскую,
ничего не пропустив. И нужно будет прекратить регистрацию,
если вы снова присоединитесь к участнику, чтобы задействовать механизмы отзыва после выполнения заданий или проведения теста.
Не регистрировать результаты.
Поскольку вы будете заняты ролью эффективного модератора, возможно, вы решите не делать заметки во время сеансов.
Некоторые просто не могут делать две вещи одновременно,
и это нормально.
Этот вариант подходит, только если вы записываете сеансы и можете выбрать время, чтобы просмотреть эти записи
позже.
Работа с наблюдателями.
Правила обращения с наблюдателями те же самые, когда они
находятся в комнате с вами и участником.
Когда наблюдатели находятся в другой комнате, вы не сможете особо повлиять на их действия. Чтобы компенсировать это,
нужно будет заходить в их комнату в конце каждого сеанса,
чтобы пообщаться с ними и, возможно, получить от них формы, если вы им их предоставили. При необходимости также
можно принять меры для компенсации или минимизации
ущерба репутации, авторитету и т. д. Но для этого нужно выкроить время между сеансами.
•
•
Резюме к главе 7
В этой главе я познакомила вас с типичным днем проведения тестирования, а также с вариантами его графика. Поскольку роль модератора имеет решающее значение для успешного тестирования, в этой
главе рассматриваются обязанности модератора.
272
Глава 7 • Проведение юзабилити-теста
• Чтобы стать эффективным и непредвзятым модератором:
следите за языком тела – сохраняйте нейтральную позу и выражение лица;
следите за похвалой – делайте комплимент участнику в случае
успеха и неудачи;
задавайте хорошие вопросы – используя приемы зондирования, не давая прямых ответов на вопросы участника;
избегайте ошибок, связанных с плохими вопросами, – избегайте непродуктивных или необъективных вопросов;
знайте, как и когда вмешиваться – находя компромисс между
желанием спасти участника и желанием собрать информацию
в ходе стараний участника.
Завершение сеанса администрированием процесса после проведения теста, что может включать в себя:
анкету, выдаваемую после тестирования;
частично структурированное интервью;
карточки реакции на продукт или какой-либо иной процесс
для получения качественного отзыва.
•
Также были показаны способы управления вариантами тестирования, включая следующие ситуации:
• тестирование с двумя и более участниками;
• тестирование с двумя и более модераторами;
• удаленное тестирование с модератором.
Особое внимание было уделено потенциальным возможностям
и подводным камням в случае, когда присутствуют наблюдатели.
К ним относится следующее:
• наблюдатели находятся в одной комнате – установите правила
•
хорошего поведения;
наблюдатели находятся в другом месте. Варианты включают
в себя:
рядом в другой комнате – возможность управлять ожиданиями и продвигать юзабилити;
удаленное наблюдение – требуется меньше ограничений изза меньшего прямого участия.
Помимо роли модератора, также были рассмотрены две другие роли:
• представитель службы поддержки клиентов, который является
•
экспертом по продукту, готовым помочь, когда участник обращается за помощью;
регистратор, который фиксирует наблюдения во время сеансов
тестирования, при необходимости ему помогает специалист
в данной области.
Резюме к главе 7 273
Для тех ситуаций, когда вы работаете в одиночку, я представила
стратегии, чтобы показать, как все это сделать самому. Среди них:
• выяснение того, как модерировать и вести журнал одновре•
•
менно;
предыдущая регистрация с возможностью просматривать записанные сеансы позже;
решить, что делать, когда у вас есть наблюдатели, используя
определенные стратегии управления для ситуаций, когда наблюдатели находятся в комнате, и другие стратегии, когда они
в другом месте.
Образец
журнала
Протокол юзабилити-исследования
сайта круизной компании
Этот отрывок из журнала сеанса юзабилити-теста прототипа для
повторного проектирования сайта круизной компании показывает
качественный процесс регистрации событий, а также комментарии
участников и взаимодействие модератора с участником. Он организован по ходу сеанса, начиная с вопросов для предварительного тестирования, чтобы получить информацию о текущем опыте пользователя с круизами и круизными линиями. Примеры других журналов,
в том числе журналов, в которых используются заранее заданные коды, доступны на сайте книги: https://www.elsevier.com/books-and-journals/book-companion/9780128169421.
Пользователь 5
Время
0:01:04
0:02:49
0:03:32
0:04:42
0:04:48
0:05:05
0:05:21
0:05:33
0:05:54
0:06:10
0:06:46
0:07:15
0:07:49
0:08:08
0:08:27
0:08:46
0:09:28
0:10:01
0:10:45
0:11:44
0:12:51
Примечание
Добро пожаловать
Обзор истории предыдущего круиза
Называет круизную линию, которая организует следующий круиз
Домашняя страница
Общие впечатления
Здесь есть все, что вам нужно, в меню, по-видимому, есть дополнительная
информация
Не пытается прокрутить страницу
Хорошая картинка – картинка меняется – есть ли слайд-шоу?
На фото показан круиз в холодную погоду
Мне нравится, что здесь нет нагромождений, все четко и понятно
Задача – что отличает эту круизную линию от других линий?
Щелкает на меню – предположительно, это домашняя страница, щелкает по
ссылке, где разные круизные линии
Видит половину картинки и думает, что она так выглядит потому, что не закончена
Нравится фото женщины в бассейне
Думает, что она здесь для того, чтобы выделить главную страницу
Я бы хотела посмотреть что-нибудь о развлечениях на борту
Все, что я читала об этой круизной линии, звучало скучно – они слишком много
внимания уделяли траве на корабле
Кликает по стилю и дизайну – места назначения тоже важны
Многие корабли идут в одни и те же места, а я думала, что эта круизная линия
предлагает уникальные направления
Мне нужно проверить демографические данные – я была самым молодым
пассажиром во время круиза – это также влияет на музыку и развлечения
МОДЕРАТОР: Для вас важна еда?
Протокол юзабилити-исследования сайта круизной компании
Пользователь 5
Время Примечание
0:12:59 Я отправляюсь к круизному критику, чтобы узнать, что люди говорят о еде – эта
круизная линия известна своими блюдами, но многие говорят, что сейчас она
пошла по наклонной
0:13:33 Я не могу определить, что за еда на фото – я бы поместила сюда блюда для
гурманов – это может быть полезно для людей, заботящихся о своем здоровье
0:14:38 Информации столько, что пока вы не забронируете круиз, ее сложно получить –
я хотела бы увидеть меню
0:15:05 Щелкает по меню, ищет в меню – думаю, я бы щелкнула по опции «поесть
и выпить»
0:15:33 Щелкает по ресторанам и кафе – здесь я бы пошел посмотреть на конкретный
корабль
0:16:07 МОДЕРАТОР дает команду прокрутить страницу [потому что она этого не сделала
и, похоже, не знает, что есть еще информация]
0:16:15 О, я не пробовала сделать это, потому что решила, что здесь еще не все
0:16:49 Если бы я могла сказать, что умею прокручивать страницы, то я бы сказала – есть
мало сайтов, похожих на этот
0:17:43 Исследует блюда, которое предлагается на борту – хочу меню
0:18:17 Обычно я бы посмотрела на сервис, но я достаточно изучила эту круизную линию,
поэтому мне это не нужно
0:18:45 Мне важно соотношение гостей
0:18:57 Я хочу знать об обслуживании номеров – корабли становятся лучше, но во время
недавнего круиза это было проблемой
0:19:32 Задание – найти информацию об обслуживании номеров
0:19:43 Я бы щелкнула [выбирает вкладку]
0:20:11 Мне не нужен консьерж – я планировщик
0:20:22 Я бы посмотрела на продление пребывания
0:20:50 Замечает женщину-капитана
0:21:14 Эти заголовки кажутся кликабельными – зачем еще им там быть?
0:21:30 Вы находитесь на странице сервиса – не знаю, зачем у них здесь любимые
плавания
0:21:48 Чудесно, но это не говорит мне, можно ли получить обслуживание в номерах –
я бы посмотрела на мини-люксы в разделе номеров класса люкс
0:22:50 У бренда – говорит приглушенно – нет лоска! Я бы положила сюда красивые
цветы или что-нибудь красочное – изображение кого-то, кто протягивает мне
напиток у бассейна, было бы лучше, чем фото воды в спа
0:23:56 Задание – найти круиз по Аляске
0:24:19 Я могла бы найти круиз, но я бы поехала в те места, что под меню
0:24:48 Если бы у меня было время, я бы посмотрела отпуск на Аляске – если
я тороплюсь, я бы сразу занялась тем, что меня интересует
0:25:24 Я бы хотела круиз по суше и по морю – отправляется искать круиз
0:25:49 Я хочу увидеть количество дней и направлений – это два самых важных момента
0:26:51 Щелкает на круизные туры по Аляске – ожидает увидеть береговые экскурсии –
вот почему я путешествую с [другая круизная линия] – они лучше всего подходят
для этого
0:27:45 Я бы начала прокручивать страницу – доходит до [конкретный корабль]
Примечание
Я поклялась, что откажусь от 10-дневных круизов, если я не знаю демографию!
МОДЕРАТОР направляет описание круиза по Аляске
Все еще ищу круизные пакеты, чтобы узнать, что происходит каждый день или
вечер
Щелкает по портам
МОДЕРАТОР перенаправляет участника на семидневный круиз
Щелкает, чтобы просмотреть детали маршрута – Ванкувер – видит дату
отправления
Пытаюсь щелкнуть по остановке в городе Ванкувер – я бы хотела съездить туда
заранее на день или два, чтобы увидеть Ванкувер перед круизом
МОДЕРАТОР – где подробности вашего маршрута?
Ожидает, что будет показано 2 или 3 дня и т. д. – отображается только 1 день
МОДЕРАТОР перенаправляет ее в верхнюю часть и указывает нашу маршрутную
ленту
МОДЕРАТОР – просит выполнить следующее задание: изменить дату с 8 на
27 июня
Сразу же видит опцию «изменить дату»
Легко меняет дату на 27 июня
Хочет посмотреть на карту маршрута – для меня очень важно видеть почасовое
расписание
МОДЕРАТОР – как узнать, чего ожидать на Леднике Хаббарда?
По моему опыту, нужно сделать бронь, прежде чем вы сможете узнать эту
информацию
МОДЕРАТОР – переходите к седьмому дню
Полученная информация удовлетворительна
Понимает, что время в круизе будет короче, потому что это день 7-й
Я хочу знать время и расписание вашего прибытия в порт
Я хочу больше информации о 7-м дне, и я бы хотела, чтобы он был на карте
Утром первым делом я всегда хочу знать, где находится корабль
МОДЕРАТОР возвращается к описанию круиза
Не видит, как вернуться назад
Было бы неплохо вернуться к ссылке выбора круиза
На странице описания
Оценить полезность: 4 в качестве обзорной страницы
Как бы вы забронировали круиз?
Я бы позвонила, и я так и делала раньше, потому что сайты не предоставляют
достаточно информации, когда вы пытаетесь подобрать себе номера
Самая большая претензия к сайтам круизных компаний – увидеть и подтвердить
точное расположение номера
Даже когда звонишь, все равно нужно искать информацию
Быстро видит кнопку сравнения
Я хотела бы иметь возможность выбрать желаемые функции и положения
и получить рекомендацию
Vacations to go – самый крупный продавец круизов
Протокол юзабилити-исследования сайта круизной компании
Примечание
Ей сайт нравится, потому что можно подобрать вариант на свой вкус
МОДЕРАТОР, чего вы ожидаете при сравнении двух круизов?
То же, что Apple или Amazon – бок о бок
Я бы хотела посмотреть, какое судно, даты, часы в порту – судно – это очень
важно
МОДЕРАТОР предлагает следующее задание – как сохранить маршруты
Я бы вошла на сайт, и это позволило бы сохранить их
То, как я их сохраню, будет зависеть от конкретного сайта
Полагаю, как только я выполню вход, у вас появится кнопка «сохранить свои
варианты поиска»
МОДЕРАТОР дает команду попытаться сохранить все на этой странице
Думает, сравнение позволит сохранить результаты
Я обычно отправляю это на свой адрес электронной почты, чтобы изучить позже
Задача – вернуться на главную страницу
Переходит в меню и щелкает Home
277
Анализ
результатов
8
Вы закончили тестирование. Было весело, не так ли? Скорее, утомительно.
Теперь у вас есть журналы, формы наблюдателей или заметки, анкеты участников, записи сеансов и многое другое, чтобы можно было
с этим работать.
Разобраться во всем этом может быть непросто, но только если
у вас нет плана. В этой главе изложен план, который поможет быстро
проанализировать результаты и разобраться с данными. На основании этих вопросов процесс анализа можно разбить на три отдельных
этапа.
1. Что мы увидели?
2. Что это значит?
3. Что с этим делать?
Очень важно ответить на эти три вопроса по отдельности и в таком
порядке. Почему это важно? Потому что было бы очень заманчиво
перейти от шага 1 к шагу 3, не тратя время на то, чтобы понять, что
означают полученные данные. Сделав средний шаг – проанализировав результаты, – вы сможете решить, что с ними делать.
Итак, выполняя шаг 1 (Что мы увидели?), вам придется:
• собрать все отзывы, в том числе самые положительные, отрица•
тельные и неожиданные;
собирать данные более систематично, используя:
нисходящую организацию, которая представляет собой метод
организации выводов на основе заранее определенных маркеров или эвристики,
восходящую организацию, которую называют диаграммой сродства,
сочетание обоих методов.
Что мы увидели?
Выполняя шаг 2 (Что это значит?), нужно решить:
• кто будет проводить анализ – все, основная команда или назначенная подгруппа;
• как будет проводиться анализ – методология поиска идей и проблем на основе:
измерения количественных данных,
анализа ответов на анкеты,
интерпретации качественных данных.
Выполняя шаг 3 (Что нам с этим делать?), нужно:
• просмотреть все данные результатов на предмет соответствия
или несоответствий;
• установить оценки серьезности и масштабов результатов;
• рекомендовать исправления обнаруженных вами проблем.
Что мы увидели?
Все, кто наблюдал за тестированием, сформировали свое мнение
о том, что получилось, а что нет. Еще до обращения к журналам или
формам наблюдателей из сеансов, вы, вероятно, сможете начать составлять список проблем без предварительной подготовки.
Возможно, вы собирали эти результаты в моменты перерыва во
время тестирования. Или, может быть, еще этого не сделали. В любом
случае теперь, когда последний участник закончил тестирование, пора собрать все впечатления и воспоминания, прежде чем приступить
к более структурированному анализу.
Соберите данные, полученные ото всех лиц
Если вы пригласили наблюдателей, чтобы они внесли свой вклад
в анализ результатов, то сначала получите данные от них. На то есть
несколько причин:
• нужно продемонстрировать, насколько ценен их вклад, попросив об этом заранее;
• когда данные поступают от других людей, не входящих в основ-
ную команду, обязательно включите их мысли и наблюдения
в свой анализ. Это особенно важно, когда данные поступают
от менеджеров и руководителей, чья работа будет заключаться
в поддержке или реализации рекомендаций, которые вы дадите;
• наблюдатели часто хотят уйти до начала совещания, посвящен-
ного анализу результатов. Если вы сможете убедить их остаться
на первую часть совещания, то сможете зафиксировать их мысли
и реакцию, пока они еще свежи.
Powered by TCPDF (www.tcpdf.org)
279
280
Глава 8 • Анализ результатов
Соберите лучшие и неожиданные результаты
Чтобы собрать данные ото всех лиц, попросите их по очереди поделиться:
• главным положительным результатом;
• главным отрицательным результатом;
• главным моментом, который изумил их или вызвал озарение.
Начиная с главных положительных результатов, вы подчеркиваете важность делиться и документировать положительные моменты
в опыте пользователей, а не только плохие.
По мере прохождения этого процесса можно избежать множества
ответов типа «я тоже» на тот же лучший результат, говоря всем, что,
если он уже есть в списке, они могут признать это, а затем предложить
следующий важный результат. Таким образом, список будет расти по
мере того, как вы ходите по комнате. Если вы хотите расширить список еще больше, то можете повторить этот процесс, чтобы получить
по пять основных выводов от каждого.
Вы повторяете процесс для основных отрицательных
результатов, но начинаете с другого места в комЕсли в комнате присутствуют
нате,
чтобы можно было изменить порядок, в котором
разработчики, то можно
люди говорят. Важно подчеркнуть, что отрицательный
смягчить название для этого
раунда, назвав его «возможрезультат – это факт, который вы наблюдали, чтобы
ностями для улучшения».
сосредоточиться на том, что произошло, а не на том,
что с этим следует делать.
Затем, когда этот раунд будет закончен, проведите еще один, чтобы
каждый рассказал о том, что больше всего изумило его или вызвало
озарение. Прося каждого поделиться моментом озарения, вы раскрываете все неверные представления, которые люди могли скрывать до
начала тестирования, а также все то изумление, которое они испытали, увидев, как пользователи работают с продуктом.
Очень важно видеть, как эти результаты стали известны таким
неформальным образом. Здесь непременно будут совпадения, но
в итоге вы также можете получить и уникальные результаты. Указав
их на доске или переносном компьютере, используя проецирование
изображения на экран, можно быстро составить список главных положительных и отрицательных результатов и основных моментов,
вызвавших изумление, а также все уникальные выводы.
После этого первоначального тщательного анализа основная группа может приступить к процессу изучения журналов, заметок или
форм наблюдателей для более систематического подхода к извлечению результатов. Данный процесс гарантирует, что команда не упустит ничего важного, и предоставит дополнительную информацию
по вопросам, связанным с результатами, уже выявленными в первом
раунде.
Что мы увидели?
281
Выберите свой метод организации
Чтобы организовать процесс сортировки результатов по категориям,
можно выбрать любой из этих методов:
• нисходящую организацию – начиная с категорий или кодов;
• восходящую организацию – начиная с отдельных результатов, собранных в группы, а затем помеченных.
У каждого метода есть свои преимущества и недостатки. Таким образом, в итоге вы часто будете использовать их сочетание.
Нисходящий метод – начиная с категорий или кодов
Если ваша команда задала серию вопросов, которые послужили основой для плана тестирования, например «Поняли ли пользователи
различия между классами салонов на круизных лайнерах, идущих
в Аляску?», то вы, вероятно, организовали свое исследование вокруг
заданий, дающих ответы на ваши вопросы. Каждый из этих вопросов
становится задачей, которая формирует категорию результатов.
Если ваша команда создала набор кодов для ведения журнала на
основе типов результатов, которые вы получили в ходе предыдущих
исследований или ожидаете получить в ходе этого исследования – например, домашняя страница (HP), навигация (N), ментальная модель
(MM), терминология (T) и справка (H), – можно систематизировать
свои результаты, используя эти коды. Организация результатов на
основе заранее определенных категорий или кодов называется «нисходящим» методом.
Преимущества
Одно из исследований
показало, что подробный
шаблон для записи
результатов дает лучший
анализ для начинающих
специалистов по юзабилити
и, соответственно, более
если вы зарегистрировали результаты в тексто- качественный отчет. Смотрите
вом или CSV-файле, то можете экспортировать «A Structured Process for
Transforming Usability Data into
журналы в электронную таблицу Excel и системаUsability Information», 2007.
Основным преимуществом данного подхода к организации результатов является эффективность, а это
значит, что вы экономите время. Поскольку вы работаете с предустановленными категориями или кодами, команда может быстро просмотреть результаты
одним из следующих способов:
•
тизировать результаты по категориям. Если они
зарегистрированы непосредственно в электронных таблицах Excel или Google или с помощью шаблона, созданного в Word, у вас
уже есть нужный вам документ. При условии, что вы использовали программное обеспечение для совместного ведения журналов, такое как Reframer, и заранее настроили теги, чтобы было
проще организовать и фильтровать свои наблюдения, можете
распределить теги по группам для нисходящего анализа;
282
Глава 8 • Анализ результатов
• или, если на совещании по обсуждению результатов у вас нет
•
времени сортировать результаты по категориям или кодам,
можно распечатать журналы, чтобы группа могла их просмотреть. После совещания результаты можно отсортировать по ключевым словам для подсчета;
при использовании форм наблюдателя для сбора результатов
можете сделать их копии и использовать тот же процесс для
проверки результатов и отнести их к определенным категориям.
Недостатки
Главный недостаток этого подхода состоит в том, что, начиная с заранее определенных категорий или кодов, вы можете упустить некоторые результаты, особенно если они не подходят ни к одной из установленных вами категорий. Другой недостаток заключается в том,
что вы можете неправильно идентифицировать результат во время
сеанса, поместив его в заранее определенную категорию или код,
прежде чем у вас будет возможность проанализировать его.
Иногда такое происходит, когда вы не знаете, в чем проблема. Например, если видите, что у пользователя проблемы с навигацией –
чем вызвана эта проблема? Путаницей с меткой (терминология), размером или расположением метки (дизайн), разными названиями или
метками у одного и того же элемента (согласованность), или пользователь не может распознать или не понимает процесс (ментальная
модель)? Иногда результат может попадать в несколько категорий,
а возможно, ни в одну из них.
Могут возникнуть вопросы относительно того, как регистратор
принимал решение о характере результата. Если наблюдатели увидели действие по-другому и отнесли его к другой категории, потребуется обсудить характер результата.
Чтобы свести к минимуму влияние результатов с неверными кодами во время регистрации, некоторые команды используют категорию
с открытыми темами для всех наблюдений, которые трудно упорядочить по категориям. Эту категорию необходимо будет просмотреть,
чтобы увидеть, где назначить результаты, или нужно добавить еще
категории.
Данный метод также называется отображением сродства
и методом KJ по имени его
создателя Дзиро Кавакита.
Подробнее о Дзиро Каваките
и истории метода см. в «The
KJ Method: A Technique for
Analyzing Data Derived from
Japanese Ethnology», 1997.
Нисходящий метод – начинаем
с индивидуальных результатов
Возможно, ваша команда решила, что вы хотите быть
открытыми для всего, что вы наблюдали, и для информации, собранной у участников, поэтому вы не использовали коды в своих журналах и формах наблюдателей. Теперь вы просматриваете журналы и эти
формы или стикеры, чтобы определить результаты,
Что мы увидели?
затем записываете их на стикеры, группируете похожие результаты,
а затем присваиваете группам имена. В этом процессе используется
восходящий метод, который называют диаграммой сродства.
Если вам нужно время, чтобы записать все результаты на стикеры,
то на следующий день можно провести семинар. Перед его началом
вы развешиваете все стикеры в произвольном порядке на доске. Затем все участники семинара перемещают их до тех пор, пока не будет
достигнут консенсус относительно групп и их названий. На рис. 8.1
показаны результаты этого процесса.
Рис. 8.1 Результаты семинара по сопоставлению сродства
с использованием стикеров показаны на досках
На следующей врезке представлены этапы, из которых состоит
данный процесс.
Диаграмма сродства. Советы и хитрости
По материалам Тары Скэнлон
Этапы
1. Извлеките данные, идеи или информацию, которые вы хотите проанализировать. Напишите по одной мысли на каждом стикере и, если работаете со
стенограммой, отметьте в ней, где появилась эта идея. Либо попросите каждого члена команды использовать для этого свои записи или журнал. У каждого
человека, выполняющего эту работу, могут быть дубликаты, но так вы в более
полной мере задействуете команду.
2. Поместите все стикеры на стену или доску в произвольном порядке.
3. Попросите участников разложить все стикеры по группам, которые кажутся похожими. Установите основные правила:
283
284
Глава 8 • Анализ результатов
• не разговаривать. Если вы думаете, что стикеру здесь не место, просто переместите его;
• если кажется, что стикер передвигается с места на место, можно продублировать его и поместить в обоих местах;
• избегайте предопределенных категорий;
• если вы видите что-то, что наталкивает вас на новую идею или вопрос, сделайте новый стикер.
4. Когда группировка закончена, соберите команду, чтобы пометить категории.
Эти метки должны отражать тему группировки.
5. Расставьте приоритеты группам, создав таким образом иерархию. Попросите
всех проголосовать за три группы, которые, по их мнению, являются наиболее
важными; затем спросите, верны ли эти приоритеты. Так вы получите основные
категории результатов.
Советы по обеспечению бесперебойной работы
процесса
Приведенные здесь советы помогут вам упростить и оптимизировать данный
процесс.
• Сделайте категории и имена значимыми.
Если у вас есть более крупная категория, вы, возможно, захотите разделить
ее на две или более, чтобы присвоить каждой из них определенную метку.
Если у вас есть категория «Разное», нужно найти пристанище для этих элементов или создать новую категорию.
• Эффективно облегчите процесс. Участники проходят здесь разные этапы. К ним
относятся:
ошеломление – участник не знает, с чего и как начать;
вход в привычную колею и проведение грубой категоризации;
расстройство из-за особенностей категоризации, неуверенность в том, куда
ведет процесс;
наблюдение магии преобразования данных в информацию.
Что мы увидели?
Преимущества
Основное преимущество использования данного процесса для организации результатов заключается в том, что вы остаетесь открытыми
для всего, что будет обнаружено.
Это позволяет обнаружить вещи, которые в противном случае вы
бы упустили из виду. Еще одно преимущество заключается в том, что
в ходе этого процесса достигается консенсус относительно результатов и укрепляет общие усилия команды.
Недостатки
Недостатки состоят в том, что данный процесс требует коллективных
усилий и обычно занимает больше времени по сравнению с нисходящим подходом из-за компромисса, связанного с систематизацией
и перегруппировкой результатов по группам и дальнейшим наименованием категорий.
Чтобы установить границы времени для этого процесса, можно
предложить выделить на него один час, если стикеры подготовлены
заранее. В противном случае добавьте 30 мин в начале, чтобы люди
могли просмотреть свои записи и написать стикеры. Затем выделите еще час, чтобы обсудить наиболее приоритетные категории.
На все, что выходит за пределы этих временных рамок, вероятно,
уйдет больше времени, по сравнению с временем, в течение которого люди смогут поддерживать свой интерес и приверженность
этому делу.
Комбинируем методы
Как видите, выбор метода организации результатов зависит от того,
что вы знаете (или ожидаете найти) в ходе исследования, сколько людей может быть вовлечено в процесс и, конечно же, сколько времени
у вас есть, чтобы провести совещание. Каким бы ни был выбор, часто
бывает так, что в конечном итоге вы будете использовать комбинацию обоих методов:
• если начнете с нисходящего подхода, то вам, вероятно, все равно
•
придется добавлять категории для результатов, которые не вписываются ни в один из заранее определенных кодов;
если начнете с восходящего подхода, у вас, вероятно, также будут некие конкретные категории, основанные на ваших наблюдениях. Вы даже можете наклеить некоторые из этих категорий
на стикеры, чтобы ускорить процесс группировки результатов.
На рис. 8.2 показан процесс, организованный вокруг задания – создание учетной записи, – а затем группировка стикеров с использованием нисходящего подхода, чтобы представить выводы по заданию.
Этот пример находится в середине процесса, поэтому показывает некоторые категории полученных результатов.
285
286
Глава 8 • Анализ результатов
Рис. 8.2 Этот вариант сопоставления сродства
сфокусирован на задаче создания учетной записи
Как только вы закончите процесс извлечения и организации результатов своего исследования, которое является этапом 1 (Что мы
увидели?), вы будете готовы перейти к этапу 2 (Что это значит?), где
основное внимание уделяется анализу результатов, чтобы понять,
что они показывают.
Что это значит?
Разобраться в результатах гораздо легче сказать, чем сделать. Не
всегда очевидно, почему что-то произошло или что это означает. Вот
где так важны командные усилия для анализа. Некоторые проекты
требуют быстрого выполнения анализа с составлением высокоуровневого отчета о главных результатах. Другим нужен подробный анализ и соответствующий углубленный отчет. В любом случае нужно
подумать, кто должен участвовать в анализе, а также какой процесс
следует использовать.
Определите, кто должен проводить анализ
Если вы работаете в команде, в анализе полученных результатов
должна участвовать вся команда. При работе в одиночку следует попытаться обратиться за помощью, чтобы вы могли расширить анализ
результатов и выйти за пределы оценки одного человека. Если это не-
Что это значит?
287
возможно, то сбор основных результатов ото всех лиц, кто занимался
наблюдением, поможет быстро понять смысл результатов, когда вы
начнете более глубокий анализ. Если вы сами не можете получить эту
информацию, можно попросить всех, кто участвовал в наблюдении,
в том числе и тех, кто работал удаленно, прислать вам по электронной
почте 10 лучших списков.
Почему для анализа результатов нужно несколько человек? Исследования показали, что один оценщик сообщает о меньшем количестве результатов, по сравнению с объединенными усилиями большего числа оценщиков, и что разные оценщики обнаруживают разные
результаты. Это называется эффектом оценщика.
Метрика, наиболее часто используемая при учас- Для обсуждения эффекта
тии нескольких оценщиков, – это соглашение «лю- оценщика в юзабилити-исслебой-2», т. е. процент общих проблем, обнаруженных дованиях см. «The Evaluator
двумя оценщиками, разделенный на общее количе- Effect in Usability Studies:
ство проблем. Чем больше глаз, ушей и мозгов рабо- Problem Detection and Severity
тают над выявлением проблем, тем лучше результат. Judgments», 1998. Для обзора
С увеличением количества оценщиков повышается не литературы за 20-летний
только уровень обнаружения проблем, но и выявление период см. «How Large Is the
наиболее серьезных проблем достигает более сильно- Evaluator Effect in Usability
Testing?», 2018.
го консенсуса при обсуждении результатов.
Сопоставьте результаты
Оценим, на каком вы этапе. Вы просмотрели журналы и заметки,
определили и систематизировали результаты с помощью нисходящего или восходящего метода. Теперь нужно сопоставить выводы,
полученные от каждого участника, чтобы представить результаты
вашего исследования. Если они содержатся в электронных таблицах или документах Word или Google для отдельных сеансов, то их
можно легко и быстро объединить. Затем вы можете отсортировать
их, используя ключевое слово, которое определит участников, у кого
была та или иная проблема. И не забывайте о важности сопоставления положительных результатов. После сопоставления можно легко
подсчитать количество участников, у которых был тот или иной результат.
Например, если вы определили, что терминология относится к категории, то можно выполнить сортировку, используя код для терминологии или конкретные слова, чтобы найти все результаты по терминологии для всех участников. При сопоставлении результатов этой
категории видно, что пять из шести участников испытывали путаницу в терминах. Затем можно привести примеры слов, вызвавших замешательство, и дополнительно проанализировать результаты, указав, у какого числа участников была проблема с такими словами. Или,
если вы использовали сопоставление по интересам и указали номер
участника на стикере (или брали другой цветной стикер для каждого
участника), можете легко добавить их в конец этого процесса.
288
Глава 8 • Анализ результатов
Подсчет результатов подразумевает, что задания должны быть одинаковыми для всех участников, использующих один и тот же продукт.
В случаях, когда продукт изменился, например когда были внесены
изменения между участниками или после первого дня, задания изменились из-за изменений продукта, или у вас были дополнительные
задания, которые выполнили не все участники, необходимо учитывать эти переменные в своем анализе. Например:
• когда вы считаете данные, полученные от пилотного участника?
•
•
Ответ: если пилотный участник достаточно типичен для целевой аудитории и впоследствии вы не меняли задачи;
что делать, если вы охватываете задание только за четыре из шести тестов? Ответ: обязательно сообщите количество участников, которым было дано задание (пример: 4 из 6), и объясните,
почему это задание убрали: возможно, оно было слишком простым или отнимало слишком много времени у некоторых участников, или его давали, только если на сеансе было достаточно
времени;
что делать, если исправления вносятся в ходе исследования?
Ответ: сообщить о результатах: «В первый день двое из четырех участников испытали... но затем было внесено изменение X,
и у оставшихся двух участников проблем не было». Разумеется,
при формальном или итоговом юзабилити-тестировании вы бы
этого не сделали, но мир становится гибче, и наши методы должны быть достаточно гибкими, чтобы можно было вносить изменения в дизайн во время тестирования.
Подробнее о том, как анализировать выбросы, рассказывается в этой главе.
Помните также, что нужно решить, что делать с выбросами, проблемой, с которой сталкивается только
один человек.
Предоставьте количественные данные
Если ваше исследование было сосредоточено на получении метрик,
соответствующих бизнес-целям, нужно будет представить количественные данные. Однако правильный способ представления собранных вами данных может быть проблематичным, особенно если у вас
нет опыта работы со статистикой. Статистикой легко ввести в заблуждение, как это хорошо описано в классической книге Даррелла
Хаффа «Как лгать с помощью статистики». Хотя маловероятно, что вы
намеренно будете искажать результаты, как сказано
Есть два отличных ресурса
у Хаффа, вы можете сделать это ненарочно, цитируя
для UX-специалистов: «Meaстатистические данные, когда у вас нет статистичеsuring у the User Experience:
ской достоверности.
Collecting, Analyzing, and
В этой части главы я дам несколько простых рекоPresenting у Usability Metrics»,
2013, и «Quantifying у the User мендаций относительно того, как представлять распространенные метрики и как избежать их искажеExperience: Practical у Statistics for User Research», 2016.
ния. Если у вас нет опыта работы со статистикой, мо-
Что это значит?
289
жете подробнее прочитать об этом в книгах, посвященных этой теме.
И вам понадобится помощь члена команды или человека, которого
можно нанять, чтобы убедиться, что ваши данные точны и представлены надлежащим образом.
Количественные данные – это результаты, которые можно измерить цифрами. Поскольку данные можно подсчитать, количественные данные можно проверить из результатов.
На совещании по планированию вы, скорее всего, решили, что
будете измерять определенные действия и выполняемые виды деятельности, например:
•
•
•
•
•
•
•
•
время на выполнение задания;
показатели успеха или завершения;
ошибки (и их исправление);
сбой (не удалось завершить задание или задание бросили еще до
завершения);
помощь (просьба о помощи или использование справки в системе);
поиск (как часто, какие термины использовались и были ли результаты эффективными);
оптимальный или предпочтительный путь (был ли выбран оптимальный путь навигации, и если да, то как часто);
другое (для тех условий, о которых вы можете и не думать, пока
не увидите их в действии).
Подсчет и сопоставление этой информации обеспечивает измерение степени успеха или неудачи для каждого из этих действий и выполняемых видов деятельности. После подсчета результатов возникает вопрос, как лучше всего их представить. Правильное представление зависит от подсчитанных вами чисел. В крупном тестировании
можно представить эти результаты в процентах; в небольших исследованиях этого делать не следует.
Как и когда работать со статистикой
Многие юзабилити-исследования носят формативный характер
и проводятся во время разработки продукта для диагностики и устранения проблем. Другие являются суммативными и проводятся в конце или ближе к концу разработки продукта для получения метрик,
подтверждающих достижение целей продукта. Независимо от того,
является ли исследование формативным или суммативным, размер
имеет значение, когда дело доходит до представления результатов
в виде статистики.
Однако точное минимальное количество не являет- Джефф Сауро создал удобный
ся общепринятым. Оно может варьироваться от менее калькулятор доверительного
20 до 50 участников или более, причем более крупные интервала, доступ к которому
числа, как правило, связаны со строгими эксперимен- можно получить на странице
https://measuringu.com/ci-calc/.
тальными методами.
290
Глава 8 • Анализ результатов
Хотя это число не является незыблемым, ясно одно: большие числа
увеличивают доверительный интервал. Это – мера точности вашего
утверждения, что проценты представляют результаты, которые, вероятно, будут дублированы в другом исследовании и, в случае действительно крупных исследований, в общем контингенте.
Модерируемые исследования, предназначенные для получения
статистики, часто терпят неудачу в пределах от 12 до 20 участников.
Эти исследования, вероятно, будут использовать описательную статистику, отражающую результаты выборки, использованной для исследования. Напротив, более крупные исследования предоставляют
цифры для индуктивной статистики, поскольку позволяют делать
утверждения, которые могут выводиться для контингента в целом.
Такие большие исследования обычно являются автоматизированными (они немодерируемые), а результаты генерируются автоматизированными инструментами, связанными с исследованием.
Представление данных в виде среднего арифметического,
медианы или моды
При представлении описательной статистики у вас
есть удобный помощник в виде пакета Analysis ToolPak, надстройки Excel. Типичный пример описательной статистики – время выполнения задания. Можно
не только представить фактическое время выполнения задания для каждого участника, но и настроить
электронную таблицу Excel для расчета различных
мер центральной тенденции, которые отражают медиану.
Наиболее распространенные методы – вычисление среднего арифметического, медианы или моды. Чтобы рассмотреть эти варианты
и выбрать лучший, нужно знать, что собой представляет каждый из них:
Более подробную информацию о том, как использовать
ToolPak для этих расчетов,
можно найти у Таллиса
и Альберта, 2013, либо можно
посмотреть видеоролики на
YouTube.
• среднее арифметическое – наиболее часто используемое из трех
•
•
представлений, поскольку является показателем центра распределения для всех отправных точек;
медиана – ее лучше всего использовать, когда диапазон широко
распределен, с большой разницей между самой высокой и самой
низкой точкой диапазона. Она показывает середину распределения. Это тот момент, когда половина данных находится выше
этой точки, а половина – ниже;
мода – наиболее часто повторяющееся значение. Она показывает наиболее часто встречающуюся отправную точку и не так
часто используется при анализе юзабилити, как двадругих метода, но для ее выбора могут быть причины. Например, можно
использовать моду, если вы хотите показать, что большинство
людей выполнило задание за четыре минуты, а не отчет о среднем времени выполнения задачи для всех пользователей.
Что это значит?
291
При выборе любого метода вы увидите, что его полезно применять
в итеративных исследованиях, чтобы можно было устанавливать контрольные показатели и отслеживать улучшения результатов по мере
продолжения разработки и тестирования продукта. Кроме того, можно использовать эти метрики для сравнения одного продукта с другим или одного дизайна с другим при анализе конкурента. Если вы
тестируете несколько типов пользователей, то можете использовать
эти метрики для сравнения одной группы пользователей с другой –
например, чтобы сравнить производительность новичков и эффективность экспертов.
Использование количественных данных
в небольших исследованиях
Если у вас небольшое исследование, то нужно очень Подробнее о подводных камвнимательно подумать, использовать ли метрики, по- нях, связанных с искажением
скольку они могут искажать результаты. Например, не- данных в отчетах об исследобольшие отклонения во времени выполнения задания ваниях, см. в «Damaged Merв пределах небольшой группы пользователей могут chandise? A Review of у Experiments that Compare Usability
сделать проблематичным отчет о среднем времени вы- Evaluation у Methods», 1998.
полнения задания, особенно когда один из участников
стал «шальной картой», тратя гораздо меньше либо гораздо больше
времени на выполнение задания. Исключение этой единственной точки данных может привести к тому, что у вас останется слишком мало
точек для представления результатов значимым статистическим способом. В таких случаях лучше всего использовать таблицу фактического времени выполнения задания для каждого участника.
Работа с выбросами
В небольших исследованиях важен каждый человек. Выброс – это
единичный экземпляр результата, который вы наблюдали только
у одного пользователя. Что с ним делать?
Можно не учитывать его, потому что вы наблюдали это только у одного человека (эффект шальной карты). Однако в небольших исследованиях один человек может указать на важный результат. Некоторые говорят, что даже упоминать об этом в качестве отправной точки
рискованно, но, если вы тестируете пятерых пользователей и опыт
взаимодействия одного человека является выбросом, этот результат
может составлять 20 % пользователей. Но не указывайте такой результат в процентах, поскольку это слишком маленькая отправная
точка, чтобы иметь какой-то смысл. Значение 20 % (каждый пятый)
предполагает, что нужно рассматривать и обсуждать каждый выброс,
потому что проблема одного пользователя может представлять проблему, которую будут испытывать и другие.
Внимательно изучая каждый выброс – что может подразумевать
просмотр записей, – следует вернуться к трехэтапному процессу анализа: что мы увидели? что это означает? что с этим делать?
292
Глава 8 • Анализ результатов
Чтобы определить, следует ли сообщать о выбросе или игнорировать его, необходимо учесть эти моменты в своем анализе:
• действительно ли участник представляет целевого пользовате-
ля? Иногда выбросы являются результатом несоответствия при
отборе участников, когда оказывается, что участник не входит
в целевую группу пользователей. Возможно, человеку не хватает
необходимых знаний в предметной области или мотивации для
использования продукта или услуги. В случае несоответствия по
какой-либо причине результаты этого сеанса, возможно, придется отсеять;
• будет ли у других такая же проблема? Вы видите
проблему, но нужно понять, является ли она типичЭтот значок представляет
ной, чтобы можно было определить, нужно ли ее
собой кнопку в виде гамбургерешать. Допустим, участник не понимает кнопку
ра, которая раскрывается при
в виде «гамбургера». Ни у кого больше не было этой
нажатии или щелчке мыши
для отображения меню
проблемы в ходе вашего исследования, но будут ли
навигации по сайту.
другие сталкиваться с ней? Скорее всего, да. Поэтому нужно включить это в анализ;
если
вы
не
уверены
в результатах, требуется ли дальнейшее иссле•
дование? В некоторых случаях вы не совсем понимаете, почему
у участника возникла проблема или возникнет ли она у других.
Однако не нужно просто откладывать ее в сторону. Поэтому можете решить, что вам нужно отметить эту проблему и посмотреть, появится ли она в следующем тестировании.
Конечно, одного наблюдения по-прежнему «достаточно», чтобы
указать на проблему, которую необходимо обсудить и решить, особенно в небольших исследованиях. Если ее можно легко исправить,
почему бы не сделать это?
Представление результатов в цифрах или процентах
В небольших исследованиях принято считать вхождения. Вы делали
это как часть анализа, суммируя количество участников, столкнувшихся с конкретной проблемой. Теперь нужно выбрать правильный
способ представления этих результатов.
Числа подходят для этого лучше всего. Вы указываете, что, например, четыре из шести участников не смогли выполнить задание, вместо того чтобы обозначать это число в процентах, например 67 %.
Передавая цифры, а не проценты, вы избегаете предположения о достоверности, которая не подтверждается небольшим количеством
участников вашего исследования. Следует также быть осторожным,
чтобы избежать обобщения по всей совокупности пользователей, что
особенно важно, когда вы используете небольшое количество участников из одной подгруппы.
Однако имейте в виду, что результаты могут быть значимыми, но
не статистически значимыми. Также имейте в виду, что не все вы-
Что это значит?
293
воды самоочевидны. Во многих случаях их необходимо В главе 5 обсуждаются
проанализировать, чтобы понять. Типичный пример – способы категоризации
как подсчитать успешное или неудачное выполнение за- успехов или неудач
дания. На совещании по планированию вы должны были в процессе планирования
тестирования.
определить, как вы будете регистрировать действия пользователей касательно успешного или неудачного выполнения задачи.
Просмотр этих результатов позволит вашей команде подтвердить количество успешных и неудачных вариантов.
Проанализировать анкеты
Помимо анализа результатов журналов, также нужно проанализировать ответы участников на вопросы из анкет, выдаваемых после прохождения заданий и тестирования. Ответы участников на эти вопросы бывают двух типов:
• количественными – ответы на вопросы или утверждения с ис•
пользованием шкалы оценок, в которой участники выбирают
один показатель из нескольких вариантов;
качественными – комментарии, мнения и ощущения, выраженные при ответе на открытые вопросы.
Количественные ответы
Ответы участников можно легко подсчитать и сопоставить, поэтому
обычно они представляются в виде количественных данных. Если исследование достаточно велико, то можно предоставить их в процентах, используя среднее арифметическое, медиану или моду. В небольших формативных исследованиях нужно будет предоставить результаты в виде чисел, например пять из шести участников сообщили, что
удовлетворены работой продукта (на основе их выбора: 4 или 5 по
пятибалльной шкале Ликерта).
Тем не менее необходимо учитывать предвзятость, преобладающую в этих ответах. Вы, вероятно, замечали во время тестирования, что участники не хотели произвести неприятное впечатление,
поэтому не хотели жаловаться на опыт взаимодействия, особенно
в присутствии других людей или во время записи. Помимо этой
склонности к желанию быть приятным или вежливым, есть и другие черты, которые могут влиять и влияют на то, как они заполняют
анкеты:
Тенденция «говорить да»
те со шкалой. Это называется ошибкой централь- называется предвзятостью
ной тенденции. Поэтому если они оценивают уступки. Подробнее
о природе людей стремиться
степень своего удовлетворения по пятибалльугодить см. в главе 7.
• люди склонны избегать крайних значений при рабо-
ной шкале, то, вероятно, будут избегать крайних
значений, выбирая рейтинг ближе к среднему или выше, но не
слишком часто к верхнему или нижнему пределу диапазона;
294
Глава 8 • Анализ результатов
В некоторых анкетах, включая • люди склонны последовательно оценивать ответы.
SUS, утверждения чередуются:
Итак, если они выбрали 4 из 5 для первой пары отесть положительные
ветов, то, скорее всего, будут и дальше придержии отрицательные утверждения
ваться этого ответа.
в надежде заставить
респондента задуматься
Оказывается, время заполнения анкеты тоже может
над каждым из них и дать
повлиять на результат. Одно из исследований доказасоответствующий ответ.
ло это.
Дополнительные сведения
Участников попросили оценить легкость задания
о SUS см. в главе 6.
и удовольствие от работы тремя условиями.
1. Во время задания, в котором им было предложено ответить на
два вопроса.
2. Опять же, после завершения задания, в котором их попросили
ответить на те же два вопроса.
3. И для другой группы, в которой их попросили ответить на два
вопроса только после выполнения задания.
Вот что показало исследование:
• после завершения задания участники дали более высокие оцен•
ки, чем во время его выполнения;
участники, которых попросили дать ответ только после завершения задания, поставили гораздо более высокие оценки, чем
другая группа.
Учитывая этот потенциал оценок, которые могут неточно отражать
опыт пользователей, вы, вероятно, захотите взвесить эти результаты
как фрагмент головоломки, связанной с пользовательским опытом.
Лучший способ проанализировать результаты из анкет – заметить,
когда участник помечает один или два ответа, которые сильно отличаются от остальных: скорее всего, у другой оценки есть причина,
которую вы захотите изучить. Если вы не связались с участником во
время сеанса, то все равно можете изучить журнал или запись, чтобы
узнать, можно ли понять причину той или иной оценки.
Качественные ответы
Многие анкеты включают в себя открытые вопросы, требующие качественных ответов. Это ответы, выраженные собственными словами
участников. Анализ этих ответов – как положительных, так и отрицательных – может дать дополнительную информацию и представление о впечатлениях участников, которые можно использовать двумя
способами:
• сгруппировать ответы по темам или категориям и найти один
•
или несколько типичных комментариев, отражающих диапазон
комментариев для каждой категории;
включить все ответы из анкеты в приложение в своем отчете или
отсканировать их, чтобы разослать по электронной почте.
Что это значит?
295
Используйте качественные отзывы из процесса
размышлений вслух
Богатый источник качественных отзывов, который часто может быть
надежнее и информативнее, чем ответы на открытые вопросы из анкет, основан на комментариях участников, когда они думают вслух.
Эти комментарии участников, пока они заняты В главе 9 рассказывается, как
продуктом, может пролить свет на характер проблем, подготовить отчет о полученс которыми они сталкиваются, а также на то, что им ных результатах.
нравится.
В зависимости от типа исследования, которое вы проводите, и того, как будут использоваться результаты, можете включить сюда один
или два типичных комментария для каждого результата или сопоставить все комментарии участников по каждому результату. Сделать
это можно одним из следующих способов:
• если вы записывали комментарии пользователей в файл Word,
•
то можете экспортировать их в электронную таблицу, а затем
отфильтровать комментарии по ключевым словам или кодам.
Если вы создали файлы журнала в электронной таблице, можете
отсортировать их прямо в электронной таблице. При регистрировании комментариев, например с помощью Reframer, можно
использовать Theme Builder для группировки и создания тем;
если вы использовали формы наблюдателя или стикеры, можете выделить комментарии в формах или распределить стикеры
с комментариями по положительным и отрицательным группам.
Сопоставьте ответы из карточек реакции
на продукт
Если вы использовали карточки реакции на продукт, Для получения дополнительтеперь можно сопоставить выбор участников для ото- ной информации об испольбражения числа в каждой из следующих категорий. Это: зовании карточек см. главы 6
Как и в случае с ответами участников на вопросы анкет, выбор карточек – это субъективный процесс, который можно оценить количественно, сгруппировав выводы и подсчитав результаты. Эти результаты можно добавить к результатам других механизмов отзывов.
На рис. 8.3 показана группировка положительных карточек, выбранных шестью участниками исследования сайта по составлению
налоговой декларации.
296
Глава 8 • Анализ результатов
Эффективность
Экономящий время Прямолинейный
Эффективный Простой в использовании
Гибкий Подходящий Удобный
в использовании Полезный
Продвинутый Всеобъемлющий
Высококачественный Деловой
Личность
Рис. 8.3 Три темы были выделены из положительных карточек,
выбранных участниками в ходе исследования сайта по подготовке налоговых деклараций.
Слово «профессиональный» было единственной карточкой, выбранной дважды
Что с этим делать?
Вы зашли очень далеко, ответив на первые два вопроса: «Что мы увидели?» и «Что это означает?»
Теперь вы находитесь на той стадии анализа, когда нужно осмыслить все увиденное и услышанное и ответить на вопрос: «Что с этим
делать?»
Этот третий и последний этап анализа включает в себя объединение всех ваших источников данных, систематически ранжируя их
и помещая в рекомендации.
Триангулируйте данные результатов
Триангуляция – это метод исследования, который часто используется
в качественных исследованиях, чтобы продемонстрировать надежность результатов путем изучения данных с разных точек зрения.
Триангуляция – это процесс сравнения отдельных источников результатов для поиска согласованности или несоответствий (рис. 8.4).
Наблюдения
Триангуляционный
анализ
Ответы на вопросы
анкеты
Комментарии
участников
Рис. 8.4 Триангуляция объединяет различные источники данных
для обогащения анализа выводов
Что с этим делать?
При анализе результатов своего исследования можно использовать
триангуляцию, сравнивая качественные и количественные данные.
Вот пример того, как это устроено. Допустим, вы задали метрику для
выполнения определенного задания менее чем за пять минут. Вы хотели бы использовать ее в качестве основы в будущих исследованиях, как только подтвердите ее достоверность. Для этого вы смотрите
на результаты выполнения задания, чтобы увидеть, все ли участники
выполнили его за пять минут или сделали это раньше. Затем просматриваете журналы по каждому участнику, чтобы увидеть, как они выполняли задание. А именно говорили во время его выполнения, какие вопросы или неуверенность они могли выразить, успешно ли они
выполнили его и как они ответили на вопросы анкеты, выдаваемой
после выполнения задания, чтобы оценить их удовлетворенность
процессом.
Вы обнаружили, что большинству участников на выполнение задания потребовалось около десяти минут, но отчасти это произошло
из-за того, что они усвоили полезные вещи уже в процессе. Они положительно отзывались о задании в ходе его выполнения, хотя вы заметили, что они не выбрали самый прямой путь к его выполнению.
В своих анкетах после выполнения задания они оценили время выполнения как удовлетворительное. Что вы будете делать с этими результатами?
Когда данные из разных источников подтверждают результат, это
помогает команде оценить его силу. В случае примера с временем
выполнения задания метрика могла быть неправильной. Данные
подтверждают положительный опыт пользователей: они потратили
вдвое больше запланированного времени на выполнение задания, но
остались довольны результатом.
Когда кажется, что данные из разных источников противоречат
друг другу, необходимо изучить их. Часто реакция на механизмы
обратной связи после тестирования противоречит наблюдениям за
пользовательским опытом. Например, участники могут положительно оценивать свой опыт выполнения задания или всех заданий, но вы
видели, как они стараются изо всех сил, и даже слышали их жалобы
во время исследования. Если бы вы просто ознакомились с ответами,
которые они выбрали в SUS, или выбором, который они сделали при
работе с карточками реакции на продукт, то могли бы прийти к выводу, что отзывы пользователей были более положительными, чем показали ваши наблюдения. Однако если вы получите их комментарии,
пока они завершают работу с анкетой SUS или когда они выбрали каждую карточку из колоды, то у вас будет контекст сделанного выбора.
Например, я часто слышу, как участник, который боролся с заданием,
по-прежнему оценивает его как «легкое» и говорит: «Как только я все
понял, все стало легко».
Использование комбинации факторов для триангуляции данных
вашего исследования дает возможность проанализировать результаты в целом. Помимо триангуляции источников данных из вашего ис-
297
298
Глава 8 • Анализ результатов
следования, можно выполнять триангуляцию по другим источникам
данных, таким как данные журнала сервера, данные центра обработки вызовов и т. д.
В итеративных исследованиях можно триангулировать данные по
юзабилити-исследованиям в поисках доказательств улучшения. Если
вы используете одинаковые анкеты в этих исследованиях, это позволяет легко сравнивать и сопоставлять результаты.
Охарактеризуйте результаты по степени
серьезности
Вы проанализировали результаты, подсчитали, сколько раз каждый
из них был получен участниками, классифицировали их по типу
и сравнили или сопоставили их с другими источниками данных. Теперь нужно классифицировать их по влиянию на пользовательский
опыт, а это означает присвоить им рейтинг серьезности.
Шкалы рейтинга серьезности различаются, но у всех них есть экстремальное условие на каждом конце с различной степенью влияния
на пользовательский опыт. Тип используемой шкалы можно определить на совещании по планированию. В противном случае ваша
команда должна решить, как ранжировать результаты, чтобы можно
было установить приоритеты для их исправления.
Дискуссия, связанная с присвоением результатам оценок серьезности, усиливается, если это командные усилия, поскольку необходим
консенсус в отношении того, как определить, что означает рейтинг.
Например, можно оценить результаты по:
Имейте в виду, что проблема
не обязательно должна
наблюдаться у большого числа
участников исследования,
чтобы считаться серьезной.
В некоторых случаях вы
наблюдаете ее один раз
и знаете, что ее нужно
оценить с высокой степенью
серьезности.
• частоте появления – измеряется тем, как часто вы
•
•
видели это или как часто это может произойти;
влиянию проблемы на пользовательский опыт – измеряется с точки зрения успеха или неудачи, а также легкостью или сложностью процесса для пользователя, возможностью исправления ошибки и т. д;
устойчивости проблемы – измеряется путем наблюдения за тем, могут ли пользователи, столкнувшиеся с проблемой, научиться избегать или преодолевать ее в будущем.
Простая трехбалльная шкала оценки серьезности может выглядеть
так:
1) косметическая проблема – пользователь может колебаться или
выбрать неправильный вариант, но исправляет его без происшествий; или пользователь выражает незначительное раздражение или беспокойство, но это не влияет на способность выполнять задания;
2) серьезная проблема – пользователь разочарован, но справляется; это может привести к значительной задержке при выполнении задания;
Что с этим делать?
3) катастрофа – пользователь не может выполнить задание или
нуждается в помощи (бизнес-цель – сделать процесс независимым от помощи пользователям).
Более точно настроенная шкала может иметь четыре категории,
например:
1)
2)
3)
4)
В очень простой шкале используются следующие категории:
• низкая,
• средняя,
• высокая.
Конечно, также нужна категория для положительных результатов,
поскольку вы не хотите игнорировать их. Им не будет присвоен рейтинг серьезности, но их нужно включить в свой анализ.
Определите глобальные и локальные
результаты
Еще один способ категоризации результатов – это масштаб проблемы
в рамках интерфейса. Джо Дюма и Джинни Редиш представили этот
подход к классификации результатов как локальных или глобальных
в своей новаторской книге «Практическое руководство по юзабилити-тестированию».
Глобальные результаты
Прелесть небольших исследований состоит в том, что они могут дать
серьезные результаты. Даже если ваши участники могут заниматься
заданиями только в одной части продукта, проблемы, с которыми
они сталкиваются, часто указывают на проблемы дизайна или реализации, возникающие во всем продукте. Результат, отражающий
проблему такого масштаба, называется глобальным. Результат, обнаруженный в одном месте, может указывать на необходимость исправить его не только там, где вы его обнаружили, но и во всем продукте.
Таким образом, глобальный результат обычно является важным.
Каковы типичные глобальные результаты? Их краткий список часто включает в себя:
• информационную архитектуру / навигацию – участники не могут
•
найти то, что ищут, потому что это плохо видно или они находятся не в том месте;
последовательность – в одном месте элементы называются так,
а в другом – иначе (терминология); или участник, работающий
299
300
Глава 8 • Анализ результатов
•
над заполнением формы, не может последовательно пройти ее;
или дизайн на разных страницах разный, из-за чего участники не
уверены, где они находятся или где найти определенные объекты;
обратную связь – участники жалуются, что не знают, что делать,
или не понимают, что происходит, когда они выполняют какоелибо действие; или система не сообщает им, что они успешно
завершили действие или что она его обрабатывает (нет индикатора выполнения); или у них нет встроенной справки, которая
могла бы рассказать им, как вводить информацию в поле.
Это не все типы или примеры глобальных результатов, которые вы
обнаружите. Но они предлагают способы, благодаря чему являются
важными результатами юзабилити-исследований.
Как видите, глобальные результаты часто связаны с нисходящими
или восходящими категориями, полученными в ходе вашего анализа.
Вы можете знать тип глобальных получаемых результатов – например, проблемы с терминологией, – но, вероятно, не сможете предвидеть все варианты. Сопоставленные результаты, сгруппированные по
категории терминологии, предоставят вам примеры.
Локальные результаты
Локальный результат – это результат, который встречается только
в одном месте, т. е. на одном экране или странице сайта, или на определенном этапе в инструкциях, или определенной функции продукта. Локальные результаты – невнятное объяснение или отсутствие
поля для ввода в форме – обычно легко исправить (по крайней мере,
легче, чем большинство глобальных результатов). Многие локальные
результаты практически не влияют на опыт пользователя, но некоторые из них могут иметь серьезные последствия, например невозможность заполнить форму из-за отсутствия поля или непонимание
процесса оформления заказа для совершения онлайн-покупки.
Поскольку локальные результаты являются изолированными проблемами, разработчики, скорее всего, захотят исправить их сразу же,
часто до завершения анализа. И это нормально, если все признают
проблему такой, какая она есть. Однако некоторые локальные результаты могут оказаться глобальными, что указывает на проблему дизайна или реализации, которую необходимо решать в рамках всего
продукта. Анализ типов локальных проблем, которые вы обнаружили, и выяснение, отражают ли они глобальные закономерности, является важной частью анализа.
Дать рекомендации
Теперь, когда вы завершили анализ проблем и оценили их серьезность на основе их влияния на пользовательский опыт, осталась одна
задача: дать рекомендации относительно того, как и когда исправить
выявленные проблемы.
Что с этим делать?
Здесь нужно учесть множество вопросов:
• на этом совещании присутствуют разработчики, которые могут
•
•
•
предоставить конкретные рекомендации?
если нет, дадите ли вы общие рекомендации исходя из вашего
понимания проблем, с которыми столкнулись пользователи,
и проблем, которые необходимо решить?
в любом случае как следует расставить приоритеты для рекомендаций:
проблемы, которые легко исправить в первую очередь;
сначала проблемы с кодом «катастрофа», независимо от сложности;
сочетание этих двух вариантов?
есть ли временные ограничения, влияющие на типы рекомендаций, которые вы дадите?
Эти проблемы необходимо решать исходя из опыта вашей команды, поскольку они влияют на типы рекомендаций, которые вы дадите.
Некоторые рекомендации давать несложно
Некоторые рекомендации настолько очевидны и интуитивно понятны, что каждый легко соглашается с ними на совещании, посвященном анализу результатов. Например:
• активировать кнопку Назад в браузере – пользователи хотели ис•
пользовать эту кнопку, чтобы вернуться к предыдущему экрану;
добавить кнопку Домой – некоторые пользователи не знали, что
логотип компании также можно использовать в качестве этой
кнопки.
Другие рекомендации могут быть конкретными или общими
Если в вашу команду входят разработчики, которые внесут изменения, можно быть очень конкретным в своих рекомендациях. Фактически вам может не понадобиться документировать их, кроме предоставления списка с приоритетами, поскольку каждый знает, что
нужно сделать, потому что участвовал в совещании.
Однако если вы даете рекомендации разработчикам, то они, скорее всего, будут сформулированы более обобщенно, поскольку вы не
можете сказать им, как решить проблему. Вы знаете только, что она
требует решения.
На рис. 8.5 показан пример списка рекомендаций, переданный
разработчикам экспертами по юзабилити. Он не сообщает разработчикам, как вносить изменения, но определяет типы изменений,
которые рекомендует команда. Исследование было сосредоточено на
опыте использования нового шаблона учебного курса для крупной
системы здравоохранения.
301
302
Глава 8 • Анализ результатов
Рекомендации от юзабилити-команды разработчикам курсов
Основываясь на выводах данного юзабилити-исследования, мы рекомендуем следующее:
• сконцентрируйте контент на экранах, используя минималистский подход, который предпочитают
участники;
• окончательно устраните орфографические, пунктуационные и другие ошибки, чтобы все
выглядело профессионально;
• уменьшите количество информации на экранах; оставьте только определенные свойства или
функции;
• предоставьте информацию о том, что произойдет, если для каждого варианта будет выбрано НЕТ;
предоставьте информацию о возможности в любой момент выйти из учебного модуля и вернуться
в него;
• определите учебные цели контента, чтобы они полностью поддерживались в модуле. Например,
если ваша цель – научить пользователей вводить данные, спроектируйте раздел «Дайте
попробовать», чтобы он работал без подсказок и пользователи могли учиться самостоятельно;
• уменьшите количество визуальных значков, чтобы оставить самые важные и избежать путаницы
со значками, которые похожи, но не являются интуитивно понятными;
• рассмотрите визуальные стратегии, чтобы обеспечить большую степень разделения между
системой и модулем содержания, если содержание включает в себя обучение использованию
программного обеспечения;
• рассмотрите возможность повторного проектирования экрана для:
– расположения информации в левой части экрана, разделенной вертикальной линейкой
(пользователи ее не видели),
– «хлебных крошек» – пользователи их не видели;
• четко разграничьте обзоры глав и финальный тест; рассмотрите возможность включения оценок
в конец глав, поскольку пользователи отдали предпочтение этой стратегии;
• определите роль и взаимосвязь инструкций в каждом модуле, чтобы они поддерживали обучение
по одному курсу, а также изучение дизайна курса или шаблона:
– рассмотрите использование встроенной справки, не предоставляйте явные инструкции для
каждого модуля и урока,
– рассмотрите использование тренировочного модуля для новых пользователей учебной
программы.
Рис. 8.5 Эти рекомендации основаны на анализе, проведенном командой юзабилити,
чтобы их могли реализовать разработчики курса
Все рекомендации должны быть действенными
Независимо от того, как вы относитесь к продукту, ваши рекомендации должны быть конкретными и действенными. Если у вас нет
разработчиков, участвующих в анализе результатов, то требование
к практическим рекомендациям может оказаться самой сложной частью процесса.
Время является фактором, определяющим, какие рекомендации
вы даете. Если у вас мало времени – а может быть, его и вовсе нет, –
после завершения исследования ваши рекомендации должны быть
достаточно высокоуровневыми, чтобы передать реализацию разработчикам для устранения проблем. Если у вас есть достаточно времени между исследованием и сроком сдачи отчета и если ваша команда
знает продукт, то можно спроектировать решения, основываясь на
Резюме к главе 8 303
результатах. Их можно представить в виде макетов или прототипов,
чтобы предложить направление рекомендуемых изменений.
Время также является фактором, влияющим на то, что и когда будет сделано. Если тестирование проводится на ранней стадии разработки продукта, можете дать некоторые рекомендации по внесению
изменений сейчас, а другие – потом. Если тестирование проводится
в конце процесса разработки, то рекомендации можно оставить для
следующего выпуска продукта или следующего нового продукта. Не
упустите возможность задокументировать результаты и рекомендации, которые, по вашему мнению, нужно предоставить, даже если вы
знаете, что все это нельзя будет сделать в ближайшем будущем.
Важен приоритет рекомендаций. Например, возможно, сейчас вы
решите исправить множество мелочей, простых с технической точки
зрения, а некоторые более крупные и сложные проблемы оставить на
потом или для следующего релиза. В некоторых случаях серьезную
проблему можно решить быстро, но по возможности не сейчас. Тогда
по прошествии большего количества времени проблему можно будет
решать более систематически. Или вы можете решить, что проблемы
настолько системны, что нет смысла исправлять что-либо сейчас, поскольку рекомендация (поддерживаемая всеми) заключается в том,
что от продукта (или его функции) необходимо избавиться и все переосмыслить.
Такого рода рекомендация – переосмыслить продукт или функцию
вместо того, чтобы пытаться исправить системные проблемы – лучше
всего подходит, когда вы рассматриваете продукт на ранней стадии
разработки, но могут быть причины рекомендовать это действие для
продуктов, которые скоро появятся или уже появились.
Резюме к главе 8
Эта глава дала вам стратегию осмысления результатов юзабилити-исследования. С таким большим объемом данных и таким небольшим количеством времени – всем всегда нужны результаты «вчера» –
требуется способ работать быстро и эффективно, обрабатывая груды
данных. Теперь у вас есть нужный метод:
• начинаете с того, что собираете основные моменты и выводы
•
•
у всех, кто наблюдал за тестированием;
затем вы договариваетесь с командой, чтобы провести подробный анализ. Если вы проводили тестирование самостоятельно,
следует приложить все усилия, чтобы заставить кого-то еще
поработать с вами над этим этапом критического анализа, поскольку две или более головы – определенно лучше, чем одна;
вы выбираете методологию сортировки данных из следующих
вариантов:
нисходящей, из заранее определенных категорий,
304
Глава 8 • Анализ результатов
восходящей, позволяющей категориям появляться из сопоставления сродства,
или комбинации двух этих методов;
вы сопоставляете эти данные, чтобы увидеть, у какого числа
участников был аналогичный опыт;
вы внимательно изучаете выбросы – это результаты, полученные от одного человека;
в зависимости от числа участников исследования вы:
представляете результаты в числовом выражении, если у вас
небольшое исследование,
либо в виде описательной или индуктивной статистики, если
ваше исследование достаточно велико для любого типа анализа данных;
затем вы просматриваете анкеты, выдаваемые после выполнения заданий и тестирования, чтобы проанализировать:
количественные данные в ответ на вопросы или утверждения
шкалы Ликерта или другие вопросы или утверждения с фиксированной шкалой,
качественные данные в ответ на открытые вопросы или частично структурированные интервью или другие методы, такие как карточки реакции на продукт;
проводите триангуляцию выводов, чтобы подкрепить результаты оценки;
классифицируете результаты по серьезности и масштабу;
систематизируете выводы в рекомендации на данный момент
и на будущее.
•
•
•
•
•
•
•
Примеры
результатов
Частичные результаты
исследования сайта Holiday
Inn China
Команда юзабилити-тестирования этого исследования провела свой
первый анализ результатов после тестирования с тремя из шести
участников. Они использовали нисходящий подход, который соответствовал кодам ожидаемых проблем, связанных с макетом, навигацией и переводом. Когда у них не было категории результата, они
называли ее «другое», чтобы проанализировать позже.
Результаты в таблицах, которые следуют ниже, являются выдержками из заметок группы для первых двух сценариев. Качественные
данные от трех участников были сопоставлены с использованием
комментариев и ответов на открытые вопросы. Команда разбила их
на положительные (нравится) и отрицательные (не нравится) комментарии. На данном этапе своего анализа они не включали обозначения «глобальный» или «локальный» или рейтинги серьезности,
поскольку они были определены в конце периода тестирования на
более обширном совещании, посвященном анализу результатов. Тем
не менее они содержали предварительные рекомендации. Полный
отчет об их результатах есть на сайте книги: https://www.elsevier.com/
books-and-journals/book-companion/9780128169421.
Сценарий 1. Смотреть и чувствовать
Участник 1
Категория
Макет
Результаты
– Вход в Priority Club слева сбил участницу с толку.
На мгновение она подумала, что не сможет забронировать
номера, если не вступит в Priority Club.
– Не понравилась реклама
Проблемы
– В переводе непосредственно с англоязычного сайта
с переводом
формулировка «большая двуспальная кровать»
на китайском сайте не имеет смысла.
– Символ «ДОВЕРИЕ» не распознан.
– Она не чувствует себя в безопасности, когда называет
номер своей кредитной карты. Однако она сказала, что
гарантия безопасности очень важна
Эстетика
– Не нравятся цвета на сайте
Идентификация – Была в недоумении, когда увидела поля входа / имени
бренда
и пароля в Priority Club
Комментарий
«Столько рекламы!»
«Цвета не совпадают»
«Предполагаю, что
у меня не будет права
на скидки, потому что
я не являюсь членом
Priority Club»
306
Глава 8 • Анализ результатов
Категория
Навигация
Результаты
– Кнопка Бизнес-конференция сбивает ее с толку. Она
думает, что сможет забронировать номер только в том
случае, если пойдет на конференцию
Комментарий
Участник 2
Категория
Результаты
Идентификация – Смущают разные логотипы отелей и графика внизу
бренда
страницы.
– Изначально заинтересован в использовании сайта только
из-за названия Holiday Inn и репутации
Эстетика
– Понравилась цветовая гамма
Макет
– Думал, что только поисковая строка в центре страницы
связана с сайтом отеля
Навигация
– Считает, что дизайн интуитивно понятный
Комментарий
«Это отели-партнеры?»
Участник 3
Категория
Эстетика
Навигация
Результаты
– Цветовая гамма понравилась.
– Не знал, для чего была реклама; думал, что баннер был
слишком большим
– Четкая навигация
Комментарий
Сценарий 2. Бронирование номера в отеле
Участник 1
Категория
Эстетика
Результаты
– Страница поиска пустая, нужен дизайн.
– В объявлении одного и того же отеля не должно быть двух
цветов фона – белого и серого, что делает этот отель
похожим на два отдельных отеля
Макет
– Она думала, что при бронировании отеля находится на
другой странице, а не на странице Holiday Inn, потому что
теперь вверху был баннер Priority Club.
– Не заметила, что некоторые варианты бронирования на
странице результатов не относятся к Holiday Inn.
– Не удалось найти кнопку Отправить
Навигация
– Запуталась из-за кнопок Начать заново и Завершить
бронирование. Она случайно нажала Начать заново.
– Когда она вернулась, то действительно оказалась в Priority
Club, но не заметила этого
Проблемы с пе- – Слово, используемое на кнопке Отправить, переведено
реводом
неправильно.
– «CNY» [валюта] сбила ее с толку. Этот термин не имеет
значения
Комментарий
«На странице
результатов должен
быть какой-то способ
их категоризации»
Частичные результаты исследования сайта Holiday Inn China
Категория
Параметры
пользователя
Результаты
– На странице бронирования слева находится контрольный
список, позволяющий людям выбирать индивидуальные
варианты, которые она пробует три раза с разными вариантами. На сайте ей удалось найти подходящих номеров.
Она была очень расстроена.
– Требуется раскрывающийся список городов, в которых
расположены гостиницы Holiday Inn.
– Требуется раскрывающийся список для календаря/дат.
– Интересно, почему она должна вставить английское имя.
307
Комментарий
«Я трачу время на
работу с клавиатурой»
«Зачем нужно
английское имя?»
Участник 2
Категория
Параметры
пользователя
Макет
Другое
Результаты
Комментарий
– Надеется увидеть оценки отеля от пользователей.
– Хочет узнать ценовой диапазон (выпадающий список)
– Требуется вариант поиска по городу.
– Требуется более подробная информация о предложениях
отеля.
– Предпочитает, чтобы запрашивался номер подтверждения
кредитной карты
– Пропущены флажки обязательного соглашения
при попытке забронировать отель. Нашел ошибку
с сообщением об ошибке
– Медленный ответ
«Сайт слиииииишком
медленный»
Участник 3
Категория
Макет
Результаты
Комментарий
– Не понравилось, что не было выпадающего меню для выбора города.
– Хотела увидеть индикатор выполнения.
– Хотела увидеть настоящие фотографии отелей, о которых
она читала, в том числе интерьерные картины (многие
использовали одну и ту же общую фотографию внешнего
вида).
– Открылись варианты номеров, которые ей неинтересны.
Она выбрала номера с двумя кроватями, но было показано
больше вариантов.
– Не удалось найти конечную цену
Отрицательные результаты по всем участникам
• Всем трем участникам не понравилось отсутствие раскрываю•
•
щегося списка или всплывающего окна для выбора города.
Двое участников не заметили сообщения об ошибке при попытке найти отель в Чанчуне.
Двум участникам изначально понравилась цветовая гамма; однако, когда они увидели сайт www.elong.com и сайт English Holiday Inn, они понравились им больше, чем китайская версия.
308
Глава 8 • Анализ результатов
• Сайт работал очень медленно (на то могло быть несколько
•
•
•
причин).
Информация о Priority Club сбивала с толку всех троих участников.
Одному из участников не понравилось, что в процессе оплаты не
было проверки номера кредитной карты.
Выбор «Количества дней пребывания» рядом с опцией календаря запутал всех троих.
Предварительные рекомендации
• Сайт выглядел бы более профессионально и заслуживающим до-
•
•
•
•
•
•
верия, если бы следовал аналогичному дизайну англоязычного
сайта Holiday Inn (который гораздо понятнее, чем нынешний
китайский сайт).
Удалите выбор «Количество дней пребывания» со страницы поиска отелей. Календаря будет достаточно.
Создать окно сообщения об ошибке, сообщающее пользователям, что они сделали неправильно, или сделать более заметное
сообщение об ошибке, если пользователи не могут предоставить
все необходимые данные для полей поиска.
Создать раскрывающееся меню или всплывающее окно для
выбора города, в котором указаны доступные местоположения
отелей.
Рассмотрите возможность изменения размера рекламных объявлений или их местоположения. В настоящее время они ошеломляют или сбивают с толку пользователей.
Создайте «промежуточную» страницу загрузки, чтобы показать
пользователям, что сайт обрабатывает результаты поиска. Пустая страница сбивает пользователей с толку, и им интересно, не
«завис» ли сайт в процессе поиска.
Создайте раздел для ввода верификационного номера кредитной карты во время оформления заказа.
Подготовка
отчета
о полученных
результатах
Средство передачи сообщения и есть сообщение.
9
— Маршалл Маклюэн
После всей той тяжелой работы, которую вы проделали в ходе планирования, подготовки и проведения юзабилити-исследования, презентация полученныхрезультатов является наиболее важным этапом
этого процесса. Выбор правильного средства передачи сообщения,
если у вас есть выбор, имеет решающее значение для предоставления
результатов и наблюдения за тем, как они участвуют в улучшении
продукта.
Для многих тестирование – это самое интересное. Та часть, что
касается отчетов, сложная и не особо захватывающая (для большинства), но она необходима, чтобы передать то, что вы узнали, что означают результаты и что с ними делать. Если вы выберете правильное
средство передачи и правильно составите сообщение, то шансы увидеть, как рекомендации претворяются в жизнь, резко увеличатся.
В этой главе рассказывается, с чего начать, следуя древнему, но актуальному совету Аристотеля.
Ваша аудитория – люди, которые, вероятно, получат ваш отчет.
Цель – ваша цель при подготовке и предоставлении отчета, так и их
цель, состоящая в его получении.
Контекст, в котором они его получат, – средство передачи сообщения:
• письменный отчет, отправленный вашей целевой аудитории,
• устный отчет перед целевой аудиторией,
• сочетание устной презентации и письменного отчета.
После решения этих проблем нужно подумать, как подготовить сообщение для средства передачи, в котором оно будет предоставлено,
310
Глава 9 • Подготовка отчета о полученных результатах
и как выстроить свои результаты, чтобы соответствовать этому средству. Варианты включают в себя:
• написание неформального отчета, который содержит:
обзор / контекст исследования,
лучшие положительные результаты,
основные отрицательные результаты,
рекомендации/действия;
• подготовку официального отчета в стиле документа или презентации, что влечет за собой:
планирование частей,
написание резюме для руководства,
организацию остальной части отчета в соответствии с потребностями вашей аудитории;
• представление выводов – положительных и отрицательных –
с использованием стратегий для:
резюмирования выводов в таблицах,
иллюстрирования выводов скриншотами, диаграммами и графиками,
встраивания видеороликов,
упорядочивания выводов по степени серьезности, объему, категории, задаче или некой другой схеме;
представление
результатов после выполнения заданий и тестов,
•
в том числе:
ответы на опросы из собственной или стандартной анкеты,
например SUS,
качественные отзывы из карточек реакции на продукт или
другие методы;
• рекомендацию решений или действий;
• представление устного отчета, что влечет за собой:
планирование,
подготовку,
практику,
предоставление,
решение вопросов;
• пропаганду бóльшего количества тестов и других методов,
ориентированного на пользователя проектирования для подтверждения улучшений пользовательского опыта.
Я начну с Аристотеля, и вы скоро поймете, почему.
Следуя совету Аристотеля
Следуя совету Аристотеля
«Риторика» Аристотеля сегодня так же актуальна, как и тогда, когда
он впервые представил ее своим ученикам. Эффективный коммуникатор (он бы сказал, «оратор») – тот, кто рассматривает три основных
элемента риторической ситуации:
• аудиторию – кому вы доставляете сообщение? Адресовано ли
•
•
оно его менеджеру, который распределяет ресурсы, разработчику, вносящему изменения, или заинтересованному лицу, которое контролирует процесс? Если в вашей аудитории несколько
человек, то чем они похожи и чем отличаются? Что они уже знают о юзабилити-практиках в целом и о том, что вы делали в этом
конкретном исследовании? Какие причины могут повлиять на
принятие решений соответствующими лицами?
цель – какова ваша цель в представлении информации и какова
их цель чтения, прослушивания и просмотра этой информации?
Они уже считают, что изменения необходимы, или их нужно
уговаривать? Документируете ли вы известные результаты, которые всем понятны благодаря их участию в исследовании, или
вы представляете результаты и рекомендации аудитории, которая узнает о них впервые? Будут ли ключевые заинтересованные
лица готовы к действиям?
контекст использования – как будет получена информация и как
она будет использоваться? Соберутся ли все на совещание в одном помещении? Или они получат отчет на каком-то носителе? Есть ли у них время просмотреть отчет, когда он поступит?
Станет ли презентация вашего отчета началом обсуждения решений? Или ваша аудитория воспользуется рекомендациями
и сразу же приступит к их выполнению?
Подготовка сообщения
Хотя у вас может быть множество средств передачи, чтобы представить результаты своего исследования, большинство результатов записывается в отчет. Уровень детализации и контекст использования
могут значительно различаться. Некоторые отчеты предоставляются
в подробном письменном виде и в виде краткого изложения результатов в презентации. В некоторых есть видеоролики; в других – нет.
Одни отчеты доставляются в виде вложения к электронному письму.
Остальные загружаются в общую рабочую область проекта. Получатели отчета могут распечатать его или прочитать в интернете у себя
на компьютере, планшете или смартфоне. В некоторых случаях отчет
доставляется во время личной встречи или с помощью программного обеспечения для коллективной работы. Встречу можно записать
и заархивировать, чтобы поделиться с другими, используя для этого
различные способы.
311
312
Глава 9 • Подготовка отчета о полученных результатах
Помня об Аристотеле, необходимо разобраться в вопросах аудитории, цели и контекстов использования. Вы должны начать с того, чтобы подумать над аудиторией и над тем, чего хотите добиться. Затем
нужно решить, как структурировать отчет и предоставить результаты
и рекомендации. После этого подумайте о сроке существования отчета
(включая записанные устные отчеты и основные моменты на видео),
и выйдет ли он за пределы срока, когда его нужно будет предоставить.
Написание неофициального отчета
Если контекст носит неформальный характер, в отчете будут обобщены основные моменты, чтобы его можно было быстро подготовить
для получения результатов и выполнения рекомендаций. Рисунок 9.1
Основные результаты исследования сайта для налогоплательщиков
2 дня, 9 участников
6–7 января 20хх года
Положительные моменты
• Форма быстрого заполнения была хорошо принята
• Все выглядит чисто
• Процесс не вызывает трудностей
Проблемы
Язык/содержание
• Информация трудна для чтения; нужны маркеры и более короткие абзацы
• Используется слишком много полужирного шрифта
• При заполнении декларации о совместном имуществе нужно использовать по отношению к пользователю
местоимения «вы» и «ваш»
• Формулировка о вариантах бесплатной подачи непонятна
• Возможность переключения пакетов с бесплатных на платные услуги позже по ходу процесса не ясна
Рекомендация: при необходимости отредактируйте текст
Навигация
• Кнопки Отмена и Назад сбивают с толку – пользователи не понимали, какой вариант выбрать
• Нужна возможность добавить еще одну государственную налоговую декларацию
Рекомендация: наладить последовательность процесса; предоставить возможность добавить еще одну
государственную налоговую декларацию
Формы
Наибольшее количество проблем вызвали следующие формы: 1098-Т, 2441, ипотечные проценты
Рекомендация: пересмотреть и реструктурировать эти формы; создать мастеров для успешного заполнения
формы
Поиск/справка
• Местоположение – пользователи не видели результатов поиска / справки в нижней части экрана
• Порядок – результаты не возвращались в ожидаемом порядке
Рекомендация: исправьте, чтобы результаты поиска / справки располагались выше на экране и сначала
показывали формы
Рис. 9.1
Неофициальный отчет документирует основные результаты и рекомендации команды
из юзабилити-исследования сайта для подачи налоговой декларации
Написание неофициального отчета
313
представляет собой пример неофициального отчета, в котором документируются основные положительные и отрицательные результаты
и рекомендации после исследования сайта для подачи налоговой декларации. Поскольку разработчики наблюдали за сеансами исследования и участвовали в совещании, посвященном анализу результатов, им не требовался особый контекст, чтобы понять основные проблемы и рекомендации.
Если у вас будет немного больше времени или если аудитории потребуется дополнительная информация, то неофициальный отчет
может предоставить анализ результатов. Рисунок 9.2 – это пример
отчета данного типа.
Отчет о юзабилити-исследовании сайта Destination Teaching
Резюме
Юзабилити-исследование сайта Destination Teaching (DT) было проведено 24 июня 20xx года командой
Юзабилити-центра и членами-клиентами. Целью исследования было определить, легко ли пользователям
найти информацию о том, как стать учителем, и узнать, насколько хорошо сайт поддерживает их потребность
в конкретной информации, чтобы помочь им в достижении своей цели. На соответствие следующим критериям
отбора были отобраны шесть участников.
•
•
•
•
•
Пользователь имеет высшее образование в области отличной от педагогики
Пользователь заинтересован в том, чтобы стать учителем
Пользователь не знаком с учреждениями университетской системы или педагогическими колледжами
Пользователь не заходил на тестируемый сайт
Пользователь умеет искать информацию в интернете
Каждому участнику было предложено выполнить четыре сценария. Всех попросили «подумать вслух», чтобы
их слова и действия можно было записать и рассмотреть. В конце каждого сеанса участников просили выбрать
четыре или пять слов (из колоды карточек реакции на продукт), которые лучше всего описывали их ощущения
при использовании сайта. И в своих комментариях, и при выборе карточек пользователи положительно
реагировали на потенциал сайта как ресурса для будущих учителей; однако некоторые его аспекты мешали им
успешно выполнять свои задачи. Среди них – сбивающие с толку термины, нечеткая навигация, неправильные
представления о цели и использовании сайта («ментальная модель») и уровень контента (слишком много или
слишком мало информации).
Ниже приводится обзор результатов исследования с рекомендованными изменениями для тех областей,
в которых пользователи столкнулись с трудностями.
Результаты и рекомендации
Положительные результаты
Пользователям понравился тот факт, что при выборе сайта университета он открывался в новом окне, поэтому не
нужно было покидать сайт при изучении учебного заведения.
•
•
•
•
Все сочли сайт привлекательным, два человека обратили внимание на «приятные цвета»
Пользователи отметили, что домашняя страница умещается на экране и ее не нужно прокручивать
Все пользователи указали на то, что финансовую информацию легко найти и что она «очень информативна»
После быстрого просмотра домашней страницы пользователи могли легко объяснить цель сайта
Проблемы и рекомендации
Ниже приводится список основных проблем, с которыми столкнулись пользователи, и соответствующие
рекомендации (без рейтинга), а также назначение ответственных и сроки выполнения.
Рис. 9.2 Неофициальный сводный отчет юзабилити-исследования сайта для будущих учителей
содержит результаты высшего уровня, рекомендации и действия, которым необходимо следовать
314
Глава 9 • Подготовка отчета о полученных результатах
Результаты исследования
Рекомендации
Ответственное
лицо
Изменить дизайн левой панели Офис
1. Трое из шести пользователей не
университетской
смогли найти подзаголовки на левой навигации, чтобы лучше
выделить подзаголовки для
системы штата
панели навигации
упрощения навигации
Джорджия (USG)
2. Трое из шести пользователей
Отредактировать содержимое Персонал
отметили, что на сайте используется сайта, чтобы оптимизировать
Destination
Teaching (DT)
много текста. Один пользователь
его и повысить юзабилити
посчитал, что шрифт слишком мелкий и читабельность
Офис USG
3. Трое из шести пользователей
Перенести информацию
сказали, что знают о финансовой
о программе HOPE в начало
страницы. Предоставить
помощи в целом, но не знакомы
с ее государственной стипендией
дополнительную информацию
(программа HOPE)
о программе
Офис USG
4. Трое из шести пользователей
Измените страницу по
умолчанию на «степени»
не смогли найти информацию
и оставьте вкладку для общей
о степенях на страницах
университета
информации
Удалить эту ссылку с сайта
Офис USG
5. Пятеро из шести пользователей
сочли страницу «Статистика
и отчеты» запутанной и сказали,
что она не предлагает ожидаемой
информации
6. Четверо из шести пользователей
Изменить дизайн сетки или
Персонал DT
не понимают значения цветных
рассмотреть возможность
квадратов в сетке на странице
удаления сетки и создания
«Маршруты/Программы»
страницы глоссария терминов
7. Трое из шести пользователей сочли
Удалить опцию степени из
Офис USG
функцию поиска очень сложной
функции поиска. Добавить
в использовании. Опция степени
кнопку сброса
мешает им правильно использовать
поиск
8. Трое из шести пользователей были
Оставить ссылку на USG внизу Офис USG
сбиты с толку панелью навигации
страницы и удалить панель
Университетской системы штата
навигации USG
Джорджия в верхней части (USG)
и поисковой системой
9. Пятеро из шести пользователей не
Уточнить определения на
Персонал DT
понимали различий между степенями соответствующих страницах
MAT и M.Ed.
сайта
10. Трое из шести пользователей хотели Увеличить содержимое
Персонал DT
получить больше информации
страницы «Тема», включив
по предметам, которые будут
в нее список предметов для
преподаваться, и предложили
преподавания
составить список
11. Двое из шести пользователей
Предстоит определить
Персонал DT
посчитали, что навигационные ссылки
на главной странице справа сбивают
с толку из-за терминов. Один из
пользователей не заметил ссылки
Рис. 9.2 (продолжение)
Дата
завершения
21 июля
12 августа
21 июля
21 июля
21 июля
12 августа
21 июля
21 июля
12 августа
Дата
не назначена
Дата
не назначена
Подготовка официального отчета
315
Результаты карточек реакции на продукт после окончания тестирования
Из общего числа отобранных 18 слов только одно отрицательное слово было выбрано одним участником. Среди
17 выбранных положительных слов выбор одного и того же положительного слова в двух случаях – полезный
и организованный – указывает на сильную положительную реакцию участников в отношении юзабилити сайта.
Положительные слова:
•
•
•
•
•
•
•
•
•
•
•
полезный (выбрано всеми 6 участниками)
организованный (выбрано 3 участниками)
удобный
всесторонний
доступный
соответствующий
связанный
упрощенный (пользователь уточняет, используя слова «простой в использовании»)
легкий в использовании
экономит время
быстрый
Отрицательные слова:
• ошеломляющий
Рис. 9.2 (окончание)
Видно, что отчет начинается с резюме, которое задает контекст,
объясняет, что было сделано, и дает краткое описание типов результатов. Также видно, что сначала документируются положительные
результаты – это всегда хорошая организационная стратегия, затем –
проблемы, с которыми столкнулись пользователи, количество участников, испытавших проблемы, рекомендации, отдел, ответственный
за действие и крайний срок его завершения. Эти задания были сделаны на собрании по выводам, поэтому отчет просто документирует их.
Подготовка официального отчета
Основное различие между подготовкой неофициального и официального отчета заключается в объеме. Официальные отчеты обычно намного длиннее, потому что в них подробно документируются
протокол исследования и результаты, часто с цитатами участников,
подсчетами, скриншотами, таблицами, рисунками и видеороликами.
Официальные отчеты можно подготовить в любом из следующих
форматов:
• в стиле документа – используя стандартные части отчета, начи•
нающиеся с титульной страницы и заканчивающиеся приложениями;
в стиле презентации – используя набор слайдов, созданный
в программе для создания презентаций, например PowerPoint
или Keynote.
316
Глава 9 • Подготовка отчета о полученных результатах
Выбор формата отчета во многом будет зависеть от вашей аудитории и необходимого количества времени. На следующей врезке описывается, как 16 UX-специалистов провели юзабилити-исследование
одного и того же сайта и написали отчет. Моя коллега Даниэль Кули
и я провели анализ отчетов, которые продемонстрировали большое
разнообразие подходов и стилей. Основные моменты наших выводов
указаны в этой врезке.
Исследование сайта Ryanair.com – обзор отчетов
В ходе исследования CUE-10 от 2018 г. проводимого под руководством Рольфа
Молиха, 16 специалистам было поручено провести юзабилити-исследование
сайта Ryanair.com и написать отчет. При составлении отчета использовались самые разные подходы, как показано на некоторых изображениях. Некоторые из
этих вариантов включают в себя следующее:
• девять отчетов были в стиле презентации, а семь – в стиле документа;
• в некоторых отчетах результаты систематизированы по степени серьезности;
другие – по задачам или категориям;
• количество скриншотов, включенных в отчеты, варьировалось от 0 до 47;
• в некоторых отчетах для передачи информации широко использовались разные цвета, в то время как другие придерживались черно-белой гаммы.
Ниже приведены примеры из отчетов.
Мы проанализировали отчеты и опросили участников, чтобы узнать, какой стиль
и подход они использовали при их составлении. После опроса было проведено
интервью.
В ходе анализа мы сгруппировали отчеты по трем категориям.
1. Немногословный – минималистский в своем подходе, практически не предоставляющий контекста о самом исследовании. Вместо этого сразу он переходит
Подготовка официального отчета
к основным выводам и рекомендациям, которые часто создаются в электронном письме или в виде маркерного отчета.
2. Традиционный – всеобъемлющий и подробный в отношении методологии исследования, выводов и рекомендаций, обычно составляется в виде документа
Word.
3. Визуальный – характеризуется в первую очередь дизайном, обычно создается с помощью PowerPoint, Keynote или аналогичной программы для создания
презентаций.
Из ответов на опрос и последующих интервью мы узнали, что стиль отчета, который использовали участники, полностью соответствовал их типичному стилю. Их
выбор продиктован контекстом использования:
• в немногословных отчетах UX-исследователь тесно сотрудничает с командой,
часто в окружении гибкой методологии разработки, поэтому необходимо сообщать о результатах очень быстро и без особого контекста;
• в традиционных отчетах ожидается формальная структура, часто потому, что
требуется полная документация. В некоторых случаях такой формат выбирается для повторяемости исследования и снижения риска ответственности. Регулируемые отрасли, такие как производство медицинского оборудования, или
отрасли с высоким уровнем риска, например управление воздушным движением, вероятно, будут ожидать отчетов в таком формате. В остальных случаях
этот формат выбирается для итоговой оценки, где требуется документация для
оценки результатов метрик;
• в визуальных отчетах необходимость привлекать и удерживать внимание
аудитории через визуальное оформление, особенно когда основная аудитория – это высшее руководство, может иметь первостепенное значение.
В ходе изучения этих отчетов мы пришли к выводу, что все сводится к следующим
соображениям:
• кто ваша аудитория?
• какова ваша роль?
• когда им нужен отчет?
Как и во всем, что касается вариантов выбора в UX, «все зависит от обстоятельств».
Планирование отчета в виде документа
Отчет в виде документа, скорее всего, будет содержать следующие
части:
• обложку или титульный лист – обычно включает в себя опреде-
•
ление цели исследования, дату предоставления отчета, группу /
автора отчета (и исследования), лицо или группу лиц, которым
адресован отчет, и иногда скриншот с протестированным продуктом;
оглавление – перечисляет все, что есть в отчете, идущем за оглавлением, и обычно указывает на заголовки первого и второ-
317
318
Глава 9 • Подготовка отчета о полученных результатах
•
•
•
го уровня и соответствующие номера страниц в отчете. Также
включает в себя список приложений;
список иллюстраций – группирует и перечисляет таблицы и рисунки (если они прилагаются), с номером и заголовком для каждой страницы и соответствующим ей номером. Если включены
только таблицы или только рисунки, этот раздел можно назвать
«Таблицы» или «Рисунки». Скриншоты можно включить в список рисунков, если они обозначены как рисунки. Однако, если
они встроены в отчет и формально не помечены как цифры, они
не будут включены в список;
резюме – предоставляет краткое изложение цели исследования
и включает в себя основные результаты и действия. В некоторых
рекомендациях резюме помещается перед оглавлением для облегчения доступа;
основную часть – предоставляет основную часть отчета, обозначенную заголовками разделов. Распространенные заголовки
разделов включают в себя:
введение/предпосылки – информацию, необходимую для полного оповещения тех, кто может не знать, почему было проведено исследование, как оно вписывается в цикл разработки,
были ли проведены предыдущие исследования, какая версия
продукта была протестирована и т. д.;
методологию – используемую методологию тестирования,
включающую:
– тип тестирования – формативное или суммативное, неофициальное или официальное,
– условия тестирования – в лаборатории или в другом месте
(включая удаленное тестирование) и описание процесса
подготовки для проведения тестирования,
– характеристики пользователей (профили пользователей /
персонажей), количество участников и метод набора участников (внутренний или внешний),
– продолжительность и формат сеансов;
цели и задачи тестирования – связаны с бизнес-целями продукта;
метрики – например, время выполнения задания, успешное
или неудачное выполнения задания и т. д.;
участников – данные анкетирования, обычно сведенные в таблицу;
задачи/сценарии – описание используемых задач и сценариев;
выводы / результаты тестов – положительные и отрицательные (текст, изображения / скриншоты, таблицы и рисунки):
– По каждому выводу:
а) число участников,
Подготовка официального отчета
•
б) пример вывода, цитата участника / видеоролик, скриншот.
– По каждому результату:
а) рейтинг серьезности (для отрицательных выводов),
б) масштаб проблемы – глобальный или локальный;
результаты после выполнения заданий и тестирования:
– обобщенные/сопоставленные результаты анкет, выдаваемых после выполнения заданий и проведения тестирования,
– часто представлены в таблицах и на рисунках;
рекомендации – могут быть объединены с выводами или рассмотрены по отдельности; каждая рекомендация:
– описывается и при необходимости сопровождается иллюстрацией,
– идет с упором на приоритетность, исходя из рейтинга серьезности (и масштабов проблемы), а также возможности решения проблемы сейчас или позже;
следующие шаги:
– при необходимости назначить действия отдельным лицам
или группам,
– выступать за большее количество юзабилити-тестирования
и других UCD-практик;
приложения – также называемые «предыстории» – содержат необязательные вспомогательные материалы:
помечены как A, B, C с соответствующим заголовком для каждого, чтобы отразить содержимое,
обычно содержат заполненные скринеры, анкеты, выдаваемые после выполнения заданий и проведения тестирования, журналы, протокол исследования, сценарий модератора
и т. д.; также могут включать в себя полностраничные скриншоты для справки.
Написание резюме
Резюме предназначено для руководителей и менеджеров, которые
часто просто хотят увидеть ключевые проблемы в отчете, если эти
проблемы помещены в контекст, который сообщает руководителям
то, что им нужно знать. При написании этой важной части отчета рекомендуется помнить о пяти вопросительных словах, используемых
в журналистике: кто, что, когда, где, почему и как. Ответы на эти подсказки дадут вам структуру для написания эффективного резюме.
Некоторые ждут, пока не будет написана остальная часть отчета,
прежде чем приступить к работе над резюме. Вы можете набросать
его, перед тем как писать остальную часть отчета, но важно вернуться к нему после того, как закончили отчет, чтобы убедиться, что оно
действительно охватывает ключевые вопросы.
Powered by TCPDF (www.tcpdf.org)
319
320
Глава 9 • Подготовка отчета о полученных результатах
Оказывается, не только руководители любят такие резюме. Их любят все, потому что всем выгодно иметь полную картину отчета, даже
тем, кто продолжает читать другие его разделы. На рис. 9.3 представлен пример резюме для отчета в виде документа.
Резюме
Команда юзабилити-тестирования, в состав которой входят представители Юзабилити-центра
и группы сотрудников компании-разработчика программного обеспечения [кто], спланировали
и провели юзабилити-исследование FTP-клиента [что] в лаборатории Юзабилити-центра [где]. Это
была третья оценка юзабилити этого продукта, при этом основное внимание уделялось версии 7,
которая в настоящее время находится в разработке. Использовался скринер, ранее разработанный
для опытных пользователей. Цель теста заключалась в том, чтобы проанализировать опыт таких
пользователей в результате значительного изменения дизайна интерфейса [почему].
16 марта [когда] утром был проведен разбор с отобранным пользователем, а пилотное тестирование
проводилось в полдень. Многочисленные изменения были внесены в сценарии в перерыве между
разбором и пилотным тестом; меньше изменений было внесено после пилотного теста [как].
16 и 17 марта было проведено тестирование с еще четырьмя участниками, при этом совещание по
обсуждению результатов проводилось непосредственно после последнего теста [как]. Электронная
таблица результатов была роздана членам команды после совещания.
Основные результаты сгруппированы по следующим категориям.
Положительные результаты Пользователи положительно отзывались о свежих цветах и о том,
что продукт выглядит «актуальным»; им приглянулся новый дизайн
с интерфейсом вкладок и оболочкой Windows; также понравилась
новая концепция уведомлений по электронной почте и наличие
контекстно-зависимой справки.
Эстетика
Пользователи отметили, что интерфейс кажется перегруженным
и чрезмерно сложным.
Диспетчер рабочей области Пользователи не поняли концепцию диспетчера рабочей области.
Это не соответствовало их ментальной модели по конкретной задаче
или виду деятельности; даже когда они понимали концепцию, то не
могли успешно «добавить новое» рабочее пространство.
Уведомление
по электронной почте
У пользователей возникли проблемы с диалоговым окном, значением
слова «местоположение» и конфигурацией тестового сообщения
электронной почты (включая то, как они хотели получить
подтверждение или отзыв); также у них были проблемы с опцией
электронной почты в разделе «Общие» в параметрах Программа.
Параметры щелчка правой
кнопкой мыши
Пользователи хотели, чтобы функциональность щелчка правой
кнопкой мыши соответствовала их ментальной модели Microsoft;
например, для «сжатия» и «передачи» файлов.
Обучаемость
Пользователи жаловались на мастер запуска, но все задействовали
его успешно; многие пошли на помощь; большинству хотелось
искать термины, используя указатель, который еще не был
разработан.
Обратная связь
Пользователи не поняли «режим» обратной связи.
В этом отчете описываются цели теста, характеристики группы пользователей, определенных
для этого теста, сценарии и результаты. Он не содержит рекомендаций, поскольку команда
клиента присутствовала на исследовании, и она определит дальнейшие действия, основываясь на
результатах. [Это называется прогнозный отчет, так как здесь дается краткое описание порядка
частей отчета.]
Рис. 9.3 В резюме представлены основные результаты
для официального отчета в стиле документа
Подготовка официального отчета
321
Организация остальной части отчета
в соответствии с потребностями вашей
аудитории
После резюме отчет должен предоставить читателям необходимую
информацию в том порядке, в котором они ожидают прочитать ее.
Если следующее, что они хотят видеть, это раздел о результатах и рекомендациях, поместите эту информацию следом. Однако, если им
нужны данные о предпосылках, предоставьте им эту информацию,
чтобы читатели были готовы понять результаты и реКак напоминает нам
комендации. Но не думайте, что всем нужны предпоАристотель, все эти решения
сылки, прежде чем они смогут понять результаты.
касаются аудитории.
Отчет, предназначенный для читателей, которые
главным образом интересуются результатами и рекомендациями, но
кому в первую очередь нужен контекст, можно организовать следующим образом.
1. Резюме.
2. Результаты/рекомендации
3. Обсуждение результатов.
4. Методы, использованные в этом исследовании.
5. Демографические данные и характеристики участников.
6. Предпосылки/проблема/цели исследования.
Если отчет предназначен для полностью информированной аудитории, можно использовать еще один журналистский прием, получивший название перевернутой пирамиды. Она начинается с аннотации или лида, что для журналистов является главной новостью дня,
переходя в обратном направлении к отправной точке истории (для
тех, кто начинает читать историю и не в курсе предыдущих новостей).
Юзабилити-отчет, составленный для хорошо информированных читателей, будет выглядеть, как показано на рис. 9.4. Видно, что здесь
нет резюме, потому что все уже в курсе дела. Но все равно следует
начинать с четкого определения цели – всего одно или два предложения, – чтобы читатели могли сказать себе: «О, это отчет о результатах
юзабилити-исследования Продукта X».
Еще один вариант организации отчета для хорошо осведомленных
читателей, особенно если все они были на совещании, посвященному
обсуждению результатов, – поменять местами первых два основных
заголовка для обозначения частей отчета, как показано на рис. 9.5.
Однако если вашим читателям нужны предпосылки и контекст,
чтобы понять, что вы сделали и почему, то можно организовать свой
отчет, как показано на рис. 9.6. Такой вариант подходит для смешанной аудитории (сочетание читателей, часть из которых знает достаточно, а другие знают мало или ничего о вашем исследовании), потому что все читатели могут получить высокоуровневый обзор ре-
322
Глава 9 • Подготовка отчета о полученных результатах
зультатов из резюме, а затем полностью прочитать отчет, если им это
нужно, или перейти к интересующим их частям.
Лучшие выводы
Рекомендации
Предпосылки
Рис. 9.4 Организационная структура перевернутой пирамиды
используется в отчете для информированных читателей
Рекомендации
Лучшие выводы
Предпосылки
Рис. 9.5 Отчет для очень хорошо информированных читателей
можно начать с рекомендаций
Резюме
Предпосылки/методология
Результаты
Рекомендации
Следующие шаги
Рис. 9.6 Организационная структура отчета
для смешанной аудитории начинается с резюме
Подготовка официального отчета
323
В большинстве юзабилити-отчетов результаты документируются
исходя из формативного оценивания. Чтобы узнать о стандартизированном формате, созданном специально для суммативного оценивания программного обеспечения, см. следующую врезку. Вы также
узнаете о работе, которая была проделана для создания рекомендаций по формативному оцениванию.
Развитие единого отраслевого формата
Последний раз этот стандарт
был пересмотрен и подтвержден в 2019 г. Информацию
о CIF см. на странице https://
www.iso.org/standard/43046.
Его цель – создать структуру отчета, которая дает лицам, при- html.
нимающим решения, обычно агентам по закупкам из крупных
компаний и государственных учреждений, однотипную информацию для оценки
программных решений от разных поставщиков. Структура отчета включает в себя требование документировать методы и показатели юзабилити, что ставит его
во главу угла при принятии решений. С помощью CIF внутренние специалисты
по человеческому фактору и специалисты по юзабилити могут оценить аспекты
удобства использования предлагаемых поставщиком решений.
Разработка стандартизированного формата официальных
отчетов под названием Общий отраслевой формат (Common
Industry Format – CIF) была инициирована в 1997 г. Национальным институтом стандартов и технологий США (NIST). CIF стал
cтандартом ISO/IEC 25062 в 2006 г.
CIF в настоящее время также используется для других целей, в частности для сертификации юзабилити электронных систем здравоохранения, связанной с безопасностью, Управлением здравоохранения и социальных служб Федерального
правительства США; для тестирования юзабилити и доступности и сертификации
систем голосования на выборах Комиссией по оказанию содействия голосованию; а также для юзабилити-тестирования биометрических систем.
В основном CIF используется для суммативного оценивания. Поскольку большая
часть юзабилити-тестирования, выполняемого во время разработки, носит формативный характер, некоторые разделы CIF не относятся к формативным тестам.
Чтобы создать соответствующий формат для формативного оценивания, был
сформирован комитет для определения распространенных (и лучших) методов
передачи информации в формативном оценивании. Я участвовала в первом из
семинаров, которые проводились в Бостоне в 2004 г., чтобы сформулировать эти
рекомендации. Резюме итогов этого семинара см. в статье «Towards the Design of
Effective Formative Test Reports», 2005.
Планирование отчета в стиле презентации
В нынешнюю цифровую эпоху мы соревнуемся за внимание пользователей, которые могут выполнять несколько задач на своих устройствах, одновременно читая отчет вашей команды о результатах или
посещая совещание, где вы представляете результаты своего исследования. Чтобы привлечь и удержать их внимание, лучше всего
подготовить отчет в виде презентации. Данный тип отчета обычно
предполагает использование такого инструмента, как PowerPoint или
324
Глава 9 • Подготовка отчета о полученных результатах
Чтобы получить доступ к бесплатным шаблонам Duarte
для создания отчета в «шаблоне Slidedoc», см. https://
www.duarte.com. Подробнее
о том, как создавать собственные слайды, используя
данный подход, см. в книге
«Duarte’s Slide:ology: The Art
and Science of Creating Great
Presentations», 2008.
Keynote. Шаблоны инструмента предоставляют встроенные варианты дизайна для представления различных типов информации, которые могут ускорить работу по созданию визуального отчета, но временные
затраты по-прежнему велики. Поэтому у вас должно
быть время, чтобы спланировать и подготовить визуальный отчет.
Фрагменты отчета в стиле презентации часто совпадают с фрагментами отчета в стиле документа:
разница заключается в дизайне страницы. Как правило, презентации используют иерархию маркированных элементов для представления содержимого. Однако другие модели, например те, что доступны на сайте Durate.com, представляют
отчеты в виде «книжки» на слайдах, как показано на рис. 9.7.
Рис. 9.7 Формат слайд-документа использует визуальное представление
для более подробных материалов для чтения, таких как отчет о результатах
Следующие примеры из двух разных отчетов, представленных как
часть юзабилити-исследования сайта Ryanair.com, отображают, как
предоставить стандартные фрагменты отчетов в формате презентации.
На рис. 9.8 показана сводка результатов, полученных с помощью
исследования CUE-10 сайта Ryanair.com.
На рис. 9.9 дана методология, использованная в исследовании.
Представление результатов
Рис. 9.8 В данной сводке выводов представлены выводы и рекомендации
в форме резюме
Рис. 9.9
Методология исследования сайта Ryanair.com представлена в виде серии этапов
Представление результатов
Как только вы определились с типом отчета, который хотите написать – отчет в стиле документа или в стиле презентации, – и аудиторией, которая получит его, необходимо спланировать, как вы представите результаты, основную часть своего отчета.
Как вам известно из совещания по обсуждению результатов, часто
их бывает очень много. Выбор того, о чем следует сообщать, является
325
326
Глава 9 • Подготовка отчета о полученных результатах
важным решением, но следует руководствоваться фактом, благодаря
которому ваш отчет привел бы к действиям по улучшению продукта.
Если вы предоставите все, что увидели, это может ошеломить ваших
читателей. Вместо этого нужно сосредоточить их внимание на основных результатах и их влиянии на юзабилити продукта.
Если вы начали свой отчет с резюме, то предоставили высокоуровневую сводку результатов. Теперь нужно дать больше подробной информации о них. Зачем делать это «дважды» в официальном отчете?
Читатели, которые не ограничиваются резюме, ищут дополнительную информацию о результатах, чтобы получить более полное понимание проблем.
Существует так много способов представить результаты, что не
хватит места, чтобы привести все примеры. Но обычно используются
некоторые элементы из исследований. Среди них:
•
•
•
•
•
наблюдения,
метрики,
оценка серьезности результатов,
ответы на вопросы из анкеты,
качественные отзывы.
Чтобы показать вам, как представить свои результаты, я распределила несколько примеров по следующим категориям, это:
•
•
•
•
таблицы,
скриншоты с выносками,
диаграммы и графики,
видеоролики.
Смысл этих примеров не в том, чтобы сделать их незыблемыми,
а в том, чтобы дать вам идеи, которые можно применить при разработке наиболее эффективного способа представления своих результатов. Вы сможете надлежащим образом определить, как составить
отчет, который приведет к улучшению продукта.
Использование таблиц
Таблицы, показывающие успешное или неудачное выполнение задания, сводные данные о поведении, примеры стратегий, используемых
участниками для выполнения задания, применение определенных
функций и т. д., могут быстро и эффективно представить результаты
исследования, а также сделать это более полно, чем в резюме.
На рис. 9.10 показаны результаты, сгруппированные по категориям с указанием количества пользователей, столкнувшихся с проблемой. Это исследование было проведено для нового приложения для
операторов call-центра отеля.
На рис. 9.11 представлены результаты успешного и неудачного выполнения задачи. Раздел отчета начинается с объяснения результа-
Представление результатов
тов, представленных в таблице. Это помогает пользователям понять,
что они видят в таблице.
Категория
Подтверждение
ввода данных
Справка
Затронутые пользователи
6 из 11 участников захотели увидеть подтверждение после действия
Всего был сделан 31 запрос на получение справки:
7 запросов, чтобы убедиться, что вкладка верна для данного задания
5 запросов для поисковой функциональности системы
4 запроса, чтобы получить подсказку, как выполнить задание
3 запроса для подтверждения правильности формата ввода данных [даты,
числа]
• 2 запроса по поводу неактивной опции Force Register
Автозаполнение
4 из 11 участников указали, что им нужно автозаполнение при вводе почтового
(почтовый индекс) индекса
Повторная запись 10 из 11 участников заново записали контактную информацию [неверный путь],
информации
потому что не знали, как добавить электронную почту и адрес, и не знали, что
они записали заново, а не добавили информацию
Расширенный
7 из 11 участников не видели расширенного поиска (или не выбирали его, если
поиск
видели)
Номер
5 из 11 участников не смогли найти, куда ввести подтверждение гостя по номеру
подтверждения
Наведение мыши 11 из 11 участников наводили курсор на поля и щелкали, чтобы проверить, было
и щелчки
ли поле доступно для редактирования или дополнительная информация была
представлена во всплывающем окне
Кнопка «Назад»
2 из 11 участников хотели воспользоваться кнопкой Назад в браузере (возможно,
это указывает на неуверенность в правильном пути выхода из экрана)
•
•
•
•
Рис. 9.10 Основные результаты юзабилити-исследования кол-центра сгруппированы по
категориям с указанием количества пользователей, столкнувшихся с проблемой
Результаты выполнения задания по поиску карты маршрута
Трое из шести пользователей нашли карту маршрутов без подсказки, двое не смогли найти ее после
подсказки, а один не смог сделать этого, но не попросил помощи (см. табл. 1). Неудачная попытка
засчитывалась как невозможность найти карту маршрута без подсказки.
Те, кто не нашел карту без подсказки или не смогли ее найти вообще, думали, что эта функция
недоступна и что им придется использовать внешние источники, такие как Google Maps, чтобы
определить маршрут и место для поиска отеля.
Таблица 1. Задание по поиску карты маршрута – успешные и неудачные попытки
Рис. 9.11 Обсуждение результатов предшествует таблице, в которой представлены
результаты задания по поиску карты маршрута для юзабилити-исследования сайта отеля
327
328
Глава 9 • Подготовка отчета о полученных результатах
В следующем примере,показанном на рис. 9.12, результаты
представлены в виде таблицы. Здесь указано количество пользователей, столкнувшихся с проблемой, конкретные примеры проблемы в рамках категории и конкретные пользователи, которые с ней
столкнулись. Исследование проводилось для сайта университетской библиотеки для студентов, обучающихся заочно. Как вы видели на рис. 9.11, обсуждение таблицы предшествует самой таблице.
Выводы по проблемам ментальной модели
Ментальная модель пользователя относится к разнице между фактической структурой, содержанием
и функциональностью сайта и тем, что участник ожидал или предполагал увидеть. Пользователи должны были
сопоставить свой опыт получения информации на сайте библиотеки с навигацией и терминологией, используемой
на сайте. Проблемы возникали, когда ментальные модели пользователей не соответствовали структуре
и обозначениям на сайте, что приводило к неуверенности пользователей относительно того, какой путь им следует
выбрать, чтобы достичь своей цели. Для выполнения задач в этом исследовании пользователи хотели знать:
•
•
•
с чего мне начать?
как это сделать?
что это?
В таблице показаны проблемы, с которыми столкнулись пользователи.
Проблемы с ментальной моделью у пользователей
Где мне искать книгу?
Где библиотечный резерв для студентов?
Где искать статьи?
Куда обратиться, если я занимаюсь исследованием темы
(нужны книги и статьи)
В чем разница между GIL и GALILEO?
Что будет в разделах «Ресурсы» и «Сервисы»?
Как узнать свой пароль?
П
X
X
X
X
X
X
1
X
X
X
X
X
X
2
X
3
X
X
4
X
X
5
X
X
X
6
7
X
X
X
X
X
X
X
X
X
X
X
X
Всего
5
6
5
4
4
4
4
Рис. 9.12 Каждая проблема в категории – в данном случае ментальная модель –
показывает пользователей, которые столкнулись с проблемой
Информация об участниках исследования часто представлена
в виде таблицы, подобной той, что показана на рис. 9.13. Набор участников для этого сравнительного исследования информации о погоде,
получаемой с телеканалов, соответствовало критериям, описанным
в разделе, предшествующем таблице.
Использование скриншотов
Иллюстрирование результатов позволяет увидеть, а также рассказать
вашим читателям, в чем заключаются проблемы. Один из способов
проиллюстрировать их – использовать скриншоты.
Скриншоты помогают читателям, не знакомым с продуктом, понять результаты, а также они полезны, если продукт меняется, потому
что их можно использовать для документирования проблем в версии,
которую вы тестировали. Скриншоты можно дополнить выносками,
Представление результатов
329
объясняющими проблему, и репрезентативными цитатами, описывающими проблему словами пользователей.
Участники
Набор участников производился по следующим критериям, это:
•
•
•
•
•
четное число мужчин и женщин;
этническое разнообразие;
разный возраст с допустимыми диапазонами от 18 до 54 лет; 60 % в возрастной группе от 35 до 54 лет;
обычные пользователи интернета, которые получают доступ к информации о погоде из различных источников
в СМИ в том числе из интернета, телевидения, радио и печатных изданий;
телезрители клиентской и других станций.
10 участников, отобранных для исследования, точно соответствовали требуемым возрастным демографическим
характеристикам. Однако у участника № 8 была замена на случай отмены, в результате чего возрастная группа от
35 до 54 лет была немного больше.
Участник
Возраст Раса/Пол
1 Дэн (пилот) 51
Белый мужчина
Должность
Инструктор колледжа
2 Бриттани
22
Белая женщина
Студентка колледжа
3 Кари
53
Белая женщина
4 Криста
22
Кассир на неполный
рабочий день
и домохозяйка
Афроамериканка Студентка колледжа
5 Мэри
43
Белая женщина
6 Алан
45
Белый мужчина
7 Гэтлин
46
Белый мужчина
8 Келли
35
Белая женщина
9 Джэллони
10 Томас
33
37
Педагог специального
образования
Специалист по
оформлению налоговой
документации
Менеджер розничной
торговли
Помощник директора
центра развлечений
и отдыха
Афроамериканец Владелец спа-салона
Белый мужчина Владелец ресторана
Местные источники
погоды
Ch. 2, 5/WSB
radio/Marietta Journal;
MSN local
Fox5; Weather Channel;
Marietta Journal
Fox5 (TV and Web);
Sunday AJC
Частота
доступа
Несколько
раз в день
Несколько
раз в день
Ежедневно
Ch. 2 (WSB); Fox5;
Sunday AJC;
weather.com
Ch. 2 (WSB); AJC; WSB
radio.com
NBC (WXIA), 680 radio,
AJC; Weather Channel;
Comcast, MSN, Yahoo
local for Marietta and
Brooklyn
Fox5; WSB radio;
Sunday AJC;
Web/Weather Channel
WSB TV and radio;
Weather Channel
Несколько
раз в день
Несколько
раз в день
Fox5; 11Alive; CNN
Ch. 2 (WSB); WSB.com
or CBS.com or Fox.com
Ежедневно
Несколько
раз в день
Ежедневно
Несколько
раз в день
Раз
в неделю
Рис. 9.13 Основные характеристики участников исследования информации о погоде,
получаемой из телеканалов, представлены в таблице
На рис. 9.14 показаны скриншоты с выносками, чтобы проиллюстрировать проблемы терминологии, с которыми сталкиваются пользователи при изучении сайта библиотеки.
330
Глава 9 • Подготовка отчета о полученных результатах
Соответствуют ли используемые термины тому, что думает или хочет пользователь?
Проблемы юзабилити в категории терминологии включают неожиданные или отсутствующие
ключевые слова, расплывчатый (двусмысленный) язык или ненужный жаргон.
Библиотечный каталог (GIL) и универсальный каталог GIL: участники не были уверены, что
знают различия между этими двумя вариантами.
«База данных» – данный термин имеет двоякое значение: компьютерная база данных
или справочная база данных?
В чем между ними
разница?
«Запрос» – данный термин имеет двоякое значение: запросить книгу или запросить пароль?
Запросить
что?
Рис. 9.14 Проблемы терминологии представлены с использованием скриншотов
из исследования сайта библиотеки для студентов, обучающихся дистанционно
Скриншот с цитатами участников представлен на рис. 9.15. Эти
цитаты отражают положительные результаты исследования дизайна
прототипа мобильного приложения телестанции.
Представление результатов
Более локализовано ...
здесь больше местной всячины
Мне нравится ... очень легко читать.
Не нужно раздвигать экран
Можно получить больше
информации ... не нужно
искать повсюду
Разбит на разделы, что делает его
немного более интуитивно понятным
Рис. 9.15 Объединение скриншотов и цитат участников подтверждает суть результатов,
которые в данном примере являются положительными
Использование диаграмм и графиков
Также можно проиллюстрировать результаты с помощью диаграмм
и графиков различных типов. На рис. 9.16 показан график, на котором
сравниваются предпочтения пользователей при работе с одним из
трех прототипов (A, B, C) сайта с информацией о здоровье. Последний
вопрос в конце заданий звучал так: как этот сайт соотносится с другими сайтами о здоровье, которые вы использовали? По шкале от −3 до
+3. Здесь есть график с объяснением того, что на нем представлено,
что помогает читателям интерпретировать результаты.
Как этот сайт соотносится с другими сайтами с информацией
о здоровье, которые вы использовали? (Диапазон от –3 до +3)
Потребители
Профессионалы
Рис. 9.16 На графике показаны предпочтения пользователей
для сайта с информацией о здоровье с ответами двух групп пользователей
На графике видно, что профессионалам в целом понравился сайт,
который они тестировали, лучше, чем тот, которым пользовались (хо-
331
332
Глава 9 • Подготовка отчета о полученных результатах
тя никто из них не думал, что он был намного лучше). Но истинные
выводы таковы:
• версия B показала очень плохие результаты – намного хуже, чем
две других – для потребителей;
• версия C получила не самые высокие оценки профессионалов,
но самую высокую оценку со стороны потребителей (пациенты,
друзья, члены семьи).
В следующем примере (рис. 9.17) показан процент успеха по всем
заданиям для одного и того же исследования сайта о здоровье. Как
видно, таким образом можно представить большой объем информации.
Процент успешного выполнения по всем задачам с доверительным интервалом 95 %
Средняя вероятность успеха
Верхний предел
Нижний предел
Потребители (N = 36)
A
B
C
55,2 % 63,5 % 71,9 %
64,8 % 72,5 % 79,9 %
45,2 % 53,6 % 62,1 %
Общие показатели успеха потребителей
100,0 %
90,0 %
90,0 %
80,0 %
80,0 %
71,9 %
60,0 %
50,0 %
63,5 %
Профессионалы (N = 36)
A
B
C
Все
77,0 % 70,0 % 76,0 % 75,0 %
68,8 % 61,0 % 67,7 % 70,0 %
85,3 % 79,0 % 84,4 % 80,0 %
Общие показатели успеха профессионалов
100,0 %
70,0 %
Все
63,5 %
68,9 %
57,8 %
63,5 %
55,2 %
70,0 %
77,0 %
70,0 %
76,0 %
75,0 %
60,0 %
50,0 %
40,0 %
40,0 %
30,0 %
30,0 %
Группа
Группа
Группа
потребителей А потребителей B потребителей C
Все
потребители
Группа
Группа
Группа
Все
профессионалов профессионалов профессионалов
профессионалы
А
B
C
Рис. 9.17 Много информации из крупного юзабилити-исследования
четко и кратко представлено на рисунке, включая таблицу и два графика.
A, B и C – это разные версии сайта
В следующем примере (рис. 9.18) представлены результаты сравнительной оценки двух вариантов избирательного бюллетеня, в котором половина участников сначала получила версию A, а половина – версию B. Исследование представляло собой итоговый юзабилити-тест, сравнивающий язык инструкций к бюллетеням.
На гистограмме показано, что участники теста (избиратели) были
более точными в бюллетене B (версия на понятном языке), чем в бюллетене A (традиционная версия). Она также показывает влияние того, над какими участниками голосования работали в первую очередь.
В случае с бюллетенем B порядок использования имел очень мало
значения. Однако в случае с бюллетенем A все было наоборот. Избиратели, использующие бюллетень на понятном языке, были значи-
Представление результатов
тельно точнее при голосовании на традиционном языке, чем те, кто
использовал бюллетень на традиционном языке.
Правильные голоса в каждом бюллетене
при первом или втором голосовании
Используется первым
Используется вторым
14,4
Бюллетень А
16,3
16,0
Бюллетень B
16,1
Количество правильных голосов
Рис. 9.18 Эта гистограмма показывает влияние точности на голосование
в зависимости от порядка используемых бюллетеней
На рис. 9.19 показаны цитаты участников из большого исследования, которые были закодированы, проанализированы и представлены графически, включая процентные соотношения для каждого типа
комментария.
Что бы вы хотели улучшить на сайте? Открытые вопросы, распределенные по категориям
N = 209
Менее загроможденный 17 %
Более быстрая загрузка
17 %
Поиск
17 %
Эстетика
17 %
Больше товаров
17 %
Более удобная оплата
17 %
Навигация
17 %
Больше категорий
17 %
Более подходящее описание продукта
17 %
Легче менять информацию
17 %
Более подходящие цены/предложения
17 %
Более подходящая компоновка
17 %
Больше элементов на странице
Часто товаров нет в наличии
Сравнить товары/отзывы
17 %
17 %
Несколько
загроможденный
дизайн и много
отвлекающих факторов
Мне бы хотелось, чтобы
товаров было больше
Меньше шагов
при совершении покупки
Добавьте велосипед в список с другими товарами,
например наборами. Тем не менее я смог найти это
после поиска велосипеда. Так что было бы неплохо
добавить больше выбора для категорий и товаров
или улучшить организацию для конкретных категорий
Сменить местоположение
магазина станет проще
17 %
Все 394 участника ответили на вопрос
185 человек (47 %) ничего не сказали, или их ответ оказался
бесполезен. Таким образом, количество ответов составило 209
Рис. 9.19 Цитаты участников закодированы, проанализированы и представлены
графически с процентным соотношением для каждого комментария
333
334
Глава 9 • Подготовка отчета о полученных результатах
Вставка видеороликов
Нет ничего лучше, чем находиться рядом и своими глазами видеть,
как пользователи сражаются с вашим продуктом, и следующий момент для тех, кто не смог присутствовать при тестировании, – это
вставка видеороликов в отчет. Если формат вашего отчета и способ
его предоставления поддерживают это, то это может быть эффективным способом проиллюстрировать результаты.
В зависимости от того, как вы их регистрировали, у вас могут быть
временные метки для видео. Даже без них вы можете просмотреть
журналы, чтобы определить цитаты и действия, из которых вероятно, получатся хорошие видеоролики. Если вы использовали коды для
возможных клипов при записи, то их будет легко найти. В противном
случае можно вести поиск по ключевым словам или тегам.
Существует ряд инструментов, позволяющих с легкостью извлекать видеоролики, в том числе и бесплатные, как, например, HandBrake, видеоконвертер с открытым исходным кодом. Если вы проводите удаленное юзабилити-тестирование с помощью таких сервисов,
как GoToMeeting или Zoom, то получаете стенограмму записи сеанса,
которая позволяет вам щелкнуть по конкретной цитате и перейти непосредственно к этой точке в записи для извлечения видео.
Рисунок 9.20 – это отчет в стиле презентации. Он
Отчеты с видеороликами
показывает успешное и неудачное выполнение задаможно найти на сайте книги:
ния, оценки участников (по шкале от 1 до 5, где 1 – это
https://www.elsevier.com/
сложно, а 5 – легко) и их цитаты с видеороликом.
books-and-journals/bookcompanion/9780128169421.
Задача 3
Самый дешевый
билет
из Лондона
в Копенгаген
Уч. 1, Уч. 2, Уч. 3 – неудача
• Уч. 1 и Уч. 2 выбрали аэропорт Станстед и остановились на этом, решив, что
тариф достаточно низкий
• Уч. 3 выбрал аэропорт Гатвик и остановился на этом, подумав, что RyanAir
не летает в Копенгаген
Оценки
• 2 (Уч. 1)
• 3 (Уч. 2, Уч. 3)
Видеоклип
Рис. 9.20
Комментарии
• (Уч.1) «Это заставляет выбирать конкретный аэропорт. Если выбрать не тот
аэропорт, то создается впечатление, что города нет в системе».
• (Уч.1) «Мне нужны все варианты из Лондона. Я бы остановился на Станстеде».
• (Уч. 2) «Я хочу выбрать все аэропорты» (пытается выбрать Соединенное
Королевство)
• (Уч .2) «Я хочу сравнить. Я выбрал аэропорт Станстед. Цена была низкая,
и я решил остановиться на этом». «Отсутствие инструмента сравнения стало
проблемой. Сложно было выбрать аэропорт, а не город».
• (Уч. 3) «Почему они заставляют вас выбирать страну? [Выбирает Гатвик] «Нет
никаких рейсов, точка». [Предложите попробовать другой город] «Немного
неудобно. Пришлось делать все вручную, чтобы узнать, где есть рейсы. Должен
быть более подходящий способ обойти эти лишние шаги».
Для конкретной задачи результаты представлены по каждому участнику с образцами цитат.
В этот слайд также встроен видеоролик
Представление результатов
335
Упорядочивание результатов
В рамках решения о том, как представить результаты, также необходимо установить иерархию для их упорядочивания. Как известно,
вам нужно будет начать с положительных результатов, но после этого необходимо представить результаты в виде ранжированного или
приоритетного списка.
Если вы присвоили рейтинг серьезности на собрании, посвященном результатам, то вам может потребоваться упорядочить выводы
по степени серьезности, начиная с наивысшей. На рис. 9.21 показаны
уровни серьезности и число людей, испытывающих проблемы при
изучении сайта библиотеки.
Сопоставленные результаты, ранжированные по уровню серьезности
Для оценки результатов использовались следующие четыре уровня серьезности.
•
•
•
•
Уровень 1 – предотвращенное завершение задания.
Уровень 2 – разочарование участника и значительная задержка выполнения задания.
Уровень 3 – незначительно повлияло на юзабилити.
Уровень 4 – не оказало значительного влияния на производительность, но участник указал свои предпочтения
или предложение по будущих изменениям.
Проблема юзабилити
Путаница в том, как найти библиотечный резерв для студентов
Путаница относительно того, где искать книги
Путаница относительно того, где искать статьи
Пароль: не удалось получить пароль
Поддержка пользователей: требуются явные экранные описания
Семинар: все прошло слишком быстро; не мог остановить или изменить темп
Неправильное понимание функции/подключения GIL и GALILEO
Предупреждение о поиске пароля или справки
Терминология: сбивающая с толку страница ресурсов
Поддержка пользователей: вводят в заблуждение заголовок и оглавление
Поддержка пользователей: как зарезервировать книгу в другой библиотеке?
(Межбиблиотечный абонемент)
Семинар: не помогло
Верстка: плохая верстка – неразборчиво, нельзя нормально читать
Семинар: анимация отвлекает
Семинар: пользовательские элементы управления (запуск/остановка) неявны
Термины: сбивает с толку значение слова «универсальный»
Семинар: не все видно
Поддержка пользователей: GALILEO: это действительно полный текст статьи?
Поддержка пользователей: поиск книг в университете дал неверное совпадение
Поддержка пользователей: требуется справка: карта сайта, поиск и т. д.
Семинар: требуется регулятор громкости
Количество
пользователей
7
6
6
4
7
6
5
5
3
3
3
Уровень
серьезности
1
1
1
1
2
2
2
2
2
2
2
5
4
4
4
3
3
3
3
5
3
3
3
3
3
3
3
3
3
4
4
Рис. 9.21 Выводы ранжируются по уровню серьезности
с указанием количества пользователей
336
Глава 9 • Подготовка отчета о полученных результатах
Конечно, есть и другие способы упорядочить результаты. Если задания охватывают несколько различных частей продукта, возможно,
имеет смысл распределить результаты по этим категориям, особенно если ответственность за внесение изменений также ложится на
эти категории. Или если существует предсказуемая последовательность экранов или заданий, то нужно следовать в хронологическом
порядке.
Это далеко не все методы, которые можно использовать для представления результатов исследования. В любой ситуации аудитория,
цель и контекст использования потенциально различаются, поэтому
нужно рассмотреть подход, который лучше всего подходит для каждого из них, включая создание собственного подхода к созданию отчета о результатах вашего исследования.
Представление результатов
после выполнения заданий
и проведения тестирования
Помимо представления результатов наблюдений, вам понадобится
показать сопоставленные данные анкет, выдаваемых после выполнения заданий и тестирования. Также нужно будет сопоставить ответы,
полученные в результате обратной связи для сбора качественных отзывов, такой как карточки реакции на продукт.
Представление ответов, полученных
в ходе анкетирования
Некоторые ответы, полученные в ходе анкетирования, дают количественные данные. Если, например, вас интересовала степень удовлетворенности или доверия, то можно представить среднее арифметическое, медиану или моду для всех пользователей. На рис. 9.22
показаны средние оценки по трем вопросам после тестирования.
Если вы работаете с небольшой выборкой, то можно представить
результаты в виде количества ответов, в которых говорится, что четыре из шести пользователей оценили задачу на 4 или 5 баллов (по
пятибалльной шкале), что свидетельствует о высоком уровне удовлетворенности заданием.
Другие ответы (например на открытые вопросы) даБолее подробная информация
ют
качественные данные. На рис. 9.23 показаны ответы
о том, когда использовать
участников на вопросы анкеты, где наиболее часто вычисла и когда – статистику
бираемый выделен жирным шрифтом; также показаны
при представлении этих
комментарии, предоставленные участниками. Это исрезультатов, а также
объяснение среднего
следование было проведено для FTP-клиента.
арифметического, медианы
и моды дается в главе 8.
Представление результатов после выполнения заданий и проведения тестирования 337
Оцените свою уверенность
в печатных материалах,
которые помогут вам завершить
обновление
(1 = не уверен; 5 = очень уверен)
5
5
5
5
5
5
5
5
5
5
4
4
5
5
4
Средняя оценка: 4,8
Каковы ваши впечатления
от всего этого опыта
(1 = неэффективно; 5 = очень
эффективно)
5
4.5
4
5
5
5
4
5
5
5
5
5
4
5
4
Средняя оценка: 4,7
Рис. 9.22 Участникам задали три вопроса после тестирования после их участия в исследовании,
касающихся процесса обновления торгового терминала для приема кредитных карт с чипом
Ответы на вопросы анкеты после выполнения задания
Сценарий 4. Вопросы и ответы после выполнения задания
1. Насколько легко или сложно было разделить FTP-серверы и поместить их в новую группу?
•
•
•
•
•
1 – очень легко Уч. 1 2 3 4
2
3
4
5 – очень сложно
5
2. Насколько легко или сложно было отключить мониторинг?
•
•
•
•
•
1 – очень просто Уч.
2
5
3
13
4
2
5 – очень сложно
3. Что вы думаете о времени, которое потребовалось на выполнение заданий в этом сценарии?
•
•
•
1 – заняло меньше времени, чем я ожидал
2 – примерно столько, сколько я и ожидал Уч. 1 3 5
3 – заняло слишком много времени
2 4
Рис. 9.23 Ответы на индивидуальные вопросы анкеты после выполнения заданий
показаны с наиболее частым ответом, выделенным жирным шрифтом
338
Глава 9 • Подготовка отчета о полученных результатах
Комментарии к ответу (ответам) выше.
Уч.: Как только я его нашел, было легко (относительно вопросов № 1 и № 2 при оценке задания (1)).
2:
Я хотел бы, чтобы интерфейс позволял мне отключать уведомления вместо опроса.
3:
Было бы легко отключить мониторинг всего, если бы был доступен первый вариант
(относительно вопроса № 2).
4:
Некоторые вещи кажутся более трудными, чем нужно. В целом все ясно.
5:
Когда были выбраны оба FTP-сервера, я щелкнул правой кнопкой мыши и выбрал новую группу.
Я ожидал, что новая группа будет управлять выбранными FTP-серверами, но это не так. Я не
смог найти способ перевести несколько машин в режим сопровождения.
Рис. 9.23 (окончание)
Представление результатов по анкете SUS
Подробнее об использовании
анкеты SUS и других
стандартных анкет, которые
выдаются после проведения
тестирования, рассказывается
в главе 6.
Если вы использовали популярную анкету SUS, то должны представить балл в виде единственного числа от 0
до 100, представляющего собой составную меру всего
юзабилити тестируемого продукта. В итеративных исследованиях можно показать улучшения в оценке, как
показано на рис. 9.24 для двух юзабилити-исследований прототипа, находящегося в разработке.
Рис. 9.24 Оценка SUS текущего исследования
(в зеленой полосе) сравнивается с оценкой
предыдущего исследования (в синей полосе),
чтобы показать улучшения
Представление качественных ответов
Помимо цитат участников, которые вы, возможно, использовали
в своем отчете, вы также можете сопоставлять и визуально отображать результаты качественных ответов, полученных с помощью других методов, например с помощью карточек реакции на продукт.
Представление результатов после выполнения заданий и проведения тестирования 339
Следующие два примера показывают разные спо- В главах 6 и 7 рассказывается
собы визуального представления этих результатов. На о карточках реакции на
рис. 9.25 показаны карточки, представленные в виде продукт и о том, как их
облака слов, где размер слова отражает, сколько раз использовать.
была выбрана карточка.
На рис. 9.26 выбранные карточки представлены в виде гистограммы.
Рис. 9.25
Облако слов представляет выбранные карточки реакции на продукт
Сеть отелей
Конкурент
я
й
й
й
й
й
й
й
й
й
й
й
и
и
ны
ны
ны
щи
мы ост тры ибки ющи врем ейны езны обны вани
Г
а
о
туп жаю тель елан нако ценн Быс
л
н
д
й
з
в
с
о
и
У ль
З ий
П
Ж
вы ящи мол
До здра ека
по
л
ро
ис
ча оном Пря
ющ
Ра рив
о
я
в
з
л
к
П
й
а
в
Э
Р
то
та
ос
дс
Пр
ре
п
Не
Рис. 9.26 На гистограмме показано сравнение карточек, выбранных участниками
исследования сайта, сравнивающих две основные группы отелей
340
Глава 9 • Подготовка отчета о полученных результатах
Даем рекомендации
Раздел с рекомендациями в вашем отчете – пожалуй, самая важная
часть, и возможно, превосходит только резюме, которое также содержит главные рекомендации, но в краткой форме.
Когда все сказано и сделано, если отчет не мотивирует к действию –
или, точнее говоря, к конкретным действиям – для решения проблем,
выявленных в ходе юзабилити-исследования, он не достигнет цели
по улучшению продукта. Однако, как я уже говорила в главе 8, уровень детализации зависит от опыта человека или команды, пишущей
рекомендации. Если вы знаете, каким должно быть действие, укажите его. Если не знаете конкретно – например, потому что вы не проектировщик взаимодействия или графический дизайнер, – дайте более
общие рекомендации к действию. В данной ситуации язык обычно
содержит такие слова, как «рассмотреть» и «предложить», чтобы указать направление изменений на основе результатов исследования.
Подходы к представлению рекомендаций почти так же разнообразны, как и способы представления результатов. Несколько примеров покажут вам ряд вариантов.
На рис. 9.27 рекомендации объединены со списком результатов,
помеченным как «проблемная область». Исследование было сосредоточено на деятельности, связанной с созданием художниками персональной веб-страницы на сайте их организации. Такой подход хорошо работает, когда можно связать конкретную рекомендацию с конкретной проблемой.
Область интересов
Чрезмерная прокрутка
• Слишком много текста на экране
• Горизонтальная линия разрывается в нижней
части экрана (при некоторых разрешениях)
Неадекватная обработка ошибок
• Сообщения не отображаются рядом
с фактической ошибкой
• В сообщениях нет четкого определения ошибки
• Несогласованный формат сообщений
(некоторые в окнах, некоторые выделены
красным)
Запутанное/негибкое поведение форм
• Ошибки в формах очищают все поля, не только
поле с ошибкой
Рекомендуемое исправление
• Переместить инструкции во всплывающее окно,
доступное по ссылке
• Использовать кнопки NEXT и BACK между
каждым полем вместо прокрутки к полю
• Устранить всю прокрутку по всему инструменту
• Выделить фактические ошибки на экране
• Переместить сообщение об ошибке к ошибке
• Выделить ошибку ввода, не очищая все поля
Рис. 9.27 Выводы и рекомендации сгруппированы по проблемным областям
В примере (рис. 9.28) из отчета в виде презентации для сайта Ryanair.com результаты и рекомендации объединены на одном слайде.
Даем рекомендации
В целом участник обнаружил, что содержимое багажа сложно
использовать, иногда запрашивая более четкое изображение или
фрагменты информации. Здесь представлены альтернативные
презентации других авиакомпаний для сравнения и мотивации
Задача 2
Представление
информации
Рекомендация: рассмотрите альтернативное представление требований
к багажу для повышения эффективности и восприятия
Рис. 9.28 На слайде в отчете в виде презентации представлены задача, вывод,
сравнение с другими сайтами и рекомендация
Когда вы можете проиллюстрировать предлагаемые решения, то
делаете рекомендации кристально ясными. На рис. 9.29 показана
проблема – ссылки должны фокусироваться на том, что пользователи
хотят делать, – проиллюстрированная выносками, где предлагается
решение. Здесь используется наведение курсора мыши, чтобы предоставить всплывающую подсказку и дать объяснение сбивающих
с толку терминов. Исследование проводится на сайте библиотеки для
студентов, обучающихся дистанционно.
Ссылки должны быть ориентированы на то,
что хотят делать пользователи
Ищите книгу в Южном
политехническом
государственном университете
Ищите книгу в других
библиотеках Джорджии
Рис. 9.29 Рекомендация по устранению проблем с терминологией проиллюстрирована
выноской для предлагаемого решения и выносками, чтобы показать рекомендуемые
всплывающие подсказки для объяснения непонятных ярлыков и терминов
Пример на рис. 9.30 показывает формат отчета, представляющего
сценарий; количество участников, имеющих положительный опыт
или проблему; несколько примеров цитат участников, скриншот
в одном из примеров и рекомендации по сохранению или изменению какого-либо аспекта сайта на основе полученных выводов.
341
342
Глава 9 • Подготовка отчета о полученных результатах
Сценарий 2
Вы являетесь администратором исследований, работающим на исследователя, который хотел бы
подать заявку на финансирование от Национального института аллергии и инфекционных заболеваний
США для проекта вакцины против туберкулеза. Вы ищете информацию о том, как подать заявку
на финансирование и какое финансирование доступно.
Результаты
Переход к финансированию исследований
Все участники выбрали Финансирование
исследований в качестве основной темы этого сценария
Рекомендации, комментарии
Сохраните Финансирование исследований в качестве
одной из основных меток на главной странице
Выбор из списка финансирования исследований
Попробуйте использовать другой термин, не
«Инициативы», в качестве первой и более общей ссылки
Только половина участников думали, что знают, что
о финансировании исследований
значит «Инициативы».
Из пяти исследователей:
– двое выбрали «Инициативы»
– один выбрал это, потому что не знал, что это значит
– двое проигнорировали эту опцию
Создайте базу данных с возможностью поиска, которая
Поиск того то, что они искали
И публичные участники, и участники исследования были охватывает все возможности финансирования.
Разрешить пользователям поиск только в рамках
тематически ориентированы.
возможностей финансирования по теме, а также по типу
Они хотели найти информацию о вакцине против
финансирования.
туберкулеза.
Ни один публичный участник ее не нашел.
(Хотя, как отметил Уч. 12, могут быть более общие
возможности, подходящие для исследователя, которые
Только два участника исследования нашли ее, и им
не включают ключевые слова этого исследователя.
пришлось немало потрудиться, прежде чем им это
Как сказал Уч. 12, исследователям нужно будет искать
удалось.
«и лес, и деревья».)
Даже исследователи жаловались:
Уч. 7: «Я потерялся». «Я просто хочу получить
информацию и быстро найти, то, что нужно»
Уч. 9: «Я должен продираться сквозь…?»
Уч. 10: «Я хочу, чтобы все было быстро». «Я просто
хочу найти, что мне нужно по теме»
Понимание различных механизмов финансирования Переименуйте «Инициативы» во что-нибудь вроде
Даже исследователи не всегда четко представляют себе «Возможности финансирования».
Предложите страницу, которая дает быстрые и простые
различные механизмы финансирования.
объяснения различий между грантами, контрактами
Уч. 8: «Как исследователи, мы должны иметь
и прочими механизмами финансирования со ссылками
представление, но ничего не понятно»
на поиск каждой категории.
5 из 7 публичных участников и 4 из 5 участников
Свяжите все типы возможностей финансирования
исследования сначала выбрали «Гранты».
с другими
Некоторые в конце концов добрались до одной из
других страниц, таких как «Специальные объявления»,
рекомендующие проверку множества различных
возможностей. Однако ни страница «Гранты», ни
страница запроса предложений не ссылаются на них
Рис. 9.30 Образец из отчета, подготовленного Джинни Редиш для Национального института аллергии
и инфекционных заболеваний, демонстрирует сочетание текста, графики,
цитат участников и других элементов
Предоставление устного отчета
343
Предоставление устного отчета
Широко известно, что страх выступлений перед публикой больше,
чем страх смерти. Хотя возможно, что так оно и есть, а возможно,
и нет, верно то, что многие боятся выступать публично, тем более
когда это нужно делать профессионально. Вот почему есть такая популярная организация, как Toastmasters International.
Независимо от того, кто вы: человек, который боится публичных
или профессиональных выступлений, или тот, кто наслаждается возможностью представить свою работу, – вас часто будут просить – или,
возможно, вы будете делать это добровольно – подготовить устный
отчет о вашем исследовании юзабилити. В некоторых случаях такой
отчет может быть единственным вариантом.
В других ситуациях его можно предоставить одновременно с письменным. В любой из этих ситуаций ключевые компоненты устной
презентации результатов вашего исследования выглядят так:
• визуальная поддержка, обычно с использованием слайдов,
• видеоролики с примерами основных результатов,
• и, конечно же, вы сами.
Можете представить результаты своего исследования на местном
собрании, но все более распространенным становится использование приложений для проведения веб-конференций, например Zoom
или GoToMeeting, особенно когда ваша аудитория находится в разных местах.
У некоторых людей, слушающих вашу презентацию, может не быть
достаточной базовой информации об исследовании. В таких ситуациях нужно будет задать контекст для исследования. Включение этой
справочной информации, когда необходимо, не будет проблемой для
тех, кто уже знает об исследовании, поскольку это дает всем одну и ту
же отправную точку для получения представленной информации.
Чтобы подготовиться к этой презентации, я дам несколько советов
по:
•
•
•
•
•
планированию презентации,
подготовке видеороликов,
репетиции презентации,
предоставлению презентации,
решению вопросов.
Конечно, информация, которой я делюсь с вами, –
лишь верхушка айсберга с точки зрения того, что
нужно знать, чтобы быть эффективным докладчиком.
Есть много отличных книг, которые помогут узнать
больше. Их можно быстро найти в интернете.
Чтобы найти ближайший
к вам филиал, перейдите по
ссылке https://www.toastmasters.org.
344
Глава 9 • Подготовка отчета о полученных результатах
Планирование презентации
Очень важно спланировать презентацию. Вряд ли вы хотите выглядеть так, будто не понимаете, что делаете, потому что это может
отрицательно повлиять на вашу репутацию в отношении юзабилити-исследования. Поэтому не экономьте на времени, необходимом
для планирования, подготовки и, прежде всего, репетиции своей презентации, прежде чем вы ее проведете.
Важная часть планирования презентации – знать, сколько времени
у вас будет на то, чтобы представить свои результаты. Заманчиво было бы представить все, что было найдено в ходе исследования, но гораздо эффективнее выбрать основные моменты, которые демонстрируют ваши выводы в течение отведенного времени, а также оставить
время для вопросов и обсуждения.
Подготовка видеороликов
Ранее в этой главе я упоминала, что можно проиллюстрировать свои
результаты в письменном отчете со встроенными видеороликами,
если есть такая возможность. Это может занять слишком много времени. Однако, когда дело доходит до подготовки устной презентации,
обычно используются видеоролики, поскольку они оживляют рассказы пользователей.
Выбор и подготовка видеороликов, которыми вы хотите поделиться, требует времени, но оно того стоит. Обдумывая, что именно показывать, помните, что все, что вы выберете из записанных сеансов,
формирует впечатления вашей аудитории. Невозможно полностью
избежать предвзятости при выборе одних результатов вместо других
и при принятии решения о том, как вы их представляете, поэтому
нужно будет подумать, что лучше всего подходит для вашей ситуации. Следует ли показывать:
• по одному ролику от каждого пользователя, чтобы представить
примеры по всему пулу участников?
• несколько роликов пользователей с одной и той же проблемой,
чтобы продемонстрировать ее масштабы?
• меньше роликов, но пусть они будут подлиннее, чтобы полностью согласовать проблему с определенной обстановкой?
Здесь нет правильного или неправильного ответа. Как и во многом, что связано с юзабилити, «все зависит от обстоятельств». Если
хотите предоставить пример по каждому пользователю, чтобы охватить всех участников, можно было бы выбрать первый вариант. Если
вы хотите продемонстрировать проблему, которая есть у нескольких
пользователей, то идущие друг за другом ролики помогут вам в этом.
При желании представить полную картину проблемы покажите более
длинные неотредактированные ролики.
Предоставление устного отчета
И не упускайте из виду важность получения положительных результатов. Лучше всего начать с них, поскольку это успокоит аудиторию.
Они не будут чувствовать, что на них нападают или что им нужно защищаться, если увидят, что вы планируете «сбалансировать» свою презентацию, показывая и положительные, и отрицательные результаты.
Если ваша аудитория восприимчива к просмотру видеороликов
и вы правильно выберете свой подход, у вас есть возможность позволить пользователям говорить за себя, что может очень мотивировать.
Репетиция презентации
Так же как актер готовится к пьесе, вы должны отрепетировать свою
роль, чтобы убедиться, что шоу будет успешным. И, если ваша презентация – это усилия всей команды, следует репетировать с членами
своей команды, а также не забывать про слайды и другие средства,
которые будете использовать, например видеоролики.
Если задействованы технологии, особенно если это программное
обеспечение для проведения веб-конференций, нужно провести хотя
бы одну репетицию с использованием этой программы. Лучше всего,
если вы сможете найти кого-нибудь удаленно, чтобы провести тестдрайв аудио и видео, качества связи и всего того, что нужно проверить. Затем перед началом совещания нужно снова проверить свои
системы, чтобы устранить любые возможные технические проблемы.
Независимо от того, проводите ли вы презентацию с личным присутствием или удаленно, нужно избежать неловкой и стрессовой ситуации, связанной с задержкой презентации из-за технических проблем.
Независимо от ожидаемого времени презентации следите за
тем, чтобы уложиться в рамки. Если презентация запланирована на
30 мин, используйте практические сеансы, чтобы убедиться, что вы
сможете провести ее менее чем за это время. Если в эти 30 мин входят вопросы и ответы, сократите презентацию на 10 мин, чтобы дать
время задать вопросы.
Почему время так важно? Каждую минуту, превышающую ожидания
аудитории относительно того, когда вы должны завершить презентацию, вы теряете «очки». Слишком длинная презентация может полностью отрицательно сказаться на ваших усилиях, направленных на то,
чтобы быть эффективным и убедительным. В некоторых ситуациях,
когда конференц-залы очень дорогие и их нужно резервировать заранее, вы можете не успеть закончить, если превысите отведенное время.
Проведение презентации
Вы, наверное, слышали эти фразы:
• «скажите им то, что собираетесь сказать»,
• «скажите им»,
• «расскажите им то, что сказали».
345
346
Глава 9 • Подготовка отчета о полученных результатах
Это по-прежнему хороший совет для эффективной организационной стратегии.
Проведение презентации означает определить начало, середину и конец. Начало задает контекст, отвечая на вопросы аудитории
«Почему я здесь?» и «Что я услышу?». Предоставляя эту информацию,
вы подготавливаете свою аудиторию к тому, чтобы люди знали, чего
ожидать.
В основной части презентации вы обобщаете свои результаты. Если юыл подготовлен письменный отчет, то можете использовать тот
же организационный подход или вам может потребоваться изменить
организацию для контекста встречи и потребностей аудитории.
В целом аудитории нужно знать то же самое, что и из письменного
отчета, но в менее подробной форме:
•
•
•
•
ключевые результаты, положительные и отрицательные,
серьезность и влияние отрицательных результатов,
решения и рекомендации,
следующие шаги (это часть, касающаяся продвижения).
Как и когда задавать вопросы
Если ситуация не требует иного, вам следует ожидать вопросов
и спланировать ответы на них. В рамках вступления расскажите аудитории, что хотите отвечать на вопросы. Если вы не против, когда
прерывают, дайте аудитории понять, что они могут задавать вопросы
в любое время. В этом формате нужно решить, сколько времени вы
можете выделить на вопросы по мере их поступления, и успеть закончить вовремя. Затем нужно будет управлять вопросами по мере
их поступления.
Или, если вы хотите ответить на все вопросы, то, возможно, придется сообщить зрителям, что нужно будет урезать некоторые части
презентации, чтобы все успеть. В некоторых случаях можно спросить
аудиторию, хотели бы они задержаться (возможно, на 10 мин?), чтобы дать возможность задать дополнительные вопросы. В других случаях вам, вероятно, придется отложить ответы на некоторые вопросы
до окончания совещания, чтобы вы могли закончить презентацию
вовремя.
Некоторые докладчики предпочитают, чтобы аудитория припасла вопросы до конца презентации. Возможно, формат презентации
формирует это ожидание. Так, безусловно, проще управлять имеющимся у вас временем, хотя это и заставляет слушателей запоминать
вопросы, которые они хотят задать, но нужно ждать до момента завершения, чтобы сделать это.
Если выожидаете, что аудитория должна припасти вопросы до
конца презентации, скажите им об этом заранее, предложив записывать вопросы во время слушания. Или, если вы проводите презента-
Больше ориентированного на пользователя проектирования
цию в формате веб-конференции, они могут писать вопросы в чат,
а вы ответите на них в конце, если позволит время.
Больше ориентированного
на пользователя проектирования
В любой ситуации, когда вы сообщаете о результатах тестирования,
а в аудиторию входят люди, не являющиеся членами вашей основной команды преданных UCD-специалистов, следует воспользоваться возможностью «продать» юзабилити-исследования. Это означает,
что вы должны стать пропагандистом практики проектирования,
ориентированного на пользователя.
Здесь мы возвращаемся к Аристотелю и к предпосылке, лежащей
в основе его риторических принципов: убеждению. Аристотель знал,
что для его учеников жизненно важно научиться быть убедительными в своих устных аргументах. Его книга «Риторика» посвящена тому,
как это сделать.
Перед завершением отчета – в каком бы контексте вы его ни представили – не упустите возможность прислушаться к совету Аристотеля и использовать его для пропаганды юзабилити-тестирования. Ваш
письменный или устный отчет сам по себе должен быть убедительным в отношении ценности юзабилити-тестирования. Но не думайте, что этого достаточно, чтобы убедить руководство проводить его
снова, делать его раньше и чаще и использовать другие инструменты
из набора UCD-специалиста. Вы должны рассказать им, какими должны быть следующие шаги и почему в их интересах чаще проводить
тестирование.
Это можно сделать в отдельном разделе в конце своего отчета, который называется «Следующие шаги», или в конце устного отчета. На
рис. 9.31 показан заключительный слайд «Следующие шаги» из отчета в стиле презентации после первого юзабилити-исследования.
Перепроектирование
Следующие
шаги
Тест
Улучшение
Тест
Измените дизайн поиска и фильтров для решения
задокументированных проблем
Протестируйте прототип, чтобы подтвердить
улучшенный опыт взаимодействия
Улучшайте дизайн для решения других задокументированных проблем и запросов новых функций
Проведите дополнительное тестирование, чтобы
включить сюда мобильное приложение
Рис. 9.31 Следующие шаги представляют последующие действия по продвижению UCD
347
348
Глава 9 • Подготовка отчета о полученных результатах
Вот несколько способов реализации стратегии такого продвижения:
• если вы рекомендуете внести изменения в дизайн, подчеркните
•
•
•
•
•
важность проверки эффективности изменений с помощью еще
одного небольшого исследования;
подчеркните экономию средств при использовании одних и тех
же сценариев, скринеров и других частей теста, чтобы провести
еще одно исследование;
если вы продемонстрировали, что многое из того, что вы узнали,
является ценным, но не может быть использовано в этом выпуске продукта из-за позднего включения юзабилити-теста в график разработки, подчеркните улучшения продукта и экономию,
которых можно добиться в результате тестирования на более
ранней стадии;
если вы обнаружили то, что лучше всего подтверждается контекстным исследованием (посещение участников «на месте»),
карточной сортировкой, исследованием методом дневника или
другим инструментом из вашего набора, подчеркните преимущества добавления дополнительных инструментов в цикл обратной связи с пользователем;
если ваше исследование установило базовый уровень метрик,
подчеркните важность измерения улучшений по ним в будущих
исследованиях;
если вы обсудили процесс с командой и решили внести изменения в свой процесс в следующий раз, объясните, какими они
будут, чтобы продемонстрировать постоянное улучшение.
Вы уловили картину. Настаивайте – потихоньку или сильно, в зависимости от ситуации – для внедрения большего числа практик UCD.
Это ваш шанс продвинуть идею проектирования, ориентированного
на пользователя.
Резюме к главе 9
В этой главе были представлены варианты подготовки отчетов о полученных результатах с использованием различных средств передачи. Эти варианты включают в себя неформальные и формальные отчеты в стиле документа или презентации и устные отчеты.
Все зависит от вашей аудитории, вашей цели и контекста, в котором они получат и будут использовать информацию из исследования.
Мы должны благодарить Аристотеля за его принципы, которые актуальны и сегодня, как и тогда, когда он продвигал их.
Независимо от того, кто входит в вашу аудиторию, насколько формальным или неформальным является контекст отчетности, стратегически важно начинать отчет с резюме, чтобы все знали цели исследования, основные выводы и основные рекомендации или действия.
Резюме к главе 9 349
На данном этапе занятые читатели могут уйти, если хотят. Но это
нормально, потому что вы обслуживаете их потребности и уважаете
их время.
После подготовки резюме нужно перейти к мельчайшим деталям
и подробному отчету о результатах. Я предложила несколько вариантов:
•
•
•
•
•
•
скриншоты,
диаграммы и графики,
видеоролики,
упорядочивая результаты по уровню серьезности, категории, задаче или другим способом,
представляя результаты анкет после выполнения заданий и проведения тестирования из:
ответов, полученных в ходе анкетирования,
анкеты SUS,
качественных ответов, таких как карточки реакции на продукт,
давая рекомендации на любом подходящем и ожидаемом уровне детализации.
Затем я описала проблемы (и возможности) при подготовке и представлении устного отчета, разделив процесс на три этапа.
1. Планирование презентации, включая контент, который, вероятно, будет объединен в слайд-колоду и поддерживаться видеороликами.
2. Репетиция презентации со слайдами и другими элементами
и в контексте, в котором вы будете проводить ее.
3. Проведение презентации, включая управление ожидаемым
временем и способностью задавать вопросы.
В конце главы я подчеркнула, как важно продвигать идею увеличения количества юзабилити-тестов и других инструментов из набора
инструментов UCD-специалиста. Как только вы это сделаете, у вас все
будет готово! По крайней мере, для этого проекта. Но если вы успешно и убедительно сообщили о своих результатах, то в скором времени
вы будете больше заниматься юзабилити.
Юзабилититестирование
с участием
пользователей
из других стран
10
Знай пользователя своего, ибо он не ты.
— Рубинштейн и Херш
Хотя это утверждение написано языком, отражающим реалии своего времени – книга, в которой оно появляется, была опубликована
в 1984 г., – этот принцип остается в силе и сегодня, тем более когда
вы тестируете продукты для пользователей из других стран. В предыдущих главах я представила основы юзабилити-тестирования. В этой
главе основное внимание уделяется конкретным проблемам тестирования при участии пользователей из-за границы. К ним относятся:
•
•
•
•
•
•
получение информации об иностранных пользователях;
понимание культурных различий и адаптация к ним;
применение работы Холла и Хофстеде к анализу пользователей;
создание персонажей своих пользователей;
планирование тестирования для пользователей из других стран
с учетом таких аспектов, как:
где вы должны находиться – здесь или там,
как проводить тестирование – делать это самостоятельно, получить помощь от местных поставщиков или использовать
программную платформу для удаленного тестирования;
структурирование протокола испытаний с учетом следующих
вопросов:
как локализовать протокол тестирования, включая сценарии
и вопросы после выполнения заданий и тестирования,
как планировать сеансы,
что выбрать: протокол мыслей вслух или ретроспективное
воспоминание;
Сбор информации о пользователях из других стран
• выбор лучшего модератора для культурного контекста;
• подготовка к другим аспектам такого рода тестирования, вклю-
чая:
возможность появления нескольких человек,
необходимость более длительного времени, чтобы сориентироваться,
влияние культурных различий на график тестирования.
Сбор информации о пользователях
из других стран
Первоочередная задача при планировании тестирования – узнать
как можно больше о своих пользователях, а затем использовать эти
знания для планирования теста, вовлекающего их в реальные задачи,
соответствующие их целям. Данное требование применимо и к тестированию, когда речь идет об иностранных пользователях, но дополнительная проблема заключается в том, что вам может быть труднее
собрать о них информацию. Все зависит от того, если ли у вас доступ
к ним. К некоторым – да, есть, потому что в вашей стране есть пользователи из других стран и других культур. А кто-то, конечно, находится в странах своего проживания. Знакомство с ними, где бы они ни
находились, и создание персонажей, которые придали бы им форму
и индивидуальность, помогут вам спланировать исследование, соответствующее их целям по вашему продукту.
Некоторые пользователи находятся «здесь»
«Здесь» – значит, где бы ни находились вы.
Во-первых, не нужно рассматривать другую страну, чтобы работать с зарубежными пользователями. Они могут находиться прямо
здесь, дома. Мир становится все более многокультурным, и нам часто приходится рассматривать своих пользователей с точки зрения
культурного и языкового происхождения. В Соединенных Штатах это
может означать тестирование с участием латиноамериканских или
азиатских иммигрантов в первом или втором поколении. (Обе эти
группы, конечно, представляют множество стран и культур, поэтому
весьма вероятно чрезмерное обобщение.) Они могут быть билингвами и говорить на английском и своем родном языке, но им может
быть удобнее работать на своем родном языке и в доминирующей
культуре.
Вам также может потребоваться рассмотреть носителей английского языка, для которых он является родным и которые представляют определенные культуры, например афроамериканцев или коренных американцев. На совещании по планированию вы, вероятно,
обсуждали уровень разнообразия, соответствующий вашему продук-
351
352
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
В главах 6 и 7 рассказывается о карточках реакции
на продукт и о том, как их
использовать.
ту и исследованию. Если целью при отборе участников
является этническое разнообразие, то критерии анкетирования должны включать в себя черты этого разнообразия.
Другие пользователи находятся «там»
«Там» – это то место, где находятся ваши пользователи.
Если у вас есть бюджет на проведение тестирования в стране пользователя, то вы увидите, что ничто не сравнится с опытом погружения в культуру, даже если тестирование проходит в лаборатории.
Если же такой вариант не подходит, вы все равно можете провести
удаленное юзабилити-тестирование, модерируемое или немодерируемое.
Понимание культурных различий
Можно провести всю жизнь, изучая другие культуры – даже одну
культуру, – и это чудесно. Но, когда время играет важную роль и вам
нужно узнать, как подготовиться к юзабилити-тестированию в другой стране, на помощь приходят книги и статьи, посвященные международным и культурным аспектам людей и тому, как они используют продукты.
Книги для получения дополнительной
информации
Появляется все больше и больше книг, посвященных исследованиям пользователей из других стран и работе в зарубежных командах,
в том числе:
• «Think Outside the Country: A Guide to Going Global and Succeeding
•
•
•
in the Translation Economy», 2017, предоставляет передовой опыт
и рекомендации по созданию сайтов для глобальной аудитории;
«Global Social Media Design: Bridging Differences Across Cultures»,
2019, представляет теорию, методы и тематические исследования из Facebook Japan, Sina Weibo и других сервисов, которые
подчеркивают кросс-культурный дизайн социальных сетей и их
использование в разных культурах;
«Cross-Cultural Technology Design: Creating Culture-Sensitive
Technology for Local Users», 2012, в первую очередь ориентирована на академическую аудиторию, но содержит полезную информацию для практикующих специалистов, состоящую из пяти
историй о том, как люди используют мобильную связь;
«The Culture Map: Breaking Through the Invisible Boundaries of
Global Business», 2014, дает представление о культурных разли-
Понимание культурных различий
•
•
•
353
чиях и коммуникационных стратегиях для работы с командами
из других стран;
«Handbook of Global User Research», 2010, под редакцией Роберта М. Шумахера, представляет собой собрание глав, написанных
UX-профессионалами для таких же профессионалов. В них рассказывается о проведении тестирования в 20 странах;
«Usability and Internationalization of Information Technology»,
2005, под редакцией Нурай Эйкин, представляет собой сборник
из 11 глав, от теории к исследованиям и до практических советов
по созданию дизайна зарубежных интерфейсов;
«The Culturally Customized Web Site: Customizing Web Sites for the
Global Marketplace», 2005. В ней приводится обсуждение, выходящее далеко за пределы поверхностных вопросов локализации,
чтобы представить стратегии индивидуальной адаптации для
разных культур.
Статьи для получения дополнительной
информации
Статьи, посвященные влиянию культуры на дизайн и пользовательский опыт, охватывают широкий круг тем. Чтобы дать вам представление об имеющихся исследованиях, я приведу краткое изложение
типичных статей, сгруппированных по темам. Вы увидите, что непропорционально большое количество исследований проводится
с участием китайских пользователей, и у вас может возникнуть вопрос: почему? Как показано на рис. 10.1, Китай – самая густонаселенная страна в мире. Также там наибольшое количество интернет-пользователей, и ее догоняет Индия.
Азия – быстро развивающийся континент для проведения юзабилити-тестирований и пользовательских исследований. С 2004 г. китайцы проводят ежегодную конференцию по юзабилити User Friendly, и ряд международных докладчиков свидетельствует об их желании связать то, что они делают, с тем, что Конференция User Friendly
происходит в других странах. Аналогичную конфе- теперь спонсируется UXPA
ренцию и семинары в течение года проводит и Индия China.
благодаря усилиям организации UX – India.
Характеристики онлайн-покупок
Культурные различия влияют на отношение к риску, которое варьируется, начиная от тех, кто не склонен к риску, до тех, кто мало заботится об этом. В одном из исследований было проведено сравнение нескольких западных культур на предмет различий в отношении
к риску при совершении покупок в интернете. В нем рассматривалось
влияние чувства доверия к другим людям в определенной культуре
как основы для понимания готовности представителей данной куль-
354
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
туры доверять сайту. Исследователи сообщили, что в разных странах
уровень доверия сильно различается. Данные довольно интересны.
•
•
•
•
5 % перуанцев доверяют друг другу.
36 % людей в США доверяют друг другу.
44 % жителей Соединенного Королевства доверяют друг другу.
65 % норвежцев доверяют друг другу.
Процент от мирового населения
Таиланд (0,9 %)
Турция (1,1 %)
Германия (1,1 %)
Иран (1,1 %)
Конго (1,1 %)
Египет (1,3 %)
Вьетман (1,3 %)
Рис. 10.1 Население мира по странам.
Видно, что Китай – страна с самым большим населением, следом идет Индия
Еще одно исследование сообщило о результатах опроса по определению отношения к риску у интернет-покупателей из трех стран:
Германии, Франции и США. Исследователи разделили ответы на три
группы:
• сомневающиеся, не склонные к риску люди критически относят-
ся к покупкам в интернете. В этом кластере, самом маленьком,
преобладают французские респонденты (66,3%);
Понимание культурных различий
• у непредубежденных интернет-покупателей самый низкий про•
цент недоверия при совершении покупок в интернете. В этом
кластере, средней группе, преобладают респонденты из США;
осторожные искатели информации открыты для покупок в интернете, но предпочитают сначала использовать интернет для
получения информации и сравнения покупок. Это самая большая группа, в которой преобладают респонденты из Германии.
Два исследования, проведенные Nielsen Norman Group, подтверждают важность установления доверия и надежности для китайских
интернет-покупателей. Оба эти показателя отражают культурное
стремление китайских пользователей избегать покупки контрафактной продукции. В ходе одного из исследований было установлено, что
китайские пользователи оценивают профессионализм организации
по профессиональному внешнему виду и цветовой гамме, высококачественным изображениям и наличию индикатора «официальный
сайт» на страницах результатов поисковых систем и в мега-теге title
на домашней странице.
Другими факторами, повышающими доверие к китайским сайтам, являются наличие физического розничного магазина или дистрибьютора и доступность онлайн-чата, который предпочтительнее
телефонного номера службы поддержки клиентов. Отзывы предыдущих клиентов также высоко ценятся, поскольку китайские покупатели избегают первыми пробовать что-то новое. Китайские сайты часто содержат контактную информацию людей, оставляющих
отзывы. Участники исследования указали, что они будут звонить
этим клиентам, чтобы задать вопросы и подтвердить точность их
отзывов.
В другом исследовании популярного китайского мобильного приложения для социальных сетей и электронной коммерции – Little
Redbook – исследователи из Nielsen Norman Group провели юзабилити-тестирование среди пользователей сайта, которыми выступили
женщины от 18 до 35 лет, интересующиеся люксовой модой и косметическими товарами. Как и в предыдущем исследовании, они обнаружили, что доверие и надежность являются главными приоритетами
для китайских пользователей. Кроме того, популярность этого сайта
объясняется чувством общности, которое он вызывает. Социальные
сети дают посетителям сайта возможность узнавать о новых продуктах, связываться с рецензентами, чтобы определить подлинность обзоров, и даже получать советы по макияжу и инструкции по использованию от участников сообщества.
Знание потенциального воздействия культуры на доверие и авторитет может помочь дизайнерам учитывать потребности культур при
разработке продуктов. Целью юзабилити-тестирования, проводимого в другой стране, может быть определение того, рассматривается ли
продукт, особенно когда он представляет собой сайт как надежный
и заслуживающий доверия со стороны пользователей.
355
356
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Информационная архитектура
Культурные различия влияют на ожидания пользователей в отношении информационной архитектуры на сайтах. В одном из исследований было проведено сравнение китайских и американских сайтов, в результате чего было обнаружено, что наиболее разительным
отличием стало большое количество ссылок на контент на странице
китайского портала по сравнению со страницей американского портала. На рис. 10.2 показана страница китайского сайта sina.com.cn, одного из крупнейших интернет-порталов в Китае.
Автор исследования сообщил, что большинство китайских сайтов
использует дизайн сайтов Yahoo! или MSN, независимо от того, является ли сайт порталом или нет. Однако дизайн китайского портала
чаще в 10 раз длиннее, чем аналогичный дизайн страницы американского портала. Еще одна разница заключается в том, что американский сайт, скорее всего, будет организован по категориям с уникальными страницами для каждой категории. А как китайский сайт
разместит всю информацию на одной странице и в том виде, который американцам представляется как «сбивающая с толку мешанина
гиперссылок, распределенных по категориям, с рекламными баннерами, большими меню и рекламными ссылками, перемежающимися
с ссылками на контент».
Отчасти причина такого подхода к дизайну заключается в том,
что он решает вопрос медленных соединений, которые когда-то были нормой среди китайских пользователей и все еще могут наблюдаться в сельской местности. Как только страница загружается – это
может занять минуту или больше, – все ссылки открываются в новом окне и, следовательно, открываются быстро. Такой дизайн подходит китайскому пользователю, который привык видеть на странице большой объем информации, не используя функция поиска.
А китайские пользователи привыкли просматривать одновременно
несколько окон. По словам автора исследования, они предпочитают
такой порядок и не разочаровываются в таком способе представления информации, потому что им нравится, когда вся информация
доступна сразу. Китайские веб-дизайнеры учитывают эти предпочтения.
В связи со значительным ростом скорости подключения к интернету и тому факту, что у китайских пользователей есть доступ к сайтам
из других стран, можно задать вопрос: изменился ли дизайн сайтов
в Китае? По мнению Юннуо Ченга и Якоба Нильсена, это не так. Их исследование 14 китайских сайтов показало, что сложность продолжает
оставаться нормой для китайских сайтов и что китайские пользователи «терпят» сложные сайты, особенно порталы и новостные сайты.
Некоторые пользователи заявили, что им понравился загруженный
дизайн, потому что это способ показать все честно.
Понимание культурных различий
Рис. 10.2
Часть домашней страницы sina.com.cn, на которую зашли 27 апреля 2010 г.,
показывает огромное количество ссылок
На рис. 10.3 видно, что после возвращения на этот сайт через девять лет после того, как был сделан скриншот, представленный на
рис. 10.2, с точки зрения сложности дизайна мало что изменилось.
357
358
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Рис. 10.3 Часть домашней страницы сайта sina.com.cn,
на которую зашли 27 января 2019 г., демонстрирует последовательный шаблон дизайна
и большое количество ссылок
Об аналогичных результатах сообщает специалист по UX из Колумбии Паула Валенсия, проводившая юзабилити-тестирование для
японской компании, занимающейся исследованиями в области UX.
Она сравнила японские и колумбийские сайты по трем параметрам:
эмоциональной вовлеченности, эстетической привлекательности
и адекватности информации. Различия показаны в следующей таблице.
Понимание культурных различий
Особенности
веб-дизайна
Эмоциональная
вовлеченность
Япония
Использование талисманов и героев
мультфильмов, чтобы представить
имидж бренда и обеспечить дружелюбие
и доступность
Эстетическая
Много ярких красок, особенно
привлекательность в рекламных кампаниях или пакетных
предложениях, большие белые поля
по бокам, вертикальные столбцы для
контента; подробная панель навигации
Информационная Визуально сложные страницы, тяжелый
уместность
текстовый контент, избавляющий от
необходимости копаться в поисках
нужного контента
Колумбия
Использование реальных людей
и ситуаций, чтобы обеспечить дружелюбие и доступность
Тонкое использование цвета, полноразмерный дизайн баннера и страницы,
области содержимого на основе строк,
минималистичный дизайн, простая
панель навигации
Простой и понятный дизайн, особенно
домашняя страница, облегчает поиск
нужного контента
В другом исследовании, сравнивающем сайты, разработанные китайскими и американскими дизайнерами, основное внимание уделялось влиянию пользовательского опыта, основанному на культуре
веб-дизайнера. Результаты показали, что пользователи выполняли
поиск информации быстрее, если сайт создавали дизайнеры из их
же страны. Авторы пришли к выводу, что культурное происхождение
дизайнеров влияет на их когнитивный стиль при представлении информации на сайте.
В ходе своего исследования в 2016 г. Юннуо Чен и Якоб Нильсен нашли другой результат: китайские участники тратили больше времени
на поиск вещей на типичных сложных сайтах, чем на сайтах с более
простым дизайном. Однако они меньше принимали во внимание
простые сайты, которые посещали, потому что считали, что на них не
хватает полезной информации.
Шаблоны поиска
Культурные различия во взглядах, а также в количестве времени, которое тратится на страницу результатов поиска, отмечается в исследованиях по окулографии у китайских и западных пользователей.
Сравнение Baidu (популярной китайской поисковой системы)
и Google показало, что модели взгляда у пользователей Baidu и Google
заметно отличаются, и еще большее отличие наблюдается, по сравнению с шаблонами, у пользователей из Северной Америки, если говорить о Google.
В ходе исследования было обнаружено, что китайские пользователи Baidu ведут поиск по всей странице до самой нижней части,
просматривают больше результатов, чаще изменяют свои поисковые запросы и проводят гораздо больше времени на странице результатов Baidu, чем на Google. Причина, указанная для этого шаблона просмотра, и более продолжительное время, проведенное
на странице результатов Baidu, заключается в том, что на странице
Powered by TCPDF (www.tcpdf.org)
359
360
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
результатов Baidu нет прозрачности: пользователи не могут определить, какая реклама спонсируется, а какая нет, поэтому просматривают всю страницу в поисках обычных ссылок (см. рис. 10.4).
Для сравнения, когда китайские пользователи находятся на сайте
Google, их способ просмотра страницы, как правило, соответствует шаблону «треугольник», когда чтение содержимого начинается
с верхнего левого угла страницы. Первые несколько результатов
почти такие же, как и у североамериканских пользователей Google
(см. рис. 10.5). Однако в обновленном анализе этих выводов авторы отмечают, что шаблон треугольника (который также называют
F-образным паттерном) присутствует в начале поиска, но взгляд не
идет дальше вертикально вниз по странице («ножка» буквы F), и более распространен горизонтальный вариант просмотра. По сравнению с Baidu большинство китайских пользователей, участвовавших в исследовании, не просматривали страницу после четвертого
списка.
Сайт Baidu
(с отображением кликов)
Сайт Google
(с отображением кликов)
Рис. 10.4 Показанная здесь тепловая
карта и щелчки мышью взяты со страницы
результатов поиска в Baidu
Рис. 10.5 Показанная здесь тепловая
карта и щелчки мышью взяты со страницы
результатов поиска в Google
Результаты окулографии арабских пользователей показывают, что
они, как и китайские пользователи, обычно читают все результаты
поиска сверху вниз, включая рекламные объявления в верхней части страницы. Однако, когда результаты поиска также отображались
в правой части экрана, арабским пользователям требовалось больше
Понимание культурных различий
времени (в среднем 6,56 с, пятая фиксация), чем английским (в среднем 1,78 с, третья фиксация), чтобы просмотреть результаты в правой
части экрана. Авторы связывают это с графиками взгляда, которые
показывают, что английские пользователи ищут ключевые слова,
перепрыгивая между результатами по всей странице, по сравнению
с арабскими пользователями, которые внимательно читают первые
несколько результатов, прежде чем перейти к остальным.
В другом исследовании, проведенном Nielsen Norman Group, F-образная модель чтения была перевернута для пользователей, использующих языки, где направление письма идет справа налево, такие
как арабский. В этих случаях F-образный паттерн чтения переворачивается, как и следовало ожидать.
Принятие технологии
Культурные модели использования влияют на принятие новых технологий. Вот несколько исследований, посвященных этому вопросу:
• немецкие и индийские пользователи стиральных машин, подчер-
•
•
•
•
•
•
•
кивают контекстуальные и экологические различия; вопросы
маркировки и терминологии, различия ментальных моделей
и различия в одежде;
внедрение голосового или видеокиоска для малограмотных китайских рабочих-мигрантов с низкими технологическими навыками
с акцентом на потребности этих пользователей в отправке асинхронных сообщений голосовой почты своим детям в их родных
деревнях;
внедрение банкоматов в Китае, подчеркивает отношение и опасения Китая, влияющие на их использование и внедрение;
разработка передовых программных систем помощи водителю,
фокусируется на различиях между шведскими и китайскими водителями;
восприятие производительности MP3-плееров, сравнение восприятия тайваньских и североамериканских пользователей относительно эффективности и действенности дизайна;
адаптация юзабилити-тестирования для сельских пользователей
на основе исследования аудиокомпьютера (говорящей книги),
разработанного для фермеров и протестированного в двух деревнях Ганы;
дизайн мобильного взаимодействия для культур с низким уровнем
грамотности в Индии с учетом требований к нескольким языкам и необходимости безопасного перевода денег в отдаленные
районы;
межкультурные различия в автомобильном дизайне человеко-машинного интерфейса, сравнение дизайнерских предпочтений
пользователей из Великобритании и Индии.
361
362
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Применение работы Холла
и Хофстеде для анализа
пользователей из других стран
Вы вряд ли встретите книги или статьи о зарубежном или межкультурном юзабилити без упоминаний о Холле и Хофстеде. Эдвард Т.
Холл наиболее известен тем, что ввел концепции высокого и низкого
контекста для описания различий между культурами. Герт Хофстеде
наиболее известен своим анализом культурных различий, основанным на культурных измерениях. Базовое понимание влияния культурных ценностей на общение может подготовить почву для написания планов тестирования, модерации и задания вопросов в юзабилити-тесте.
Концепция высококонтекстных
и низкоконтекстных культур Эдварда Холла
Классификация культур Холлом помещает страны в континуум от высокого контекста к низкому. Говоря кратко, высококонтекстные культуры ищут смысл в невысказанных знаках и сигналах в контексте
коммуникации. Коммуникация основана на общем «закодированном» языке, понятном группе, с опорой на невербальное общение,
такое как мимика и жесты, для передачи смысла. Высококонтекстные
культуры ценят межличностные отношения, а члены образуют сплоченные сообщества.
Напротив, низкоконтекстные культуры больше сосредоточены
на отдельном человеке. Это приводит к тому, что их члены менее
способны читать реплики отношений при интерпретации общения.
Эти культуры ищут смысл в самих словах. Общение здесь прямое
и ясное.
Хотя Холл и не приводит разбивку по всем странам, чтобы показать, где каждая из них находится в континууме, он приводит примеры стран, как показано на рис. 10.6. Как вы видите, высококонтекстные культуры сосредоточены вокруг азиатских стран, а низкоконтекстные – вокруг стран Северной Америки и Северной Европы.
Рис. 10.6 Холл приводит несколько примеров стран
с высококонтекстными и низкоконтекстными культурами
Применение работы Холла и Хофстеде для анализа пользователей из других стран
Концепция культурных измерений Герта
Хофстеде
Хофстеде изучал национальные культуры в организациях, используя ответы на опросы сотрудников IBM по всему миру. В результате
этого исследования были выявлены первые четыре измерения культуры. Позже он заказал исследование в Азии, чтобы добавить пятое
измерение для азиатских стран. В текущей редакции книги «Культуры и организации» добавлено шестое измерение. Вот их краткий
обзор.
1. Дистанция власти – степень, в которой менее влиятельные
члены институтов и групп ожидают и принимают неравномерное распределение власти.
2. Индивидуализм против коллективизма – степень, с которой
культура ценит индивидуальный акцент (фокус достижения) по
сравнению с коллективным/групповым благосостоянием (ориентация на принадлежность).
3. Избегание неопределенности – степень, с которой представители культуры чувствуют угрозу из-за неопределенных, неизвестных ситуаций или принимают эти ситуации.
4. Мужественность против женственности – насколько культуры
ценят напористое (мужское) поведение в противовес скромному (женскому).
5. Долгосрочная ориентация против краткосрочной – насколько культуры находятся под влиянием конфуцианской философии. Конфуцианская философия определяет отношения людей в иерархии семьи и общественных организациях
и придает большое значение суровой работе и образованию,
а также потребности в терпении и настойчивости в ожидании
награды.
6. Допущение против сдержанности – степень, с которой культуры
отдают приоритет удовлетворению в форме удовольствия от
жизни и получения удовольствия по сравнению с культурами,
которые устанавливают социальные нормы, регулирующие или
ограничивающие такое удовлетворение.
Хофстеде располагает страны и регионы мира на шкале примерно от 0 до 100 (хотя некоторые страны получают более 100 баллов по
некоторым параметрам). Полезность шкалы не столько в конкретном
месте страны на шкале, сколько в сравнении размеров страны или
культуры по отношению к другим странам.
Например, если мы воспользуемся шкалой Хофстеде (основанной
на цифрах из издания 2010 г.), чтобы сравнить измерения США и Китая, то увидим следующие отличия:
363
364
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Культурное измерение*
Соединенные Штаты
Китай
Дистанция власти (104)
40
80
Индивидуализм против коллективизма (91)
91
20
Избегание неопределенности (112)
46
30
Мужественность против женственности (110)
62
66
Долгосрочная ориентация (118)
29
118
Допущение против сдержанности (100)
68
24
* Число в скобках после каждого измерения показывает максимально возможное значение
для этого измерения
Китай имеет высокие показатели дистанции власти и чрезвычайно высокие показатели долгосрочной
ориентации, относительно низкие показатели избегания неопределенности и чрезвычайно низкие показатели индивидуализма и допущения. Что касается
США, то они в целом находятся на противоположном
от Китая конце шкалы (за исключением аналогичных
баллов по мужественности). Самые крайние различия
отражаются в индивидуализме – самый высокий балл
у США, и по долгосрочной ориентации – самый высокий балл у Китая.
Итак, как эта информация помогает понять обе
культуры? Хотя любые особенности, которые можно
извлечь из различий в этих измерениях, должны быть
протестированы на реальных пользователях, вы можете использовать эту информацию в качестве ориентира, чтобы узнать, как ваши пользователи реагируют
на такие культурные различия. Можно протестировать свой текущий
продукт, чтобы узнать, в чем заключаются культурные проблемы.
Или изменить дизайн своего продукта с учетом возможных культурных различий, а затем проверить, соответствует ли ваш дизайн ожиданиям пользователей.
Например, если вы разрабатываете или адаптируете сайт для китайских пользователей, вам может потребоваться изучить опыт пользователей, отраженный в таких параметрах, как:
Не всем нравятся
работы Хофстеде или их
применение в интерактивном
дизайне. Чтобы получить
представление о проблемах,
высказанных некоторыми
специалистами, см.
«Hofstede’s Model of National
Cultural Differences and their
Consequences: A Triumph of
Faith – a Failure of Analysis»,
2002, и «How Relevant Are
Hofstede’s Dimensions for Intercultural Studies? A Replication
of Hofstede’s Research among
Current International Business
Students», 2015.
• высокая дистанция власти – рассматривается ли это измерение
•
за счет акцента на авторитетных фигурах, сертификатах, опыте?
высокий коллективизм / низкий индивидуализм – рассматривается
ли это измерение за счет упора на лояльность к клиентам и легкий доступ к людям, которые могут ответить на вопросы и готовы помочь? Правильно ли ориентирован сайт на благо общества,
и дает ли он возможность обмениваться информацией через сообщество пользователей?
Создание персонажей пользователей
365
• высокое избегание неопределенности – рассматривается ли это
измерение с помощью четко сформулированной и легко доступной политики возврата и информации о гарантии? Удовлетворяются ли потребности пользователей за счет включения отзывов
клиентов? Могут ли пользователи уверенно перемещаться по
сайту благодаря четким и очевидным ссылкам и меткам? Могут
ли они избежать ошибок? Если они сделают ошибку, то смогут ли
легко и четко исправить ее?
• высокая долгосрочная ориентация – рассматривается ли это измерение за счет демонстрации информации о долговечности
компании и ее успехах в построении прочных отношений с партнерами или клиентами?
• допущение или сдержанность – рассматривается ли это измере-
ние через выражение того, как компания служит сообществу,
или примеры того, как пользователи могут быть бережливыми
и экономить деньги?
Пример того, как применить культурные аспекты
Хофстеде при разработке или перепроектировании
сайта, см. в резюме для анализа тематического исследования сайта отделения UPS в Коста-Рике, приведенном в конце этой главы.
Анализ сайтов, использующих
культурные аспекты
Хофстеде, см. в отчете
«Cultural Dimensions and
Global Web у Design: What?
So What? Now What?», 2001.
Создание персонажей пользователей
Чтобы понять своих пользователей из других стран, нужно дать им
лицо и имя. Это и является той ролью, которую играют персонажи.
Если у вас нет персонажей для таких пользователей, придется их создать.
Первый шаг – выяснить, что вы можете сделать, из доступных вам
исследований. Если нет доступных исследований, которые вы можно
было использовать для создания персонажей, вероятно, потребуется
провести собственное исследование, чтобы узнать их характеристики, мотивации и цели.
Однако сделать это может быть не так просто, как в случае с внутренними пользователями, особенно если ваши участники разбросаны по разным странам. Стоимость полномасштабного исследования
пользователей из других стран может быть непомерно высокой для
всех, кроме наиболее хорошо финансируемых продуктов. Поэтому вы
с большей долей вероятности сузите охват, возможно, до одной страны или группы стран с общим языком или культурой. Это могут быть,
например, латиноамериканские, испаноязычные страны или страны/
культуры с китайским языком.
366
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Сосредоточьтесь на конкретных культурных
особенностях
Помимо необходимости учитывать обычные характеристики, составляющие основу персонажа, нужно также учитывать культурные
особенности, способные повлиять на персонажей пользователей из
других стран. Ресурсы, которые я предложила ранее в этой главе, помогут вам при работе с общекультурными характеристиками. КПолучив базовое представление о культурных особенностях страны
или культуры, к которой будете обращаться в ходе тестирования, вы
сможете сконцентрироваться на конкретных важных характеристиках. Следующие темы помогут вам сфокусировать свое исследование
на том, как культурные различия в группах пользователей из других
стран должны отражаться в создаваемых вами персонажах:
• стили обучения – есть ли культурные предпочтения относитель-
•
•
•
•
но того, как информация представлена в контексте обучения,
для получения сведений от авторитетного лица, для работы со
сверстниками, чтобы узнать что-то новое, для работы в одиночку, чтобы разобраться во всем, для использования или неиспользования справки или инструкции при изучении новой
системы?
контентные и визуальные шаблоны дизайна – есть ли культурные
ожидания в отношении объема предоставляемой информации
типа визуальной поддержки (если таковая имеется), использования значков для определенной ориентации чтения?
доверие – что представляет собой доверительная ситуация, и как
она может возникнуть? Являются ли пользователи представителями культуры, не склонной к риску, или наоборот? Открыты ли
они для нового опыта или им более комфортно с уже знакомым
и известным опытом?
связи – является ли потребность в построении связей сильнее,
чем потребность в эффективном выполнении заданий? Если
установление связей является важным предвестником откровенного разговора с другими людьми, то как они развиваются
с этими людьми? С компанией? С продуктом?
«лицо» – когда пользователи совершают ошибку, кого они винят – себя или продукт? Будут ли они ожидать, что продукт поможет им сохранить лицо? Как они выразят свои чувства о продукте перед друзьями, семьей, коллегами, своим работодателем?
Боятся ли они, что им будет стыдно или что они потеряют лицо,
если будут разочарованы продуктом? Могут ли они выразить
свое разочарование откровенно, не теряя лица, когда находятся
одни или в вашем присутствии?
Создание персонажей пользователей
Учитывайте другие соображения
Также следует помнить о языковых предпочтениях и предпочтениях,
касающихся чтения и письма. Даже когда вы фокусируетесь только на
одной стране, там может быть много подгрупп пользователей, говорящих на этом языке, а также множество вариантов языка как в устной,
так и в письменной формах. Возьмем, к примеру, китайский язык. Если вы решили протестировать свой продукт на китайских пользователях, то нужно подумать, какой язык возьмете. Если вы остановитесь
на китайском, который является официальным языком материкового Китая и Тайваня, а также одним из официальных языков Сингапура и некоторых районов Малайзии, то необходимо решить, какую
версию письменного языка будете использовать. В материковом
Китае это будут упрощенные иероглифы(утвержденные правительством в 1955 г.); а на Тайване все может зависеть от возраста пользователей, поскольку использование упрощенных иероглифов стало
обязательным только в 2004 г. Если вы тестируете компьютерный или
телефонный интерфейс, то, скорее всего, потребуется использовать
пиньинь, систему романизации для стандартного китайского письменного языка.
В Гонконге два официальных языка: английский и китайский. Однако, какой это вариант китайского, не уточняется. В результате самым популярным диалектом китайского языка по-прежнему остается кантонский, хотя многие говорят на мандаринском. В материковом Китае значительная часть сельского населения не говорит и не
читает на мандаринском диалекте, используя вместо него местные
диалекты.
Помимо знания языковых предпочтений своих пользователей,
нужно учитывать их возможности и предпочтения относительно
чтения. Пользователи Тайваня и Гонконга в основном читают иероглифы, которые идут слева направо, но пожилые пользователи, возможно, привыкли читать справа налево. Еще одно отличие – расположение рядов. В материковом Китае читают тексты, написанные
в западном стиле, горизонтальными рядами слева направо. Однако
на Тайване могут читать сверху вниз и справа налево, потому что до
2004 г. правительство не требовало такого расположения иероглифов,
когда они также перешли на упрощенные иероглифы.
На рис. 10.7 показан пример дорожного знака в Гонконге. В верхней
и нижней строке иероглифы идут слева направо, в средней – справа
налево.
В зависимости от целевой аудитории вашего продукта вам может
потребоваться несколько персонажей для одной языковой группы.
Как и в случае с домашними персонажами, вы также должны учитывать различия в возрасте, экономическом уровне, образовании, знании продукта (или его отсутствии), покупательские привычки и другие факторы. Эти различия могут быть особенно важны при тестиро-
367
368
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
вании, проводимом в другой стране, когда экономический уровень,
возраст и пол могут иметь огромное влияние на осведомленность
о продукте и его принятие.
Рис. 10.7 На этой
фотографии уличного знака
в Гонконге изображен текст,
идущий в двух направлениях
Для получения информации
о том, как создать кросс-культурный шаблон на основе
работ Холла и Хофстеде, см.
«Cross-Cultural User Experience Design: Helping Product
Designers to Consider Cultural
Differences», 2015.
Все, что вам нужно учитывать при работе с целевыми пользователями, поначалу может ошеломить
вас. Но не позволяйте этой необъятной неизвестности
одолеть вас. Подобно тому, как существуют огромные
потенциальные различия между пользователями в вашей стране, которые требуют от вас сузить внимание
до одной или нескольких подгрупп, вы должны решить, кто ваши целевые пользователи конкретного
исследования, а затем создать для них персонажи.
Составьте план исследования
Если у вас нет исследования для создания своих персонажей, то для
этой цели можно составить его план. Есть много способов сделать
это, чтобы получить представление о своих целевых пользователях,
и выбор плана, который лучше всего подходит вам, во многом будет
зависеть от бюджета и времени. Возможно, ваше исследование ограничивается тем, что можно найти в интернете или в книгах. Или если
позволяет бюджет и у вас есть время, то можно разработать план, который включает в себя не только вторичные, но и первичные исследования.
В следующем примере приводится план проведения вторичного
и первичного исследования шаблонов знакомств и использования
сайтов знакомств с целью получения информации о целевом международном рынке подобного рода приложений. Исследование было
использовано для создания персонажей, которые будут представлять
Создание персонажей пользователей
пользователей таких приложений и тех, кто является их потенциальными пользователями. План был разделен на два этапа.
Этап 1. Исследование в США:
• обзор литературы – найдите и прочитайте соответствующие исследовательские статьи и книги, где рассказывается об определенной стране или культуре и указаны исследователи, с которыми можно связаться для проведения интервью;
• дистанционные предметные интервью – проведите пять подробных интервью с экспертами в предметной области, определенными на основе обзора литературы, чтобы получить более глубокое понимание вопроса;
• лонгитюдное исследование / дневниковое исследование – запустите
двухнедельное исследование, чтобы получить представление об
опыте целевых пользователей, которые используют приложение
для знакомств на протяжении какого-то времени.
Этап 2. Исследование в изучаемой стране:
• контекстный запрос – запланируйте 10 визитов домой к пользователям, чтобы выяснить, почему они принимают те или иные
решения в отношении процесса знакомства, как они относятся
к сервисам онлайн-знакомств, их предпочтения при выборе одного сервиса вместо другого, их проблемы, истории успеха и т. д.
Цель исследования – выявить возможности для удовлетворения
потребностей пользователей и устранения проблем;
• фокус-группы – задействуйте от шести до восьми участников
в трех фокус-группах, в которых они обсуждают свои методы
свиданий, опыт работы с сервисами онлайн-знакомств (положительный и отрицательный) и почему они выбрали один сервис
вместо другого.
На следующей врезке представлены примеры первичного и вторичного исследования, примененного к созданию двух персонажей
для исследования китайской версии сайта Holiday Inn.
Создание персонажей для исследования китайской версии
сайта Holiday Inn
При исследовании китайского сайта Holiday Inn были созданы два персонажа:
• турист-билингв, проживающий в США и планирующий семейную поездку
в Китай;
• молодой китайский специалист, который часто путешествует по Китаю по работе.
Эти два персонажа созданы на основе следующей информации, предоставленной спонсором продукта.
369
370
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Ключевые рынки Китая
Присутствие бренда –
отели представленные
в Китае
Целевые клиенты
Демография клиентов
Тип путешествия
Пекин, Шанхай, Гуанчжоу
Intercontinental, Crown Plaza, Holiday Inn.
Holiday Inn – крупнейшая международная гостиничная цепь
в Китае (по количеству забронированных номеров), ставшая
одной из первых западных групп, открывших свой отель в Китае
Внутренние и зарубежные путешественники
От 24 до 55 лет.
Покупательная способность – от среднего класса до верхнего
среднего класса
Бизнес – хорошо налажен.
Рынок досуга – растет
Команда дополнила эту информацию, прочитав статьи о бизнесменах и путешественниках в Китае в американских журналах и проведя интервью с друзьями
и знакомыми, проживающими в США и Китае. Собранная информация стала основой для следующих двух персонажей.
Минь Хэ – жительница США, мать и жена, уроженка Китая, с ограниченными
компьютерными навыками. Хотя она работает неполный рабочий день в компьютерном магазине своего мужа, она использует компьютер только для ввода
основных данных, связанных с бухгалтерским учетом. Является потенциальным
путешественником в Китай, поскольку планирует съездить туда, чтобы навестить
родственников.
Минь Хэ
Женщина
45 лет
Замужем.
Есть сын, 11 лет
Род занятий: работает бухгалтером неполный
рабочий день в компьютерном магазине мужа.
Семейный доход: 90 000 долл. в год.
Технические навыки: не совсем свободно чувствует
себя при работе с современными технологиями;
использует компьютер вместе с другими членами семьи.
Использование интернета: электронная почта
и поиск информации.
Увлечения:
• путешествия,
• проводит время с сыном,
• уборка в доме и приготовление еды для членов
семьи.
«Мне все еще не очень комфортно пользоваться
интернетом.
Мне нужен простой и безопасный порядок
действий.
Будет здорово, если на сайте
будет представлена информация
о достопримечательностях и торговых
центрах».
Минь живет в США со своим мужем 13 лет. Она
не была в Китае с тех пор, как у нее родился сын.
У нее остались родственники в Китае. Этим летом ее
семья возвращается туда, чтобы навестить их. Она
посетит несколько городов, чтобы навестить своих
родственников.
Муж Минь владеет компьютерным магазином,
который является источником дохода семьи. Минь
работает в магазине по 4 часа в день и большую часть
свободного времени проводит с сыном.
Раньше она бронировала номер в отеле через
интернет, но это был неудачный опыт. Она хочет
научиться, но боится, что у нее не получится.
Тай «Тони» Чень – житель Китая и молодой специалист с хорошими компьютерными навыками, который путешествует по работе и навещает своих родителей
в другом городе. Тони любит, чтобы его считали «крутым», поэтому для него важен
выбор одежды, кофе и места, где он остановится во время путешествий. Особенно ему нравятся западные бренды. В общении со своими друзьями берет свое
Планирование тестирования
371
западное имя, Тони, которое он использует, когда британские владельцы совместного предприятия его компании находятся в городе.
Тони Чень
Мужчина
27 лет
Холост.
Живет в центре
Шанхая
«Все, что мне нужно, – это как можно
быстрее забронировать номер. Мне нужна
информация о расположении отелей по
отношению к аэропорту и центру города».
Род занятий: управляющий по работе с клиентами совместного
предприятия в г. Шанхай. Часто ездит в другие крупные города
страны, такие как Пекин, Гуанчжоу и Далянь.
Тони – единственный ребенок в семье.
Навещает родителей 2–3 раза в месяц
и очень их любит.
Тони принадлежит к китайскому поколению
Me. Он окончил Шанхайский университет
Фудань, один из лучших университетов
Китая. Сейчас он один из молодых
представителей элиты компании.
Технические навыки: очень комфортно чувствует себя при
работе с современными технологиями. У него есть Apple iPad
{около 1,5 лет}; также ноутбук, предоставленный компанией для
работы; есть высокоскоростной интернет дома; 4–6 часов в день
он проводит онлайн.
Использование интернета: электронная почта, развлечения
и социальные сети.
Увлечения:
• играет в Nintendo Wii, смотрит спортивные игры и пользуется
интернетом по вечерам в будние дни,
• посещает клубы или хорошие рестораны с друзьями по
выходным.
Тони часто ездит в другие крупные
города по делам. Он всегда бронирует
гостиничные номера онлайн. Время от
времени у него возникают проблемы с этим,
но он быстро может во всем разобраться.
Тони пьет кофе из Starbucks и носит Nike.
Планирование тестирования
Во многом к планированию тестирования с участием Глава 5 посвящена основам
зарубежных пользователей предъявляются те же требо- планирования.
вания, что и при планировании «домашнего» тестирования. Однако есть ряд важных требований, которые являются уникальными. К ним относятся следующие:
•
•
•
•
•
где проводить тестирование,
как его проводить,
как структурировать протокол испытаний,
как выбрать подходящего модератора,
как предвидеть другие аспекты, требующие особого внимания.
Некоторые из этих решений могут быть приняты за вас до того,
как вы начнете планировать юзабилити-исследование. Другие могут
быть продиктованы бюджетом или временем. Третьи нужно предвидеть, чтобы свести к минимуму неожиданности. Для каждого решения, независимо от того, было ли оно принято за вас или вами, важно
учитывать влияние на результат.
372
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Где проводить тестирование
Если у вас есть выбор, где проводить тестирование, нужно взвесить
преимущества и недостатки тестирования в стране, где находятся ваши пользователи, или из дома с удаленным подключением к участникам. Еще одна возможность заключается в том, что вы можете не
проводить тестирование самостоятельно, а нанять местную компанию, которая проведет тестирование за вас. А пока давайте отложим
тот случай, когда вы не будете проводить тестирование, и сосредоточимся на вариантах тестирования с пользователями, находящимися
в своей стране, или удаленно из дома.
Тестирование «там», где находятся ваши пользователи
Преимущества проведения тестирования в стране, где находятся ваши пользователи:
• если вы говорите на языке своих участников, то можете вступить
•
•
•
в диалог с ними до, во время и после тестирования. Если нет –
данное преимущество исчезает;
если вы проводите тестирование в лаборатории или в комнате,
отведенной для тестирования, то в течение дня вы, возможно,
встретитесь с большим количеством людей на сеансах;
при отмене возможно быстро подобрать замену, поскольку человека можно привлечь из пула местных квалифицированных участников, которые могут быть готовы к вызову в короткие сроки;
проводя тестирование у кого-то дома или у них в офисе, можно
узнать об их окружении. Эта демонстрация покажет вам проблемы, связанные с контекстом использования, которые, вероятно,
нельзя решить никаким другим способом.
На рис. 10.8 показан китаец, использующий компьютер у себя дома. Видно, что стол заставлен различными предметами – множеством очков, часами, картотекой, модемом, динамиками, мобильным
телефоном и несколькими другими устройствами, – а также ноутбуком, подключенным к большому монитору и клавиатуре. На нем нет
очков, и он не пользуется внешней клавиатурой, поэтому, возможно,
этот компьютер и стол используется кем-то еще. Поскольку типичное
китайское жилье не очень большое, а пространство ограничено, такое
понимание контекста может помочь сформировать требования к вашему продукту, а также понимание влияния окружения на юзабилити
вашего продукта;
• вы можете лучше понять культуру, используя свободное время,
исследуя улицы и парки, видеогалереи и интернет-кафе. Это
может быть особенно важно, если вы хотите понять контекст
использования своего продукта «в естественных условиях». На
рис. 10.9 показан зал игровых автоматов в Куньмине, Китай,
обеспечивающий культурный контекст, который может быть
Планирование тестирования
очень важен, если вы тестируете видеоигру.
Рис. 10.8 Эта фотография китайца, использующего свой компьютер дома,
многое говорит нам о его окружении
Рис. 10.9 На этой фотографии зала игровых автоматов показаны китайцы,
играющие в видеоигры в Куньмине
373
374
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
К недостаткам тестирования в самой стране можно отнести:
• стоимость проезда и проживания одного или нескольких че•
•
•
•
•
ловек;
проблемы смены часовых поясов. По крайней мере, необходим
дополнительный день, чтобы приспособиться к разнице во времени;
языковой барьер, если вы не владеете языком участников;
культурный барьер, если вы не можете привыкнуть к культуре за
то короткое время, в течение которого будете находиться там;
подготовку к тестированию, с которой вам, возможно, придется
разбираться удаленно. Сюда может входить поиск и аренда помещения, обеспечение безопасности компьютеров и подключение к интернету или Wi-Fi. Если вы сами решаете эти вопросы,
то вам, вероятно, нужно будет прибыть как минимум за день до
начала тестирования, чтобы все было готово;
саму процедуру тестирования, которая может потребовать, чтобы ваша команда иностранцев сидела в комнате с участником,
что потенциально нервирует участника.
Тестирование «отсюда» для удаленного доступа
к пользователям
Удаленное тестирование, когда вы находитесь «здесь»,
а участники – «там», дает вам возможность узнать
о пользовательском опыте из разнообразного пула
пользователей за относительно короткое время. Необходимо принять множество решений относительно
того, как настроить и провести дистанционное юзабилити-тестирование для другой страны. Как и в большинстве случаев, у этого тестирования есть свои преимущества и недостатки.
К преимуществам можно отнести следующие моменты:
Для получения
дополнительной информации
об удаленном тестировании
см. главу 3.
• вы можете тестировать людей из разных стран, поэтому в ходе
•
•
одного исследования можно получить обширную информацию
об опыте участников;
можно запланировать тестирование на разное время, чтобы
учесть доступность участников и разницу в часовых поясах. Благодаря этой гибкости и если график позволяет, можно делать
меньше тестов в день, проводя тестирование в течение нескольких дней, пока вы вносите изменения в продукт, продолжая тестировать удаленно;
если ваши участники проходят тестирование дома или в офисе
и используют демонстрацию экрана, то можно увидеть, какие
программы установлены на компьютере участника. Если у него
есть веб-камера, то можно начать сеанс, видя участника и его
Планирование тестирования
рабочее пространство. И вы можете использовать свою веб-камеру, чтобы вас тоже было видно. Если у участника хорошее интернет-соединение, он может использовать веб-камеру на протяжении всего сеанса;
• можно подключить к сеансам тестирования несколько наблю-
дателей из одного или нескольких мест. Наличие большого количества наблюдателей связано с небольшими затратами, или
можно и вовсе обойтись без них, в результате чего больше людей смогут увидеть сеансы и получать информацию от пользователей. Преимущество такого вариант состоит в том, что они
не беспокоят и не отвлекают пользователя своим присутствием.
К недостаткам удаленного тестирования можно отнести следующие моменты:
• возможно, вам придется проводить тестирование в весьма неурочное время, в том числе и посреди ночи, чтобы учесть проблемы с часовыми поясами и доступность участников;
• если у участника нет веб-камеры или ее использование влечет
за собой технические проблемы, то вы не сможете увидеть его
во время теста. Это означает, что вы пропустите невербальные
коммуникационные сигналы и нельзя будет внести быстрые
корректировки, когда вы видите, что пользователь старался изо
всех сил или разочаровался;
• могут возникнуть проблемы с брандмауэром, подключением
к интернету и другие технические проблемы, препятствующие
проведению сеанса. Вам будет намного сложнее контролировать
их заранее независимо от того, насколько хорошо вы все спланировали;
• если участник разговаривает по телефону, у него может не быть
спикерфона, поэтому он будет пытаться говорить с вами и думать вслух, держа телефон в руках и работая с продуктом, что
может быть неудобно или просто невозможно;
• сложнее подготовить участников к процессу размышления вслух,
когда вас нет рядом. Еще более проблематично побудить их участвовать в этом процессе, когда ваш язык не является родным
для участников;
• если ваши участники не говорят по-английски, то придется ра-
ботать с переводчиком, а слушать переводчика и одновременно
наблюдать за участником усложняет задачу вдвойне;
• достичь доверия на расстоянии может быть сложно или невозможно, особенно с участниками из высококонтекстных культур.
Дополнительные сведения о работе с переводчиком см. на следующей врезке.
375
376
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
Работа с переводчиком
Есть много причин работать с переводчиком. Во-первых, нужно учитывать родной
язык участников. Даже если они могут говорить на вашем языке, использование
родного языка может оказаться выгодным:
• как правило, они чувствуют себя более комфортно;
• их способность сконцентрироваться на заданиях, улучшится.
При работе с переводчиком нужно проработать вопрос того, как будет выполняться перевод. Вот некоторые варианты, которые следует учитывать:
• где будет находиться переводчик – в той же комнате, где и участник, или где-то
еще?
• будет ли переводчик выполнять синхронный перевод, или перевод будет сделан позже в виде стенограммы или озвучивания записей сеансов?
• если модератор может говорить на двух языках, будет ли он также и переводчиком? Если да, то как часто модератор будет останавливаться и объяснять, что
делает участник, и как это повлияет на сеанс с точки зрения непрерывности
сценариев и продолжительности сеанса?
• если вы модератор, как будет работать процесс, позволяющий переводчику переводить ваш сценарий и подсказки участнику? А как переводчик будет переводить комментарии участника?
• если вам слишком сложно справиться с частыми остановками во время сеанса для обеспечения перевода, можете решить, что переводчик будет делать
заметки и просматривать их вместе с вами после каждого сеанса. Или можно
просматривать заметки с переводчиком после сеансов.
Как проводить тестирование
Будете ли вы проводить тестирование самостоятельно? Если да, то
на своем или другом языке? Собираетесь ли вы заключить субподряд
с местным поставщиком для помощи в тестировании? Или вы хотите заключить контракт с местным поставщиком для выполнения всех
действий, связанных с тестированием в данной стране? Будете ли вы
проводить немодерируемое удаленное тестирование, используя такие программы, как UserZoom или UserTesting?
Как и в случае с решениями по поводу того, где проводить тестирование, у каждого из этих вариантов есть свои преимущества и недостатки.
Самостоятельное проведение тестирования
Если вы говорите на языке страны, где будете проводить тестирование, то можете провести его самостоятельно. Такой подход лучше
всего работает, когда у вас есть контактное лицо в стране, которое мо-
Планирование тестирования
жет выполнять какие-либо логистические операции, такие как отбор
участников, аренда помещения и покупка необходимых материалов.
Если у вашей компании есть офисы в разных странах, то это упрощает
дело, потому что, скорее всего, вы сможете использовать помещение
и поддержку своей компании для подготовки и проведения тестирования. Если у вас нет офиса или контактных лиц в стране, которые
помогут, то вы окажетесь в невыгодном положении и уйдет больше
времени на планирование и организацию.
При самостоятельном отборе нужно будет подтвердить их участие
и последующие действия, чтобы доставить их в центр тестирования,
и приобрести соответствующий подарок или выплатить гонорар. Сама по себе эта тема чревата потенциальными ловушками, поскольку
подарки и награды сильно зависят от культуры. Нужно будет подготовиться заранее, чтобы убедиться, что вы предоставляете соответствующую компенсацию за участие.
Тестирование с помощью местных ресурсов
Без связи с компанией, которая поможет спланировать и провести
юзабилити-исследование, вам, скорее всего, понадобится помощь
местных ресурсов. Есть много причин работать с местным поставщиком, не последняя из которых – знание поставщиком страны, культуры и условий, в которых вы будете проводить тестирование. Можно
привлечь местные ресурсы для подготовки к тесту, отбора персонала
и проведения тестирования.
Если логистические проблемы для какой-либо части тестирования
оказываются слишком сложными, то следует попробовать нанять
местного поставщика для всех задач. Если поставщик достаточно
крупный, чтобы предоставить ресурсы для всех стран, в которых вы
будете проводить тестирование, можно упростить процесс, наняв
одного поставщика. Если это невозможно, то можно нанять местного
поставщика для каждой страны.
Поиск подходящего варианта на территории страны может потребовать больше времени, чем обычно требуется для самостоятельного
тестирования, особенно если речь идет о нескольких странах. Компромисс за это дополнительное время заключается в том, что вы получаете операцию «под ключ», когда местный поставщик выполняет
отбор участников, тестирование и перевод результатов.
При выборе поставщика для выполнения части или всех потребностей в тестировании важно выбрать того, у кого есть опыт в переводе и юзабилити-тестировании. Такой опыт сделает ваше общение
намного более эффективным, позволяя сосредоточиться на конкретных целях исследования. Если поставщик отбирает участников,
нужно просмотреть сценарий отбора. Если он предоставляет сценарий модератора, нужно просмотреть и его. Если сценарий модератора – ваш, нужно, чтобы поставщик проверил его и убедился, что он
377
378
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
приемлем с культурной точки зрения. Если вы проводили тестирование у себя дома, то можете предоставить образец видеосеанса и запросить образец видео у поставщика. Если хотите, чтобы поставщик
делал записи во время тестирования, также полезно предоставить
образец журнала.
Использование программной платформы для
немодерируемого удаленного тестирования
Если вы решите проводить тестирование с помощью такого программного обеспечения, как UserZoom или UserTesting, то эти сервисы могут предоставить участников из определенных вами стран
и культур и перевести тестовые материалы и стенограммы сеансов.
Немодерируемое удаленное юзабилити-тестирование лучше всего
работает при поддержке модерируемого тестирования, поскольку так
вы можете выйти за пределы своих возможностей проводить модерируемое тестирование, удаленно или с личным присутствием участника. И можете быстро получить результат.
Например, если вы тестируете сайт онлайн-магазина, к которому
имеют доступ пользователи из многих стран мира, то нужно понять
процесс оформления заказа, поскольку он может значительно отличаться в зависимости от страны. Понимание требований успешного
процесса оформления заказа имеет решающее значение для успеха
сайта. Исследование на территории страны в сочетании с дистанционным модерируемым и дистанционным немодерируемым тестированием предоставит бесценную информацию о контекстных различиях и потребностях пользователей.
Структурирование протокола
тестирования
Часто бывает, что при тестировании зарубежных пользователей нужно сравнить их опыт с опытом пользователей из своей страны. Такой
тип сравнительной оценки обычно требует повторного использования протокола тестирования, созданного для юзабилити-тестирования у себя дома. Сравнительная оценка, безусловно, полезна, но
чтобы выполнить ее правильно, необходимо локализовать протокол
тестирования и убедиться, что элементы теста представлены надлежащим образом, дабы соответствовать культурным ожиданиям.
Локализация сценариев
Хотя использование сценариев при тестировании является обычной практикой, возможно, необходимо изменить подход, чтобы он
соответствовал культурному контексту ваших пользователей. Если
Структурирование протокола тестирования
379
ваше тестирование в родной стране проводится с пользователями
в низкоконтекстной, индивидуалистической культуре, где участники будут стремиться к достижению успеха в выполнении заданий,
а зарубежное тестирование проводится с участием пользователей,
схожих по культуре, типы сценариев исследования, проводимого
в своей стране, вероятно, также сработают и в зарубежном контексте.
Однако детали, которые оживляют сценарий, скорее всего, необходимо будет изменить, чтобы они соответствовали контексту опыта
участников.
Если вы проводите тестирование в высококонтекстной, коллективистской, аффилированной культуре, которая отличается от вашей
собственной, цели и сценарии задач должны быть сформулированы
с точки зрения того, что принесет пользу другим или обеспечит поддержку целей, ориентированных на сообщество.
Даже вопросы, которые вы задаете перед тестированием, после
выполнения заданий и тестирования, необходимо будет оценить на
предмет их соответствия культуре, где вы будете проводить тестирование. Например, сообщалось, что вопросы, задаваемые перед началом теста и используемые в начале сеанса тестирования в Японии,
могут вызвать замешательство и беспокойство у участников, если они
изложены в разговорной или неофициальной форме, как это бывает
у американцев. Например: «В целом есть ли что-нибудь самое крутое, что ваш телефон может для вас сделать?» Такой
вопрос недостаточно конкретен для японских пользо- Эти и другие примеры
вателей, которые могут спросить, что значит «крутое», тестирования в Японии
и могут поинтересоваться, как это телефон что-то можно найти в статье
делает для меня. Перефразируйте вопрос и спросите: «Strange Interview Questions
for у Japanese Participants»,
«Какая функция в вашем телефоне больше всего нра2014.
вится вам?» Так будет намного легче понять вопрос.
Локализация для соответствия шаблонам использования
Если задачи будут выполняться в культурно-специфическом контексте, то вам понадобится настроить сценарии в соответствии с местными шаблонами использования. Например, в ходе тестирования
внедрения банкоматов в Китае команда юзабилити-тестирования
обнаружила, что китайские пользователи не снимают наличные так
же, как это обычно делают жители Запада. В то время как западные
пользователи могут часто останавливаться у банкомата, чтобы снять
нужное количество денег, китайские пользователи предпочитают
снимать всю зарплату за месяц. Банкоматы, ограничивающие сумму,
которую можно снять, неэффективны для этих пользователей. Сценарии, в которых участников просят снять небольшую сумму денег,
могут показаться китайским участникам нереальными.
Подобные исследования, проведенные в Индии, показали такое же
предпочтение снимать или переводить более крупные суммы налич-
380
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
ных денег, чем позволяли системы изначально. Индийскому правительству пришлось поднять ограничение на вывод средств, чтобы удовлетворить это предпочтение пользователей мобильных кошельков.
Локализация для другой системы взглядов
В некоторых культурах для локализации сценариев вам, возможно,
придется согласовать их обстановкой в совершенно иной системе
взглядов.
В ходе тестирования, проведенного в Индии, Human Factors International (HFI, международная консалтинговая юзабилити-компания
с офисом в Мумбаи) обнаружила, что типичный сценарий не приводит к желаемому результату. Участники казались недостаточно мотивированными и невосприимчивыми к заданиям, которые им давали. Поэтому группа тестирования разработала стратегию, названную
методом Болливуда (Болливуд – это индийский Голливуд), когда задания помещаются в контекст сложного сюжета фильма с ужасными
последствиями, если информация не была предоставлена вовремя,
чтобы спасти человека, терпящего бедствие. Реагируя на этот подход, участники стали гораздо более вовлеченными в поиск решения
и стали гораздо охотнее рассказывать о проблемах, с которыми они
столкнулись, пытаясь достичь своей цели.
Локализация анкет
Помимо создания сценариев, соответствующих культурному контексту, вам также понадобится проанализировать типы задаваемых
вопросов и настроиться на то, как культура влияет на ответы. Можно
привить культуре сохранить лицо, чтобы избежать отрицательного
отзыва, потому что это позволяет отстоять свой авторитет и участнику, и модератору. В результате ответы на вопросы из анкеты после
выполнения заданий могут быть даже более положительными, чем
те, что вы получаете от участников ваших исследоваUX Alliance документирует
ний у себя дома.
этот и другие выводы для
Опытные зарубежные UX-исследователи сообщают,
многих стран в своем отчете
что
японцы очень склонны оценивать ответы в сере«Cultural Differences in
дине
диапазона, потому что это позволяет избежать
Usability Testing Around the
указания на сильные чувства, положительные или отWorld», 2011.
рицательные, по отношению к продукту.
Смотрите также «Cultural
Я попала в такую же ситуацию, когда привезла коEffects on Rating Scales»,
манду из факультета технических коммуникаций из
2020, где приводится краткий США для подготовки преподавателей в Нанкине, в Киобзор соответствующих
тае. Мы были застигнуты врасплох, когда оценки нахоисследований по этой теме.
дились, как правило, в середине диапазона, поскольку
мы привыкли получать более положительные оценки, и думали, что
семинар прошел хорошо. Наш китайский ведущий объяснил, что китайцы были очень довольны инструкцией, но, как правило, они оценивали ответы посередине диапазона.
Структурирование протокола тестирования
Несколько исследований, включающих тестирование с зарубежными англоязычными участниками или участниками, для которых этот
язык не является родным, проливают свет на проблемы локализации
анкет. Эти исследования выдвигают на первый план следующие моменты:
•
•
•
•
словесную путаницу,
формат вопроса,
масштабированный формат рейтинга,
характеристики юзабилити.
Словесная путаница
В ходе одного исследования изучались лица, не являющиеся носителями английского языка из Соединенных Штатов, и трудности,
с которыми они сталкиваются с одним из выражений анкеты SUS.
Сложное слово – это cumbersome (громоздкий), которое появляется
в утверждении № 8: «Мне эта система показалась очень громоздкой
в использовании».
Если заменить его на более понятное слово, например awkward (неудобный), утверждение будет легче понять.
Я обнаружила, что слово «громоздкий» также вызывает проблемы
и у носителей английского языка с низким уровнем грамотности,
поэтому я всегда готова объяснить, что оно означает «неудобный».
Поскольку это единственное слово в широко используемой анкете
может вызвать проблемы у тех, кто не является носителем английского языка, оно указывает на необходимость и сложность создания
локализованных вопросов для тестирования с участием зарубежных
пользователей.
Ответы на вопросы, касающиеся других людей
В ходе юзабилити-исследования латиноамериканских пользователей испаноязычной версии сайта банка Клифф Андерсон, известный
специалист по юзабилити, сообщил, что пользователям было неудобно отвечать на вопросы о собственном опыте, но было вполне
комфортно говорить за других. Локализуя вопросы, чтобы отразить
это культурное предпочтение, Андерсон обнаружил, что, если бы он
спросил, будут ли другие члены сообщества использовать этот продукт, ответы были бы более откровенными.
Предпочтения относительно внешнего вида шкалы
семантического дифференциала
Еще одно открытие, сделанное компанией HFI при проведении тестирования с участием индийских пользователей, заключается в том, что
они не понимали шкалу семантического дифференциала, которая показывает диапазон возможных ответов на вопрос или утверждение.
381
382
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
При типичном использовании этой шкалы варианты представлены
вдоль горизонтальной линии, как показано на рис. 10.10.
Полностью
доступный
Недоступный
1
2
3
4
5
6
Грубый
1
Вежливый
2
3
4
5
6
Заботливый
1
7
7
Несимпатичный
2
3
4
5
6
7
Рис. 10.10 Шкала семантического дифференциала, подобная этой,
обычно используется для ответов на вопросы анкеты
HFI обнаружила, что участники, особенно с низким уровнем социально-экономического статуса, склонны выбирать тот или иной край
шкалы и не выбирают ничего из того, что находится между ними.
Команда тестирования сочла, что выбор, сделанный участниками,
не соответствует их опыту. Они пришли к выводу, что именно представление шкалы в виде горизонтальной линии вызывало проблемы
у участников, потому что они не могли работать со шкалой, на которой все было представлено в одной плоскости.
Поэтому команда переделала внешний вид шкалы, превратив ее
в ручку для регулировки громкости радио с числами, обозначающими уровень громкости от самого низкого до высокого, как показано
на рис. 10.11. Это позволило участникам выбирать ответы на вопросы
анкеты после выполнения заданий, в результате чего баллы в большей степени отражали их опыт.
Рис. 10.11 Визуальное представление шкалы оценок отклика
в виде ручки регулировки громкости радио дало лучшие результаты
в ходе индийского юзабилити-исследования
Структурирование протокола тестирования
383
Предпочтения относительно пригодности чего-либо
для использования
Еще одно культурное соображение – это способность понять, что важно для пользователей, когда дело касается их оценки юзабилити.
Одно из исследований показало, что культура влияет на вес факторов, определяющих юзабилити. В ходе исследования китайские
и датские участники отвечали на одни и те же вопросы анкеты после
тестирования, но по-разному оценивали факторы юзабилити. Китайские респонденты сочли «удовлетворение» гораздо более важным
в плане его влияния на юзабилити по сравнению с датскими респондентами. «Развлечение» также было более важным для китайцев, чем
для респондентов из Дании.
Напротив, «отсутствие разочарования» и «эффективность» были
значительно более важны для респондентов из Дании, чем для респондентов из Китая. Вывод этого исследования заключается в том,
что нельзя предположить, что все культуры одинаково ценят одни
и те же аспекты юзабилити.
При заполнении анкет после тестирования необходимо будет анализировать ответы в культурном контексте участников, а затем сравнить их.
Планирование отдельных сеансов или сеансов
co-discovery
Хотя обычно для проведения тестирования в США и на Западе принято приглашать по одному участнику для оценки продукта, бывают
ситуации, когда метод co-discovery – тестирование с двумя людьми –
является предпочтительнее. В определенных зарубежных контекстах
он может быть более распространен, особенно в коллективистской
культуре, как в случае с большинством азиатских культур. Например,
если при использовании продукта участникам будет удобнее разговаривать с другом, а не с модератором, то такой подход, вероятно, обеспечит лучшее понимание. Однако если для сотрудника неуместно
работать с руководителем во время исследования, вам
Для получения дополнительпонадобится использовать метод co-discovery таким ной информации о методе
образом, чтобы избежать проблем, связанных с раз- co-discovery см. главу 7.
личиями в статусе.
Размышления вслух или ретроспективное
воспоминание: что выбрать
Протокол «мыслить вслух» может быть неприемлемым или неэффективным с культурной точки зрения в некоторых культурах, особенно
в коллективистских. Представители азиатских культур могут испытывать дискомфорт, когда их просят думать вслух, из-за культурных
убеждений, согласно которым молчание и самоанализ полезны для
384
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
высокого уровня мышления. Если попросить участников одновременно подумать вслух, то это может отрицательно повлиять на способность концентрироваться на сложных задачах.
В некоторых случаях мысли вслух могут сделать
Подробнее об этом см.
участников слишком застенчивыми, особенно когда
«Cultural Differences
культурные нормы отражают ценность того, что выand Usability Evaluation:
сказывание независимых мыслей может не поощрятьIndividualistic and Collectivistic
Participants Compared», 2004, ся вне дома. Даже при использовании метода co-discovery участники могут быть более склонны говорить
и «Communication Patterns
друг с другом о том, что они делают, а не о том, на что
and Usability Problem Finding
in Cross-cultural Thinking Aloud они реагируют положительно или отрицательно.
and Usability Testing», 2008.
В таких ситуациях ретроспективное воспоминание,
когда участник или участники просматривают запись
сеанса и делятся своими мыслями об опыте, с большей вероятностью
получит лучшее понимание. Если время не позволяет просмотреть
видео, неформальный обзор задач и результатов с целью выявить
мысли участников может быть более эффективным.
Выбор модератора
Если отложить в сторону все другие соображения, то самый важный
фактор в проведении эффективного юзабилити-исследования – это
роль модератора. Помимо обычных рекомендаций относительно того, как стать эффективным модератором, при зарубежном тестировании возникает дополнительный фундаментальный вопрос: следует
ли вам быть модератором, или поручить эту работу носителю языка.
Ранее в этой главе были рассматрены соображения, которые необходимо учитывать при принятии данного решения. Теперь я хочу
сосредоточиться на культурных факторах, которые могут повлиять на
способность модератора сохранять нейтральную позицию и избегать
предвзятости по отношению к участнику. Эти факторы сводятся к соображениям:
Весьма вероятно, что ваша этническая принадлежность будет отличаться от этнической принадлежности той страны или культуры, где
вы проводите юзабилити-тестирование. Этот фактор может привести
к тому, что вашим участникам будет некомфортно или, возможно,
они будут необщительными по независящим от вас причинам.
То же самое касается и вашего возраста, пола и статуса в качестве
стороннего эксперта. Если вы явно старше или моложе участников,
это может вызвать у них проблемы во время тестирования. Модераторы, которые старше их, могут показаться слишком почтенными,
Предвидение других аспектов
чтобы выслушивать проблемы, высказанные участником; более молодые модераторы могут считаться слишком неопытными, чтобы
получать такую информацию. И наоборот, участники из некоторых
культур отражают бóльшую готовность делиться мнениями, включая
отрицательные отзывы, когда модератор становится старше и поэтому считается «мудрее». В других культурных контекстах участникам
может быть удобнее работать с ровесниками.
Что касается пола, то здесь есть свои сложности. Если вы мужчина,
а участник – женщина, или наоборот, то такое различие может вызвать проблемы. С одной стороны, участники женского пола могут не
чувствоватьсебя комфортно, откровенно разговаривая с модераторами-мужчинами. С другой стороны, участники-мужчины могут не
доверять авторитету модераторов-женщин. Также может случиться
так, что участникам будет неудобно разговаривать с «незнакомцами». Если культура, в которой вы проводите тестирование, не делает
такие обмены обычным явлением среди незнакомцев, то ваш пол непреднамеренно повлияет на результат теста.
Аналогичным образом независимо от возраста или пола, если вас
считают внешним или иностранным экспертом или авторитетом
(статусная должность), участникам культур, которые принимают неравные различия в статусе (культурное измерение дистанции власти
у Хофстеде), возможно, будет неудобно критиковать продукт. Одно
из исследований культурного влияния модератора на результаты показало, что, когда у индийских участников были модераторы из Индии, они обнаружили больше проблем с юзабилити и внесли больше
предложений по улучшению, нежели в группе с модератором-американцем. Такое с большей вероятностью будет происходить в коллективистских культурах, где узы общей культуры способствуют
большему комфорту и непринужденности, чем, возможно, в западных, индивидуалистических культурах, где стремление индивида
к цели с меньшей вероятностью будет зависеть от характеристик модератора.
Взвесив все эти факторы, вам придется подумать, сможете ли вы
достигнуть поставленных целей в ходе тестирования, если возьмете
на себя обязанности модератора. В ситуациях, когда вы можете отрицательно повлиять на результат – только по той причине, что вы
«отличаетесь», – скорее всего, захочется нанять местного модератора,
чтобы затем работать с ним и сообщить ему о своих целях.
Предвидение других аспектов
При проведении любого юзабилити-исследования всегда нужно чтото учитывать. Но, когда вы проводите тестирование в международном
контексте, есть еще кое-что, о чем следует подумать. Среди аспектов,
требующих особого рассмотрения, можно выделить следующие вопросы:
385
386
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
• что, если участник приедет не один?
• нужно ли выделить дополнительное время для предварительного приветствия?
• нужно ли увеличить перерывы между сеансами, чтобы учесть
культурные различия в соблюдении участниками обязательств
по времени?
• умеете ли интерпретировать невербальные коммуникативные
сигналы?
Что, если участник приедет не один?
Помимо определения условий тестирования по одному или по два за
раз, вам также нужно будет решить, что вы будете делать с ситуациями, когда участник приезжает не один. Возможно, что он может появиться в сопровождении ребенка или супруга, родителя, друга, коллеги или руководителя.
Вы, наверное, думаете, что ваш ответ должен заключаться в том,
чтобы запретить кому-либо еще участвовать в сеансе тестирования,
но культурный контекст может потребовать, чтобы вы переосмыслили такую точку зрения. Если у человека должен быть «сопровождающий», как, например, в случае с женщиной, у которой может быть
друг, муж или начальник, то нужно будет приспособиться к этой ситуации, даже если это означает, что другой человек вносит в ситуацию потенциальную предвзятость.
Если участник приведет с собой ребенка, можно ожидать, что вы
сделаете все, чтобы ребенку было удобно. Таким образом, нужно будет подготовиться к этому или разрешить участнику остаться с ребенком во время теста.
Можно подготовить комнату ожидания, чтобы друг, член семьи или
начальник мог использовать ее во время тестирования. В этом случае
нужно подумать об угощениях, журналах или других развлечениях,
подходящих для того, кого просят подождать. Если в центре тестирования нет места для зала ожидания, тогда вам понадобится запасной
план, используя который вы сможете приспособиться к присутствию
другого человека во время тестирования.
Еще один возможный аргумент в пользу размещения постороннего человека – двойное резервирование участников, чтобы убедиться,
что у вас есть хотя бы по одному человеку на каждый сеанс. Такое требование может быть наиболее подходящим вариантом, если вы проводите тестирование в стране с высокой дистанцией власти, такой как
Индия. В такой стране потенциальные участники могут согласиться
участвовать в знак уважения к прямой просьбе высокопоставленного лица, но затем не прийти. Согласно исследованию, проведенному
в Индии, эта тенденция приводит к тому, что уровень участия индийцев составляет всего 0 %.
Предвидение других аспектов
Таким образом, вам может потребоваться постоянное бронирование с участием нескольких участников. В случае, если приходит несколько участников, нужно решить, как справиться с такой ситуацией.
Наличие нескольких участников в сеансе также может иметь место
при удаленном тестировании. У меня был опыт проведения нескольких зарубежных исследований, когда я ожидала, что буду работать
с одним участником, но могу сказать, что еще один человек (или иногда несколько человек) также присутствовал в комнате, давая советы
или предоставляя информацию участнику.
Такие ситуации всегда происходили в культурах с высоким контекстом, где участник не хотел «совершить ошибку», поэтому ему помогали другие люди, возможно, более технически подкованные или
имеющие больше опыта работы с продуктом.
Следует ли уделять больше времени
знакомству и приветствиям?
Если вы привыкли поболтать несколько минут во время приветствия
участника, а затем сразу же приступить к делу, то, возможно, потребуется дополнительное время и силы, чтобы встретить и поприветствовать участников, учитывая культурные ожидания относительно
общения, перед тем, как начать. Клифф Андерсон сообщает, что узнал
об этом в ходе юзабилити-исследования испаноязычной версии дочернего сайта банка. Протокол тестирования должен был предоставлять больше времени для социальных шуток, но Андерсон задавался
вопросом, не сделает ли такая необходимость установления взаимопонимания неприемлемым дистанционное тестирование.
Еще один момент – как поприветствовать участника. Как будет
уместно сделать это с точки зрения культурных норм? Нужно «поцеловать его, поклониться или пожать руку»? Не надо удивляться, если
вы обнаружите, что некоторые участники будут приветствовать вас
поцелуем, даже в обе щеки, а другие будут не готовы к физическому
контакту.
Убедитесь, что вы готовы оправдать ожидания участников. Было
бы очень хорошо, если бы вы выучили несколько слов на их языке,
чтобы поздороваться с ними, сказать «пожалуйста», «спасибо» и «до
свидания».
Нужно ли увеличить перерывы
между сеансами?
В некоторых культурах расписание считается строгим обязательством. Другие придают более высокий приоритет отношениям и взаимодействиям, происходящим в данный момент. Эдвард Холл изучал
эти культурные связи со временем, разделив культуры на две группы
в соответствии с их ориентацией на время:
387
388
Глава 10 • Юзабилити-тестирование с участием пользователей из других стран
• монохронические культуры – делают акцент на расписании, разделении дня на дискретные отрезки времени и своевременности;
• полихронические культуры – делают акцент на участии людей
и завершении транзакций, а не на строгом соблюдении установленного расписания.
Например, североамериканские культуры обычно принадлежат
к первому типу, а латиноамериканские, как правило, – ко второму.
Если вы проводите тестирование с представителями полихронической культуры, то должны быть готовы к возможным задержкам из-за
того, что кто-то опаздывает, занимаясь другими делами. Можно компенсировать эти задержки в разумных пределах, если вы планируете
выделить дополнительное время между сеансами.
Можете ли вы интерпретировать невербальные
коммуникативные сигналы?
Всякий раз, наблюдая за участниками исследования и сообщая о результатах, нужно рассматривать потенциальные культурные различия в интерпретации невербальных коммуникативных сигналов. Жесты, кивание головой, зрительный контакт и другие аспекты языка
тела – все это сигналы, которые можно неправильно понять, если вы
не умеете читать знаки. Понимание смысла невербальной коммуникации особенно важно в культурах с высоким контекстом, где в коммуникации очень много невербального смысла.
В одном исследовании сравнивались различия в невербальном
общении при юзабилити-тестировании среди участников из Индии,
Китая и Дании. Было обнаружено, что жесты руками и головой в разных культурных группах различались. Хотя частота жестов не различалась во всех трех культурах, тип жеста был иным, особенно когда
он предшествовал проблеме, связанной с юзабилити. Таким образом,
настройка на эти жесты может помочь вам понять наличие проблем,
с которыми сталкиваются участники. Возможно, вы не сможете полностью самостоятельно расшифровать эти невербальные коммуникативные сигналы. Это еще одна причина обратиться за помощью
к местному жителю, чтобы он выступил в качестве наблюдателя или
переводчика во время исследования.
Резюме к главе 10
В этой главе вы познакомились с особыми соображениями, связанными с проведением юзабилити-тестирования в других странах. Хотя основы тестирования, как правило, одинаковы независимо от того,
где оно проводится, тестирование с участием зарубежных пользователей требует внесения изменений в соответствии с нормами и ожиданиями корпоративной культуры. К ним относятся:
Резюме к главе 10
• настройка призмы понимания для учета культурных различий.
Это можно сделать:
обратившись к исследованиям, посвященным проведению
юзабилити-тестирования в зарубежных странах,
прочитав работы Эдварда Холла и Гирта Хофстеде, два наиболее цитируемых ресурса о культурном влиянии на поведение
человека;
создание персонажей, отражающих пользователей из страны
и культуры, в которых вы будете проводить тестирование;
планирование теста для зарубежного контекста и пользователей, в том числе принятие решений о том:
где вы должны находиться – в стране или делать это удаленно,
как следует организовать тестирование – оценив способность
проводить тестирование самостоятельно, с помощью местного поставщика или полностью отдать его на откуп местному
поставщику;
структурирование протокола тестирования с учетом необходимости:
локализовать сценарии и анкеты,
проводить отдельные сеансы или сеансы co-discovery,
использовать протокол размышлений вслух или ретроспективное воспоминание;
выбор подходящего модератора;
предвидение других факторов, таких как:
подготовка к приезду друзей, членов семьи или руководителя,
которые могут приехать вместе с участником,
поиск подходящего времени для встречи и приветствия,
наличие дополнительного времени между сеансами,
понимание того, как интерпретировать невербальные коммуникативные сигналы.
•
•
•
•
•
Об этом нужно подумать. Но эта глава дала вам основы для планирования, подготовки и проведения юзабилити-исследования в других
странах. И я предоставила вам ресурсы, чтобы показать, что делают
другие и какую информацию получают в ходе такого тестирования.
Когда вам представится возможность провести тестирование, чтобы проанализировать зарубежных пользователей и их опыт работы
с вашим продуктом, воспользуйтесь ею. Одна из нескончаемых радостей юзабилити-тестирования заключается в том, что оно всегда дает
вам возможность учиться у пользователей, пока вы изучаете их. Вот
что делает юзабилити-тестирование таким увлекательным!
389
Образец
отчета
Анализ сайта UPS в Коста-Рике
Данное тематическое исследование представляет собой анализ сайта UPS в Коста-Рике, основанный на учете культурных измерений от
Хофстеде и сравнении сайта UPS с другими сайтами по доставке посылок. Это исследование включает в себя анализ целевого пользователя с культурной точки зрения и представляет дизайн нескольких
страниц, чтобы показать, как культурные аспекты, обсуждаемые в отчете, могут быть применены к обновленному сайту, который больше подходит для пользователей из Коста-Рики. Здесь есть резюме.
Полный отчет можно найти на сайте книги: https://www.elsevier.com/
books-and-journals/book-companion/9780128169421.
Влияние одной культуры на дизайн:
новый дизайн сайта отделения UPS в Коста-Рике
Подготовлено Рэйчел Питерс
Резюме
С точки зрения маркетинговой стратегии компания, которая считает себя осведомленной о разных культурах, знает (или должна
знать), что создание привлекательных и эффективных сайтов для
представителей других культур – это уже не просто вопрос языка
и модификации форматов времени и даты.
— Вурц, 2005
Коста-Рика – это страна с высоконтекстной коллективистской культурой с высоким уровнем избегания неопределенности. Многие сайты
Коста-Рики делают акцент на природе, людях и правительстве. Сайт,
создаваемый для костариканцев, должен ориентироваться на следующие моменты:
•
•
•
•
ясность и предсказуемость,
сотрудничество и черты «женского типа» (по Хофстеде),
государственные органы и постановления, если применимо,
природу и семью.
Сайт хорошо спроектирован, но были упущены некоторые детали,
которые могли бы значительно улучшить его. В этом отчете я просматриваю три страницы: «Главная», «Отслеживание» и «Поддержка».
Я предлагаю варианты перепроектирования для каждой из этих стра-
Анализ сайта UPS в Коста-Рике
ниц, которые помогут упорядочить контент, сосредоточить внимание
на том месте, где он должен быть, и подчеркнуть ценности, важные
для пользователей из Коста-Рики. При просмотре и изменении дизайна текущих страниц я рассматривала следующие вопросы:
• всегда ли в информационной иерархии выделяется самое важное?
•
•
•
Этот элемент дизайна имеет решающее значение для высокой
культуры избегания неопределенностей;
сфокусированы ли фотографии и анимация на природе? сотрудничестве? женских аспектах? Эти детали говорят с аудиторией о культурных традициях. Например, пользователи могут не заявлять
напрямую, что хотят видеть фотографии природы, но исследования показывают, что их это привлекает. Любые усилия по дизайну
должны быть сосредоточены на учете ценностей, которые целевая
культура считает важными;
страница перегружена? Хороший дизайн требует создания страниц,
отображающих информацию в приятной визуальной форме. Адекватное использование пробелов, выравнивания, стилей шрифта
и многого другого препятствуют загромождению страницы – даже
при наличии большого количества контента;
могут ли пользователи предвидеть, что будет дальше? Элементы
управления, ссылки, видео, раскрывающиеся списки – все должно
быть предсказуемо. У пользователей должно быть четкое представление о том, что произойдет, когда они нажмут что-либо на странице.
Предоставляются скриншоты исходных страниц и предлагаемых
изменений в дизайне. Изменения соответствуют корпоративному шаблону, используемому в UPS, но при этом предлагают дизайн
с учетом культурных особенностей. Культура – в дизайне, а дизайн –
в деталях. Понимание влияния культуры на дизайн и ее важности для
охвата глобальной аудитории имеет бальшое значение для успеха на
современном рынке.
391
Список статей
и литературы
Aaron Marcus and Associates (2001). Cultural dimensions and global web
design: What? So what? Now what? https://laofutze.files.wordpress.
com/2010/03/ama_cultdim.pdf.
Accenture (2011, December 13). U.S. consumer electronics industry faces
a projected $17 billion product returns bill this year, Accenture research
finds [Press release]: https://newsroom.accenture.com/industries/electronics-high-tech/us-consumer-electronics-industry-faces-a-projected17-billion-product-returns-bill-this-year-accenture-research-finds.htm.
Adlin, T., & Pruitt, J. (2010). The essential persona lifecycle: Your guide to
building and using personas. Boston, MA: Morgan Kaufmann.
Albert, W., Tullis, T., & Tedesco, D. (2010). Beyond the usability lab: Conducting large-scale online user experience studies. Boston, MA: Morgan
Kaufmann.
Alghamdi, A. S., Al-Badi, A. H., Alroobaea, R., & Mayhew, P. J. (2013). A comparative study of synchronous and asynchronous remote usability testing methods. International Review of Basic and Applied Sciences, 1 (3),
61–97: https://pdfs.semanticscholar.org/93ca/94dcefe67e3bbcbfefd4eacced7b53548973.pdf.
Alhadreti, O., & Mayhew, P. (2018). Are two pairs of eyes better than one?
A comparison of concurrent think-aloud and co-participation methods
in usability testing. Journal of Usability Studies, 10 (4), 177–195: https://
uxpajournal.org/concurrent-think-aloud-co-participation-methods-usability/.
Alsaffar, M., Pemberton, L., Echavarria, K. R., & Sathiyanarayanan, M. (2017).
Visual behaviour in searching information: An eye tracking preliminary
study. IEEE Eleventh International Conference on Research Challenges
in Information Science, London, UK. https://ieeexplore.ieee.org/document/7956560. https://www.researchgate.net/publication/317571271_Visual_Behaviour_in_Searching_Information_An_Eye_Tracking_Preliminary_
Study.
Anderson, C. (2008). ¿Habla Español? Testing and designing for U.S. Latino users. User Experience Magazine, 7 (1), 25–28. https://uxpamagazine.
org/habla-espanol-testing-and-designing-for-u-s-latino-users/.
Anderson, M., & Jiang, J. (2018, May 31). Teens, social media & technology
2018. Pew Research Center: Washington, DC. https://www.pewinternet.
org/2018/05/31/teens-social-media-technology-2018/.
Резюме к главе 10
Anderson, M., & Perrin, A. (2017, May 17). Tech adoption climbs among
older adults. Pew Research Center: Washington, DC. https://www.pewinternet.org/2017/05/17/tech-adoption-climbs-among-older-adults/.
Aykin, N. (2005). Usability and internationalization of information technology. Mahwah, NJ: Lawrence Erlbaum.
Bamman, D., Eisenstein, J., & Schnoebelen, T. (2013). Gender in Twitter:
Styles, stances, and social networks. https://arxiv.org/vc/arxiv/papers/
1210/1210.4567v1.pdf.
Barnes, S. J., Bauer, H. H., Neumann, M. M., & Huber, F. (2007). Segmenting
cyberspace: A customer typology for the internet. European Journal of
Marketing, 41 (1/2), 71–93. https://doi.org/10.1108/03090560710718120.
Barnum, C. M. (2002–3). The “magic number 5”: Is it enough for web testing? Information Design Journal, 11 (2–3), 160–170.
Barnum, C., Henderson, E., Hood, A., & Jordan, R. (2004). Index versus fulltext search: A usability study of user preference and performance. Technical Communication, 51 (2), 185–206.
Baxter, K., Courage, C., & Caine, K. (2015). Understanding your users:
A practical guide to user research methods (2nd ed.). Boston, MA: Morgan Kaufmann.
Beaton, J., & Kumar, R. (2010). Indian cultural effects on user research
methodologies. Proceedings of CHI 2010: Extended Abstracts on Human Factors in Computing Systems (pp. 4267–4272). Atlanta, GA: ACM.
https://doi.org/10.1145/1753846.1754137.
Benedek, J., & Miner, T. (2002). Measuring desirability: New methods for
evaluating desirability in a usability lab setting. Proceedings of the Usability Professionals Association Conference. Orlando, FL. https://www.
researchgate.net/publication/228721563_Measuring_Desirability_New_
methods_for_evaluating_desirability_in_a_usability_lab_setting.
Bergstrom, J. R., & Schall, A. J. (Eds.). (2014). Eye tracking in user experience design. Boston, MA: Morgan Kaufmann.
Berry, D. C., & Broadbent, D. E. (1990). The role of instruction and verbalization in improving performance on complex search tasks. Behaviour
and Information Technology, 9, 175–190.
Bias, R. J., & Mayhew, D. J. (Eds.). (2005). Cost-justifying usability: An update for the Internet age (2nd ed.) Boston, MA: Morgan Kaufmann.
Bojko, A. (2013). Eye tracking the user experience: A practical guide to research. Brooklyn, NY: Rosenfeld Media.
Bolt, N., & Tulathimutte, T. (2010). Remote research: Real users, real time,
real research. Brooklyn, NY: Rosenfeld Media.
Bowers, V. A., & Snyder, H. L. (1990). Concurrent versus retrospective verbal protocol for comparing window usability. Proceedings of the Human
Factors and Ergonomics Society Annual Meeting, Vol. 34 (17) (pp. 1270–
1274). https://doi.org/10.1177/154193129003401720.
393
394
Список статей и литературы
Brooke, J. (1996). SUS: A “quick and dirty” usability scale. In P. W. Jordan,
B. Thomas, B. A. Weerdmeester, & I. L. McClelland (Eds.), Usability evaluation in industry (pp. 189–194). London, UK: Taylor & Francis.
Buley, L. (2013). The user experience team of one: A research and design
survival guide. Brooklyn, NY: Rosenfeld Media.
Chavan, A. L. (2007). Around the world with 14 methods: Innovation and
culture [White paper]. Human Factors International. https://www.research gate.net/publication/260436330_Around_the_World_with_14_
Methods_Innovation_and_Culture.
Cheng, Y., & Nielsen, J. (2016, November 6). Are Chinese websites too complex? Alertbox. Retrieved from https://www.nngroup.com/articles/china-website-complexity/.
Chisnell, D. E., & Redish, J. (2005). Designing web sites for older adults:
Expert review of usability for older adults at 50 web sites. Report commissioned by AARP. https://redish.net/wp-content/uploads/AARP-50Sites.
pdf.
Chisnell, D., Redish, J. C., and Lee, A. (2006). New heuristics for understanding older adults as web users. Technical Communication, 53 (1), 39–59.
https://www.researchgate.net/publication/233581140_New_Heuristics_
for_Understanding_Older_Adults_as_Web_Users/stats#fullTextFileContent.
Chowdhury, N. (2012). Mobile money for financial inclusion in India. UXPA
Magazine, 11 (2). https://uxpamagazine.org/mobile-money-for-financial-inclusion-in-india/.
Cohn, M. (2004, October 8). Advantages of user stories for requirements
[Blog post]. https://www.mountaingoatsoftware.com/articles/advantages-of-user-stories-for-requirements.
Cooley, D., & Barnum, C. (2019, March). How do other people do it? A comparative review of usability study reports. UXPA Magazine, 19 (1). https://
uxpamagazine.org/mobile-money-for-financial-inclusion-in-india/.
Cooper, A. (1999). The inmates are running the asylum. Indianapolis, IN:
SAMS.
Dimock, M. (2019, January 17). Defining generations: Where Millennials
end and Generation Z begins. Pew Research Center: Washington, DC.
https://www.pewresearch.org/fact-tank/2019/01/17/where-millennials-end-and-generation-z-begins.
Doncaster, P. (2014). The UX five-second rules: Guidelines for user experience design’s simplest testing technique. Boston, MA: Morgan
Kaufmann.
Duarte, N. (2008). Slide:ology: The art and science of creating great presentations. Sebastopol, CA: O’Reilly Media.
Dumas, J., & Loring, B. (2008). Moderating usability tests: Principles and
practices for interacting. Boston, MA: Morgan Kaufmann.
Dumas, J. S., & Redish, J. C. (1999). A practical guide to usability testing
(Revised 2nd ed.). Portland, OR: Intellect.
Список статей и литературы
Elizarova, O., Briselli, L., & Dowd, K. (2017, December 14). Participatory
design: What it is, what it isn’t and how it actually works. UX Magazine, Article No. 1695. https://uxmag.com/articles/participatory-designin-practice.
Ericsson, E. K., & Simon, H. A. (1993). Protocol analysis: Verbal report as
data. Cambridge, MA: MIT Press.
Eringa, K., Caudron, L. N., Rieck, K., Xie, F., & Gerhardt, T. (2015). How relevant are Hofstede’s dimensions for inter-cultural studies? A replication
of Hofstede’s research among current international business students.
Research in Hospitality Management, 5 (2), 187–198. https://doi.org/10.
1080/22243534.2015.11828344.
Faiola, A., & Matei, S. A. (2005). Cultural cognitive style and web design:
Beyond a behavioral inquiry into computer-mediated communication. Journal of Computer-Mediated Communication, 11 (1), 375–394.
https://doi.org/10.1111/j.1083-6101.2006.tb00318.x.
Fan, M., Shi, S., & Truong, K. N. (2020). Practices and challenges of using
think-aloud protocols in industry: An international survey. Journal of
Usability Studies, 15 (2), 85–102. https://uxpajournal.org/practices-challenges-think-aloud-protocols-survey/.
Farrell, S. (2017, April 30). Group notetaking for user research. Nielsen Norman Group. Alertbox. https://www.nngroup.com/articles/group-notetaking/.
Farrell, S., & Nielsen, J. (n.d.) User experience careers: How to become a UX
pro and how to hire one. Nielsen Norman Group. https://www.nngroup.
com/reports/user-experience-careers/.
Finstad, K. (2006). The system usability scale and non-native English
speakers. Journal of Usability Studies, 1 (4), 185–188. https://uxpajournal.org/the-system-usability-scale-and-non-native-english-speakers/.
Fishel-Brown, S. R., & Schroeder, E. J. (2013). Engaging study observers:
An overlooked step in user research. User Experience Magazine, 13(1).
https://uxpamagazine.org/engaging-study-observers/.
Frandsen-Thorlacius, O., Hornbæk, K., Hertzum, M., & Clemmensen, T.
(2009). Non-universal usability? A survey of how usability is understood
by Chinese and Danish users. CHI ‘09: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 41–50). Boston,
MA: ACM. https://doi.org/10.11451518701.1518708.
Fry, R. (2018, April 11). Millennials are the largest generation in the U.S.
labor force. Pew Research Center: Washington, DC. https://www.pewresearch.org/fact-tank/2018/04/11/millennials-largest-generation-us-labor-force/.
Fryrear, A. (2016, June 23). How to write gender questions for a survey
[SurveyGizmo blog post]. https://www.surveygizmo.com/resources/blog/
how-to-write-survey-gender-questions/.
Gibbons, S. (2016, July 31). Design thinking 101. Alertbox. https://www.nngroup.com/articles/design-thinking/.
395
396
Список статей и литературы
Goodman, E., Kuniavsky, M., & Moed, A. (2012). Observing the user experience: A practitioner’s guide to user research (2nd ed.). Boston, MA:
Morgan Kaufmann.
Gorman, T., Rose, E., Yaaqoubi, J., Bayor, A., & Kolko, B. (2011). Adapting
usability testing for oral, rural users. CHI ‘11: Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems (pp. 1437–1440).
Vancouver, BC: Canada. https://doi.org/10.1145/1978942.1979153.
Gothelf, J., & Seiden, J. (2016). Lean UX: Designing great products with Agile teams (2nd ed.). Sebastopol, CA: O’Reilly Media.
Govella, A. (2016, Sept. 30). Designing the “right” thing for the “right”
persona. Big Design Magazine – Medium. https://medium.com/big-design-magazine/designing-the-right-thing-for-the-right-persona-2c77fdde9bb8.
Gray, W. D., & Salzman, M. C. (1998). Damaged merchandise? A review of
experiments that compare usability evaluation methods. Human-Computer Interaction, 13 (3), 203–261. https://doi.org/10.1207/s15327051hci1303_2.
Hackos, J. T., & Redish, J. C. (1998). User and task analysis for interface
design. New York, NY: Wiley.
Hall, E. (2019). Just enough research (2nd ed.). New York, NY: A Book Apart.
Hall, E. T. (1989). Beyond culture (2nd ed.). New York, NY: Anchor Books.
Hall, M., de Jong, M., & Steehouder, M. (2004). Cultural differences and usability evaluation: Individualistic and collectivistic participants compared. Technical Communication, 51(4), 489–503.
Harley, A. (2016, May 8). Trustworthiness in web design: 4 credibility factors. Alertbox. https://www.nngroup.com/articles/trustworthy-design/.
Harley, A. (2017, September 3). Counterfeit or credible? UX design for authenticity in China. Alertbox. https://www.nngroup.com/articles/credibility-china/.
Heinz, S., Linxen, S., Tuch, A., FraЯeck, L., & Opwis, K. (2017). Is it still
where I expect it?—Users’ current expectations of interface elements
on the most frequent types of websites. Interacting with Computers,
29 (3), 325–344. https://doi.org/10.1093/iwc/iww012.
Henry, S. L. (2006). Understanding web accessibility. In J. Thatcher,
M. Burks, C. Heilmann, S. L. Henry, A. Kirkpatrick, P. H. Lauke, ... C. Waddell. (Eds.), Web accessibility: Web standards and regulatory compliance
(pp. 1–51). Berkeley, CA: Apress.
Hofstede, G., Hofstede, G. J., & Minkov, M. (2010). Cultures and organizations: Software of the mind (3rd ed.). New York, NY: McGraw Hill.
Holtzblatt, K., & Beyer, H. (2017). Contextual design: Design for life
(2nd ed.). Boston, MA: Morgan Kaufmann.
Honold, P. (2000). Culture and context: An empirical study for the development of a framework for the elicitation of cultural influence in pro-
Список статей и литературы
duct usage. International Journal of Human-Computer Interaction, 12
(3 & 4), 327–345.
Horton, S., & Quesenbery, W. (2013). A web for everyone: Designing accessible user experiences. Brooklyn, NY: Rosenfeld Media.
Hotchkiss, G. (2007). Chinese eye tracking study: Baidu vs. Google. https://
searchengineland.com/chinese-eye-tracking-study-baidu-vs-google-11477.
Howarth, J., Andre, T. S., & Hartson, R. (2007). A structured process for
transforming usability data into usability information. Journal of Usability Studies, 3 (1), 7–23. https://uxpajournal.org/a-structured-processfor-transforming-usability-data-into-usability-information/.
Huff, D. (1954). How to lie with statistics. New York, NY: Norton. Information Behaviour of the Researcher of the Future. (2008). CIBER (Centre
for Information Behaviour and the Evaluation of Research). London:
University College (Briefing paper). https://www.webarchive.org.uk/wayback/archive/20140613220103/https://www.jisc.ac.uk/media/documents/
programmes/reppres/gg_final_keynote_11012008.pdf.
Interaction Design Foundation. (2018). How to conduct a cognitive walkthrough. https://www.interaction-design.org/literature/article/how-to-conduct-a-cognitive-walkthrough.
Jacobsen, N. E., Hertzum, M., & John, B. E. (1998). The evaluator effect
in usability studies: Problem detection and severity judgments. Proceedings of the Human Factors and Ergonomics Society 42nd Annual Meeting –1998 (pp. 1336–1340). Santa Monica, CA. https://doi.org/
10.1177/154193129804201902.
Jiang, J. (2018, May 2). Millennials stand out for their technology use, but
older generations also embrace digital life. Pew Research Center: Washington, DC. https://pewrsr.ch/2rf8arP.
Joyce, A., & Nielsen, J. (2019, March 17). Teenager’s UX: Designing for
teens. Alertbox. https://www.nngroup.com/articles/usability-of-websitesfor-teenagers/.
Khan, T., Pitts, M., & Williams, M. (2016). Cross-cultural differences in
automotive HMI design: A comparative study between UK and Indian
users’ design preferences. Journal of Usability Studies, 11 (2), 45–65.
Retrieved from https://uxpajournal.org/cultural-automotive-hmi-designuk-india/.
Knapp, J. (with Zeratsky, J., & Kowitz, B.). (2016). Sprint: How to solve big
problems and test new ideas in just five days. New York, NY: Simon &
Schuster.
Krug, S. (2010). Rocket surgery made easy: The do-it-yourself guide to
finding and fixing usability problems. Berkeley, CA: New Riders.
Krug, S. (2014). Don’t make me think, revisited: A common sense approach
to web usability. Berkeley, CA: New Riders.
397
398
Список статей и литературы
Lachner, F., von Saucken, C., Mueller, F., & Lindemann, U. (2015). Cross-cultural user experience design: Helping product designers to consider cultural differences. In P. Rau (Ed.), Cross-Cultural Design Methods, Practice and Impact. CCD 2015. Lecture Notes in Computer Science: Vol. 9180 (pp. 58–70). Cham, Switzerland: Springer. https://doi.
org/10.1007/978-3-319-20907-4_6.
Landauer, T. K. (1997). Behavioral research methods in human-computer
interaction. In M. Helander, T. K. Landauer, & P. Prabhu (Eds.), Handbook
of computer interaction (2nd ed.) (pp. 203–227). Amsterdam, Netherlands: Elsevier. https://doi.org/10.1016/B978-044481862-1.50075-3.
Lebson, C. (2012, October). Making usability a priority: Advocating for the
value of user research (pp. 10–13). Intercom. https://lebsontech.com/
STC_Intercom_Value%20of%20UX_CoryLebson.pdf.
Lenhart, A. (2015, August 6). Teens, technology and friendships. Pew Research Center: Washington, DC. Retrieved from https://www.pewinternet.org/2015/08/06/teens-technology-and-friendships/.
Lewis, J. R. (1994). Sample sizes for usability studies: Additional considerations. Human Factors, 36 (2), 368–378. https://doi.org/10.1177/
001872089403600215.
Lewis, J. R. (2014). Usability: Lessons learned … and yet to be learned. International Journal of Human-Computer Interaction, 30 (9), 663–684.
https://doi.org/10.1080/10447318.2014.930311.
Lewis, J. R., & Sauro, J. (2009). The factor structure of the System Usability
Scale. In M. Kurosu (Ed.), Human Centered Design. HCD 2009. Lecture
Notes in Computer Science: Vol. 5619 (pp. 94–103). Berlin: SpringerVerlag. https://doi.org/10.1007/978-3-642-02806-9_12.
Lindgaard, G., Fernandes, G., Dudek, C., & Brown, J. (2006). Attention web
designers: You have 50 milliseconds to make a good first impression!
Behaviour and Information Technology, 25 (2), 115–126. https://doi.
org/10.1080/01449290500330448.
Lindgren, A., Chen, F., Jordan, P. W., & Zhang, H. (2008). Requirements
for the design of advanced driver assistance systems – the differences between Swedish and Chinese drivers. International Journal of Design, 2 (2), 41–54. https://www.ijdesign.org/index.php/IJDesign/article/
view/354/165.
Liu, Z., Coventry, L., Johnson, G., Zhang, H., & Chen, J. (2007). The people’s
money machines: Automatic teller machines in China. User Experience,
6 (2), 18–22. https://uxpamagazine.org/atm_in_china/.
Mahmood, M. A., Bagchi, K., & Ford, T. C. (2004). On-line shopping behavior: Cross-country empirical research. International Journal of Electronic Commerce, 9 (1), 9–30.
Margalit, L. (2014, July 7). Gender-oriented design in light of the extreme male brain model. UXmatters. https://www.uxmatters.com/mt/
archives/2014/07/gender-oriented-design-in-light-of-the-extreme-malebrain-model.php.
Список статей и литературы
McGinn, J., & Chang, A. R. (2013). RITE+Krug: A combination of usability
test methods for Agile design. Journal of Usability Studies, 8 (3), 61–68.
https://uxpajournal.org/ritekrug-a-combination-of-usability-test-methods-for-agile-design/.
McLuhan, M. (1964). Understanding media: The extensions of man. New
York, NY: McGraw Hill.
McSweeney, B. (2002). Hoftede’s model of national cultural differences and
their consequences: A triumph of faith–a failure of analysis. Human Relations, 55 (1), 89–118. https://doi.org/10.1177/0018726702551004.
Medlock, M. C., Wixon, D., McGee, M., & Welsh, D. (2006). The rapid iterative
test and evaluation method: Better products in less time. In R. J. Bias
& D. J. Mayhew (Eds.), Cost-justifying usability (2nd ed.) (pp. 489–517).
Boston, MA: Morgan Kaufmann.
Meyer, E. (2014). The culture map: Breaking through the invisible boundaries of global business. New York, NY: Public Affairs.
Moeller, E. (2010, June 15). Usability: Why did we move the search box? [Wikimedia Foundation blog post]. https://blog.wikimedia.org/2010/06/15/
usability-why-did-we-move-the-search-box.
Molich, R. CUE (Comparative Usability Evaluation) Papers. https://www.dialogdesign.dk/cue.html.
Molich, R., & Dumas, J. S. (2008). Comparative usability evaluation (CUE-4).
Behaviour and Information Technology, 27 (3), 263–281. https://doi.
org/10.1080/01449290600959062.
Molich, R., & Nielsen, J. (1990). Improving a human-computer dialogue.
Communications of the ACM, 33 (3), 338–348. https://doi.org/10.1145/
77481.77486.
Moran, K. (2016, April 10). Young adults/Millennials as web users (ages
18–25). Alertbox. Retrieved from https://www.nngroup.com/articles/
young-adults-ux/.
Moraveji, N., Ho, R., Huynh, D., & Zhang, L. (2006). Communication gap:
Designing an interface for Chinese migrant workers. User Experience,
5(2), 8–11. https://uxpamagazine.org/interface_chinese_migrant_workers/.
Morrison, T., & Conaway, W. A. (2006). Kiss, bow, or shake hands: The
bestselling guide to doing business in more than 60 countries (2nd ed.).
Avon, MA: Adams Media.
Morville, P. (2004, June 21). The user experience honeycomb. User Experience Design. https://semanticstudios.com/user_experience_design/.
Morville, P., & Rosenfeld, L. (2006). Information architecture for the world
wide web: Designing large-scale web sites (3rd ed.). Sebastopol, CA:
O’Reilly Media.
Moss, G. (2009, 2016). Gender, design, and marketing: How gender drives
our perception of design and marketing. New York, NY: Routledge.
Mulder, S., & Yaar, Z. (2006). The user is always right: A practical guide to
creating and using personas for the web. Berkeley, CA: New Riders.
Powered by TCPDF (www.tcpdf.org)
399
400
Список статей и литературы
Neufeld, D., & Roghanizad, M. (2018, January 23). Research: How customers decide whether to buy from your website. Harvard Business Review.
https://hbr.org/2018/01/research-how-customers-decide-whether-tobuy-from-your-website.
Nielsen, J. (1993). Usability engineering. Boston, MA: Morgan Kaufmann.
Nielsen, J. (1994, April 24). 10 usability heuristics for user interface design.
Alertbox. https://www.nngroup.com/articles/ten-usability-heuristics/.
Nielsen, J. (2000, March 19). Why you only need to test with 5 users. Alertbox. https://www.nngroup.com/articles/why-you-only-need-to-test-with5-users/.
Nielsen, J. (2002, April 12). Kids’ corner: Website usability for children.
Alertbox. http://district4.extension.ifas.ufl.edu/Tech/TechPubs/Usability4Children.pdf.
Nielsen, J. (2006, April 17). F-shaped pattern for reading web content.
Alertbox. https://www.nngroup.com/articles/f-shaped-pattern-reading-webcontent-discovered/.
Nielsen, J. (2008, February 4). User skills improving, but only slightly.
Alertbox. https://www.nngroup.com/articles/user-skills-improving-onlyslightly/.
Nielsen, J. (2009, October 5). Powers of 10: Time scales in user experience.
Alertbox. https://www.nngroup.com/articles/powers-of-10-time-scalesin-ux/.
Nielsen, J. (2013, September 28). User experience stagnates at low levels.
Alertbox. https://www.nngroup.com/articles/stagnating-expertise.
Nielsen, J., & Mack, R. L. (Eds.). (1994). Usability inspection methods. New
York, NY: Wiley.
Nielsen, J., & Moran, K. (2015, November 1). Page parking: Millennials’
multi-tab mania. Alertbox. https://www.nngroup.com/articles/multi-tabpage-parking/.
Olmsted-Hawala, E. L., Hawala, S., Murphy, E. D., & Ashenfelter, K. T.
(2010). Think-aloud protocols: A comparison of three think-aloud
protocols for use in testing data-dissemination web sites for usability. CHI ‘10: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 2381–2390). Atlanta, GA. https://doi.
org/10.1145/1753326.1753685.
Olsen, D. (2015). The lean product playbook: How to innovate with minimum viable products and rapid customer feedback. Hoboken, NJ: Wiley.
Patton, J., (with Economy, P.). (2014). User story mapping: Discover the
whole story, build the right product. Sebastopol, CA: O’Reilly Media.
Peracchio, L., & Luna, D. (2006). The role of thin-slice judgments in consumer psychology. Journal of Consumer Psychology, 16 (1), 25–32.
https://doi.org/10.1207/s15327663jcp1601_5.
Pérez-Quiñones, M. A., & Vatrapu, R. (2006). Culture and usability evaluation: The effects of culture in structured interviews. Journal of Usabi-
Список статей и литературы
lity Studies, 1 (4), 156–170. https://uxpajournal.org/culture-and-usability-evaluation-the-effects-of-culture-in-structured-interviews/.
Pernice, K. (2017, November 12). F-shaped pattern of reading on the web:
Misunderstood, but still relevant (even on mobile). Alertbox. Retrieved
from https://www.nngroup.com/articles/f-shaped-pattern-reading-webcontent/.
Pernice, K., & Budiu, R. (2016, June 26). Hamburger menus and hidden navigation hurt UX metrics. Alertbox. https://www.nngroup.com/articles/
hamburger-menus/.
Perrin, A., & Kumar, M. (2019, July 25). About three-in-ten U.S. adults say
they are ‘almost constantly’ online. Pew Research Center: Washington,
DC. Retrieved from https://www.pewresearch.org/fact-tank/2018/03/14/
about-a-quarter-of-americans-report-going-online-almost-constantly/.
Quesenbery, W. (n.d.). Getting started: Using the 5Es to understand users.
https://www.wqusability.com/articles/gettingstarted.html.
Quesenbery, W. (2006, March 20). More alike than we think. UX Matters.
https://www.uxmatters.com/mt/archives/2006/03/more-alike-than-wethink.php.
Quesenbery, W., & Brooks, K. (2010). Storytelling for user experience:
Crafting stories for better design. Brooklyn, NY: Rosenfeld Media.
Ramey, J. (n.d.) Methods for successful ‘thinking out loud’ procedures.
https://web.ics.purdue.edu/~pbawa/421/METHODS%20FOR%20SUCCESSFUL.html.
Reckless, C. (2016). The one page test plan [Testing Planet 2016 series].
Retrieved from https://www.ministryoftesting.com/dojo/lessons/the-onepage-test-plan.
Redish, J. G. (2012). Letting go of the words: Writing web content that
works (2nd ed.). Boston, MA: Morgan Kaufmann.
Redish, J. G., Chisnell, D. E., Laskowski, S. J, & Lowry, S. (2010). Plain language makes a difference when people vote. Journal of Usability Studies,
5 (3), 81–103. Retrieved from https://uxpajournal.org/plain-languagemakes-a-difference-when-people-vote/.
Reeves, B., & Nass, C. (1996). The media equation: How people treat computers, television, and new media like real people and places. New York,
NY: Cambridge University Press.
Rhenius, D., & Deffner, G. (1990). Evaluation of concurrent thinking
aloud using eye-tracking data. Proceedings of the Human Factors Society, 34th Annual Meeting (pp. 1265–1269). https://doi.org/10.1177/
154193129003401719.
Rogers, K. (2008, May). The culture of China’s Internet: Developing web
content for the world’s fastest growing online market. Intercom, 10–13.
Rosenfeld, L., Morville, P., & Arango, J. (2015). Information architecture:
For the web and beyond (4th ed.). Sebastopol, CA: O’Reilly Media.
401
402
Список статей и литературы
Rubinstein, R., & Hersh, H. M. (1984). The human factor: Designing computer systems for people. Burlington, MA: Digital Press.
Sauro, J. (2010, January 7). Does better usability increase customer loyalty?
[Blog post]. Retrieved from https://measuringu.com/usability-loyalty/.
Sauro, J. (2010, March 2). If you could only ask one question, use this one
[Blog post]. https://measuringu.com/single-question/.
Sauro, J. (2010, August 25). Should you use 5 or 7 point scales? [Blog post].
Retrieved from https://measuringu.com/scale-points/.
Sauro, J. (2018, March 27). How large is the evaluator effect in usability
testing? [Blog post]. https://measuringu.com/evaluator-effect/.
Sauro, J. (2018, November 13). The methods UX professionals use (2018)
[Blog post]. https://measuringu.com/ux-methods-2018/.
Sauro, J. (2020, February 4). Cultural effects on rating scales [Blog post].
Retrieved from https://measuringu.com/scales-cultural-effects/.
Sauro, J., & Lewis, J. R. (2016). Quantifying the user experience: Practical
statistics for user research (2nd ed.). Boston: Morgan Kaufmann.
Sbaffi, L., & Rowley, J. (2017). Trust and credibility in web-based health information: A review and agenda for future research. Journal of Medical
Internet Research, 19 (6). https://doi.org/10.2196/jmir.7579.
Schade, A. (2017, December 17). Avoiding leading questions to get better
insights from participants. Alertbox. Retrieved from https://www.nngroup.com/articles/leading-questions/.
Schulte-Mecklenbeck, M., & Huber, O. (2003). Information search in the
laboratory and on the web: With or without an experimenter. Behavior
Research Methods, Instruments, & Computers, 35 (2), 227–235. https://
doi.org/10.3758/BF03202545.
Schumacher, R. M. (Ed.). (2010). Handbook of global user research. Boston,
MA: Morgan Kaufmann.
Scupin, R. (1997). The KJ method: A technique for analyzing data derived
from Japanese ethnology. Human Organization, 56 (2). https://doi.
org/10.17730/humo.56.2.x335923511444655.
Shaikh, D., & Lenz, K. (2006). Where’s the search? Re-examining user expectations of web objects. Usability News, 8 (1). https://www.researchgate.net/publication/265205590_Where%27s_the_Search_Re-examining_
User_Expectations_of_Web_Objects.
Sharon, T. (2012). It’s our research: Getting stakeholder buy-in for user
experience research projects. Boston, MA: Morgan Kaufmann.
Sherwin, K., & Nielsen, J. (2019, January 13). Children’s UX: Usability issues
in designing for young people. Alertbox. Retrieved from https://www.
nngroup.com/articles/childrens-websites-usability-issues/.
Shi, Q., & Clemmensen, T. (2008). Communication patterns and usability
problem finding in cross-cultural thinking aloud usability testing. Pro-
Список статей и литературы
ceedings of CHI 2008 – Works in Progress, April 5–10 (pp. 2811–2816).
Florence, Italy: ACM.
Sillence, E., Briggs, P., Fishwick, L., & Harris, P. (2004). Trust and mistrust
of online health sites. Proceedings of CHI 2004 (pp. 663–670). Vienna,
Austria: ACM. https://doi.org/10.1145/985692.985776.
Singh, N., & Pereira, A. (2005). The culturally customized web site: Customizing web sites for the global marketplace. Amsterdam, The Netherlands: Elsevier.
Sova, D., & Nielsen, J. (n.d.) 234 tips and tricks for recruiting participants
in usability studies. Nielsen Norman Group. https://www.nngroup.com/
reports/how-to-recruit-participants-usability-studies/.
Spencer, D. (2009). Card sorting: Designing usable categories. Brooklyn,
NY: Rosenfeld Media.
Spool, J. (2010, August 18). Three questions you shouldn’t ask during user
research [Blog post]. https://articles.uie.com/three_questions_not_to_ask/.
Spool, J., & Schroeder, W. (2001). Testing web sites: Five users Is nowhere
near enough. Proceedings of CHI 2001 Extended Abstracts on Human
Factors in Computing Systems (pp. 285–286). Seattle, WA: ACM. https://
doi.org/10.1145/634067.634236.
Strange interview questions for Japanese participants. (2014, August 7)
[Blog post]. https://ux.mitsue.co.jp/english/archives/000414.html.
Strӧm, P., & Whitehand, R. (2006). Where should the search function be
placed? [Editorial, Usability Partners]. Retrieved from https://www.usabilitypartners.se/editorials/where-should-the-search-function-be-placed.
Sun, H. (2012). Cross-cultural technology design: Creating culture-sensitive technology for local users. New York, NY: Oxford University Press.
Sun, H. (2019). Global social media design: Bridging differences across cultures. New York, NY: Oxford University Press.
Sy, D. (2007). Adapting usability investigations for Agile user-centered
design. Journal of Usability Studies, 2 (3), 112–132. https://uxpajournal.
org/adapting-usability-investigations-for-agile-usercentered-design/.
Tamler, H. (1998). How (much) to intervene in a usability testing session.
Common Ground, 8(3), 11–15. https://htamler.com/papers/intervene/.
Teague, R., De Jesus, K., & Nunes-Ueno, M. (2001). Concurrent vs. post-task
usability test ratings. Proceedings of CHI 2001 Extended Abstracts on
Human Factors in Computing Systems (pp. 289–290). Seattle, WA: ACM.
https://doi.org/10.1145/634067.634238.
Tedesco, D., & Tranquada, F. (2014). The moderator’s survival guide: Handling common, tricky, and sticky situations in user research. Boston,
MA: Morgan Kaufmann.
Theophanos, M., & Quesenbery, W. (2005). Towards the design of effective
formative test reports. Journal of Usability Studies, 1 (1), 28–46. https://
uxpajournal.org/towards-the-design-of-effective-formative-test-reports/.
403
404
Список статей и литературы
Tullis, T., & Albert, B. (2013). Measuring the user experience: Collecting,
analyzing, and presenting usability metrics (2nd ed.). Boston, MA: Morgan Kaufmann.
Tullis, T. S., & Stetson, J. N. (2004). A comparison of questionnaires for
assessing website usability. Presentation at the Usability Professionals
Association Conference, Minneapolis, MN. https://citeseerx.ist.psu.edu/
viewdoc/download?doi=10.1.1.396.3677&rep=rep1&type=pdf.
Utt, M. H. (2010). Usability testing by people with disabilities: Some guerrilla tactics. User Experience Magazine, 9 (2). https://uxpamagazine.org/
guerilla_tactics/.
UX Alliance. (2011). Cultural differences in usability testing around the
world. https://www.uxalliance.com/featured-publications/cultural-differences-in-usability-testing-around-the-world/.
Valencia, P. (2018, May 16). Cross-cultural design in Japan & Colombia
[Blog post]. Retrieved from https://www.mitsue.co.jp/english/global_ux/
blog/201805/16_1800.html.
van den Haak, de Jong, M. D. T., & Schellens, P. J. (2007). Evaluation of an
informational Web site: Three variants of the think-aloud method compared. Technical Comm unication, 54 (1), 58–71.
Virzi, R. A. (1990). Streamlining the design process: Running fewer subjects. Proceedings of the Human Factors Society Annual Meeting, 34 (4)
(pp. 291–294). Orlando, FL. https://doi.org/10.1177/154193129003400411.
Virzi, R. A. (1992). Refining the test phase of usability evaluation: How
many subjects is enough? Human Factors, 34 (4), 457–468. https://doi.
org/10.1177/001872089203400407.
Wallace, S., & Yu, H.-C. (2009). The effect of culture on usability: Comparing the perceptions and performance of Taiwanese and North American
MP3 player users. Journal of Usability Studies, 4 (3), 136–146. https://
uxpajournal.org/the-effect-of-culture-on-usability-comparing-the-perceptions-and-performance-of-taiwanese-and-north-american-mp3-playerusers/.
Wang, Y.-C., Burke, M., & Kraut, R. (2013). Gender, topic, and audience response: An analysis of user-generated content on Facebook. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
(pp. 31–34). Paris, France: ACM. https://doi.org/10.1145/2470654.2470659.
Weinschenk, S. (2010). The psychologist’s view of UX design. UX Magazine.
Article No. 529. https://uxmag.com/articles/the-psychologists-view-ofux-design.
Williams, D., Kelly, G., Anderson, L., Zavislak, N., Wixon, D., & de los Reyes, A.
(2004). MSN 9: New user-centered desirability methods produce compelling visual design. Proceedings of CHI 2004 –Extended Abstracts on
Human Factors in Computing Systems (pp. 959–974). Vienna, Austria:
ACM Press. https://doi.org/10.1145/985921.985952.
Список статей и литературы
Wright, R. B., & Converse, S. A. (1992). Method bias and concurrent verbal
protocol in software usability testing. Proceedings of the Human Factors
And Ergonomics Society Annual Meeting: Vol. 36(16) (pp. 1220–1224).
Atlanta, GA: HFES. https://doi.org/10.1177/154193129203601608.
Wronski, L. (n.d.) Why (and how!) to ask survey questions on sexual orientation and gender identity [SurveyMonkey Survey Science blog post].
https://www.surveymonkey.com/curiosity/ask-survey-questions-sexual-orientation-gender-identity/.
Wurman, R. S. (1989). Information anxiety. New York, NY: Doubleday.
Yammiyavar, P., Clemmensen, T., & Kumar, J. (2008). Influence of cultural
background on non-verbal communication in a usability testing situation. International Journal of Design, 2 (2), 31–40. https://www.ijdesign.
org/index.php/IJDesign/article/view/313/164.
Young, I. (2008). Mental models: Aligning design strategy with human behavior. Brooklyn, NY: Rosenfeld Media.
Yunker, J. (2017). Think outside the country: A guide to going global and
succeeding in the translation economy. Ashland, OR: Byte Level Books.
Zhou, Y. T. (2018, September 30). How community can drive commerce:
A lesson from China’s Little Red Book. Alertbox. https://www.nngroup.
com/articles/ecommerce-community-china/.
405
Предметный указатель
Символы
5E, 31, 145
B
Baidu, 359
C
Comparative Usability Evaluation (CUE), 67
Computer System Usability Questionnaire
(CSUQ), 228
H
Human Factors International (HFI), 380
L
Little Redbook, 355
N
Net Promoter Score (NPS), 229, 231
O
Optimal Workshop, 102
P
Post-Study System Usability Questionnaire
(PSSUQ), 231
S
System Usability Scale (SUS), 228
U
Usability Evaluation Questionnaire (UEQ),
228
UsabilityHub, 102
User-centered design (UCD), 35
User experience (UX), 35
W
W3C, 147
WAI, 147
Web Content Accessibility Guidelines
(WCAG), 147
Книги издательства «ДМК ПРЕСС»
можно купить оптом и в розницу
в книготорговой компании «Галактика»
(представляет интересы издательств
«ДМК ПРЕСС», «СОЛОН ПРЕСС», «КТК Галактика»).
Адрес: г. Москва, пр. Андропова, 38;
тел.: (499) 782-38-89, электронная почта: books@alians-kniga.ru.
При оформлении заказа следует указать адрес (полностью),
по которому должны быть высланы книги;
фамилию, имя и отчество получателя.
Желательно также указать свой телефон и электронный адрес.
Эти книги вы можете заказать и в интернет-магазине: http://www.galaktika-dmk.com/.
Кэрол М. Барнум
Основы юзабилити-тестирования
Главный редактор
Мовчан Д. А.
dmkpress@gmail.com
Зам. главного редактора
Перевод
Редактор, корректор
Верстка
Дизайн обложки
Сенченкова Е. А.
Беликов Д. А.
Абросимова Л. А.
Чаннова А. А.
Мовчан А. Г.
Последние комментарии
9 часов 48 минут назад
14 часов 51 минут назад
22 часов 40 минут назад
1 день 1 час назад
1 день 1 час назад
2 дней 12 часов назад