ISSN 2079-6617 (Print)
ISSN 2309-9828 (Online)
Оценка удовлетворенности пользователя работой с интернет-сайтом

Оценка удовлетворенности пользователя работой с интернет-сайтом

Скачать в формате PDF

Страницы: 95-103

Ключевые слова: удовлетворенность пользователей; образ программного продукта; интернет-сайты; эргономическое проектирование; юзабилити-инженерия; опросная методика; психодиагностическая валидизация методики

Для цитирования статьи:

Дегтяренко И. А. Оценка удовлетворенности пользователя работой с интернет-сайтом. // Национальный психологический журнал 2012. № 1. c.95-103.

Скопировано в буфер обмена

Скопировать
Номер 1, 2012

Дегтяренко Иван Александрович Московский государственный университет имени М.В. Ломоносова

Аннотация

Разработанная авторами методика ОПУС позволяет оценить удовлетворенность пользователей в рамках проектирования интернет-сайтов и их внедрения в организациях. Проведена полная психометрическая валидизация методики.

Оценка удовлетворенности пользователей работой с интернет-сайтом [1]

Компьютер с выходом в Интернет стал для большинства работников ос­новным средством трудовой деятельности. Так, по прогнозам Фонда «Об­щественное мнение», к 2014 году доля интернет-пользователей составит бо­лее 70% от населения России (см. ри­сунок 1). 36% аудитории Интернета пользуются им с рабочего компьюте­ра, причем большинство из них со­ставляют представители сигнономических профессий [21].

Помимо обработки данных, и ра­боты с текстами, современные компь­ютерные технологии и Интернет по­могают специалистам различных про­фессиональных групп получать справочную информацию, поддержи­вают процесс принятия решений, а также позволяют вести общение с коллегами и партнерами посредством тек­стовых, аудио- и видеоконференций. Для таких специалистов, как операто­ры контакт-центров или диспетчеры, деятельность по приему обращений и их обработке при помощи компьюте­ра, является основной. Так или иначе, миллионы людей вынуждены выпол­нять эти и подобные задачи в услови­ях жестких временных ограничений, высокой степени неопределенности, при наличии прерываний и переклю­чений в сети. В результате использо­вание компьютеризированных средств труда, как правило, связано с яркими эмоциональными переживаниями: как позитивными, так и негативными.

Удовлетворенность средствами де­ятельности вносит существенный вклад в общую удовлетворенность трудом [6], а, следовательно, повыша­ет качество жизни работников. С точ­ки зрения работодателей, значимым фактором становится удовлетворен­ность сотрудников применяемыми в организации программными средствами. Ведь она связана с повыше­нием результативности и производи­тельности их труда [9, 12] за счет вли­яния удовлетворенности средством деятельности на трудовую мотива­цию. Неменьшую проблему для организаций составляет внедрение новых информационных систем и обновле­ние существующих. Есть множество примеров неудачного внедрения но­вых компьютерных средств. Разра­ботчики сталкиваются с нежеланием работников осваивать новые способы деятельности, а зачастую и активным противостоянием внедрению новых компьютерных программ.

Восприятие любого продукта как полезного и удобного, а, вместе с тем, простого в использовании, суще­ственно повышает шансы на его при­нятие [22]. Оценка удовлетвореннос­ти интернет-сайтами в организацион­ном контексте становится особенно актуальной в связи с ростом популяр­ности так называемых «облачных» сервисов: систем, позволяющих раз­мещать информацию и работать с ней на удаленном сервере через Интернет. Большое число экспертов в области корпоративных информационных си­стем считает, что такой способ разви­тия технической инфраструктуры организаций в ближайшие годы ста­нет преобладающим [20].

Интерес компаний-разработчиков интернет-сайтов к повышению удов­летворенности пользователей связан с ее влиянием на коммерческую успеш­ность ресурса. В маркетинге хорошо известно, что высокая удовлетворенность клиентов в долгосрочной перс­пективе существенно повышает их лояльность, и, соответственно, при­были компании [15].


Рисунок 1. Динамика месячной интернет-аудитории по разным возрастным группам в % от населения России. После зимы 2010 — 2011 приведены прогнозируемые данные. По [5].

Требования ISO к оценке интернет-сайтов

Эти факторы стимулировали появ­ление во второй половине 80-х годов (в период взрывного роста популярно­сти персональных компьютеров) та­ких прикладных дисциплин как человеко-ориентированное проектирова­ние программных продуктов (ПП) и юзабилити-инженерия. В это время компьютеры становятся массовыми средствами труда. Если раньше основ­ную часть затрат на ИТ-инфраструктуру в организациях составляло приобретение аппаратного и программно­го обеспечения, то со временем эти расходы становятся все менее суще­ственными по сравнению с оплатой обучения и поддержкой пользовате­лей. На первый план вышла не доро­гостоящая техника, а человеческий капитал.

Центральным понятием в оценке степени эргономичности ПП стал конструкт «юзабилити», впервые вве­денный Дж. Макколлом в 1977 году и включенный во все современные мо­дели качества ПП, в том числе и в соответствующий стандарт Междуна­родной организации по стандартиза­ции (ISO) [15]. По определению, данному в ISO, юзабилити — это «сте­пень, в которой продукт может быть применен определенной группой пользователей для достижения определенных целей в определенном кон­тексте использования результативно, производительно и с чувством удов­летворенности» (см. рисунок 2) [13]. Если показатели результативности и производительности хорошо операционализированы, то общего понимания природы удовлетворенности и методических средств ее оценки до сих пор не существует как в литературе, так и в сообществе специалистов-практиков [18]. Так, проведенный К. Хорнбеком обзор 180 статей, посвященных оценке юзабилити программных про­дуктов, опубликованных в течение ряда лет в 4-х ведущих журналах по темати­ке взаимодействия человека с компью­тером, показал, что лишь в 12 статьях использовались стандартизованные методики оценки удовлетворенности [11]. И это притом, что на английском языке таких методик существует не менее 10. Наиболее известны из них QUIS [8], SUMI/WAMMI [16], CSUQ [17], SUS [7], USE [19]. На русском языке до этого исследования не пуб­ликовалось ни одной валидизированной методики для оценки удовлетво­ренности пользователей.


Рисунок 2. Схематическое представление определения понятия «юзабилити», традиционно применяемого для оценки эргономичности программных средств. На основе [13].

Пользовательская удовлетворенность как психологическая категория

Мы рассматриваем удовлетворен­ность средством труда как интеграль­ную субъективную оценку его качества [1], которая отражает личностное от­ношение пользователя, сформирован­ное в процессе деятельности с исполь­зованием определенного средства. Принципиально важную роль в фор­мировании удовлетворенности ПП играют ожидания пользователя, кото­рые репрезентируются в виде образа.

Образ объекта включает структур­ную и оценочную составляющие. Субъект обладает определенной мен­тальной моделью ПП: представлени­ем о его структурном составе и прин­ципах функционирования. Эта струк­турная составляющая, в частности, обусловливает формирование образа действий. С другой стороны, образ ПП характеризуется его местом в катего­риальном пространстве явлений и признаков, которые задействуются при восприятии информационных систем с учетом опыта, знаний, лич­ных пристрастий и других индивиду­альных характеристик пользователя. Пользователь будет считать сайт «кра­сивым» или «некрасивым», «удобным» или «неудобным». Реперными точка­ми, задающими размерность такого пространства, являются другие сайты той же категории.

Как показано выше, образ ПП представляет собой систему, каждый из компонентов которой играет роль в организации деятельности пользова­теля и трансформации остальных ком­понентов образа. Удовлетворенность ПП формируется как интегральная оценка соответствия сайта ожиданиям и потребностям пользователя. Удовлетворенность будет высокой, если оценочная составляющая образа объекта близка к образу идеального объекта данной категории, а выполнение задач в соответствии с образом действий приводит к ожидаемому результату.

Основной целью нашего исследо­вания была разработка и валидизация оригинальной опросной методики ОПУС, предназначенной для оценки удовлетворенности пользователей. Так как методика предназначалась, в час­тности, для использования в рамках массовых дистанционных обследова­ний, это предполагало ее реализацию в виде относительно компактного стандартизованного тест-опросника. Подготовка такой методики включала решение следующих задач: 1) подбор вербального материала для создания предварительного варианта методики; 2) выявление основных компонентов в структуре субъективных оценок ин­тернет-сайтов; 3) формирование рабо­чего варианта методики и предвари­тельная оценка его психометрических качеств; 4) валидизация и подготовка окончательного варианта методики.

Разработка методики для оценки пользовательской удовлетворенности

Подбор вербального материала для предварительной версии методики. В связи с тем, что структура отношения к ПП обладает кросс-культурными различиями [10], необходимо было выявить набор характеристик, имею­щих наиболее важное значение при восприятии сайтов русскоязычной аудиторией Интернета. Для этого были использованы методы реперту­арных решеток Дж. Келли, а также бе­седы с разными категориями пользо­вателей. Кроме того, собранный мас­сив априорно содержал избыточный перечень из 400 простых высказыва­ний. При этом использовался авторс­кий перевод популярных англоязыч­ных опросников WAMMI [16], CSUQ [17], SUS [7] и USE [19]., который за­тем подвергался многоступенчатой процедуре лексического и семантичес­кого отбора. Были исключены иден­тичные и близкие формулировки, раз­говорные обороты, жаргон, сокращен­ные высказывания, в результате чего список сократился до 136 пунктов. В качестве примера можно привести следующие высказывания: «Справоч­ная информация на сайте понятна», «Я бы с удовольствием порекомендовал этот сайт другу», «Я могу решить ту же самую задачу, не прибегая к помощи данного сайта» и пр.

В дальнейшем была проведена эк­спертная процедура отбора наиболее информативных высказываний, состоявшая из трех этапов. В ней приня­ли участие лица разной квалификации - профессиональные проектировщи­ки интерфейсов, специалисты по со­зданию диагностических тестов, а так­же рядовые пользователи с достаточ­ным опытом работы в Интернете ПП, так как образ — это центральный психологический конструкт, который позволяет анализировать особенности отражения объекта (предмета, события или ситуации) через призму отно­шения к нему субъекта [4]. Таким об­разом, для создания адекватных средств оценки пользовательской удовлетворенности необходимо, в первую очередь, реконструировать структурные компоненты образа ПП. К их числу следует отнести образ объекта («Что собой представляет программный продукт в контексте его со­ответствия потребностям пользовате­ля?»), образ результата (Чего можно достичь с помощью использования этого объекта?»), образ действий («Ка­ким способом может быть получен ожидаемый результат?»).

Во время выполнения компьюте­ризованных задач деятельность субъекта строится исходя из образа действий, сформированного на осно­вании предшествующего опыта. Ког­да выполнение действий в соответ­ствие с этим образом оказывается зат­руднено или приводит к итогу, не соответствующему образу ожидаемого результата, возникает рассогласование ожиданий с результатами деятельнос­ти. Это не только вызывает трансфор­мацию имеющихся образов результа­та и действий, но и сопровождается фрустрацией. В противоположной си­туации может возникать состояние функционального комфорта или, в некоторых случаях, потока, (всего 23 человека). На первом этапе (10 экспертов) применялась методика свободной сортировки с целью выде­ления групп сходных по содержанию высказываний (см. рисунок 3). На вто­ром этапе (12 экспертов) внутри каж­дой полученной в результате сортиров­ки группы высказываний были выбра­ны наиболее удачные. На третьем этапе (6 экспертов) выполнялось субъективное шкалирование каждого из оставшегося 81 высказывания по двум критериям: важности/уместности высказывания и четкости формули­ровки. На основании суммарных оце­нок по всей группе экспертов было отобрано 51 высказывание.

Процедура определения структуры оценок удовлетворенности интернет- сайтом. Выделение обобщенных компонентов в структуре удовлетворенно­сти интернет-сайтом осуществлялось на основе факторного анализа боль­шого массива данных, собранного по результатам специально организован­ного интерактивного опроса, в кото­ром приняли участие лица, регулярно пользующиеся Интернетом. Респон­денты должны были выбрать из зара­нее подготовленного списка сайтов те, с которыми они чаще всего работают, и оценить последовательно каждый из них по всему набору пунктов, вклю­ченных в состав предварительного ва­рианта методики. В список вошли не­которые из наиболее популярных рус­скоязычных сайтов разных категорий: почтовые серверы, социальные сети, интернет-дневники, информацион­ные порталы, тематические коллекции и хранилища файлов.


Рисунок 3. Эксперт выполняет свободную сортировку высказываний

Опрос проводился путем заполне­ния респондентами бланка предвари­тельного варианта методики, размещенного на специально организован­ной интернет-странице. Формат страницы включал инструкцию для участника исследования, поле для вво­да его имени и полный перечень пун­ктов предварительного варианта мето­дики (51 высказывание), расположен­ных в случайном порядке. В ответах респонденты отмечали степень свое­го согласия/несогласия с каждым утверждением, используя 7-балльную оценочную шкалу.

В опросе приняло участие 138 че­ловек (средний возраст 23,9 года, стан­дартное отклонение — 5,9). Из них 53% женщин и 47% мужчин. Каждый участник оценил от 1 до 13 сайтов (в среднем, около 2,5). В результате мы получили 340 заполненных бланков опросника. После исключения оце­нок, являвшихся статистическими выбросами, в дальнейшем анализе ис­пользовалось 319 бланков.

Результаты факторного анализа данных. Факторизация всего массива первичных данных позволила выделить устойчивую 4-факторную структуру опросника, описывающую 60,3% об­щей дисперсии. Выделенные факторы хорошо дифференцируются по соста­ву пунктов опросника, получивших максимальные нагрузки. На уровне качественного анализа различия между факторами легко проинтерпретировать как относящиеся к разным аспектам удовлетворенности работой с интер­нет-сайтом. Так, фактор 1 объединяет пункты, характеризующие степень надежности, отсутствия сбоев/затрудне­ний и оптимальности функциональных взаимодействий, обеспечивающих эф­фективность работы пользователя с сайтом. На основе повторной факторизации пунктов в составе первого фактора было выделено два фактора более низкого порядка: «надежность» и «функциональность», однако в даль­нейшем, при валидизации методики, наличие двух отдельных субфакторов не подтвердилось.

Фактор 2 включает оценки легкос­ти, понятности и доступности овладе­ния действиями, которые необходимы для работы с сайтом, что можно интер­претировать как простоту его исполь­зования и обучения работе с ним. Фак­тор 3 содержит пункты, указывающие на ценность результатов, достигаемых при работе с сайтом (экономия времени, ресурсов, помощь при решении значимых для пользователя задач), т. е. на полезность сайта. В фактор 4 вхо­дят различные аффективно окрашен­ные оценки, характеризующие воз­можность удовлетворения различных потребностей и интересов пользовате­ля при работе с сайтом, или его эмоци­ональную привлекательность. Таким образом, описанная факторная струк­тура позволяет выделить различные смысловые блоки в списке утвержде­ний, включенных в предварительный вариант методики, что создает основу для подготовки ее более компактной и структурированной версии.

Подготовка рабочего варианта ме­тодики и ее предварительная психомет­рическая оценка. Процедура подготовки рабочего варианта методики состо­яла в выделении основных шкал опросника, соответствующих составу описанной четырехфакторной струк­туры, и отбора наиболее информатив­ных утверждений по каждой из них. Выбор осуществлялся по величине факторной нагрузки отдельных пунк­тов (не менее 0,4) и отсутствию отри­цательного вклада в общий показатель надежности-однородности соответ­ствующей шкалы (по критерию альфа Кронбаха). В результате, из предвари­тельного перечня утверждений было отобрано 25 пунктов, вошедших в ра­бочий вариант методики.

Предварительная оценка валидно­сти методики продемонстрировала высокую надежность-согласованность ее шкал (показатели альфа Кронбаха от 0,82 до 0,89), а также высокую дифференцирующую чувствительность методики. В рамках большинства те­матических категорий сайтов были об­наружены статистически достоверные различия оценок различных сайтов по нескольким шкалам методики ОПУС. В большинстве случаев сайты с более высокими темпами роста посещаемо­сти получали более высокие оценки пользователей.

Дифференцирующая чувствитель­ность и конструктная валидность мето­дики подтверждаются наличием характерных различий «пиков», доминиру­ющих на профилях, которые легко соотнести со спецификой целевого на­значения сравниваемых сайтов (см. рисунок 4). Так, сайт «В контакте» по­лучил максимально высокие оценки по шкале «простота», тогда как величина показателя по шкале «полезность» ми­нимальна и находится в зоне отрица­тельных Z-значений. Это, скорее всего, связано с использованием данного сайта как «площадки» для свободного общения, не ориентированного на про­фессиональные интересы и выполне­ние рабочих заданий. В оценках сайта Gmail.com наиболее высокое значение имеет показатель по шкале «полез­ность», что в сочетании с выраженны­ми позитивными оценками по шкалам «эффективность» и «простота» свиде­тельствует о том, что пользователи удовлетворены им, прежде всего, как инструментом для осуществления бы­стрых и точных электронных коммуни­каций. Сайт Wikipedia максимально высоко оценивается одновременно по показателям двух шкал — «полезность» и «эмоциональная привлекатель­ность», что хорошо согласуется с его общей информационной и образова­тельной направленностью, присущей энциклопедии массового пользования.


Рисунок 4. Пример сравнительных оценок удовлетворенности работой с высокочастотными сайтами разных категорий: социальная сеть – «В контакте»; электронная почта – Gmail.com; энциклопедия – Wikipedia.

Более подробно процедура раз­работки методики и предваритель­ной психометрической оценки опи­сана в [3].

Эмпирическая верификация методики ОПУС

Этапы валидизации методики. Валидизация методики состояла из двух этапов. На первом этапе был проведен еще один интерактивный опрос на от­дельной выборке респондентов с це­лью проверки надежности шкал и отдельных пунктов методики, а также ее конструктной и критериальной валид­ности. По результатам опроса был под­готовлен окончательный вариант методики. Второй этап валидизации представлял собой экспериментальное исследование с использованием цело­го комплекса субъективных и объек­тивных показателей удовлетворенно­сти программным продуктом и эффек­тивности его использования, включая индикаторы глазодвигательной актив­ности и показатели ЭКГ. Настоящая статья посвящена первому этапу валидизации. Результаты эксперименталь­ного исследования будут опубликова­ны отдельно.

Подготовка методического инстру­ментария для валидизации методики в рамках интерактивного опроса. Для оценки в рамках интерактивного оп­роса было выбрано 18 популярных сайтов различных категорий (почто­вые серверы, социальные сети, Интер­нет СМИ, агрегаторы новостей и сай­ты с прогнозом погоды), которые мо­гут использоваться в контексте трудовой деятельности и данные о по­сещаемости которых регулярно пуб­ликуются в рамках панельного иссле­дования TNS Web Index. Последнее обеспечивало наличие внешнего объективного критерия успешности сайтов. Также для оценки критериаль­ной валидности методики была введе­на дополнительная шкала субъектив­ной оценки «Общая удовлетворен­ность». В ее состав вошли 3 пункта: «В целом, этот сайт меня вполне удовлет­воряет», «Как часто вы пользуетесь этим сайтом?», «Порекомендовали бы вы этот сайт своим знакомым?»

Процедура проведения опроса. Рес­понденты переходили на специально организованный сайт, где отмечали в списке предлагаемых для оценки сай­тов те, «которыми они регулярно пользуются или которые достаточно хорошо представляют». Последующие страницы опроса предъявлялись по числу выбранных сайтов. На каждой странице было приведено название сайта, который надо оценить, пол­ный перечень пунктов рабочего ва­рианта методики (25 пунктов), рас­положенных в случайном порядке, а также 3 пункта дополнительной шка­лы «Общая удовлетворенность» и поля для словесной характеристики сайта. В последние респонденты должны были ввести несколько прилагатель­ных: от 1 до 3 по собственному усмот­рению, которые характеризуют основ­ное их впечатление от сайта.

Участники обследования. В опросе приняли участие 124 человека (68% женщин, 32% мужчин, средний возраст 26,8 года, стандартное отклонение — 10,0). 83% участников используют Ин­тернет несколько раз в день, остальные не реже раза в неделю. Всего они за­полнили 653 бланка методики.

Проверка конструктной валидности и составление окончательного варианта методики. В результате факторизации массива данных была выделена струк­тура пунктов опросника, содержатель­но аналогичная модели, полученной при разработке методики (доля объяс­ненной дисперсии — 62,5%). Как уже было сказано выше, на новой выборке не подтвердилось деление фактора «Эффективность» на два субфактора.

В соответствии с полученными данными факторного анализа из со­става методики были исключены 4 пункта, которые не удалось четко от­нести к определенной шкале. Таким образом, в окончательный вариант методики вошел 21 пункт. Ниже при­ведена полная структура методики.

Шкала 1. «Эффективность».

  • Этот сайт часто работает некор­ректно

  • Этот сайт подводил меня в важный момент

  • На сайте отсутствуют некоторые из нужных мне функций

  • Сайт заставляет совершать много лишних действий

  • При работе с сайтом возникают трудности

  • На сайте отсутствуют некоторые полезные функции или особенно­сти, к которым я привык, исполь­зуя другие сайты

  • Некоторые особенности сайта меня раздражают

Шкала 2. «Простота».

  • Мне было просто понять, как ра­ботать с сайтом

  • По внешнему виду сайта легко по­нять, как выполнить какое-либо действие

  • Все действия, выполняемые на сай­те, для меня привычны и знакомы

  • Информация на сайте проста для понимания

  • Пользоваться сайтом легко

Шкала 3. «Полезность».

  • Этот сайт нужен мне для работы

  • Сайт экономит мое время

  • Предоставляемая сайтом инфор­мация хорошо помогает в решении моих задач

  • Этот сайт необходим для повсед­невного использования

Шкала 4 «Эмоциональная привлека­тельность».

  • Этот сайт помогает мне развлечься и расслабиться

  • Мне интересно пользоваться этим сайтом

  • На сайте много интересной для меня информации

  • Данный сайт весьма оригинален

  • Этот сайт для меня привлекателен

Проверка надежности и дифферен­цирующей чувствительности методики. Значения коэффициентов альфа Кронбаха для разных шкал методики варьировались в диапазоне от 0,81 до 0,92, что говорит о ее высокой одномоментной надежности. Показатель надежности-устойчивости, получен­ный методом «тест — ретест» на выбор­ке в 28 человек, варьируется для раз­ных шкал в диапазоне от 0,613 до 0,827 (коэффициенты ранговой корреляции Спирмена между показателями по первому и второму замерам). Приве­денные показатели приемлемы, так как методика измеряет ситуативное отношение, а не устойчивые индиви­дуальные черты респондентов.

Исследование показало высокую дифференцирующую чувствитель­ность методики. При помощи однофакторного дисперсионного анализа между оценками разных сайтов каж­дой из категорий были обнаружены различия, значимые на уровне p<0,1 (см. таблицу 1), что во многих случаях достаточно в ходе практической оцен­ки эргономичности сайтов. Стоит так­же учесть, что в практике такой оцен­ки каждый респондент обычно оцени­вает одинаковый набор сайтов, что позволяет использовать более мощные статистические критерии (для связан­ных выборок).

Таблица 1. Сравнение средних оценок сайтов по шкалам методик ОПУС внутри каждой тематической категории. 

Электронная почта

Mail.ru

Рамблер почта

Яндекс почта

Количество оценок

73

52

20

Эффективность (р = 0.07)*

4.39v**

4.82"

4.26v

Простота (р = 0.07)

5.54"v

5.82л

5.09v

Полезность (р = 0.45)

4.79

4.99

4.50

Привлекательность (р = 0.43)

3.85

4.18

3.93

Социальные сети

В контакте

Одноклассники

Мой мир

Количество оценок

74

28

19

Эффективность (р = 0.01)

4.62"

3.79v

3.80v

Простота (р = 0.001)

5.95л

4.40v

4.27v

Полезность (р = 0.001)

4.21"

2.25v

2.83v

Привлекательность (р = 0.001)

5.09"

3.40v

3.07v

Агрегаторы новостей

Яндекс Новости

Mail.ru Новости

Рамблер Новости

Количество оценок

38

28

17

Эффективность (р = 0.25)

5.08

4.56

4.78

Простота (р = 0.64)

5.61

5.41

5.33

Полезность (р = 0.24)

4.13

3.67

4.44

Привлекательность (р = 0.08)

4.65a

4.00b

4.84ab

Интернет СМИ

Лента.ру

РБК

РИА Новости

Вести

Количество оценок

33

29

21

18

Эффективность (р = 0.06)

5.43"

4.75"v

4.74v

5.02"v

Простота (р = 0.11)

5.70

5.35

4.90

5.09

Полезность (р = 0.35)

4.03

4.41

3.98

3.76

Привлекательность (р = 0.05)

4.93"

4.57"v

4.12v

4.06v

Прогноз погоды

Гисметео

ЯндексПогода

Mail.ru Погода

Рамблер Погода

Количество оценок

61

49

20

18

Эффективность (р = 0.32)

4.65

4.96

4.59

5.04

Простота (р = 0.06)

5.30^v

5.71"

5.54^

5.69^

Полезность (р = 0.05)

4.45"v

4.76"v

4.26v

4.86"

Привлекательность (р = 0.29)

4.12

4.27

3.87

4.08

Примечания: * — достоверность различия средних оценок. ** — оценки, имеющие различные знаки, достоверно отличаются друг от друга на уровне значимости p < 0,1 на основании post-hoc критериев. Например, сайт со знаком А значимо отличается от сайта со знаком v, а сайт с обоими знаками не имеет значимых отличий ни от одного из других.

Проверка критериальной валидности методики. В качестве внешних крите­риев для оценки валидности методики использовались как субъективные по­казатели (дополнительная шкала «Общая удовлетворенность» и данные рес­пондентами словесные характеристики сайтов), так и объективный показатель скорости роста посещаемости сайта.

Результаты регрессионного анали­за показали, что оценки по шкалам ме­тодики ОПУС совокупно объясняют 63,5% дисперсии оценок по шкале «Об­щая удовлетворенность» [2]. Вторым вне­шним критерием была положительная или отрицательная валентность эпите­тов, которыми респонденты в свободной форме охарактеризовали свое об­щее впечатление от сайтов. Эпитеты были разделены автором исследова­ния на 3 группы: «позитивные», «не­гативные», «нейтральные» (к после­дним были отнесены все те эпитеты, которые не могли быть однозначно оценены как «позитивные» или «нега­тивные»).

В бланках методики, по которым сайт получил высокую суммарную по всем шкалам методики (верхний квар­тиль распределения), было 79,5% по­ложительных и 4,6% отрицательных эпитетов, наиболее часто употребляе­мыми эпитетами были «удобный», «простой», «интересный», «информа­тивный», «нужный». В бланках с низкой оценкой (нижний квартиль рас­пределения) было только 16,1% поло­жительных и 60,6% отрицательных эпитетов, наиболее частые — «неудоб­ный», «перегруженный», «запутан­ный». Различие этих распределений статистически достоверно по крите­рию хи-квадрат(91,57, df=2, p<0,001).

Третий, и объективный, внешний критерий — скорость роста аудитории сайта. Для оценки роста использовалось сравнение данных TNS Web Index о размере недельной аудитории сайтов за май 2010 и май 2011 года. Предва­рительный анализ показателей про­центного роста аудитории показал, что в целом наиболее популярные сайты в каждой категории обладают и более высокими показателями роста. Чтобы нивелировать влияние этого побочно­го фактора, для определения сайтов с быстро растущей аудиторией и мед­ленно растущей аудиторией был использован показатель отличия реаль­ного показателя роста от показателя роста, спрогнозированного при помо­щи линейной регрессионной модели на основе абсолютного размера ауди­тории сайта. В таблице 2 приведено по одному сайту из каждой тематической категории, который растет быстрее всего в сравнении с прогнозом, и од­ному, который растет медленнее всего в сравнении с прогнозом.

Таблица 2. Сайты разных категорий, рост аудитории которых в наибольшей степени отличается в большую и меньшую сторону от предсказанного на основании абсолютного размера текущей аудитории.

Категория сайтов

Более быстрый рост аудитории

Замедленный рост аудитории

Электронная почта

Яндекс Почта

Mail.ru Почта

Социальные сети

Одноклассники

Мой мир

Интернет СМИ

Вести

РИА Новости

Агрегаторы новостей

Яндекс Новости

Mail.ru Новости

Прогноз погоды

Гисметео

Рамблер Погода

Дисперсионный анализ подтвер­дил предположение о том, что сайты с более высокими темпами роста аудитории получат более высокие оценки по шкалам методики ОПУС. В каче­стве независимой переменной исполь­зовалась дихотомическая оценка быс­троты роста аудитории относительно предсказанной на основании размера аудитории сайта. Для этого из всего массива данных были выделены две группы протоколов: 1) с оценками сай­тов с наиболее быстро растущей ауди­торией в своей тематической катего­рии и 2) с оценками сайтов с наиме­нее быстро растущей аудиторией. Далее с помощью однофакторной мо­дели ANOVA проводилась оценка значимости различий отдельно по четы­рем основным шкалам методики. При этом помимо «сыых» оценок по шка­лам методики использовались оценки, взвешенные на основании средней оценки каждым респондентом одного пункта методики. Часть респондентов склонна к общему занижению, а часть к общему завышению оценок для всех оцениваемых ими сайтов. Использование взвешенных по средней оценке пункта методики данным рес­пондентом оценок нивелирует влия­ние этого фактора[3]. Сайты с быстро растущей аудиторией получили дос­товерно более высокие оценки по шкалам «Эффективность» и «Эмоци­ональная привлекательность» (см. таблицу 3), что подтверждает критери­альную валидность методики.

Таблица 3. Сравнение средних оценок сайтов с быстро и медленно растущей аудиторией по всем шкалам методики

Сайты с быстро растущей аудиторией

Сайты с медленно растущей аудиторией

Количество оценок

198

159

Эффективность

4.69**

4.47

(p = 0.09 / 0.05)*

0.02

-0.03

Простота

5.34

5.30

(p = 0.75/ 0.44)

0.16

0.13

Полезность

4.14

4.26

(p = 0.50/ 0.73)

-0.29

-0.28

Эмоциональная

4.13

3.58

привлекательность (p = 0.06 / 0.01)

-0.11

-0.18

Примечания: * — достоверность различия средних оценок: соответственно, «сырых» и взвешенных по средней оценке пункта методики соответствующим респондентом.

** — для каждой шкалы в верхней строке приведены «сырые» средние баллы по шкале, а в нижней строке — взвешенные.

Заключение

Разработанная в ходе многоэтап­ного исследования методика для оцен­ки удовлетворенности пользователей интернет-сайтами является хорошо сбалансированным по составу диагностическим инструментом. Она обладает высокой надежностью и дифферен­цирующей чувствительностью. Также была продемонстрирована критери­альная валидность методики, в том числе и с использованием объективно­го критерия успешности оценивав­шихся сайтов. Кроме того, был прове­ден моделирующий эксперимент, и продемонстрирована взаимосвязь оценок по шкалам методик ОПУС с объективными индикаторами вегета­тивно-эмоциональной напряженности и распределения когнитивной на­грузки при работе с сайтами [2].

Отличительной чертой методики является ее четкая структурирован­ность. Входящие в ее состав шкалы позволяют охарактеризовать содержа­тельные особенности разных компо­нентов образа ПП. Учитывая процессуальную направленность пользовате­ля при работе с интернет-сайтом (т. е. обращение к нему как к средству ре­шения значимых для субъекта задач), шкалы «эффективность» и «эмоцио­нальная привлекательность» опреде­ляют специфику ментальной репре­зентации сайта в целом. Реконструк­ция содержания двух других компонентов — образа результата и образа действий — осуществляется на основе оценок по шкалам «полез­ность» и «простота». Взаимосвязи между разными компонентами образа конкретного интернет-сайта находят отражение в профиле показателей по основным шкалам методики. Их соот­ношение не только указывает на пол­ноту и целостность образа ПП, но и помогает выделить «зоны дефицита» со стороны его отдельных компонен­тов, которые являются факторами риска для снижения удовлетворенно­сти пользователя.

Все это дает основание для того, что­бы рекомендовать данную методику для применения в контексте массовых оп­росов и экспериментальных исследова­ний в рамках научных исследований, а также в практике человеко-ориентированного проектирования интернет-сайтов и их внедрения в организациях. Учитывая, что подготовленный вари­ант методики является одним из пер­вых полноценных психометрических тестов в отечественной практике юза­билити-инженерии, то в будущем его можно использовать в качестве прото­типа при создании средств оценки эргономичности интерфейса ПП более широкого назначения.

Примечания:

1.Работа выполнена при финансовой поддержке РФФИ (грант № 11_06_00463_а)

2.За оценку по шкале принималась факторная оценка, полученная путем факторного анализа ответов на пункты шкалы с выделением единственного фактора.

3.Взвешенная оценка подсчитывалась по формуле: Ов = Осыр/Бср – 1, где Ов – взвешенная оценка сайта по шкале методики, Осыр – сырая оценка сайта по шкале методики, Бср – средняя оценка пункта методики во всех протоколах данного респондента. В случае с обратными пунктами методики оценка данного пункта подсчитывалась как 8 – x, где x – степень согласия с приведенным высказыванием, указанная респондентом.

Список литературы:

  1. Большой психологический словарь / Под ред. В. П. Зинченко, Б. Г. Мещерякова. — СПб: Прайм Еврознак, 2006. — 672 с.
  2. Дегтяренко И.А. Валидация опросника пользовательской удовлетворенности сайтом // Человеческий фактор: Проблемы психологии и эргономики. — 2011. - №3/1.

  3. Дегтяренко И.А., Бурмистров И.В., Леонова А.Б. Методика оценки удовлетворенности пользователей интерфейсом интернет-сайта // Вестник Московского университета, Серия 14: Психология. - 2010. - №1. - С. 94-109.

  4. Завалова Н.Д., Ломов Б.Ф., Пономаренко В.А. Образ в системе психической регуляции деятельности. - М.: Наука, 1986. - 172 с.

  5. К концу 2014 года численность интернет-пользователей составит около 80 млн человек, или 71 населения страны старше 18 лет. - База данных ФОМ, 2011. - [Электронный ресурс]. - URL: http://bd.fom.ru/report/map/bntergum07/intergum0703/pressr_130611  (дата обращения: 19.06.2011).

  6. Ang J., Soh P.H. User information satisfaction, job satisfaction and computer background: An exploratory study // Inform. & Management. - 1997. - V. 32, Iss. 5. - P. 255-266.

  7. Brooke J. SUS: a «quick and dirty» usability scale // P. W. Jordan. Usability evaluation in industry. - L.: Taylor & Francis, 1996. - P. 189-194.

  8. Chin J., Diehl V., Norman K.L. Development of a tool measuring user satisfaction of the human-computer interface // Proc. of the SIGCHI conf. on Human factors in computing systems. - New York, NY: ACM, 1988. - P. 213-218.

  9. Etezadi-Amoli J., Farhoomand A.F. A structural model of end user computing satisfaction and user performance // Inform. & Management. - 1996. - V. 30, Iss. 2. - P. 65-73.

  10. Frandsen-Thorlacius O., Hornbaek K., Hertzum M., Clemmensen T. Non-universal usability: a survey of how usability is understood by Chinese and Danish users // Proc. of the 27th intern. conf. on Human factors in computing systems (CHI ’09). - New York, NY: ACM, 2009. - P. 41-50.

  11. Hornbaek K. Current practice in measuring usability: Challenges to usability studies and research // Intern. Journ. of Man-Machine Studies. - 2006. - 64. - P. 79-102.

  12. Igbaria M., Tan M. The consequences of information technology acceptance on subsequent individual performance // Inform. & Management. - 1997. - V. 32, Iss. 3. - P. 113-121.

  13. ISO 9241-11 - Ergonomic requirements for office work with visual display terminals (VDTs). Part 11: Guidance on usability. - Geneva: ISO, 1998. - 22 p.

  14. ISO/IEC FDIS 9126-1. Software Product Quality - Part 1: Quality Model. - Geneva: ISO, 2000. - 25 p.

  15. Keiningham T.L., Cooil B., Andreassen T.W., Aksoy L. A longitudinal examination of net promoter and firm revenue growth // Journ. of marketing. - 2007. - V. 71, Iss. 3. - P. 39-51.

  16. Kirakowski J., Claridge N., Whitehand R. Human centered measures of success in Web Site Design // Proc. of the 4th Conf. on human factors and the web. - Basking Ridge, NJ, 1998. - [Электронный ресурс]. - Режим доступа: http://research.microsoft.com/en- us/um/people/marycz/hfweb98/kirakowski/  (дата обращения: 27.09.2011).

  17. Lewis J.R. IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use // Intern. J. of Human-Computer Interact. - 1995. - V. 7. Iss. 1. - P. 57-78.

  18. Lindgaard G., Dudek C. What is this evasive beast we call user satisfaction? // Interacting with computers. - 2003. - V. 15, Iss. 3. - P. 429-452.

  19. Lund A.M. Measuring usability with the USE Questionnaire // STC Usability SIG Newsletter. - 2001. - V. 8, №2. - [Электронный ресурс]. - Режим доступа: http://www.stcsig.org/usability/newsletter/0110_measuring_with_use.html  (дата обращения: 27.09.2011).

Для цитирования статьи:

Дегтяренко И. А.Оценка удовлетворенности пользователя работой с интернет-сайтом. // Национальный психологический журнал. 2012. № 1. c.95-103. doi:

Скопировано в буфер обмена

Скопировать