Магистр.диссертация (1194675), страница 10
Текст из файла (страница 10)
Для обучения был выбран алгоритм машинного обучения Multiclass decision forest (дерево решений для многоклассовой классификации), так как набор данных содержит экземпляры трех разных типов (собраны величины, характерные для пользователя различного уровня подготовки – начального, среднего, профессионального). Для каждого экземпляра существует несколько значений признаков – величин в столбцах таблицы, представленной на рисунке 3.6.
В данной модели были использованы следующие модули:
Multiclass Decision Forest (модуль, реализующий алгоритм машинного обучения «Деревья решений для многоклассовой классификации»);
Split Data (модуль для разделения данных с целью создания двух подмножеств: одно для обучения и второе – для оценки и анализа полученных результатов);
Training Model (модуль обучения модели);
Score Model (модуль для оценки модели);
Evaluate Model (модуль для анализа модели).
Рабочая область Microsoft Asure с созданной моделью представлена на рисунке 3.6.
Рисунок 3.6 – Рабочая область Microsoft Asure с созданной моделью
Для модуля обучения модели был указан столбец train_level, содержащий признак уровня подготовки пользователя. Для модуля разделения данных был указан параметр 0,75 (данные разбиваются на две неравные части: 75% и 25%, большая часть будет использована для обучения модели, а меньшая – для проверки ее работы).
Для поверки работы созданной модели необходимо запустить эксперимент. После окончания процесса выполнения эксперимента модель выглядит, как на рисунке 3.9.
В зависимости от выбранного целевого параметра (метки) для модуля Training Model (Обучение Модели) можно научить созданную модель по данным о работе пользователя в программной среде распознавать (предсказывать) нарушение того или иного принципа организации диалога пользовательского интерфейса, имеющее место в программном продукте.
Рисунок 3.7 – Обученная модель
Рисунок 3.8 – Оценка 25% оставшихся данных, метка «train_level»
Рисунок 3.9 – Оценка 25% оставшихся данных, метка «train_level»
4 Описание разработанной методики и перспективы ее использования
Для набора данных был применен метод оценки интерфейса «фокус-групп», предполагающий использование анкетирования и других подобных методов сбора информации.
Шаг 1. В работе был составлен набор общих вопросов, направленных на выявление наличия затруднений, с которыми сталкивались пользователи разного уровня подготовленности (начальный, средний, профессиональный) при работе с данным программным продуктом. Вопросы сформулированы таким образом, чтобы их по возможности можно было использовать для оценки любого приложения, содержащего стандартные элементы управления интерфейсом и реализующего общепринятые методы работы с этими элементами. В качестве исследуемого программного продукта было выбрано приложение «РПД», используемое для автоматизации обеспечения учебно-методического процесса. Благодаря общей направленности вопросов, ответы на них содержат информацию о наличии/отсутствии несоответствий принципам организации диалога пользовательского интерфейса, существующих в приложении.
При ответе пользователей на вопросы анкеты необходимо учитывать субъективность мнения пользователя о приложении.
Шаг 2. Для исключения данных факторов было предложено собрать информацию о действиях пользователя непосредственно во время его работы в среде исследуемого программного продукта. Для этого была разработана программа, регистрирующая действия пользователя (координаты курсора, работа с мышью и клавиатурой, время выполненных действий) в процессе выполнения им определенного, одинакового для всех испытуемых алгоритма. Использование набора стандартных задач, одинаковых для всех пользователей, позволило исключить влияние на полученные результаты таких уникальных для каждого пользователя факторов, как:
– временные затраты на поиск необходимой информации для ввода (например, при вводе темы занятия – время на ее формулировку и т. д.);
– произвольный выбор этапа выполнения производственного задания и т. д.
Анализ и визуализация полученных данных позволили выявить набор показателей, характеризующих работу пользователя в выбранном программном продукте количественно:
– общее время, затраченное пользователем для выполнения задания
– количество временных промежутков, в течение которых отсутствовали действия пользователя и курсор не перемещался;
– количество временных промежутков, в течение которых отсутствовали действия пользователя и курсор перемещался;
– максимальный промежуток времени, в течение которого пользователь не выполнял никаких действий, и курсор не перемещался;
– общее количество щелчков левой кнопкой мыши, выполненное пользователем за весь исследуемый временной период;
– уровень подготовки пользователя и т. д. (полный список полученных количественных характеристик приведен в п. 3.3. работы).
На данном шаге предлагаемой методики имеется возможность автоматизировать процесс описания типичного поведения пользователя определенного уровня подготовки в исследуемом программном продукте с использованием количественных характеристик.
Шаг 3. Полученные в результате выполнения выше описанных шагов данные объединены в один набор данных, который был использован для создания и обучения модели по выбранному алгоритму машинного обучения в среде Microsoft Azure Machine Learning Studio.
Таким образом, предложенная в работе методика позволяет на основе данных, собранных в процессе работы пользователя в исследуемом приложении, определить (предсказать) уровень его подготовки или нарушение соответствия определенному принципу организации диалога пользовательского интерфейса.
Определение уровня подготовки пользователя, реализующего производственную задачу в среде исследуемого приложения, является важной задачей для послепродажного обслуживания программного продукта. Эту информацию можно использовать для динамической организации взаимодействия диалога пользователя и программной среды, например:
– предлагать пользователю начального уровня подготовки дополнительные контекстные подсказки или информацию справочного характера, отобразить для него больше элементов управления и т.д.;
– для пользователя профессионального уровня подготовки скрывать лишние команды меню и элементы управления, в контекстных подсказках размещать информацию о способах повышения эффективности приемов работы (например, сочетания клавиш), скрывать информацию справочного характера, уменьшать количество шагов диалога при выполнении этапов производственного задания и т. д.
Выявление нарушений соответствия тому или иному принципу организации диалога пользовательского интерфейса важно для разработчиков, это позволяет понять затруднения, которые пользователь испытывает при работе с программным продуктом, и предпринять действия по их устранению в процессе дальнейшего обслуживания (например, при обновлении программного продукта).
В дальнейшем планируется сделать процесс оценки доступным для любых пользователей посредством развертывания эксперимента в качестве web-службы Azure, с помощью которой пользователи смогут отправлять данные обученной модели и получать прогнозы о наличии несоответствий принципам организации диалога пользовательского интерфейса для любых приложений.
ЗАКЛЮЧЕНИЕ
В работе была предложена методика оценки соответствия принципам организации диалога пользовательского интерфейса программных продуктов на примере приложения, применяемого для обеспечения учебно-методического процесса.
Предложенная в работе методика позволяет на основе данных, собранных в процессе работы пользователя в исследуемом приложении, определить (предсказать) уровень его подготовки или нарушение соответствия определенному принципу организации диалога интерфейса.
В первой части работы проведен обзор правил проектирования интерфейсов, действующих стандартов для из разработки.
Во второй части работы описана исследуемая предметная область, специфика используемого в этой области программного обеспечения, обоснован выбор программных инструментов.
Третья часть содержит описание процесса разработки методики оценки соответствия выбранного программного продукта принципам организации диалога пользовательского интерфейса.
В четвертой части описаны полученные результаты, подведены итоги работы и изложены рекомендации по дальнейшему использованию предложенной методики.
Цель данной работы достигнута, поставленные задачи решены.
В перспективе планируется сделать процесс оценки доступным для любых пользователей посредством развертывания эксперимента в качестве web-службы Azure, с помощью которой пользователи смогут отправлять данные обученной модели и получать прогнозы о наличии несоответствий принципам организации диалога пользовательского интерфейса для любых приложений.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1 Тидвелл Д. Разработка пользовательских интерфейсов/Дженнифер Тидвелл.- Питер: 2007.- 244с.
2 Гультяев А.К. Проектирование и дизайн пользовательского интерфейса / Гультяев А.К., Машин В.А. Санкт-Петербург: Корона Принт, 2000.-352 с.
3 Cooper. About Face 2.0: The Essentials of Interaction Design / Alan Cooper, Robert Reimann. – Wiley Publishing Inc., 2003. – 540 с.
4 Мандел Т. Разработка пользовательского интерфейса. — Изд-во «ДМК», 2001.-416 с.
5 D. Kieras. A Guide to GOMS Model Usability Evaluation using GOMSL and GLEAN3 – University of Michiganю, 2002.
6 Головач, В.В. Дизайн Пользовательского Интерфейса / В.В. Головач // Дизайн ПИ. – 2008. – 141 с.
7 Головач В. 5 Правил хорошего интерфейса, – М.: Открытые системы, Паблиш №6, 2000.
8 Official Guidelines for User Interface Developers and Designers – Microsoft Corporation, 2003. User Interface Architecture Second Edition – IBM Corporation, 2001.
9 User Interface Architecture Second Edition – IBM Corporation, 2001.
10 Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем. Изд-во «Символ - Плюс»,2003. - 272 с.
11 Aqua Human Interface Guidelines – Apple Computer Corporation, 2002.
12 Macintosh Human Interface Guidelines – Apple Computer Corporation, 2002.
13 Торрес, Р.Дж. Практическое руководство по проектированию и разработке пользовательского интерфейса – М.: Вилиямс, 2002.
14 Michael C. Medlock и др. Using the RITE method to improve products – Microsoft Corporation, 2002.
15 Scott Berkun The Human Factor: The Art of UI Prototyping – Microsoft Corporation, 2000.
16 ГОСТ 28195-89, Оценка качества программных средств.
17 ГОСТ Р ИСО/МЭК 9126-93, Оценка программной продукции.
18 Microsoft Corporation. 1995. The Windows Interface Cuidelines for Software Design. Redmond, WA: Microsoft Press.
19 Nielsen, Jakob. 1990. Traditional dialogue design applied to modern user interfaces. Communication of the ACM 33(10), pp. 109-118.
20 Burnstein I Practical Software Testing. A process-oriented approach Springer-Verlag, New York, 2003, - 732 p
21 ISO 13407:1999. Human-centred design processes for interactive systems International Organization for Standardization. 01-Jun-1999, 26 p.
22 SO/IEC 9126-1:2001. Software engineering -- Product quality -- Part 1: Quality model International Organization for Standardization/International Electrotechnical Commission. 01-Jun-2001, 25 p.
23 Руденко О.Г., Бодянский Е.В. Искусственные нейронные сети: Учебное пособие. – Харьков: ООО «Компания СМИТ», 2005. – 408 с.
24 Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. Пособие для вузов. – М.: ИПРЖР, 2001. – 385 с.
25 Горбань А.Н. Обучение нейронных сетей. – М.:СП“ПараГраф”,1990. – 159 с.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
