Мешкова М.А. Диссертация Методология разработки системы тестирования (Методология разработки системы тестирования)

Министерство транспорта Российской Федерации

Федеральное агентство железнодорожного транспорта

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Дальневосточный государственный университет путей сообщения»

Кафедра «Вычислительная техника и компьютерная графика»

К ЗАЩИТЕ ДОПУСТИТЬ

Заведующий кафедрой

______Ю.В. Пономарчук

«_____»___________2017

МЕТОДОЛОГИЯ РАЗРАБОТКИ СИСТЕМЫ ТЕСТИРОВАНИЯ

Выпускная квалификационная работа

ВКР 09.04.01.ИВТ.04.00.ИВ2 – ПЗ

Студент гр. ИВ-2 М.А. Мешкова

Руководитель

к.т.н, доцент Е.В. Фалеева

Нормоконтролер

к.т.н, доцент Е.В. Буняева

Хабаровск 2017

Содержание

Введение 5

1 Стандарты web-разработки 11

1.1 Международные стандарты web-разработки 11

1.1.1 Этапы разработки спецификаций W3C 11

1.1.2 Основы современных web-стандартов W3C 12

1.1.3 Web-дизайн и приложения 14

1.2 Российские стандарты web-разработки 17

1.2.1 Интернет-ресурсы. Требования доступности для инвалидов по

зрению 18

1.3 Выводы по 1 главе 18

2 Методология разработки системы тестирования 19

2.1 Составление заданий для системы тестирования 22

2.2 Требования к технологиям компьютерного тестирования 25

2.3 Оценка результатов тестирования 31

2.4 Формы построения тестовых заданий 36

2.5 Выводы по 2 главе 39

3 Проектирование интерфейса 40

3.1 Научные основы проектирования пользовательских интерфейсов 40

3.2 Общие принципы проектирования графического интерфейса 42

3.3 Ориентация на пользователя при проектировании графического

интерфейса 43

3.3.1 Первый принцип – контроль интерфейса пользователем 44

3.3.2 Второй принцип – уменьшение нагрузки на пользователя 44

3.3.3 Третий принцип – логичность построения графического интерфейса 45

3.4 Организация диалога с пользователем 46

3.4.1 Языковая модель 47

3.4.2 Основные виды проектирования графического интерфейса 47

3.5 Обеспечение обратной связи 48

3.6 Расположение элементов интерфейса (ЭИ) на экране 48

3.7 Проектирование элементов навигации приложения 49

3.8 Основные положения проектирования дизайна интерфейса 50

3.8.1 Структура окна 52

3.9 Дизайн приложения 52

3.9.1 Правило 1 «Свет и тени» 52

3.9.2 Правило 2 «Начинать с ограничений» 53

3.9.3 Правило 3 «Использование белого пространства» 54

3.9.4 Основные положения Material Design 54

3.9.5 Тактильные поверхности 55

3.9.6 Полиграфический дизайн 56

3.9.7 Осмысленная анимация 59

3.9.8 Адаптивный дизайн 59

3.10 Психофизиология графических интерфейсов 60

3.10.1 Правило 7 2 60

3.10.2 Геометрическая память человека 63

3.10.3 Группировки объектов 64

3.10.4 Контраст формы 66

3.10.5 Баннерная слепота 67

3.10.6 Лица и взгляд 68

3.10.7 Контраст цвета 69

3.10.8 Контраст размера 69

3.10.9 Контраст движения 71

3.9.10 Чтение информации 71

3.9.11 Изображения с текстом 71

3.9.12 Пиктограммы 72

3.9.13 Контраст фона 72

3.9.14 Засечки 72

3.9.15 Длина строки 73

3.9.16 Интерлиньяж 73

3.9.17 Оформление текста 74

3.9.18 Обратная пирамида текста 75

3.11 Выводы по 3 главе 76

4 Проектирование демонстрационной версии системы тестирования 77

4.1 Техническая информация о приложении 77

4.2 Структура приложения 78

4.2.1 Структура режима пользователя 80

4.2.2 Структура режима администратора 91

4.3 Особенности интерфейса системы тестирования 97

4.4 Особенности дизайна интерфейса 99

4.5 Выводы по 4 главе 104

5 Значимость проекта 105

5.1 Выводы по 5 главе 107

Заключение 108

Список использованных источников 110

Приложение А Код страницы «Информация о тестированиях» в режиме

пользователя 114

Введение

Актуальность темы исследования. В настоящее время предприятия заинтересованы, прежде всего, в получении прибыли, поэтому нередки случаи проведения внутреннего анализа эффективности работы персонала для повышения качественных показателей компании. Данные исследования помогают выявлять работников, приносящих предприятию наименьшую прибыль. Но число таких специалистов можно значительно уменьшить, если еще в процессе приема на работу проверять уровень их компетентности на рассматриваемую должность.

Инструментом для оценки уровня компетентности работников на предприятии может стать система тестирования. Следует отметить, что в России проводят тестирования на предприятиях, но в основном данные тесты психометрические и направлены на выявление определенных личностных качеств сотрудников предприятия. На основе проведенных исследований [12], порядка 20% предприятий РФ проводят тестирование при приеме на работу новых сотрудников, но зачастую результаты данных тестов являются недостоверными ввиду некорректно составленных заданий для тестирования.

Метод тестирования может использоваться для составления индивидуальной оценки каждого из сотрудников предприятия и комплексной оценки для всего коллектива, направленной на проверку эффективности его работы. К тому же, по результатам коллективного тестирования можно сделать выводы, направленные на оптимизацию производительности, улучшив условия труда для сотрудников. Также тестирование помогает выявить факторы, которые положительно или отрицательно влияют на продуктивность работы, мотивацию и развитие сотрудников.

При помощи системы тестирования персонала можно получить ответы на следующие вопросы:

– как правильно подобрать сотрудников на каждую из вакансий;

– как выявить лидерские качества сотрудника;

– как определить, на какую из существующих должностей назначить сотрудника;

– как развивать деловые качества сотрудников;

– как организовать эффективную трудовую деятельность;

– как оценить результаты деятельности руководителей.

Это только краткий список вопросов, ответы на которые может предоставить тестирование сотрудников.

Степень изученности проблемы. Среди зарубежных исследователей методов конструирования тестов, классической и современной теорий тестирования можно выделить П. Клайна, Л. Крокер, Л. Гуттмана, Г. Гулликсена, Д. Алгина, Ф. Лорда, Г. Раша, А. Бирнбаума.

Среди отечественных исследователей классической и современной теорий тестирования можно выделить В. Кима, В. Аванесова, М. Челышкову, С. Каракозова.

Среди зарубежных исследователей принципов проектирования графических интерфейсов можно выделить А. Купера, Н. Бабича, А. Л. Тёрнера, Е. Д. Кеннеди, Дж. Калбач, Д. М. Джонса, Дж. Миллера.

Среди отечественных исследователей принципов проектирования графических интерфейсов можно выделить С. Жаркова, Я. Шуваева, А. Лебедева, В. Головача.

Цель магистерской диссертации: составление методологии разработки системы тестирования.

Исходя из данной цели, сформированы следующие направления научно-исследовательской работы:

– российские и зарубежные стандарты web-разработки;

– проблемы, связанные с уровнем компетентности работников на предприятии;

– теории тестирования, методы оценки;

– особенности компьютерного тестирования;

– методы составления заданий для системы тестирования;

– анализ и сравнение существующих систем тестирования, поиск недостатков;

– принципы проектирования графического интерфейса пользователя;

– дизайн графического интерфейса пользователя;

– психофизиология пользовательских интерфейсов;

– разработка демонстрационной версии системы тестирования.

Объект исследования – системы тестирования, графические интерфейсы пользователя.

Предмет исследования – недостатки современных систем тестирования и способов конструирования тестов, анализ принципов проектирования графических интерфейсов пользователя и поиск оптимального варианта для разрабатываемой методологии.

Теоретическая и методологическая основа исследования. Теоретической и методологической основой работы является применение объективных принципов научного познания. В процессе исследования проблем по выбранной теме производился упор на фундаментальную и специальную литературу отечественных и зарубежных исследователей по проблемам, связанным с уровнем компетентности работников на предприятии, составлением заданий для системы тестирования, выбором оптимальной теории тестирования, оцениванием результатов тестирования, проектированием графического интерфейса пользователя.

Основные результаты исследования заключаются в следующем:

1. Произведен выбор оптимальных принципов составления заданий для компьютерной системы тестирования.

2. Определены способы оценки качества заданий для компьютерной системы тестирования.

3. Выведена взаимосвязь использования способа интерпретации результатов тестирования в зависимости от цели.

4. Определены способы оценки результатов тестирования.

5. Произведен анализ графических интерфейсов пользователя и выбраны необходимые положения проектирования интерфейса для разрабатываемой системы тестирования.

6. Проведен анализ дизайна и психофизиологии графических интерфейсов пользователя, и выведены необходимые положения из данных областей.

Научная новизна исследования состоит в следующем: составлена методология разработки системы тестирования, включающая в себя аспекты, связанные как с рекомендациями для конструирования тестовых заданий, их оценки и надежности, так и с вопросами проектирования и дизайна графических интерфейсов пользователя.

Теоретическая значимость магистерской диссертации состоит в систематизации существующих методов составления тестовых заданий и проектирования интерфейсов пользователя, выведений новых правил в данных областях, необходимых для разработки систем тестирования для государственных и коммерческих предприятий, а также учебных заведений.

Практическая значимость проведенных исследований заключается в том, что разработанная методология разработки системы тестирования, а также ее отдельные главы могут применяться в государственных и коммерческих предприятиях, а также в учебных заведениях. В настоящее время происходит процесс внедрения системы тестирования, разработанной на основе составленной методологии.

Публикации результатов исследования. Основные результаты исследования опубликованы в 3 статьях, в том числе одном зарубежном научном издании и апробированы в докладе на научно-практической конференции творческой молодежи с международным участием «Научно-техническое и социально-экономическое сотрудничество стран АТР в XXI веке». (Апрель 2017, Хабаровск, ДВГУПС).

Основные положения исследования опубликованы в следующих работах:

Статьи в зарубежных научных журналах:

1. Meshkova M. The basic principles applied when developing web-applications / M. Meshkova, E. Faleeva, R. Eshenko // 3rd International Conference «Science and practice: a new level of integration in the modern world» Mach 5, 2017, Sheffield, UK. – USA: B&M Publishing, 2017 – 130p (pages 119-122).

Статьи в профессиональных журналах и научных сборниках, доклады на конференциях, научно-методические работы:

1. Мешкова М. Методология разработки системы тестирования по производственному стандарту предприятия / М. Мешкова, Е. Фалеева // Научно-техническому и социальному развитию Дальнего Востока – инновации молодых (Том 2). Март 2016 / Тезисы докладов Межвузовской 74-й студенческой научно-практической конференции. – Хабаровск, ДВГУПС, 2016 – 310с. (стр. 268).

2. Мешкова М. Основные принципы проектирования графического интерфейса web-приложений / М. Мешкова, Е. Фалеева // Научно-техническое и социально-экономическое сотрудничество стран АТР в XXI веке. Апрель 2017. – Хабаровск, ДВГУПС, 2017 (готовится к изданию).

Структура и краткое содержание работы. Пояснительная записка состоит из введения, пяти глав, заключения, списка использованных источников, приложения. Работа проиллюстрирована таблицами и рисунками.

Во введении отражены актуальность, состояние и степень изученности проблемы, определены цели и задачи, предмет и объект исследования, сформулирована научная новизна и практическая значимость работы.

В первой главе рассмотрены современные международные и российские стандарты web-разработки, выявлены положения, которые необходимо использовать в практической части выпускной квалификационной работы

Во второй главе рассмотрены правила составления тестовых заданий для системы тестирования, особенности составлений заданий для систем компьютерного тестирования, формы построения тестовых заданий. Также выведена комбинация теорий тестирования, необходимая для разрабатываемой системы тестирования. Исследованы инструменты для оценки результатов тестирования, а также установлена взаимосвязь использования определенного способа интерпретации результатов тестирования в зависимости от цели его проведения. Результаты данных исследований легли в основу разрабатываемой методологии.

В третьей главе рассмотрены основные положения проектирования графических интерфейсов пользователя, особенности проектирования интерфейса web-приложений, включая ориентацию на пользователя, структуру организации диалога с пользователем, обеспечение обратной связи, расположение элементов интерфейса на экране, проектирование элементов навигации. Выводы, сделанные в результате данных исследований легли в основу разрабатываемой методологии и использованы при проектировании интерфейса демонстрационной версии системы тестирования. Также в этой главе описываются исследования в области дизайна и психофизиологии графических интерфейсов. Результаты данных исследований также легли в основу разрабатываемой методологии и использованы при проектировании интерфейса демонстрационной версии системы тестирования.

В четвертой главе описан процесс проектирования демонстрационной версии системы тестирования. В процессе проектирования использованы результаты, полученные в ходе научно-исследовательской работы, описанные в 1-3 главах данной пояснительной записки.