ВКР: Исследование методик тестирования разговорных интерфейсов

В данной ВКР исследуется проблема тестирования разговорных интерфейсов. Целью работы является исследование методик тестирования ПО, которые можно использовать для определения качества чат-ботов, и оценка их работы. В тексте рассматриваются теоретические вопросы тестирования программных продуктов, разработки и тестирования диалоговых интерфейсов, а также устройство платформы JAICP. В практической части данного исследования описывается создание диалогового агента, выполняющего роль консультанта по правилам игры DnD, процесс и результаты его тестирования.

Ключевые слова: диалоговая система, разговорный интерфейс, чат-бот, тестирование ПО, тестирование чат-ботов, методика тестирования.

The graduation qualification paper deals with the issue of conversational agents testing and is aimed at determining the methods of software testing which are applicable to evaluating a chat-bot’s quality. The paper addresses theoretical questions of software testing, the design and testing of dialogue interfaces, and the structure of JAICP – a platform for chat-bots’ development. In the second part of the paper you can find the description of a conversational agent which acts as a consultant for the rules of the game DnD, and the process and the results of its testing.

Keywords: dialogue system, conversational agent, chat-bot, software testing, chat-bot testing, testing methods.

Оглавление

Введение…………………………………………………………….……....5
1. Тестирование и диалоговые интерфейсы
1.1 Тестирование программных продуктов
1.1.1 Определение тестирования……...…………………………………...7
1.1.2 Подходы к тестированию…………………………………………….9
1.1.3 Процесс тестирования………………………….………………...…11
1.1.4 Подготовка к тестированию………………………….….……….…12
1.1.5 Тест-дизайн……………………………………………….…………14
1.1.6 Методики тестирования…………………………………………….17
1.1.7 Автоматизация тестирования………………………………………22
1.1.8 Принципы хорошего тестирования……………….……….……….25
1.2 Диалоговые системы
1.2.1 Определение диалоговой системы и ее актуальность в современном мире………………………………….……….………….…………...29
1.2.2 Функции диалоговых систем…………………………….…………31
1.2.3 Архитектура диалоговой системы и инструменты для ее
разработки………………………………………………….……..….32
1.2.4 Рекомендации по разработке диалоговой системы……………….35
1.2.5 Компания JUST AI и платформа JAICP………………………….…37
1.2.6 Тестирование диалоговых систем………...……….…………….…40
2. Проверка методик тестирования на диалоговой системе
2.1 Описание чат-бота
2.1.1 Выбор тематической области для чат-бота………..…….…………44
2.1.2 Бот-справочник о правилах DnD……….……….………….………45
2.2 Устройство чат-бота…………….……….…….……………..……….46
2.3 Статические методы
2.3.1 Правила составления паттернов……….….……….…….…………48
2.3.2 Статическое тестирование паттернов………….…….…….………49
2.3.3 Статическое тестирование именованных паттернов..…….………51
2.4 Тестирование с помощью тест-кейсов
2.4.1 Ошибки в тестах…………………………………………….………56
2.4.2 Ошибки в паттернах и именованных паттернах……….…………57
2.4.3 Пересечение паттернов…………….…………….…………………58
2.4.4 Ошибки в сценарии………………………….….…….……….……62
2.4.5 Другие ошибки………………………………………………………63
2.4.6 Общие выводы………………….…….…….………………….……64
2.5 Тестирование с привлечением пользователей
2.5.1 Загрузка чат-бота в канал…………………..…….…………………65
2.5.2 Общение бота с пользователями……………………………………66
Заключение………………………………………….………………….…70 Список литературы……………………………………………………......73
Приложения……………………………………………………………….…..…76


ВВЕДЕНИЕ
Проблема тестирования важна и актуальна для разработчиков любых продуктов, будь то компьютерные программы, инструменты, блюда или что-либо другое. Создатели стремятся сделать продукт максимально качественным, отвечающим как требованиям заказчика (если таковой имеется), так и общепринятым стандартам. Для разработчиков чат-ботов эта задача, безусловно, также является актуальной.
Несмотря на то, что направление создания разговорных интерфейсов развито довольно хорошо, оно еще очень молодо и пока не обладает достаточным набором методов и подходов к тестированию разработок. Вместе с тем, при проектировании разговорных интерфейсов на текущий момент разработчики ориентируются в основном на гипотезы, не имея возможности исследовать и проверять эффективность выдвигаемых им предположений. Иных строго регламентированных методик не существует, либо они находятся в других областях знаний и требуют адаптации под реалии практики создания разговорных интерфейсов.
Поэтому целью моей работы является проведение сравнительного исследования и подбор методов для оценки качества ботов и проверки состоятельности продуктовых гипотез.