Лекция 5. Комбинаторные методы построения тестов (Лекции)

Тестирование на основе моделейВ. В. КуляминЛекция 5. Комбинаторные методы построения тестовКомбинаторные методы построения тестов основаны на разделении каждого тестовоговоздействия на ряд элементов и построении тестов как всевозможных комбинацийполученных элементов, объединяемых по определенным правилам.Комбинаторные методы дают более высокую полноту покрытия, чем вероятностные, ипри этом требуют ненамного больше ресурсов.

Кроме того, они хорошо автоматизируются.Однако, с помощью комбинаторных методов трудно найти ошибки в очень специфическихситуациях, требующих учета многих факторов, а трудозатраты на их применение при учетевозрастающего числа факторов растут гораздо быстрее.Одним из примеров комбинаторных методов является тестирование по разбиениям накатегории (category partition testing). В рамках этого подхода для построения тестоввыполняются следующие действия.•Выделяется набор операций тестируемой системы, обращения к которым должныпроизводиться в тестах.•Для каждой тестируемой операции анализируются требования к ней и на основеэтого анализа выделяются, дополнительно к ее параметрам, некоторые факторы(внешние условия или свойства внутреннего состояния системы), от которых можетзависеть ее поведение.•Возможные значения каждого параметра операции или фактора, влияющего на ееповедения, классифицируются — разбиваются на конечное множество категорий.Категории выделяются таким образом, чтобы изменение значения параметра илифактора в рамках одной категории слабо изменяло требования к работе операции.•Определяются зависимости между полученными категориями, взаимосвязи междузначениями различных параметров и факторов, а также недопустимые комбинацииих значений.•Тестовые ситуации строятся как возможные комбинации категорий значенийпараметров и факторов.

Для каждой такой комбинации определяютсясоответствующие конкретные значения параметров и способ достижениясоответствующих значений факторов (тестовые последовательности и изменениявнешних условий).Достаточно сильно похож на эту технику и метод построения тестов на оcнове дереваклассификации (classification tree method).

Он используется при наличии большогоколичества факторов, влияющих на поведение тестируемой системы.Сначала выделяется набор наиболее заметных факторов, влияние которых на поведениетестируемой системы достаточно сильно. Такие факторы называются в рамках этого методааспектами. Для каждого из этих факторов пытаются определить разбиение его возможныхзначений на группы, в рамках которых требования к поведению системы меняются слабо.При этом могут быть выявлены другие факторы, чье влияние на систему становитсясущественным, если один из базовых аспектов зафиксирован.Базовые аспекты образуют вершины дерева классификации, непосредственно связанные сего корнем.

Их классы и вторичные аспекты привязываются к базовым аспектам, и т.д., покавсе существенные факторы не будут найдены и классифицированы.После построения дерева классификации необходимо определить зависимости междувыделенными классами значений аспектов.ГололедПогодные условияДождьНормальныеГрунтГравийАсфальтМалоНормаТормозная жидкостьПедаль тормозаНажата до отказаОтпущенаНажатаНажата до отказаПедаль газаНажатаОтпущенаДорожное покрытиеТесты строятся как возможные комбинации классов значений аспектов, соответствующихлистовым вершинам дерева.Например, при тестировании встроенного программного обеспечения управленияавтомобилем, возможна следующая классификация ситуаций.1234Тестовые ситуацииРисунок 1.

Пример использования дерева классификаций.Тестирование на основе грамматикДругой часто применяемой комбинаторной техникой создания тестов являетсясинтаксическое тестирование или тестирование на основе грамматик. Оно используется втех случаях, когда структуру множества возможных воздействий на тестируемую системуможно описать при помощи формальной грамматики.Проще всего эту возможность заметить там, где действительно существуют некоторыйспециальный язык — например, в системах, работающих с языками программирования,языками запросов (SQL и др.), языками для описания структуры документов (XML, HTML ипр.) или с регулярными выражениями. Однако с помощью формальных грамматик можноописывать и структуру пользовательского интерфейса. Наиболее наглядный пример это —структура опций утилит в операционных системах типа UNIX.

Чуть менее привычноиспользование грамматик для описания графических интерфейсов пользователя (GUI).Рассмотрим для этого простой пример интерфейса поиска фраз и ключевых слов встандарте POSIX. Этот интерфейс реализован при помощи разделения окна браузера на триобласти: основной текст, индекс и форма поиска. Форма поиска может иметь два вида,которые представлены на рисунках ниже.Эта форма в начальном состоянии показана на Рис.

2, при выборе ссылки Word Search еевид меняется на изображенный на Рис. 3.Рисунок 2. Форма поиска — основной вид.Рисунок 3. Форма поиска ключевых слов.Все действия пользователя в рамках этой формы поиска можно описать при помощиследующей грамматики.Chapter ::= Frontmatter | BaseDefinitions | SystemInterfaces | ShellAndUtilities | RationaleOrganization ::= Alphabetical | TopicMainOption ::= Chapter | OrganizationSection :: = All | XSH | XCU | XBD | XRATMainIndexAction ::= (MainOption)* (<Phrase> Search)* | WordSearchAction ReturnToMainIndexWordSearchAction ::= MainIndexAction WordSearch | WordSearchAction (SubstringMatching)?Section <Keywords> SubmitQuery<Keywords> ::= <Word> | <Keywords> "or" <Word> | <Keywords> "and" <Word><Phrase> ::= (<Word>)*В приведенном описании нажатия на кнопки, ссылки или включение/выключениефлажков на форме выделены таким шрифтом, как BaseDefinitions или Search.

<Keywords>,<Word> и <Phrase> — это различные виды фраз, которые можно ввести в поля ввода формы.При построении тестов на основе формальных грамматик рассматриваются тестовыеситуации, соответствующие различным вариантам построения предложений в этойграмматике. Похожие наборы вариантов рассматриваются и при определении метриктестового покрытия на основе грамматик (см. Лекцию 3).Каждая альтернатива дает столько вариантов, сколько в ней участвует. Опциональныйэлемент дает два варианта — его присутствие и его отсутствие.

Список может даватьнесколько разных наборов вариантов — можно рассматривать только пустые и непустыесписки, а можно рассматривать списки длины 0, 1, 2 и все остальные.Например, возможные варианты раскрытия правила X ::= (A)? (B | C) D (E)*, можноперечислить так.ABD CDE ACDEEВыше перечислены предложения, которые покрывают только каждую из имеющихсяальтернатив. Ниже — варианты раскрытия этого же правила, покрывающие все сочетаниявариантов раскрытия отдельных альтернатив.BD BDE BDEE ABD ABDE ABDEECD CDE CDEE ACD ACDE ACDEEЗаметим, что здесь возникает много размерностей пространства вариантов, посколькумногие альтернативы могут выбираться независимо от остальных.

Поэтому возможныразные стратегии сочетания вариантов — просто раскрыть каждую альтернативу всемивозможными способами, не обращая внимания на их сочетания, перебрать все парысочетаний возможных раскрытий соседних альтернатив, перебрать все сочетания возможныхраскрытий альтернатив в каждом правиле и пр.Покрывающие наборыПокрывающие наборы дают инструмент для систематического перебора различныхкомбинаций значений параметров или факторов.Рассмотрим сначала небольшой пример. Предположим, мы тестируем одну операцию, наработу которой может оказать влияние несколько факторов.

Примером может быть печатьWeb-станицы из браузера Интернет, в качестве существенных факторов для которой могутвыступать объем печатаемого документа, наличие или отсутствие цветных картинок, размербумаги, производитель используемого принтера, разновидность используемого браузера,операционная система, которой мы при этом пользуемся.Чтобы применить комбинирование значений этих факторов, для каждого фактора должноиметься лишь небольшое число различимых значений.

Предположим, что, поразмыслив, мывыбрали следующие значения.ОбъемНаличие цветныхрисунковРазмербумагиПроизводительпринтераБраузерОперационнаясистема1 страницаНет цветных рисунковA4HPInternet ExplorerWindows Me2 страницыЕсть цветные рисункиA5EpsonMozilla FirefoxWindows 2000B5CanonOperaWindows XPLetterXerox7 страницLinux SUSE 10.0Envelop C5Linux RHEL 4.0Таблица 1. Значения параметров для тестирования печати Web-страницы.Если теперь попробовать составить все возможные комбинации значений факторов,получится 3⋅2⋅5⋅4⋅3⋅5 = 1800 тестов. Это не чересчур много, но ясно, что выполнение их всехпотребует значительных затрат.Однако можно существенно сократить эти затраты, если учесть, что подавляющеебольшинство ошибок в таких ситуациях (до 70%) связано с определенными комбинациямивсего лишь двух факторов, то есть, если тесты будут содержать все возможные комбинациипар значений факторов, большая часть ошибок будет ими выявлена.Принятие такого подхода позволяет выполнить лишь небольшое количество тестов,таких, что в них задействованы все пары значений различных факторов.