Lecture09 (Лекции в ПДФ)

Тестирование на основе моделейВ. В. КуляминЛекция 9. Основы технологии разработки тестов UniTESK.Продолжение.Эта лекция продолжает рассказ о методе разработки тестов на основе моделей,являющемся основой технологии UniTESK.Используемый метод построения тестов включает в себя следующие виды деятельности.1. Определение целей и рамок проекта.2.

Определение и анализ требований к тестируемой системе.3. Определение и анализ требований к полноте тестирования.4. Разработка и выполнение тестов.5. Анализ результатов тестирования.Пункты с первого по третий были рассмотрены в предыдущей лекции.Техники построения тестовПосле построения модели поведения тестируемой системы (или ее компонента) иопределения критериев полноты будущих тестов можно приступать к их разработке.

Приразработке тестов в рамках рассматриваемой технологии используются следующие техники.• Нацеленное построение тестов.Иногда самый простой и эффективный способ построить тест — это вручнуюзадать все используемые в нем данные, указать необходимую последовательностьвызовов и оформить его в виде программы, обращающейся к модели поведениятестируемого компонента для проверки корректности его работы в описанномсценарии.• Построение тестовых данных на основе комбинирования готовых процедуринициализации и финализации для некоторых типов данных.Иногда можно для построения объекта заданного типа использовать во всех тестаходну и ту же процедуру.

Она может быть дополнена процедурой, осуществляющейфинализацию этого объекта (освобождение всех используемых им ресурсов). Дляобъектов некоторых, достаточно простых типов эти процедуры можно написатьзаранее. Строить объекты сложных типов в этом случае можно из их составныхчастей, т.е. инициализация такого объекта будет комбинацией инициализаций всехего полей, а финализация — комбинацией их финализаций.• Иерархическое построение сложных тестовых данных на основе их более простыхэлементов с использованием фильтрации и различных техник комбинирования.Если необходимо построить сложный объект, например, документ определеннойструктуры, текст программы на некотором языке, просто объект, имеющийнесколько составных частей, можно эти части построить отдельно, а затемскомбинировать.

При этом для построения частей используется такая жепроцедура, пока не станет нужно строить данные простых типов — целые числа,символы. Числа с плавающей точкой и строки иногда можно рассматривать какпростые типы данных — если их внутренние элементы незначительно влияют наповедение тестируемых операций, — а иначе они могут также строиться из болеепростых составляющих.Например, пусть необходимо построить объект, представляющий выражение,построенное по следующей грамматике.Expression::= MultExpression | AddExpression ( ‘+’ | ‘-’ ) MultExpression ;••MultExpression ::= PrimeExpression | MultExpression ( ‘*’ | ‘/’ ) PrimeExpression ;PrimeExpression ::= Constant | Identifier | ‘(’ Expression ‘)’ ;Constant::= ( - )? [0-9] ([0-9])* ;Identifier::= [_A-Za-z] ([_A-Za-z0-9])* ;Если мы предполагаем, что конкретные значения констант и идентификаторов неважны с точки зрения корректности работы с такими выражениями, можно сразузафиксировать их возможные значения.

Например, в тестовых данных будутиспользоваться константы -2 и 17 и (одна из них отрицательна, что покрываетопциональный знак, а вторая состоит из нескольких цифр, что покрываетминимальным образом возможное раскрытие списка в правиле для констант) иидентификаторы x и Id. Можно оформить это решение в виде двух коллекций —первая содержит два значения констант, вторая — значения идентификаторов.Далее, можно написать программу-генератор тестовых данных, в которой естьгенератор примитивных выражений (констант, идентификаторов или выражений вскобках), который использует две описанные коллекции и генератор выражений вцелом (уменьшая при этом возможную глубину раскрытия на один).Генератор выражений с использованием операций * и / должен использоватьгенератор примитивных выражений и сам себя (с уменьшением глубины) и, вслучае раскрытия выражения по второй альтернативе, вставлять по некоторомуправилу знаки операции.

Аналогично можно организовать и генератор выраженийв целом.При необходимости комбинировать значения, сгенерированные двумя или болеегенераторами более низкого уровня, можно использовать разные техникикомбинирования: все возможные получаемые комбинации, комбинации всех парзначений или просто сочетания очередных выдаваемых значений.Если, например, нужно, чтобы все используемые константы были простымичислами, такой генератор констант можно организовать на основе простогогенератора всех натуральных чисел и фильтра, отсеивающего те из них, которыене просты. Фильтры можно использовать на любом уровне построенной иерархиигенераторов, например, чтобы оставлять только такие выражения, в которыхперемножаются значения, имеющие разные знаки.Построение тестовых данных с использованием разрешения ограничений.Часто для достижения нужной ситуации необходимо построить тестовые данные,удовлетворяющие некоторому набору условий.

Например, построить два неравныхположительных 32-битных целых числа, суммирование которых вызываетпереполнение, т.е. сложение их дает число, большее 231-1. Для этого можноиспользовать различные техники разрешения ограничений.Самая простая из возможных техник — использование заранее приготовленныхмножеств возможных значений и их перебор с фильтрацией, отсеивающейзначения, не удовлетворяющие заданным ограничениям. Эта техника работает,если точно известно, что среди заранее заготовленных значений найдутсяподходящие. Кроме того, для построения большого набора данных или присложных ограничениях, такая техника не слишком эффективна.Другой способ — использовать имеющиеся алгоритмы разрешения ограничений.Например, если набор ограничений сводится к системе линейных уравнений инеравенств над действительными числами, можно для ее решения использоватьсимплекс-метод.

Для нескольких специфических типов задач такого видасуществуют готовые алгоритмы и инструменты. Для общих систем ограниченийможно использовать инструменты логического программирования.Комбинаторное построение тестовых последовательностей.При отсутствии предусловий для тестируемых операций и наличии внутреннегосостояния тестовые последовательности можно строить, комбинируя вызовы•••••операций в различные цепочки. При этом можно использовать все возможныецепочки какой-то длины (обычно, 2-3) или более длинные последовательности деБройна.Нацеленное построение тестовых последовательностей.При необходимости автоматически построить тестовые последовательности так,чтобы покрыть специфические ситуации можно использовать следующие техники.Можно задать метрику близости к необходимой ситуации и генерировать нужныепоследовательности при помощи генетических алгоритмов, оставляя «в живых»те, которые наиболее близко подходят к заданной цели.Можно преобразовать нужную ситуацию в набор ограничений на состояниекомпонента и параметры операций, а каждую из возможных операций описать ввиде трансформации состояния в зависимости от ее параметров и пытатьсяразрешить получаемый общий набор ограничений.Построение тестовой последовательности как пути по автоматной моделитестируемого компонента.Другой способ построения тестовых последовательностей при необходимоститестировать различные взаимодействия между операциями — описать поведениетестируемого компонента с помощью некоторого конечного автомата и строить нанем различные пути.

Такие пути могут проходить по всем состояниям автомата, повсем его переходам или покрывать более сложные элементы, например, все парыили тройки смежных переходов, все простые (нециклические) пути в автомате ипр.Динамическая генерация обхода неявно заданного автомата.При описании конечного автомата большие усилия нужно тратить на аккуратноеописание всех переходов. Однако можно строить обход и по более простому,неявному описанию автомата, в котором задается лишь процедура вычислениятекущего состояния и для каждого состояния — набор действий (стимулов),которые в нем можно выполнить.

При этом алгоритм обхода начинает работать, незная более ничего, и в ходе работы по запоминаемым состояниям и выполняемымдействиям строит полный граф переходов автомата.Поддержка синхронизации между модельным и реальным состояниемтестируемого компонента.Контрактные спецификации описывают, как проверять правильность результатовобращения к одной операции. Если операции вызываются последовательно,необходимо поддерживать текущее состояние модели поведения в соответствии среальным состоянием проверяемого компонента. Тогда можно будет проверятькорректность результатов работы очередного вызова, опираясь на его аргументы итекущее модельное состояние.Чтобы реализовать это, используются две основные техники: либо очередноемодельное состояние строится по некоторым данным о реальном состояниикомпонента, которые можно достоверно узнать, либо оно экстраполируется наоснове модельного состояния до вызова операции, аргументов вызова, полученныхрезультатов и предположений о работе системы.

Во втором случае ошибки,связанные с некорректным изменением состояния обнаруживаются не сразу, аиногда после целой серии других вызовов, которая приводит к неправильным сточки зрения спецификаций результатам. Иногда используется некотораякомбинация этих двух техник — часть состояния строится по достовернымданным о реальном состоянии, а другая часть экстраполируется на основе всейизвестной в модели информации и этих достоверных данных.Использование семантики чередования для проверки корректности поведениякомпонента в ответ на множество параллельных воздействий.Как уже говорилось, контрактные спецификации описывают, как проверятьправильность результатов обращения к одной операции. При необходимоститестировать работу системы в ответ на множество параллельных вызововопераций встает вопрос не только об очередном состоянии компонента, но и том,как определять корректность полученных результатов.Для этого можно использовать так называемую семантику чередования —результаты работы набора параллельных вызовов считаются корректными, еслиэти вызовы можно так упорядочить, что в полученной цепочке буду выполнятьсявсе пред- и постусловия соответствующих операций.При использовании такого подхода необходимо считать каждую операциюатомарным действием, которое выполняется тестируемой системой безвозможности вмешательства остальных.