лекции, страница 13

Можно использовать аналоги метрикпокрытия элементарных условий, условий и ветвлений, комбинаций условий или MC/DC.Использовать аналог метрики покрытия коротких дизъюнктов нельзя, если только мы неуверены, что в коде эти же условия используются ровно в этом же порядке, что практическиникогда не выполнено. Поэтому в аналогичных ситуациях нужно использовать «длинные»дизъюнкты, которые эквивалентны просто всем комбинациям элементарных условий.Те же соображения помогают определить аналогичные метрики покрытия требований втех случаях, когда требования описываются на любом формализованном языке.В целом критерии покрытия на основе требований обладают важным преимуществом ужепотому, что они позволяют учитывать требования при оценке полноты тестирования, так чтонепроверенное требование автоматически означает не вполне полное тестирование.

Однако,в отличие от структурных метрик, для организации измерения покрытия по требованиямнужны серьезные дополнительные усилия, например, указание у каждого теста, какиетребования он проверяет. Кроме того, проверка некоторого требования в определеннойситуации еще не означает, что то же требование будет выполнено в другой, если в этихситуациях работают различные наборы компонентов и элементов кода тестируемой системы.Структурные критерии и критерии полноты на основе требований, также иногданазываемые функциональными, удачно дополняют друг друга — структурные позволяютотслеживать полноту тестов по отношению к коду, а функциональные — по отношению ктребованиям. Если же в двух ситуациях задействуется один и тот же код и проверяются однии те же требования, достаточно трудно сделать так, чтобы в них система работала поразному, т.е.

в одном случае правильно, а в другом ошибочно. Поэтому на практике дляоценки полноты тестирования хорошо использовать комбинацию из структурных ифункциональных критериев покрытия.Критерии полноты на основе предположений об ошибках.Поскольку общие предположения вида «если что-то выполняется или проверяется исодержит ошибку, то мы ее обнаружим» неверны, некоторые специалисты по тестированиюпредлагают использовать явное указание ошибок, на обнаружение которых нацелен набортестов, в качестве критерия его полноты.К сожалению, описать все возможные ошибки крайне тяжело, а если указать тольконекоторые, возникает законное подозрение, что эти-то ошибки тесты находят, а вот какие-тодругие — нет.

Если наша программа действительно застрахована от ошибок других типов,все в порядке, но в большинстве случаев это не так.Наиболее удобный на практике способ измерения полноты тестирования на основе явныхгипотез о возможных ошибках — это метод определения полноты тестов на основеобнаруженных мутантов.В рамках этого метода для языка программирования, на котором написана тестируемаяпрограмма, определяется достаточно полный набор операторов мутации. Каждый такойоператор изменяет текст программ, например, удаляя определенную инструкцию, вставляяновую инструкцию, заменяя переменные в выражениях на другие переменные того же типаили на константные выражения того же типа, заменяя операторы арифметических действий+, –, *, / друг на друга, заменяя операторы логических операций друг на друга и пр. Важно,что после применения любого из операторов мутации синтаксически и семантическикорректная программа остается корректной.Программа, получаемая из тестируемой применением одного оператора мутации,называется мутантом.

При применении большего числа операторов получаются мутантывторого и более высоких порядков, но они обычно не используются, потому что ихколичество даже для небольшой программы очень велико.Те мутанты, которые эквивалентны по поведению исходной программе, т.е. ведут себяточно так же во всех ситуациях, выбрасывают из полученного множества мутантов. Послеэтого используется метрика полноты тестов, определяемая как доля обнаруживаемыхтестами мутантов среди оставшихся.На практике наборы мутантов обычно получаются достаточно большими, и приходитсязатрачивать значительные усилия, чтобы отсеять из них эквивалентные исходной программе,поскольку обнаружение эквивалентности нельзя автоматизировать полностью.

В результатеметрика полноты на основе доли обнаруженных мутантов достаточно сильна, но ееприменение очень трудоемко.Еще одним аргументом против использования мутантов служит то, что они помогаютобнаруживать только небольшие и случайные ошибки-опечатки. Серьезная ошибка впонимании требований чаще всего приводит не к изменению одного знака или пропускуодной инструкции, а к потере целой группы инструкций, которые должны были срабатыватьв определенных условиях, вместе с условиями их выполнения.

Обнаружить такую ошибку спомощью мутаций очень нелегко.Критерии полноты на основе произвольных моделейРазличные другие модели поведения или устройства тестируемой системы, так же, как иописания требований к ней или графовые схемы передачи управления, могут служить дляопределения критериев покрытия. Для этого достаточно, чтобы в модели были некоторыеэлементы, которые задействуются в различных ситуациях.Критерии полноты на базе моделей могут в ряде случаев уточнять и детализироватькритерии полноты, полученные непосредственно из требований.

На практике вседополнительные модели обычно являются уточненными требованиями к тестируемойсистеме, поэтому у определенных с их помощью критериев те же достоинства и недостатки,которые выше были указаны для критериев, основанных на требованиях.Алгебраические моделиОдин из экзотических примеров такого рода — алгебраические описания программныхсистем. Абстрактный тип данных, класс или компонент может быть описан алгебраическикак система с операциями, удовлетворяющими определенным соотношениям на ихрезультаты.Например, тип списка элементов типа T с операциями получения числа элементов,добавления элемента в заданное место списка, удаления элемента из заданного места иполучения элемента, находящегося в определенном месте, описывается так.[].size() = 0[X.size()] ≡ [X](i <= X.size()) => X.add(i, o).size() = X.size()+1(i < X.size()) => X.remove(i).size() = X.size()–1(i < X.size()) => [X.get(i)] ≡ [X](i, j <= X.size() & i < j) => [X.add(i, o1).add(j, o2)] ≡ [X.add(j–1, o2).add(i, o1)](i <= X.size()) => [X.add(i, o1).add(i, o2)] ≡ [X.add(i, o2).add(i+1, o1)](i <= X.size()) => [X.add(i, o).remove(i)] ≡ [X](i, j <= X.size() & i < j) => [X.add(i, o).remove(j)] ≡ [X.remove(j–1).add(i, o)](i, j <= X.size() & i > j) => [X.add(i, o).remove(j)] ≡ [X.remove(j).add(i, o)](i <= X.size()) => X.add(i, o).get(i) = o(i, j <= X.size() & i < j) => X.add(i, o).get(j) = X.get(j-1)(i, j <= X.size() & i > j) => X.add(i, o).get(j) = X.get(j)(i, j < X.size()-1 & i < j) => [X.remove(i).remove(j)] ≡ [X.remove(j+1).remove(i)](i, j < X.size() & i <= j) => X.remove(i).get(j) = X.get(j+1)(i, j < X.size() & i > j) => X.remove(i).get(j) = X.get(j)Терм в данной системе — любая конечная цепочка операций, примененная к [].

Вприведенных аксиомах X можно заменять на произвольный терм. Терм считаетсяправильным, если выполнено следующее.•Операция add(i, o) применяется в нем только к подтермам X, про которые можнодоказать, что i <= X.size().•Операции remove(i) и get(i) применяются в нем только к подтермам X, про которыеможно доказать, что i < X.size().В аксиомах [X] ≡ [Y] означает эквивалентность термов X и Y, так что в любомвысказывании X можно заменять на Y и обратно без изменений в истинности этоговысказывания. Из этих аксиом можно доказать, что любой список, т.е. правильный терм,эквивалентен терму, получаемому конечной цепочкой операций add(), в которыхиспользуются значения первого параметра, на единицу меньшие номера вызова операции вцепочке, — это канонический вид списка.

Длиной терма назовем количество операций,участвующих в нем.Тестами можно считать произвольные термы.Метрикой покрытия аксиом можно считать долю тех аксиом, которые используются приприведении заданного набора тестов к каноническому виду, среди всех выписанных аксиом.Метрикой покрытия термов длины <=k можно считать долю термов длины <=k,используемых в тестах или появляющихся в процессе их приведения к каноническому виду,среди всех термов длины <=k.К сожалению, для алгебраических моделей трудно обосновать выбор k такого, что стоитпытаться добиться полного покрытия всех термов длины <=k, но не стоит пытаться покрытьвсе термы длины <=(k+1).Автоматные моделиГораздо более широко используют описания поведения программных систем в видеконечныхавтоматовилиихрасширений—расширенных,бесконечных,взаимодействующих, иерархических автоматов, систем переходов и т.д.У всех видов автоматов имеются состояния и переходы.