Лекция 3. Критерии полноты тестирования (1186162), страница 4
Текст из файла (страница 4)
Использование переменной считается покрытым, если длякаждого определения этой переменной, для которого есть хотя бы один du-путь,начинающийся в этом определении и ведущий к этому использованию, один из таких путейбыл покрыт.Метрика покрытия использований (all-uses coverage) — доля покрытых использованийвсех переменных по отношению к количеству достижимых использований.Метрика покрытия du-путей (du-path coverage) — доля покрытых du-путей для всехпеременных программы по отношению к достижимым du-путям.Метрика покрытия du-путей сильнее метрики покрытия использований.
Она являетсяодной из самых сильных метрик покрытия, используемых на практике. Хотя кажется, чтоколичество тестов в полном наборе по такой метрике может быть очень большим, вбольшинстве случаев это не так — один тест часто покрывает сразу много du-путей.Замечание. Обычно в учебниках и статьях, касающихся метрик покрытия на основе потока управления ина основе потоков данных, утверждается, что полное покрытие использований (и, тем более, du-путей)влечет полное покрытие ветвей. Это неправда, в чем можно убедиться на следующем примере.int f(int x){if(x >= 0)return 1;elsereturn -1;}Эта ошибка была допущена еще в статье [4], где впервые определены метрики покрытия кода на основепотока управления, ее последующее исправление в [5] выполнено неаккуратно, так что по существу ошибкатак и осталась.
Но большинство авторов учебников и монографий по тестированию, по-видимому, цитируютэти статьи или обзор [2] без вникания в детали.В примере вычисления наибольшего общего делителя имеются следующие du-пути. Здесьчислами обозначаются строки программы, 0 соответствует входу, а числом с апострофом —второе использование переменной в строке с тем же номером. Путь, в котором условиеветвления n разрешается положительно, содержит (n), отрицательно — (n).
Перечисленытолько du-пути, для которых нет однозначно определенного содержащего их du-пути.Для переменной a — 0-3, 0-6, 0-7, 0-7’, 0-(7)-23, 0-(7’)-23, 0-(7’)-23, 0-(7)-12, 0-(7’)-12, 0(7’)-12, 0-(7)-12’, 0-(7’)-12’, 0-(7’)-12’, 0-(7,12)-14, 0-(7’,12)-14, 0-(7’, 12)-14, 0-(7,12’)-14, 0(7’,12’)-14, 0-(7’, 12’)-14, 0-(7,12’)-20, 0-(7’,12’)-20, 0-(7’,12’)-20, 14-20, 20-12, 20-12’, 20-23,20-(12)-14, 20-(12’)-14, 20-(12’)-20.Для переменной b — 0-4, 0-5, 0-7, 0-7’, 0-(7)-8, 0-(7’)-8, 0-(7’)-10, 0-(7’)-12, 0-(7’)-12’, 0(7’,12)-15, 0-(7’,12’)-15, 0-(7’,12’)-19, 8-10, 8-12, 8-12’, 8-(12)-15, 8-(12’)-15, 8-(12’)-19, 15-19,19-10, 19-12, 19-12’, 19-(12)-15, 19-(12’)-15, 19-(12’)-19.Недостижимыми являются все пути вида 0-(...)-23 — поскольку в случае (b == 0) мысвернем уже в строке 5.Для достижения всех остальных путей достаточно взять набор тестовых данных <1, 0>(дает 0-3-5-6), <0, 1> (дает 0-3-4), <1, 1> (дает 0-7-7’-(7’)-10-12-12’-(12’)-19-20 и 20-23), <1,–1> (дает 0-7-(7)-8-10-12’-(12’)-19-20), <–1, 1> (дает 0-7-7’-(7’)-8-10-12’-(12’)-19-20), <1, 2>(дает 0-(7’)-12-(12)-14-15-19-20-10-12-12’-(12’)-19-20), <–1, –2> (0-(7’)-12-12’-(12’)-14-15-1920-10-12-12’-(12’)-19-20), <1, –2> (0-7-(7)-8-10-12-(12)-14-15-19-20-10-12-12’-(12’)-19-20),<–1, 2> (0-7-7’-(7’)-8-10-12-12’-(12’)-14-15-19-20-10-12-12’-(12’)-19-20), <2, –1>, <–2, 1>, <2,3>, <–2, –3>.Структурные критерии на уровне компонентаНа уровне компонентов, содержащих несколько методов, метрики покрытия могутопределяться с использованием метрик покрытия кода отдельных методов.
Но кроме этогоесть более высокоуровневая информация — граф вызовов методов и функций компонентадруг из друга. Одна и та же функция может вызываться из данной несколько раз в различныхветвях, поэтому ребра этого графа соответствуют вхождениям инструкций вызова — сколькоразличных инструкций содержит вызов функции f(), столько и ребер будет вести из даннойфункции в функцию f().Так же, как и в случае ветвей, вызовы могут быть достижимыми или недостижимыми.Метрика покрытия вызовов вычисляется как отношение выполненных различныхинструкций вызова к общему количеству достижимых таких инструкций.Вычислять для компонента метрики покрытия, определенные на основе кода методов,можно, но при этом часто становится еще более тяжело определить, какие из определяемыхими ситуаций являются достижимыми, а какие — нет.
Для метрики покрытия вызововрешение этой задачи обычно не слишком тяжело.Метрики на основе потоков данных на уровне компонента строятся на базе изменения ииспользования глобальных переменных или полей класса различными методами. Точно также, если мы знаем, какие методы используют, а какие изменяют значения полей класса,естественно пытаться покрыть все пары определение-использование, вызывая цепочкиметодов.Структурные критерии на уровне подсистемыНа уровне подсистемы графы потоков данных и потока управления во многом сливаются,превращаясь в схемы передачи управления или сообщений между компонентами.
Обычноопределяют множество сценариев взаимодействия компонентов, в каждом из которыхреализуется некоторая часть возможных передач управления и сообщений, а затем измеряютобщее покрытие как часть из этих сценариев, реализованную в ходе тестирования.В больших системах могут использоваться метрики, основанные просто на долезатронутых тестами функций, компонентов, форм или окон, таблиц данных или другихэлементов данных по отношению к общему числу соответствующих элементов. Их основноедостоинство в том, что они достаточно просто измеряются и не требуют для пониманияопределения каких-то дополнительных сущностей — сценариев, возможных вызовов, duпутей и пр.Критерии полноты на основе структуры входных данныхЧасто при тестировании нельзя воспользоваться информацией об устройстве тестируемойсистемы, поскольку ее исходный код недоступен.
При этом вся известная информация о ееструктуре — это структура входных данных — общий список доступных извне интерфейсови структуры данных параметров каждого интерфейса.Чтобы определить метрику покрытия входных данных, нужно разбить их наподмножества эквивалентных с какой-то точки зрения данных. Есть два основных способаопределения такой эквивалентности.•Выделение разных подтипов данных одного типа на основе практических соображений.Например, ряд соображений позволяет разделить целые числа на положительные,отрицательные и 0. Следуя другим соображениям можно разбить их на четные инечетные числа.Для числа типа double можно определить такие возможности: 0, целое, с небольшимколичеством цифр в дробной части (<= 2), например, 0.5 или 0.25, с большимколичеством цифр в дробной части, например, 9.38752635549⋅10–7.
Кроме того, можновыделить положительные и отрицательные числа, а также превосходящие и непревосходящие 1 по абсолютной величине.•Разделение значений по определенным правилам, касающимся их структуры.Например, целые числа обычно представляются в двоично-дополнительном формате,все отрицательные имеют первый (последний) бит, равный 1, в отличие отнеотрицательных. Поэтому разбиение на положительные и отрицательные можнообосновать структурой представления числа в машине. Можно делить целые числа набольшие и небольшие по абсолютной величине в соответствии с тем, есть ли хотя быодин бит равный 1 среди первых 16.
То есть, числа >= 65536 по абсолютной величинеобъявляются большими, а меньшие — небольшими.Числа с плавающей точкой имеют более сложную структуру. В представлении числаформата double используется 64 бита. Первый бит — знак S, следующие 11 битпредставляют экспоненту E, оставшиеся 52 бита — мантиссу M. Само число при этомсчитается равным (–1)S⋅(252+M)/252⋅2(E-1023), если экспонента не равна 0 или 2047.Если экспонента равна 0, соответствующие числа называются денормализованными ивычисляются по другой формуле — (–1)S⋅M/252⋅2-1023. Если экспонента равна 2047, топри нулевой мантиссе получаются представления для положительной и отрицательнойбесконечностей, а при ненулевой — для специального значения NaN, котороеобозначает неопределенный результат.Таким образом, как специальные классы чисел с плавающей точкой можно выделить 0,–0 (есть такое специальное число!), положительные и отрицательныеденормализованные, положительные и отрицательные нормализованные числа,положительную и отрицательную бесконечность и множество значений NaN.Для определения классов эквивалентных сложных данных обычно используют ихструктуру и классы эквивалентности данных простых типов, из которых они построены.
Так,определяя разбиения на классы для объектов, у которых два целочисленных поля,достаточно естественно объявить эквивалентными объекты, у которых соответствующиеполя имеют один знак или одновременно равны 0 — получается всего 9 классов такихобъектов.Для более сложных данных используют описание их структуры в виде грамматики, чтобывыделить классы эквивалентности или соответствующие метрики покрытия.Например, для документов, которые описываются некоторой контекстно свободнойграмматикой, можно определить следующие метрики покрытия.Метрика покрытия правил — доля правил грамматики, использованных для построениятестовых данных, среди всех ее правил.Метрика покрытия альтернатив — для каждого правила определяется, сколько имеетсявозможных альтернатив его раскрытия, и вместо 1 в определении предыдущей метрики длявсех правил учитывается это число, а для покрытых — только количество реализованныхальтернатив.Пример.
Пусть входной документ программы соответствует следующей грамматике.Doc ::= A | B ;A ::= ( “X” | “Y” | “Z” ) (“::”)? “!”B ::= “O” (A)*В этом случае один входной документ вида “OX!” покрывает все правила — для егопостроения используется и корневое правило, и правило для B, и правило для A.Чтобы покрыть все альтернативы в правиле A, достаточно использовать такие входныеданные: “X::!”, “Y!”, “Z!”. Здесь первая альтернатива раскрыта всеми возможнымиспособами.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
