лекции, страница 10

Покрыв эту ситуацию, например, с помощьюзначения параметра, равного –1, мы обнаружим внесенную в программу ошибку.Метрика покрытия комбинаций условий строго сильнее метрики покрытия ветвей,поскольку она сильнее, а при использовании составных предикатов в условиях ветвлений,как в нашем примере, становится неэквивалентной ей.В рассмотренном примере нам удалось достаточно быстро определить невыполнимыекомбинации, поскольку все условия зависят от одной целочисленной переменной n. В общемслучае вопрос о выполнимости различных комбинаций достаточно непрост, посколькуэлементарные условия могут быть связаны неявно. Например, они могут использоватьглобальные переменные, значения которых подчиняются нетривиальным ограничениям,скажем, одна из переменных может представлять список каких-то объектов, а вторая —индекс одного из объектов в этом списке, либо –1, если список пуст. В общем случаеопределить выполнимость комбинации значений произвольных формул оказываетсядостаточно сложно, поскольку для этого нужно знать смысл используемых в условияхпеременных и функций.

Поэтому вычисление тестового покрытия по метрике покрытиякомбинаций условий в общем случае не автоматизируется.Другая трудность практического использования покрытия по этой метрике связана свозможным экспоненциальным ростом количества ситуаций, выделяемых для программыпри росте ее размера. Если в программе используется n операторов ветвления, условиекаждого из них элементарно и между этими условиями нет никаких связей, то возникаетвсего лишь 2n ветвей, но 2n возможных комбинаций условий. Поэтому на практикеиспользуются метрики тестового покрытия, более сильные, чем покрытие ветвей, ноприводящие к меньшему числу различных ситуаций, чем покрытие комбинаций условий.Наиболее слабая из таких метрик — метрика покрытия условий и ветвей(condition/decision coverage или condition/branch coverage).

Считается она следующимобразом. Для каждого элементарного условия определяется, сколько значений оно можетпринимать при всех возможных сценариях выполнения программы. Обычно, если нетспецифических ограничений, оно может принимать два значения. Но иногда встречаютсяпостоянные условия, которые либо всегда равны true, либо всегда равны false, при всехвыполнениях программы. Определяется общее число возможных значений элементарныхусловий, в которое каждое обычное условие вносит 2 значения, а постоянное условие — 1.Метрика покрытия условий и ветвей вычисляется как отношение общего количествазначений, которые все элементарные условия принимали в ходе теста, сложенного кколичеством выполненных ветвей к сумме общего возможного числу возможных значенийусловий и числа достижимых ветвей.Если при этом не учитывать покрытие ветвей, получится метрика покрытия условий(condition coverage), которая, однако, может оказаться не сильнее метрики покрытия ветвей— то, что все элементарные условия принимали все возможные значения, еще негарантирует, что все ветви были покрыты.При наличии n элементарных условий в программе метрика покрытия условий и ветвейопределяет не более 2n ситуаций.

Она, как легко видеть, сильнее метрики покрытия ветвей.Однако в нашем примере тесты, дающие 100% покрытия ветвей, дают и полное покрытиеусловий и ветвей, не обнаруживая внесенную ошибку.Более сильная метрика покрытия — метрика модифицированного покрытия условий иветвей (modified condition/decision coverage, MC/DC). Набор тестов считается достигающим100% покрытия по этой метрике, если•каждая достижимая ветвь покрывается этим набором;•каждое непостоянное элементарное условие принимает оба возможных значения привыполнении этого набора;•для каждого составного условия ветвления и каждого входящего в него элементарногоусловия, изменение значения которого способно изменить значение всего условия, естьдва теста, в которых все остальные входящие в это составное условие элементарныеусловия имеют одни и те же значения, а данное элементарное условие и составноеусловие в целом в этих тестах имеют различные значения.Проще говоря, в полном тесте по метрике MC/DC должно быть продемонстрировано, чтокаждое элементарное условие, способное влиять на результирующее значение включающегоего условия ветвления, действительно изменяет его значение независимо от остальныхэлементарных условий.В ошибочном коде, рассмотренном выше, значение условие третьего ветвления (n < 0)&& (n%2 == 0) может быть изменено за счет изменения значения любой из двух входящих внего формул.

Но сделать это можно, только изменяя значение формулы с true на false.Поэтому полный по MC/DC тестовый набор должен обеспечивать для этих формулвыполнение комбинаций значений <1, 1>, <0, 1>, <1, 0>. При этом внесенная ошибка будетобнаружена.Рассмотрим более сложный пример. Пусть в коде некоторой функции имеется дваусловия ветвлений: (x > 0) && (y > 0) || (x == 0) && (z != null) и (x < 0) && (z == null) || (z !=null) && z.isEmpty(). Составим таблицу возможных комбинаций значений элементарныхусловий и соответствующих значений условий ветвлений, учитывая, что выражениеz.isEmpty() определено, только когда выполнено z != null.x>0x == 0 x < 0 y > 0 z == null z != null z.isEmpty() III100100100020010011013001010014001101000500110110160011100170100010108010001111901001000100101010101101010111112010110001310000100014100001101151000100016100101010171001011111810011010В следующей таблице представлены только комбинации, существенные для первоговетвления.

Среди них найдем такие пары, что в них меняется значение только одногоэлементарного условия и всего условия в целом.x>0x == 0 y > 0 z == null Ix>0x == 0 y > 0z == null00000C0001000100AD00110B01001CG01010G01101DH01110H10000E10010F10101AE10111BFСоответствующие комбинации помечены в последних четырех столбцах таблицы.

Двестроки помечены одной буквой, когда они входят в одну пару комбинаций. Эта букванаходится в столбце, соответствующем элементарному условию, которое меняет своезначение. Чтобы обеспечить полное покрытие по MC/DC для первого условия, необходимовыбрать по паре комбинаций, соответствующих хотя бы одной букве в каждом из последнихчетырех столбцов. Достаточно, например, выбрать комбинации, помеченные буквами A, D,E, H. Это всего лишь 5 комбинаций. Или B, C, F, G — это 6 комбинаций.Ниже приведена аналогичная таблица для второго условия ветвления.

Условия (z == null)и (z != null) однозначно определяют значения друг друга, поэтому можно рассматриватьтолько одно из них. Кроме того, нельзя изменить значение (z == null) и не изменить значенияz.isEmpty() — это условие вычислимо только при одном значении первого. Можно, однако,считать, что неопределенное значение формулы z.isEmpty() соответствует любому еезначению из другой комбинации.x < 0 z == nullz != null z.isEmpty() II x < 0 z == null z.isEmpty()10100C10111C1101 A00100D00111BD0100 ABТаким образом, можно выбрать набор комбинаций, помеченных буквами A, B и D —всего 4 комбинации.Итоговый полный набор комбинаций по метрике MC/DC помечен звездочками вследующей таблице.x>0x == 0 x < 0 y > 0z == null z != null z.isEmpty() III1***0010010002001001101300101001400110100050011011016***001110017***01000101080100011119***0100100010010101010110101011111201011000131000010001410000110115*** 1000100016*** 10010101017*** 10010111118*** 10011010Заметим, что из 18 возможных комбинаций достаточно отобрать только 8, чтобыполучить полное покрытие по MC/DC.•Пара комбинаций 1 и 7 показывает, что изменение значения (x == 0) может изменитьвыполняемую ветвь в первом ветвлении.•Пара комбинаций 6 и 18 показывает то же для условия (x > 0).•Пара комбинаций 7 и 9 — то же для условия (z == null).•Пара комбинаций 15 и 18 — то же для условия (y > 0).•Пара комбинаций 16 и 17 — то же для условия z.isEmpty() и второго ветвления.Пара комбинаций 6 и 18 — то же для условия (x < 0) и второго ветвления.•Пара комбинаций 17 и 18 — то же для условия (z == null) и второго ветвления.В общем случае метрика MC/DC позволяет вместо 2n комбинаций условий использовать2n различных ситуаций.Другая метрика покрытия, более сильная, чем покрытие ветвей, основана наиспользовании короткой логики.

Различные ситуации по этой метрике соответствуютразличным коротким дизъюнктам, то есть комбинациям значений элементарных условийоднозначно, с учетом короткой логики, определяющим выполнение всех ветвлений в кодепрограммы. Соответственно, покрытие считается как доля покрытых дизъюнктов среди всехвозможных.Снова используем пример с двумя ветвлениями, определяемыми условиями (x > 0) && (y> 0) || (x == 0) && (z != null) и (x < 0) && (z == null) || (z != null) && z.isEmpty(). Пусть , дляопределенности, код программы имеет примерно такой вид.if((x > 0) && (y > 0) || (x == 0) && (z != null)) …else ……if((x < 0) && (z == null) || (z != null) && z.isEmpty()) …else …Таблица комбинаций значений элементарных условий, которые однозначно определяютход ее выполнения в соответствии с короткой логикой, показана ниже. Эти комбинацииотличаются от всех возможных комбинаций тем, что значение (y < 0) при (x <= 0) не важно,поскольку это условие не будет оцениваться по правилам короткой логики.

Вместо звездочекможно подставить произвольные значения.x>0x == 0 x < 0 y > 0z == null z != null z.isEmpty() III001*01000001*01101001*1001010*01010010*01111010*10001000010001000011011000100010010101010010111110011010Строится такая таблица следующим образом.Элементарные условия, входящие в программу, выстраиваются в некоторойпоследовательности. Сначала всем элементарным формулам приписываются значения 0.Для заданного набора значений определяется, выполним ли он с точки зрениявзаимосвязей между условиями. Если набор значений не выполним, значение последнейформулы, равной 0 изменяется на 1, давая новый набор значений. Если все формулы равны1, таблица построена.Если набор значений выполним, определяется соответствующий путь программы, приэтом помечаются те формулы, значение которых было важно для вычисления этого пути.