лекции (1185089), страница 19
Текст из файла (страница 19)
Список может даватьнесколько разных наборов вариантов — можно рассматривать только пустые и непустыесписки, а можно рассматривать списки длины 0, 1, 2 и все остальные.Например, возможные варианты раскрытия правила X ::= (A)? (B | C) D (E)*, можноперечислить так.ABD CDE ACDEEВыше перечислены предложения, которые покрывают только каждую из имеющихсяальтернатив.
Ниже — варианты раскрытия этого же правила, покрывающие все сочетаниявариантов раскрытия отдельных альтернатив.BD BDE BDEE ABD ABDE ABDEECD CDE CDEE ACD ACDE ACDEEЗаметим, что здесь возникает много размерностей пространства вариантов, посколькумногие альтернативы могут выбираться независимо от остальных. Поэтому возможныразные стратегии сочетания вариантов — просто раскрыть каждую альтернативу всемивозможными способами, не обращая внимания на их сочетания, перебрать все парысочетаний возможных раскрытий соседних альтернатив, перебрать все сочетания возможныхраскрытий альтернатив в каждом правиле и пр.Покрывающие наборыПокрывающие наборы дают инструмент для систематического перебора различныхкомбинаций значений параметров или факторов.Рассмотрим сначала небольшой пример.
Предположим, мы тестируем одну операцию, наработу которой может оказать влияние несколько факторов. Примером может быть печатьWeb-станицы из браузера Интернет, в качестве существенных факторов для которой могутвыступать объем печатаемого документа, наличие или отсутствие цветных картинок, размербумаги, производитель используемого принтера, разновидность используемого браузера,операционная система, которой мы при этом пользуемся.Чтобы применить комбинирование значений этих факторов, для каждого фактора должноиметься лишь небольшое число различимых значений.
Предположим, что, поразмыслив, мывыбрали следующие значения.ОбъемНаличие цветныхрисунковРазмербумагиПроизводительпринтера1 страницаНет цветных рисунковA42 страницыЕсть цветные рисункиA57 страницБраузерОперационнаясистемаHPInternet ExplorerWindows MeEpsonMozilla FirefoxWindows 2000B5CanonOperaWindows XPLetterXeroxLinux SUSE 10.0Envelop C5Linux RHEL 4.0Таблица 1. Значения параметров для тестирования печати Web-страницы.Если теперь попробовать составить все возможные комбинации значений факторов,получится 3⋅2⋅5⋅4⋅3⋅5 = 1800 тестов.
Это не чересчур много, но ясно, что выполнение их всехпотребует значительных затрат.Однако можно существенно сократить эти затраты, если учесть, что подавляющеебольшинство ошибок в таких ситуациях (до 70%) связано с определенными комбинациямивсего лишь двух факторов, то есть, если тесты будут содержать все возможные комбинациипар значений факторов, большая часть ошибок будет ими выявлена.Принятие такого подхода позволяет выполнить лишь небольшое количество тестов,таких, что в них задействованы все пары значений различных факторов.
В данном примереодин из возможных минимальных наборов тестов представлен в Таблице 2.Показанный набор минимален, поскольку для использования всех сочетаний размеровбумаги и операционных систем необходимо не менее 25 тестов.Можно пойти еще дальше и попробовать составить тестовый набор так, чтобы он попрежнему оставался небольшим, но содержал уже все различные тройки значений факторов.При этом потребуется не менее 100 = 5⋅5⋅4 тестов, что все же существенно меньше, чем 1800(такой набор из 100 тестов действительно существует).123456789101112131 страница1 страница1 страница1 страница1 страница1 страница1 страница2 страницы2 страницы2 страницы2 страницы2 страницы2 страницыНет цветных рисунковНет цветных рисунковНет цветных рисунковНет цветных рисунковЕсть цветные рисункиЕсть цветные рисункиЕсть цветные рисункиНет цветных рисунковНет цветных рисунковНет цветных рисунковЕсть цветные рисункиЕсть цветные рисункиЕсть цветные рисункиA4A4A5Envelop C5B5LetterEnvelop C5A5LetterEnvelop C5A4A5B5HPHPEpsonCanonEpsonHPXeroxXeroxCanonHPXeroxHPXeroxInternet ExplorerOperaInternet ExplorerInternet ExplorerOperaMozilla FirefoxOperaMozilla FirefoxOperaMozilla FirefoxOperaOperaOperaLinux RHEL 4.0Windows MeWindows 2000Linux RHEL 4.0Windows XPWindows 2000Linux SUSE 10.0Linux RHEL 4.0Linux SUSE 10.0Windows XPWindows XPLinux SUSE 10.0Windows 20001415161718192021222324252 страницы7 страниц7 страниц7 страниц7 страниц7 страниц7 страниц7 страниц7 страниц7 страниц7 страниц7 страницЕсть цветные рисункиНет цветных рисунковНет цветных рисунковНет цветных рисунковНет цветных рисунковНет цветных рисунковНет цветных рисунковЕсть цветные рисункиЕсть цветные рисункиЕсть цветные рисункиЕсть цветные рисункиЕсть цветные рисункиEnvelop C5A4A5B5B5LetterLetterA4A5B5LetterEnvelop C5EpsonCanonXeroxHPCanonHPXeroxEpsonCanonEpsonEpsonEpsonInternet ExplorerInternet ExplorerOperaInternet ExplorerMozilla FirefoxInternet ExplorerInternet ExplorerMozilla FirefoxOperaOperaOperaInternet ExplorerWindows MeWindows 2000Windows MeLinux SUSE 10.0Windows MeLinux RHEL 4.0Windows XPLinux SUSE 10.0Windows XPLinux RHEL 4.0Windows MeWindows 2000Таблица 2.
Минимальный тестовый набор для тестирования печати Web-страницы.Эти примеры обобщаются до понятия покрывающего набора глубины t. Нам не важныконкретные значения факторов или параметров, важно только, что они образуют конечноемножество. Поэтому можно считать, что если некоторый фактор имеет n возможныхзначений, ими являются числа от 0 до (n-1). Если заданы конечные наборы значений {vij} дляk параметров, i-й параметр может принимать ni различных значений, то покрывающимнабором глубины t <= k является любой набор из списков значений всех параметров {vif(j)},такой что любая комбинация возможных значений любых t параметров встречается в этомнаборе хотя бы один раз.Пары значений параметров покрываются наборами глубины 2, тройки — наборамиглубины 3, и т.д.000000011111112222222222200001110001111000000111110014234134012401223301234001210332030312302031211102002121212220020100122204014213432231010304232401Таблица 3.
Покрывающий набор, соответствующий показанному выше тестовому набору.Множество всех покрывающих наборов глубины t с k параметрами, принимающими n1,…, nk значений обозначается CA(t, n1, …, nk). Минимальное возможное количество рядов впокрывающем наборе обозначается CAN(t, n1, …, nk). Таблица 3 представляет пример набораиз CA(2, 3,⋅2,⋅5,⋅4,⋅3,⋅5) и показывает, что CAN(2, 3,⋅2,⋅5,⋅4,⋅3,⋅5) = 25.Если все параметры могут принимать одно и то же число значений, т.е.
n1 = n2 = …= nk =n, соответствующий покрывающий набор называется однородным. Множество однородныхнаборов CA(t, n, …, n) также обозначается CA(t; k, n), соответствующее минимальное числорядов в таком наборе — CAN(t; k, n).Выгода от использования покрывающих наборов определяется тем фактом, что чащевсего существуют покрывающие наборы небольшой мощности, в которых количество рядовзначительно меньше, чем число всех возможных комбинаций значений параметров.Покрывающие наборы могут эффективно использоваться в ситуациях, в которыхвыполнены следующие условия.•Есть некоторый вид воздействий на тестируемую систему, имеющий довольно многопараметров или факторов, влияющих на его работу.•Значения каждого из параметров можно разбить на (небольшое) конечное числоклассов, таких, что все существенные изменения в поведении системы происходяттолько из-за изменения класса одного из параметров.
Иногда просто каждый параметрможет принимать лишь значения из небольшого конечного множества.•Ошибки в поведении системы возникают в основном за счет сочетания небольшогоколичества факторов, определяемых значениями используемых параметров.•Дополнительной информации о зависимости между возможными ошибками и какимилибо другими условиями на значения параметров нет.В частности, покрывающие наборы могут использоваться для определения комбинацийучитываемых факторов при тестировании на основе разбиения на категории, на основедерева классификации.
Также можно применять покрывающие наборы для сниженияколичества тестов при построении различных комбинаций альтернатив на основе грамматик.Техники построения однородных покрывающих наборовНаиболее хорошо развиты техники построения однородных покрывающих наборов. Приколичестве значений всех параметров равном 2 есть даже простой алгоритм построенияминимального покрывающего набора глубины 2 (см.