В.В. Кулямин - Тестирование на основе моделей, страница 7

Эторазбиение может влиять на порядок выполнения тестов.oНапример, полезно отделять тесты, выполнение которых полностьюавтоматизировано, от тех, где требуется вмешательство человека. При этом частоавтоматические тесты удобно выполнять раньше, поскольку обнаруживаемые имиошибки могут сделать выполнение тестов под контролем человека более трудным.oПри тестировании сложных систем часто требуются достаточно сложныесценарии работы теста. Например, тест, проверяющий корректность управленияпотоками в операционной системе, может запускать много потоков различнойконфигурации, в разных потоках использовать различные механизмысинхронизации, проверяя, что они работают корректно. Однако, если ошибка вфункции создания потока просто не дает создать новый поток в программе,пытаться выполнить этот тест бессмысленно — большая его часть так и будетвыполнена, а та, что будет, может просто попасть в тупик или выдать невнятнуюинформацию о множестве обнаруженных ошибок, анализировать которую будетнепросто.Избежать такой ситуации поможет простой тест, проверяющий только, что новыйпоток действительно создается.

Прежде, чем выполнять сложные и запутанныетесты, использующие много функций, желательно проверить выполнениенекоторых базовых требований каждой из этих функций с помощью простыхтестов. При нарушении таких требований, сложный тест не стоит выполнятьвообще.Такая организация тестов для сложных систем позволяет минимизироватьсовокупные затраты на выполнение тестов и анализ их результатов.oЕсли тестируемая система может иметь опциональные, необязательные функции,которые, при их наличии, тоже нужно протестировать, появляется необходимостьв опциональных проверках, которые при некоторых условиях выполняются, а придругих нет.Проще всего эта задача решается при помощи введения в тест конфигурационныхпараметров, значения которых могут управлять выполняемыми тестами ипроводимыми в них проверками.

Конфигурационные параметры могутнастраиваться независимо и не изменяться в ходе работы теста, а могутопределяться динамически, при помощи специального модуля, проверяющегоналичие или отсутствие в системе опциональных функций. Нацеленные на этифункции тесты должны выполняться только после работы такого модуля.Наиболее мощной техникой структуризации тестовых наборов является выделениемодулей или компонентов, отвечающих каждый за решение своей специфической задачи.•Виды компонентов тестового набораОракулы.Тестовым оракулом называется компонент теста, принимающий решение о том,правильно или неправильно сработала тестируемая система в данном тесте.Способы построения оракулов.oЧаще всего роль оракула выполняет человек. Он просто анализирует тестовыеданные и результаты теста и сопоставляет их со своим пониманием требований.oДостаточно часто используются оракулы на основе таблиц тестовых данных иправильных результатов.

Такой оракул находит в таблице строку, всоответствующих столбцах которой записаны использованные тестовые данные, ипроверяет, что полученный результат равен тому, который находится в столбцерезультатов в этой же строке.oЕсли есть другая реализация той же функции, которую мы собираемсятестировать, можно построить оракул, использующий сравнение результатов,полученных от тестируемой системы, с выдаваемыми этой реализацией.

Другаяреализация может быть прототипной, не такой эффективной, как тестируемая, но••зато правильной. В качестве другой реализации может использоватьсяпредыдущая версия тестируемой системы, если к ней нет нареканий по поводукорректности работы.oПри наличии нескольких версий тестируемой системы или нескольких другихреализаций проверяемой функции можно использовать оракул, построенный набазе голосования.

Правильным результатом при этом считается тот, что вернулобольшинство из имеющихся реализаций, и результат тестируемой системысравнивается с ним.oЕсли тестируемая функция имеет обратную, ее можно использовать в оракуле —вычислять по результатам входные данные и проверять их совпадение сиспользованными реально входными данными.oСамый общий случай — проверка каких-то свойств результата.

На основетребований формулируются ожидаемые свойства результата, и оракул проверяетименно их.Например, если от операции требуется возвращать список клиентов, имеющихзадолженность, превышающую заданное значение, такой оракул для каждого изклиентов в полученном списке проверяет, действительно ли его задолженностьпревышает это значение.Генераторы тестовых данных.Генератор тестовых данных отвечает за построение входных данных, используемыхтестами.Способы организации генераторов.oПул данных. Заранее приготовленные данные сохраняются в виде коллекции илитаблицы и используются по мере необходимости.oДругой генератор с фильтрацией. Генератор данных, удовлетворяющихнекоторому условию можно организовать, используя простой генератор данныхэтого типа и фильтрацию по данному условию — если поставляемые простымгенератором данные удовлетворяют условию, они передаются вовне, если нет —вычисляется следующая порция данных.oСоставной генератор.

Генератор данных сложной структуры строится изгенераторов элементов этой структуры. Например, если нужно построить объекты,у которых есть три поля, можно по отдельности строить значения полей, а потомобъединять их в объект. При объединении можно использовать декартовопроизведение множеств значений, то есть строить по объекту на каждуюсоздаваемую тройку значений полей, или использовать «диагональ» — объединятьтолько одновременно сгенерированные тройки значений полей.В составных генераторах данных, удовлетворяющих некоторым ограничениямцелостности (например, значение первого поля всегда должно быть большезначения второго), используются фильтры.Тестовые адаптеры.Тестовый адаптер предназначен для соединения теста с тестируемой системой в техслучаях, когда интерфейс тестируемой системы не соответствует тому, на которыйрассчитан тест.Такая ситуация может сложиться, если тесты для старой версии нужно перенести нановую версию системы, причем изменений в проверяемой функциональности мало, ноесть изменения в интерфейсах — функции или команды названы по-другому, в нихизменен порядок параметров или типы параметров получили другие имена.Другая возможность — тесты создавались заранее, до разработки системы илипараллельно ей, на основе требований и проектной документации, а когда быларазработана сама тестируемая система, часть ее интерфейсов изменилась по сравнению спроектом.•Третий случай использования адаптеров — тестирование на соответствие некоторомуобщему стандарту, для которого может быть много реализаций от разных поставщиков.Такая ситуация, например, в телекоммуникационном ПО — стандарты на протоколывзаимодействия фиксированы, но есть много разных разработчиков этого ПО и ихсистемы должны успешно взаимодействовать друг с другом.

При этом тестовый набордля стандарта делается при самых общих предположениях об интерфейсе (простоналичие определенных функций и структура данных их параметров) — такой тестовыйнабор называется абстрактным. Чтобы использовать абстрактный тестовый набор длятестирования некоторой реализации, он дополняется набором адаптеров,привязывающих использованный в нем абстрактный интерфейс к конкретномуинтерфейсу данной реализации.Заглушки.Тестовой заглушкой называется компонент, играющий роль необходимого тестируемойсистеме компонента, который еще не разработан.При интеграционном и модульном тестировании иногда приходится тестироватьотдельно компоненты, которым для работоспособности необходимы другие. Эти другиекомпоненты могут быть еще не готовы или же они не включаются в тест, посколькусильно усложнили бы его.

Чтобы тестируемый компонент мог работать во времятестирования, вместо отсутствующих компонентов подставляются заглушки, которыеимеют такой же интерфейс, что и отсутствующие компоненты, но устроены как можноболее просто, например, возвращают один и тот же результат или генерируют егослучайно.Виды тестированияТестировать можно соблюдение любых требований, соответствие которым выявляется вовремя работы ПО. Из характеристик качества по ISO 9126 этим свойством не обладаюттолько атрибуты удобства сопровождения. Поэтому выделяют виды тестирования, связанныес проверкой определенных характеристик и атрибутов качества — тестированиефункциональности, надежности, удобства использования, переносимости ипроизводительности, а также тестирование отдельных атрибутов — защищенности,функциональной пригодности и пр.

Кроме того, особо выделяют нагрузочное илистрессовое тестирование, проверяющее работоспособность, надежность ПО и показателиего производительности в условиях повышенных нагрузок — при большом количествепользователей, интенсивном обмене данными с другими системами, большом объемепередаваемых или используемых данных, и пр.Рассматриваемые в данном курсе методы построения тестов ориентированы в большеймере на тестирование функциональности. Их можно использовать и для тестированияпереносимости, производительности или надежности. Однако при их использовании нужноиметь в виду следующее.•Для тестирования производительности необходим дополнительный анализ фактороввозможного снижения производительности — объема входных данных, объема базыданных системы, количества пользователей, количества процессов и потоков в системе,объема данных, передаваемых между компонентами системы и пр.