Лекция 1. Качество ПО и методы контроля качества (1186160), страница 6

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 6)

Кроме того, формализация требований ипроектных решений возможна только при их глубоком понимании, и поэтомувынуждает провести тщательнейший их анализ, для чего часто необходимасовместная работа специалистов по формальным методам и экспертов в предметнойобласти.В последние 15-20 лет появились основанные на формальных методах инструменты,решающие ряд задач верификации функциональных требований, но зато способныеэффективно работать в промышленных проектах.Гораздо чаще, чем к программам, формальные методы верификации на практикеприменяются к аппаратному обеспечению. Их использование в этой области имеетболее долгую историю, что привело к созданию более зрелых методик иинструментов.

Это обусловлено более высокой стоимостью ошибок для аппаратногообеспечения, более однородной его структурой и более простыми базовымиэлементами моделей аппаратного обеспечения, более широким многократнымиспользованием проектной информации.Приведенная классификация методов верификации не является полностью строгой. Запоследнее десятилетие активно развиваются инструменты верификации ПО, использующиетехники, относящиеся одновременно к нескольким из перечисленных пунктов. В качествепримеров таких методов можно привести следующие: расширенный статический анализ,построение полных тестов на основе формальных моделей, синтетическое структурноетестирование.Тестирование на основе формальных моделей [2,3] использует для построения тестовформальные модели требований к ПО и принятых проектных решений. В рамках тестовпроверяются ограничения, описанные в моделях, а критерий полноты, на базе которогостроится набор тестов, обычно использует структуру модели и имеет формальноеобоснование, позволяющее утверждать, что при соблюдении определенных гипотез (обычнокасающихся представимости реального поведения в выбранном формализме,ограниченности реализации, т.е., отсутсвия в ней неограниченно сильно отличающихся отмодели элементов поведения, и ее однородности, т.е., отсутсвия в ней большого количестванезатрагиваемых моделью деталей) такой набор тестов действительно способен выявить всеошибки (все отклонения в поведении тестируемой реализации от модели).Расширенный статический анализ [4] (extended static checking) использует формальныеспецификации поведения отдельных функций и операций и дедуктивный анализ дляпроверки выполнения этих спецификаций кодом.Синтетическое структурное тестирование [5-8] использует элементы формальныхспецификаций и статического анализа для генерации тестов, на основе результатов работыкоторых, опять же, может быть проведен более глубокий статический анализ.

Наиболеешироко известным представителем этой группы техник является метод DART (DirectedAutomated Random Testing) [7,8].Определение тестированияДля тестирования в литературе можно найти много определений, выделяющих несколькоразличающиеся понятия, например, следующие.• Процесс выполнения программы с намерением найти ошибки (Glenford J. Myers [9]).• Любая деятельность, направленная на оценку некоторых характеристик программногообеспечения и проверку того, что они соответствуют требуемым результатам (WilliamC.

Hetzel [10]).• Процесс анализа программного обеспечения с целью обнаружения расхождениймежду его реальными и требуемыми свойствами и оценки его характеристик [11].• Это не деятельность, а дисциплина ума, позволяющая получить программноеобеспечение с низкими рисками небольшими усилиями (Boris Beizer [12]).• Процесс выполнения программного обеспечения в определенных условиях,наблюдения или протоколирования результатов его работы и оценки некоторых егоаспектов [13].• Процесс выполнения программного обеспечения для проверки того, что оноудовлетворяет специфицированным требованиям, и для нахождения ошибок [14]• Технический анализ программного обеспечения, проводимый эмпирически, дляполучения информации о его качестве с точки зрения определенного кругазаинтересованных лиц (Cem Kaner [15]).• Проверка соответствия между реальным и ожидаемым поведением программногообеспечения в конечном наборе ситуаций, выбранных определенным образом [16].• Формальный процесс, выполняемый специализированной командой, при которомповедение программного обеспечения проверяется при его выполнении накомпьютере в рамках утвержденных тестовых процедур и вариантов [17].• Процесс, состоящий из всех деятельностей жизненного цикла, статических идинамических, связанных с оценкой программного обеспечения и относящихся кнему рабочих материалов (а также планированием и подготовкой этой оценки) дляопределения их соответствия заданным требованиям, демонстрации их пригодностидля поставленных целей и обнаружения дефектов [18].Большинство этих определений пытаются описать понятие тестирования вне контекстадругих возможных методов верификации, и часто в результате получается само понятиеверификации.Для целей этого курса наиболее подходящим является определение из SWEBOK [16],указанное в восьмом пункте списка.

Мы будем использовать его далее в немного уточненномвиде.Тестированием называется проверка соответствия поведения проверяемой системытребованиям, выполняемая по результатам реальной работы этой системы в некоторомконечном наборе специально созданных ситуаций [16]. При этом проверяемая системаобычно называется тестируемой системой (system under test или SUT по-английски).В этом определении можно отметить следующие аспекты.•Проверка соответствия требованиям.Тестирование в этом смысле возможно лишь при наличии требований к программе. Еслиот системы ничего не требуется, она может делать все, что угодно, и это нельзя считатьнеправильным.Тестирование позволяет проконтролировать качество программной системы ровнонастолько, насколько полно, четко и недвусмысленно определены требований к ней.

Втех случаях, когда явные требования не сформулированы, тестирование можноиспользовать, только основываясь на некоторых неявно подразумеваемых, ножелательных свойствах тестируемой системы, например, отсутствии сбоев в ее работе.Однако бывают ситуации, в которых системы определенного типа наоборот, должныдемонстрировать сбои (встроенные системы или базовое ПО в определенных случаяхдолжны просто падать, поскольку попытка обработки в значительной меренекорректных данных может существенно снизить общую эффективность таких систем).Поэтому даже в тех случаях, когда пытаются тестировать что-то, не описываяпроверяемые требования явно, их выявление и четкая формулировка позволяют полнеепонять, что именно и в каких случаях нужно проверить и сэкономить массу усилий придальнейшем сопровождении и развитии проверяемой системы.•Результаты реальной работы системы.Тестирование основывается на результатах реальной работы тестируемой системы.Проверяемая программа должна выполняться, чтобы проводимую при этом проверкуможно было считать тестированием.По сути, это означает, что тестирование является разновидностью динамическогоанализа.Использование реальной работы тестируемой системы позволяет применятьтестирование для проверки корректности поведения системы в ее рабочем окружении,на месте ее эксплуатации, что невозможно сделать при помощи других методовконтроля качества ПО.Бывает, однако, имитационное тестирование, при проведении которого основныедействия (определение проверяемых совйств, выбор критериев полноты, разработкатестов, выполнение тестов, анализ результатов) примерно такие же, как и при обычномтестировании, но проверяется работа не самой системы, а какой-то ее исполнимоймодели или прототипа.

Важно, что и в этой ситуации должна использоваться модель,способная исполняться (на симуляторе или виртуальной машине).•Специально созданные ситуации.Тестирование всегда выполняется в специально созданных ситуациях.Такие ситуации называются тестовыми ситуациями, а процедура или программа, привыполнении которой создается одна или несколько тестовых ситуаций и проверяетсяправильность поведения системы в них, называется тестом. Подготовка к проведениютестирования всегда включает подготовку или разработку тестов.Составляющие тестовых ситуаций будут рассматриваться в следующих лекциях, аразличным методам разработки тестов посвящено основное содержание этого курса.Эта характеристика отличает тестирование от пассивного наблюдения за поведениемсистемы или мониторинга (passive testing, runtime verification), при котором собираютсяи проверяются результаты реальной работы программы, но эта работа не управляется, ненаправляется на возникновение определенных ситуаций.•Конечный набор ситуаций.Тестирование всегда выполняется в конечном наборе ситуаций.

Характеристики

Список файлов лекций