Лекции. Тестирование ПО (all in one) (Лекции), страница 6

Hetzel [10]).• Процесс анализа программного обеспечения с целью обнаружения расхождениймежду его реальными и требуемыми свойствами и оценки его характеристик [11].• Это не деятельность, а дисциплина ума, позволяющая получить программноеобеспечение с низкими рисками небольшими усилиями (Boris Beizer [12]).• Процесс выполнения программного обеспечения в определенных условиях,наблюдения или протоколирования результатов его работы и оценки некоторых егоаспектов [13].• Процесс выполнения программного обеспечения для проверки того, что оноудовлетворяет специфицированным требованиям, и для нахождения ошибок [14]• Технический анализ программного обеспечения, проводимый эмпирически, дляполучения информации о его качестве с точки зрения определенного кругазаинтересованных лиц (Cem Kaner [15]).• Проверка соответствия между реальным и ожидаемым поведением программногообеспечения в конечном наборе ситуаций, выбранных определенным образом [16].• Формальный процесс, выполняемый специализированной командой, при которомповедение программного обеспечения проверяется при его выполнении накомпьютере в рамках утвержденных тестовых процедур и вариантов [17].• Процесс, состоящий из всех деятельностей жизненного цикла, статических идинамических, связанных с оценкой программного обеспечения и относящихся кнему рабочих материалов (а также планированием и подготовкой этой оценки) дляопределения их соответствия заданным требованиям, демонстрации их пригодностидля поставленных целей и обнаружения дефектов [18].Большинство этих определений пытаются описать понятие тестирования вне контекстадругих возможных методов верификации, и часто в результате получается само понятиеверификации.Для целей этого курса наиболее подходящим является определение из SWEBOK [16],указанное в восьмом пункте списка.

Мы будем использовать его далее в немного уточненномвиде.Тестированием называется проверка соответствия поведения проверяемой системытребованиям, выполняемая по результатам реальной работы этой системы в некоторомконечном наборе специально созданных ситуаций [16]. При этом проверяемая системаобычно называется тестируемой системой (system under test или SUT по-английски).В этом определении можно отметить следующие аспекты.•Проверка соответствия требованиям.Тестирование в этом смысле возможно лишь при наличии требований к программе. Еслиот системы ничего не требуется, она может делать все, что угодно, и это нельзя считатьнеправильным.Тестирование позволяет проконтролировать качество программной системы ровнонастолько, насколько полно, четко и недвусмысленно определены требований к ней.

Втех случаях, когда явные требования не сформулированы, тестирование можноиспользовать, только основываясь на некоторых неявно подразумеваемых, ножелательных свойствах тестируемой системы, например, отсутствии сбоев в ее работе.Однако бывают ситуации, в которых системы определенного типа наоборот, должныдемонстрировать сбои (встроенные системы или базовое ПО в определенных случаяхдолжны просто падать, поскольку попытка обработки в значительной меренекорректных данных может существенно снизить общую эффективность таких систем).Поэтому даже в тех случаях, когда пытаются тестировать что-то, не описываяпроверяемые требования явно, их выявление и четкая формулировка позволяют полнеепонять, что именно и в каких случаях нужно проверить и сэкономить массу усилий придальнейшем сопровождении и развитии проверяемой системы.•Результаты реальной работы системы.Тестирование основывается на результатах реальной работы тестируемой системы.Проверяемая программа должна выполняться, чтобы проводимую при этом проверкуможно было считать тестированием.По сути, это означает, что тестирование является разновидностью динамическогоанализа.Использование реальной работы тестируемой системы позволяет применятьтестирование для проверки корректности поведения системы в ее рабочем окружении,на месте ее эксплуатации, что невозможно сделать при помощи других методовконтроля качества ПО.Бывает, однако, имитационное тестирование, при проведении которого основныедействия (определение проверяемых совйств, выбор критериев полноты, разработкатестов, выполнение тестов, анализ результатов) примерно такие же, как и при обычномтестировании, но проверяется работа не самой системы, а какой-то ее исполнимоймодели или прототипа.

Важно, что и в этой ситуации должна использоваться модель,способная исполняться (на симуляторе или виртуальной машине).•Специально созданные ситуации.Тестирование всегда выполняется в специально созданных ситуациях.Такие ситуации называются тестовыми ситуациями, а процедура или программа, привыполнении которой создается одна или несколько тестовых ситуаций и проверяетсяправильность поведения системы в них, называется тестом.

Подготовка к проведениютестирования всегда включает подготовку или разработку тестов.Составляющие тестовых ситуаций будут рассматриваться в следующих лекциях, аразличным методам разработки тестов посвящено основное содержание этого курса.Эта характеристика отличает тестирование от пассивного наблюдения за поведениемсистемы или мониторинга (passive testing, runtime verification), при котором собираютсяи проверяются результаты реальной работы программы, но эта работа не управляется, ненаправляется на возникновение определенных ситуаций.•Конечный набор ситуаций.Тестирование всегда выполняется в конечном наборе ситуаций.

Более того, возможноеколичество ситуаций, возникающих во время тестирования, ограничиваетсяпрактическими соображениями достижения приемлемого компромисса между затратамивремени и ресурсов проекта на разработку тестов и тестирование и пользой от него —количеством обнаруживаемых ошибок, полнотой и адекватностью получаемой оценкикачества тестируемой системы.Практически значимые системы сейчас настолько сложны, что количество ситуаций,которые необходимо испытать для полной проверки одной такой системы, превосходитвозможности сколь угодно щедро финансируемого проекта и потребует не однойчеловеческой жизни для выполнения. Поэтому полное тестирование, хотя и возможнотеоретически, в силу конечности любой вычислительной системы, практическисовершенно невыполнимо.С одной стороны, это означает, что проведение тестирования никогда не дает полнойгарантии корректности тестируемой системы, полного отсутствия в ней ошибок.

Сдругой стороны, это обстоятельство делает чрезвычайно важным выбор тестов длявыполнения. За счет выбора тестов можно получить как большой набор,выполняющийся долго и не дающий существенной информации о качестве тестируемойсистемы, так и компактный, но проверяющий большое количество разнообразныхаспектов поведения системы и позволяющий оценить ее качество достаточно адекватно(хотя и без абсолютных гарантий).Критически важно для правильного выбора тестов использовать адекватный,отражающий реальную ситуацию критерий полноты тестирования. Различныеспособы определения таких критериев и методы выбора тестов в соответствии с нимитакже рассматриваются в следующих лекциях данного курса.•Тестирование — это разновидность именно верификации, а не просто анализа.

Отличиев том, что анализ дает какие-то результаты в виде чисел или качественныххарактеристик, а верификация (в данном случае) должна ответить на вопрос осоответствии или несоответствии требованиям. В результате проведения тестированияважно получить ответ в виде «поведение системы в таких-то и таких-то ситуацияхнеправильно, не соответствует требованиям», а не просто набор числовыххарактеристик, которые дальше нужно интерпретировать отдельно.•Ряд специфических видов тестирования, прежде всего, тестирование удобстваиспользования, не укладываются в данное определение. Это связано с тем фактом, чтодля большинства систем получить аккуратное и полное описание требований к удобствуиспользования невозможно — большинство таких требований остаются неявными, ихизвлечение и формализация требуют слишком больших усилий. Поэтому для контроляудобства использования используют специфическое тестирование, в виде выполненияряда сценариев определенным образом отобранными пользователями проверяемойсистемы, в ходе которого протоколируются их действия и проблемы, связанные свосприятием информации от системы и поиском нужных для выполнения очереднойзадачи элементов интерфейса.

Источником информации для выявления проблем здесьявляются не отдельно сформулированные требования, а само поведение пользователей— т.е., это разновидность валидации, а не верификации. Организация такоготестирования сильно отличается от обычной, поэтому в данном курсе эта егоразновидность не рассматривается.Перечисленные аспекты определяют как достоинства, так и недостатки тестирования посравнению с другими методами контроля качества программного обеспечения. В отличие отаналитической верификации, тестирование не может гарантировать полного отсутствияошибок в коде системы, но зато может проверить корректность ее работы на местеэксплуатации, при взаимодействии с другими системами, что сделать при помощианалитической верификации крайне тяжело.

Тестирование всегда ограничено по ресурсам,но и предоставляет гибкие возможности управления полнотой и объемом проводимыхпроверок за счет разнообразных техник разработки и выбора тестов.Для успешного проведения тестирования огромное значение имеют требования ктестируемой системе, использовавшиеся в ходе тестирования тестовые ситуации и критерииполноты тестирования. В общем случае и требования, и критерии полноты представляются ввиде некоторых моделей (не обязательно полностью формальных), на основе которыхвыбираются тесты и выполняются проверки. Даже при отсутствии явных таких моделей, ониприсутствуют неявно, в сознании проектировщиков тестов и тестировщиков всегда естькакие-то критерии проверки правильности поведения тестируемой программы,представляющие требования, и критерии продолжения или прекращения тестирования послеполучения ряда результатов, основанные на понимании его неполноты или достаточнойполноты.