Калайда В.Т., Романенко В.В. Технология разработки программного обеспечения (2007), страница 37

Обеспечение качества программного изделия включает, помимо испытаний,еще целый ряд других процедур (анализ эксплутационных характеристик, использование «стандартных» методов проектирования и программирования, восстанавливаемость после отказа,простота сопровождения, повторяемость результатов и др.) Однако испытания — важнейшая из этих процедур.8.6.1 Современное состояние методов обеспечениякачества программного изделияГруппа испытаний оказывает значительное влияние на качественную сторону проектирования, используя такие воздействия на качественную сторону проектирования, как технические ревизионные комиссии, соглашения о требованиях, спецификации и обзоры состояния проекта в различных фазах.

Однако группа испытаний не может нести ответственность за качество изделия, т.к. она не управляет процессом создания отдельных компонентов программного обеспечения. В задачи группыиспытаний входят: проведение испытаний; выработка оценок; участие в фазовых обзорах с целью влияния на ходразработок.Независимо от задач, решаемых группой испытаний впроцессе создания программного изделия, особое значение придается характеру самих тестовых задач, включая программу испытаний. В настоящее время все шире применяется технологияаттестации программного изделия независимыми организациями или на основе конкретных стандартов испытаний. Широкоеприменение нашли стандартные тесты, примерами которых могут быть тесты национального бюро стандартов США.

Важнуюроль в совершенствовании «стандартных» тестов сыграли методыструктурного проектирования и программирования.2408.6.1.1 Виды испытаний программного изделия. СтадиииспытанийВ общем случае, испытания проводятся в несколько стадий, разделенных по времени.К первой стадии относятся испытания класса A, которыепроводятся в конце фазы программирования после того, как будут отлажены и включены в систему все модули изделия. Этотпроцесс сопровождается системной отладкой, когда исправляются ошибки сопряжения модулей.Ко второй стадии относятся испытания класса B, когдаосуществляется независимая (от группы разработки) проверкакомпонент законченного изделия как отдельно, так и во взаимодействии друг с другом.

В идеальном случае испытания классаB начинаются после того, как разработчики объявляют, что изделие готово к передаче потребителю. В ходе испытаний классаB функционирование проверяется на соответствие требованиям,спецификациям, документации и цели.Испытания класса C осуществляются после того, какгруппа испытаний рекомендует выпуск изделия и его распространение. Испытания класса C похожи на выборочныйконтроль производства, поскольку с полки случайным образомвыбирают экземпляр программного изделия и выполняют прогон программ, бегло анализируя результаты.8.6.1.2 Режимы испытаний программИспытания различаются в зависимости от того, кто ихпроводит.

Основная идея — независимость функции испытанийот функции разработки.Режим I подразумевает полный цикл деятельности группы испытаний, включая планирование испытаний, разработкутестов, их прогон и анализ результатов. Обычно эта процедураявляется высшей и наиболее строгой формой контроля и используется для проверки универсальных программных изделий.Режим II позволяет проводить ускоренные испытания изделия, поскольку в этом случае группа испытаний несет ответственность только за анализ результатов испытаний, а составле-241ние плана и спецификаций испытаний, построение тестов и ихпрогон поручается разработчикам.Режим III реализуется без участия группы испытаний.Этот режим используется лишь в случаях крайней необходимости, например при сильном нарушении сроков проектированияопытного образца, когда независимые испытания изделия или,по крайней мере, независимый контроль за испытаниями исключаются.

Для гарантии успеха в этом неблагоприятном случае следует предусмотреть ввод в действие и поддержку такогоизделия группой разработки. При этом качество программногоизделия весьма сомнительно.8.6.1.3 Категории испытания программного изделияСтадии испытания указывают на время проведения проверок, а режимы определяют тех, кто проводит. Категории испытаний устанавливают характер и назначение тестов. Продуманное деление испытаний изделий на категории облегчает общение между различными функциональными группами и степень их участия в работе.

На практике выделяют следующие категории испытаний: Демонстрация в действии. Во время демонстрациипрогоняют специально подобранные тесты, обеспечивающие желаемый результат. Тесты обычно подбираются и выполняются в рамках функции разработки вовремя испытаний класса A, чтобы убедить руководителей всех заинтересованных функциональных групп втом, что изделие достигло определенного уровня завершенности. Аттестация. Аттестация призвана гарантироватьспособность данного программного изделия правильнообрабатывать реальные входные данные в условияхпользователя и давать верные результаты.

Испытанияэтой категории проводятся для того, чтобы удовлетворить требования рынка сбыта и заказчика, а также длятого, чтобы продемонстрировать совместимость илиэксплуатационные качества изделия. Спецификацияиспытаний готовится группой поддержки, а аттестация242проводится группой разработки по окончанию испытаний класса A.Полная функциональная проверка.

Цель этой категории испытаний — показать, что изделие обладает всеми функциональными возможностями, указанными вовнешних спецификациях, и работает правильно. Еслиобъектом испытания является новая версия существующего изделия, проверке подвергаются как новые, таки старые функциональные возможности изделия,отдельно и во взаимодействии друг с другом. Испытания этой категории включаются в состав испытанийклассов A и B.Проверка новых свойств. Этим испытаниям подвергаются только новые версии существующих программных систем в целях оценки их новых функциональныхкачеств.

Проверка новых свойств обычно проводится врамках испытаний класса A и B и выполняется в техслучаях, когда изделие подвергается лишь незначительным изменениям.Эксплуатационные испытания. В результате этой проверки оцениваются эксплуатационные характеристикипрограммного изделия, такие, как скорость выполнения операций, объем занимаемой памяти, пропускнаяспособность, скорость пересылки данных, время транслирования, компоновки или генерации, время реакциии условия взаимодействия с пользователем. Эксплуатационные свойства оцениваются в ходе испытанийкласса A и B.Надежностные испытания. Во время этих испытанийизделие ставится в условия, позволяющие оценить егоспособность к устойчивой работе или восстановлениюпосле отказа.

Обычно в ходе этих испытаний преднамеренно вносятся искусственно созданные ошибки, испытывают изделие в условиях непрерывной работы втечение нескольких часов и проверяют все восстановительные процедуры. Надежностные испытания входятв состав испытаний класса A и B.Проверка устойчивости. Эти испытания призваны гарантировать правильность объединения программных243изделий в систему. Они должны убедить всех в том,что взаимодействие различных программных средствне создает ошибочных ситуаций.

В отношении отдельных изделий фиксируется среднее время между отказами. Проверка проводится в рамках испытаний класса Aи B. Возвратная проверка. В эту категорию испытаний входит проверка новой версии или редакции изделия, подтверждающая, что ранее замеченные дефекты исправлены и исправления не привели к появлению новыхошибок. Возвратная проверка входит в состав испытаний класса A и B. Пусковые испытания.

Эти испытания подтверждают,что ввод программного изделия в действие может бытьосуществлен в полном соответствии с описанием, т.е. вотведенное для этого время, силами персонала, обученного соответствующим образом, с помощью технической документации и с помощью только тех средств,которые были предусмотрены в описании. Испытанияпроводятся на различных конфигурациях техническихсредств ЭВМ и обычно входят в состав испытанийклассов A и B. Конфигурационные испытания.

Эти испытания призваны гарантировать, что изделие правильно функционирует на всех конфигурациях вычислительной техники,которые были предусмотрены проектом. В процессеэтих испытаний создаются минимальные базовые конфигурации и имитируются максимальные. Конфигурационные испытания выполняются в рамках испытанийклассов A и B.Стадии, режимы и категории испытаний наглядно можнопредставить в табличной форме.Таблица 8.7 — Перечень сводных испытаний244Проверка изделийУровень испытанийКатегория испытанийКласс испытанийВС//P//PИ/АДемонстрация в действииАттестацияПолная функциональная проверкаПроверка новых свойствЭксплуатационные испытанияPНадежностные испытанияПроверка устойчивостиВозвратная проверкаПусковые испытанияPКонфигурационные испытанияPРежимы испытанийI — Проводится группой испытанийII — Контролируется группой испытанийIII — Группа испытаний не участвуетПодразделения, проводящие испытанияP — группа разработкиО — группа обслуживанияИ — группа испытаний/ — испытания исключеныИИИ/////ОО(X)( )( )8.6.2 Организационная структура группы испытанийОбщее правило организации деятельности по обеспечению качества программного изделия заключается в установлении подотчетности соответствующих процедур как можно более высокому уровню руководства фирмы и отделении их отфункции разработки.