Лекции. Тестирование ПО (all in one) (Лекции)

Тестирование на основе моделейВ. В. КуляминЛекция 1. Качество программного обеспечения и методыконтроля качестваДанный курс лекций посвящен тестированию программного обеспечения (ПО).Многим людям, даже считающим себя хорошими программистами, но не имеющим опытаработы над большими проектами с жесткими сроками готовности и требованиями покачеству и надежности разработанного ПО, часто кажется, что тестирование не представляетособых проблем, по сравнению с созданием программ — сиди себе, пробуй, что работает, ачто — нет.

К большому сожалению, это не так. Тесты для сложной системы сами по себесложны. Кроме того, для сложных систем требуется очень много тестов, чтобы проверитькорректность работы реализуемых ими функций во многих различных ситуациях, поэтомунаборы тестов тоже представляют собой сложные программные комплексы, требующиеособых методов для их разработки и сопровождения, и, как это не покажется странным,применения творческих способностей от людей, создающих их.В этом курс рассказывается о специфических методах построения тестов, которые впоследнее время обычно выделяются в особую область — тестирование на основе моделей.К значению этого термина мы вернемся несколько позже, а сейчас отметим, что эта областьнаходится на границе между теоретической информатикой (computer science) и инженериейпрограммных систем (software engineering).

Поэтому она требует как определеннойматематической подготовки, знакомства с техниками строгого описания свойствпрограммного обеспечения, так и умения применять их на практике и оцениватьпрактическую эффективность используемых подходов на пути к приемлемому компромиссумежду полнотой тестирования и затраченными на него ресурсами.Часто говорят, что тестирование предназначено для поиска ошибок и проверки правильностиили надежности создаваемых программных систем, или, более точно, для контроля ихкачества.

Поскольку понятие качества программной системы не является вполнеочевидным, начнем с его более детального рассмотрения.Качество программного обеспеченияМожно определить качество ПО, как его пригодность и удобство для решения тех задач, длякоторых оно создано (так же, как и качество любого инструмента). Однако у программныхсистем есть две особенности, отличающие их, если не от всех, то от многих другихинструментов, используемых человеком в своей деятельности.•Во-первых, цели создания программной системы чаще всего сложны и включаютмножество аспектов.

Программное обеспечение, за редким исключением, неразрабатывается для решения ровно одной задачи. Гораздо чаще это целый наборсвязанных задач из некоторой области. Кроме того, в него входят и экономическаяэффективность использования данной системы и удобство работы с ней для тогоперсонала, который имеется у организации-заказчика.•Во-вторых, очень часто программы используются для решения несколько не тех задач,для которых они предназначались при создании. Набор целей, для достижения которыхприменяется данная система, изменяется со временем, что отражается и в постоянномдобавлении новых возможностей и функций в новые версии программ.Поэтому целостное и четкое понятие качества ПО определить очень нелегко. Вместо этогоиспользуют различные модели качества, систематизирующие набор аспектов, характеристики метрик качества, рассмотрение которых необходимо для адекватной оценки качестваразнообразных программ.

Такие модели могут изменяться со временем, посколькуизменяются потребности индустрии производства ПО, появляются новые группывозможностей или внимание разработчиков привлекается к новым аспектам качества, ранеесчитавшимся несущественными.Наиболее широко на данный момент используется модель качества ПО, зафиксированная внаборе стандартов ISO 9126 [1-4].

В несколько упрощенном виде (при рассмотрении такназываемого внутреннего качества) эта модель определяет 6 основных характеристиккачества программного обеспечения. Каждая характеристика уточняется при помощинекоторого набора более детальных атрибутов.ФункциональностьСпособность к взаимодействиюФункциональная пригодностьСоответствие стандартамЗащищенностьТочностьПереносимостьАдаптируемостьУдобство заменыСпособность к сосуществованиюСоответствие стандартамУдобство установкиУдобство сопровожденияУдобство измененийСоответствие стандартамУдобство проверкиАнализируемостьСтабильностьНадежностьКачествоПОЗрелостьСпособность к восстановлениюСоответствие стандартамУстойчивость к отказамУдобство использованияСоответствие стандартамУдобство обученияПривлекательностьУдобство работыПонятностьПроизводительностьСоответствие стандартамВременная эффективностьЭффективность использованияресурсовРисунок 1.

Характеристики и атрибуты качества ПО по ISO 9126.•Функциональность.Эта характеристика обозначает способность ПО решать определенный круг задач.Функциональность определяет, что именно делает данная программа. Атрибутыфункциональности следующие: функциональная пригодность — способность решатьнужный набор задач; точность выдаваемых результатов; защищенность — способностьпредотвращать доступ к функциям и данным ПО людям или другим системам, укоторых нет прав на это; способность к взаимодействию с другими системами; и др.•Надежность.Это способность ПО поддерживать определенный уровень работоспособности взаданных условиях.Надежность является вероятностной характеристикой работоспособности ПО.

Атрибутыее таковы: зрелость — обратная величина к частоте отказов ПО; устойчивость к отказам,способность выполнять определенные задачи и придерживаться некоторых ограниченийдаже в случае отказов и сбоев; способность к восстановлению после отказов и среднеевремя такого восстановления; и др.•Удобство использования.Удобство использования показывает, насколько ПО привлекательно, удобно в обученииработе с ним и при выполнении самой работы.К атрибутам удобства использования относятся: понятность — показатель, обратный кусилиям, затрачиваемым пользователями на понимание основных понятий и способовработы ПО и их применимости для решения нужных им задач; удобство обучения,обратное к усилиям на обучение работе с системой; удобство работы, обратное кусилиям на выполнение определенного круга задач; привлекательность, способностьпривлекать новых пользователей; и др.•Производительность.Это способность ПО обеспечивать необходимую работоспособность по отношению квыделяемым для этого ресурсам.

В соответствии с затратами ресурсов разного вида —времени, памяти, пропускной способности сетевых соединений — выделяются иразличные атрибуты производительности.•Переносимость.Эта характеристика показывает сохранение работоспособности ПО при изменении егоокружения.Ее атрибутами являются, например, возможность развертывания или установки ПО вразличных окружениях и его адаптируемость — способность приспосабливаться кработе в различных окружениях при помощи действий, зафиксированных вдокументации.•Удобство сопровождения.Удобство сопровождения определяет трудоемкость анализа, исправления ошибок ивнесения изменений в ПО.Его атрибутами являются, в частности, удобство проведения тестирования, удобствовнесения изменений и риск возникновения неожиданных эффектов при изменениях.В 2011 году принят стандарт ISO 25010 [5], заменяющий ISO 9126-1 и несколькоизменяющий набор характеристик и атрибутов внутреннего качества ПО.

В его рамкахимеются следующие характеристики.• Функциональность (теперь называемая functional suitability)o Функциональная пригодность (functional appropriateness) — способность ПОрешать нужные пользователям задачи;o Функциональная полнота (functional completeness) — определяет, насколькополно ПО способно решать нужный набор задач;o Точность (functional correctness) — способность выдавать результаты с нужнойточностью;•Производительность (performance efficiency)o Временная эффективность (time behavior) — способность ПО выдаватьожидаемые результаты, а также обеспечивать передачу необходимого объемаданных за отведенное время;o Эффективность использования ресурсов (вычислительных, resource utilization)— способность решать нужные задачи с использованием определенныхобъемов ресурсов (памяти различных видов, устройств ввода-вывода и пр.);o Пропускная способность каналов связи (capacity) — способность решатьнужные задачи при определенных ограничениях на пропускаемые черезканалы связи объемы информации;• Совместимость (compatibility)o Способность к сосуществованию (co-existence) — из переносимости поISO 9126, способность ПО сосуществовать с другими программами в общемокружении, деля с ними ресурсы;o Способность к взаимодействию (interoperability) — из функциональности поISO 9126, способность взаимодействовать с нужным набором других систем;• Удобство использования (usability)o Удобство обучения (learnability) — показатель, обратный усилиям,затрачиваемым пользователями на обучение выполнению определенных задачс помощью ПО;o Удобство работы (operability) — показатель, обратный усилиям,предпринимаемым пользователями для решения своих задач с помощью ПО;o Понятность (теперь appropriateness recognizability) — показатель, обратный кусилиям, которые затрачиваются пользователями на восприятие основныхпонятий ПО и осознание их применимости для решения своих задач;o Эстетичность (бывшая привлекательность, user interface aesthetics) —способность ПО быть привлекательным для пользователей, не вызыватьэстетического отторжения;o Защищенность от ошибок пользователей (user error protection) — способностьигнорировать или исправлять определенные ошибки пользователей;o Доступность (при различных способностях пользователей, accessibility) —способность поддерживать работу людей с ограниченными возможностями —при нарушении восприятия цветов и сильных дефектах зрения, некоторыхнарушениях координации движений, и пр.;• Надежность (reliability)o Зрелость (maturity) — показатель, обратный частоте отказов ПО, обычноизмеряется средним временем работы без сбоев и величиной, обратнойвероятности возникновения отказа за данный период времени;o Способность к восстановлению (recoverability) — способность восстанавливатьопределенный уровень работоспособности и целостность данных после отказа,при затрате определенного времени и ресурсов;o Устойчивость к ошибкам (fault tolerance) — способность поддерживатьзаданный уровень работоспособности при отказах и некоторых нарушенияхправил взаимодействия с окружением;o Работоспособность (availability, иногда также переводится как доступность) —возможность ПО решать задачи и предоставлять пользователям информацию,несмотря на ненадежную работу сетей, отдельных серверов и т.д.;• Защищенность (security)o Конфиденциальность (confidentiality) — способность ПО защищать своиданные от доступа лиц, которые не имеют к ним допуска;o Целостность (integrity) — способность ПО защищать свои данные отизменения теми лицами.

которые не имеют на это прав;o Строгое выполнение обязательств (неотвергаемость, non-repudiation) —способность дать убедительное подтверждение тому, что заданные операциидействительно выполнялись авторизованными пользователями (а ихрезультаты не были внесены каким-либо несанкционированным образом);o Авторизуемость (операций, accountability) — возможность проследить, какиепользователи выполняли заданные операции;o Аутентичность (authenticity) — способность дать подтверждение собственнойидентичности (т.е., отсутствия подмены части кода или модулей по сравнениюс проверенными и сертифицированными версиями) и идентичностипользователей (т.е., возможность дать определенные гарантии, чтовыступающий под некоторым идентификатором пользователя человек, этоименно он, или имеющий право действовать от его имени);• Удобство сопровождения (maintainability)o Удобство проверки (testability) — показатель, обратный трудозатратам напроведение тестирования и других видов проверки того, что внесенныеизменения привели к нужным результатам;o Анализируемость (analyzability) — удобство проведения анализа ошибок,дефектов и недостатков, а также удобство анализа необходимости изменений иих возможных последствий;o Модифицируемость (modifiability, удобство внесения изменений +стабильность) — показатель, обратный трудозатратам на выполнениенеобходимых изменений и риску возникновения неожиданных эффектов послених;o Модульность (modularity) — возможность вносить изменения в отдельныемодули с минимальным их влиянием на другие;o Повторная используемость (reusability) — возможность использоватьотдельные модули без модификации в рамках других систем;• Переносимость (portability)o Адаптируемость (adaptability) — способность ПО приспосабливаться кразличным окружениям без проведения для этого действий, помимо заранеепредусмотренных;o Удобство замены (replaceability) — возможность применения данного ПОвместо других программных систем для решения тех же задач в определенномокружении;o Удобство установки (installability) — способность ПО быть установленным илиразвернутым в определенном окружении;Требования к программному обеспечениюПеречисленные характеристики качества ПО представляют собой одну из систематикразличных видов требований к программным системам.