Надежность АСОИУ (1088455), страница 56
Текст из файла (страница 56)
При зависимых испытаниях основные операции сиспытываемыми ПИ (подготовка к работе, подготовка и ввод исходныхданных, регистрация и анализ результатов) выполняют разработчики программ.Результатыиспытанияоцениваеткомиссияприактивномучастииразработчиков. Независимые испытания проводят специальные подразделения,не несущие ответственности за разработку программ и непосредственно неподчиняющиеся руководителям разработки.Технологическаясхемаиспытаний.Дляповышенияэффективностииспытания, его ускорения и удешевления необходимо разработать научнообоснованные методы, средства и методики, позволяющие преодолетьнедостатки подхода к испытанию как к своего рода эвристике, недооценку егороли в обеспечении требуемого уровня качества ПИ, избежать подменыиспытаний процедурами типа проверки работоспособности на контрольномпримере и т. п.
Эта цель может быть достигнута лишь путем разработкитехнологической схемы испытаний, предусматривающей:• знание назначения испытываемого ПИ, условий его функционированияи требований к нему со стороны пользователей;• автоматизацию всех наиболее трудоемких процессов и прежде всегомоделирования среды функционирования, включая искажающие воздействия;• ясное представление цели и последовательности испытания;• целенаправленность и не избыточность испытания, исключающие илиминимизирующие повторение однородных процедур при одних и тех жеусловиях функционирования испытываемого ПИ;• систематический контроль за ходом испытания, регулярное ведениепротокола и журнала испытания;• четкое, последовательное определение и исполнение плана испытания;• четкое сопоставление имеющихся ресурсов с предполагаемым объемомиспытания;• возможность обеспечения полноты и достоверности результатовиспытания и их объективной количественной оценки на всех этапах.Любому виду испытаний должна предшествовать тщательная подготовка.В подготовку испытаний ПИ входят следующие мероприятия:• составление и согласование плана-графика проведения испытания;• разработка, комплектование, испытание и паспортизация используемыхпрограммно-технических средств;• анализ пригодности испытательных средств, используемых во времяпредварительных испытаний, для проведения приемочных испытаний;• анализ пригодности накопленных данных о качестве ПИ для использования при окончательном определении значений показателей качестваиспытываемого ПИ;• проверка и согласование с представителем заказчика конструкторскойдокументации на ПИ, предъявляемой при испытаниях;• разработка, согласование и утверждение программ и методик испытаний;• аттестация специалистов на допуск к проведению испытаний;• приемка испытываемого опытного образца ПИ на носителе данных идокументации;• проведение мероприятий, направленных на обеспечение достоверностииспытаний.Особо следует подчеркнуть необходимость заблаговременной разработкиииспытаниявсехпрограммно-техническихсредств,которыебудутиспользоваться при проведении испытаний.
При этом уровень точности инадежности измерительной аппаратуры, используемой при испытаниях любогообъекта, должен быть значительно выше соответствующих показателейиспытываемого объекта. Поэтому реальные характеристики программнотехнических испытательных средств необходимо установить заранее, а ихприемлемостьсогласовыватьмеждуразработчиками,испытателямиизаказчиками ПИ. Пренебрежение этим правилом вызывает недоверие крезультатам испытания и, как следствие, удлинение его сроков.Сложность программнотехнических испытательных средств, требования ких совершенству, а следовательно, и затраты ресурсов на их разработку прямопропорционально зависят от соответствующих показателей испытываемых ПИ.Объем испытательных программных средств, выраженный в машинныхкомандах, может достигать объема испытываемых с их помощью программ.Поэтому разработка программно-технических средств, предназначенных дляиспытания особо сложного ПИ, должна начинаться одновременно с разработкой опытных образцов продукции.На основании изложенного можно определить следующие пять этаповиспытания:1.
Обследование проектируемого ПИ, анализ проектной документации.2. Определениенаиболееважныхподсистем,функцийипутейпроектирования ПИ, подлежащих испытанию.3. Анализ показателей качества ПИ и методов определения их значений.Разработка программ и методик испытания.4.
Разработка(освоение)испытательныхпрограммно-техническихсредств, библиотек тестов и баз данных (если они требуются).5. Непосредственноепроведениеиспытаний,анализрезультатов,принятие решения.В зависимости от специфики, условий применения, требований к качествуПИ испытания могут проводиться либо путем тестирования, либо путемстатистического моделирования среды функционирования, либо на основенатурных и смешанных экспериментов. Часто бывает полезно использованиевсех этих методов. Значения некоторых показателей качества можно получитьэкспертным путем.Планирование и оценка испытаний.
План проведения испытаний должен бытьориентирован на обеспечение всесторонней проверки ПИ и максимальной(заданной)достоверностиполученныхрезультатовприиспользованииограниченных ресурсов, выделенных на испытания. Принципиально возможныследующие подходы к решению этой задачи:• анализируют весь диапазон входных данных. На основе анализа заранееготовят такое множество комбинаций данных (тестовых наборов данных),которое охватывает наиболее характерные подмножества входных данных.Программу рассматривают как черныйящик.
Испытаниясводятся кпоследовательному вводу тестовых наборов данных и анализу получаемыхрезультатов;• анализируют множество ситуаций, которые могут возникнуть прифункционировании ПИ. Выбирают наиболее характерные ситуации. Каждую изних выражают через тестовый набор входных данных;• с помощью графовой модели анализируют микроструктуру ПИ.Выбирают множество путей, которое полностью покрывает граф-схему ПИ, итакую последовательность тестовых наборов исходных данных, выполнениекоторой будет проходить по выделенным путям.
Организация испытанийаналогична рассмотренным выше подходам;• ПИ испытывают в реальной среде функционирования;• ПИ испытывают в статистически моделируемой среде функционирования, адекватной реальной среде.Ни один из этих подходов не является универсальным. Каждый имеет своипреимущества и недостатки, которые в разной степени проявляются взависимости от специфики испытываемого ПИ. Например, первый подходможет оказаться предпочтительным, если диапазон входных данных обозрим,сравнительно легко анализируется и систематизируется, и неприемлемым — впротивном случае.
Наиболее достоверные результаты получаются прииспытаниях в реальной среде функционирования. Но такие испытания редкоудается осуществить. Поэтому на практике используют комбинации всех видов.Типичным примером такой комбинации может служить смешанный метод,когда среда функционирования ПИ моделируется, а достоверность результатовпроверяетсяпутемсравнениясрезультатами,полученнымиприфункционировании ПИ в реальной среде.Анализ показывает, что абсолютная проверка ПИ ни при одном израссмотренныхиспытанийподходовнеосуществима.необходимоиспытываемыхпрограммпредварительноивходныхПоэтомуприанализироватьданных.Впланированииструктурычастности,следуетустанавливать те пути граф-схемы программы, использование которых припреобразовании данных наиболее вероятно. Для сложных программныхкомплексов задача не имеет строго математического решения.
Вместе с тем напрактике нередко удается заранее установить наиболее вероятные ситуации,которые могут возникнуть в автоматизируемой системе, а следовательно, инаборы входных данных, описывающие эти ситуации.Методика решения задачи планирования испытания включает следующиеэтапы:• нахождение всех путей реализации;• выделениеминимальногоподмножествапутей,обеспечивающихпроверку всех участков программы;• разработка тестов для проверки выделенных путей.В результате решения получают не одно подмножество путей, анекоторую совокупность таких подмножеств.
Анализируя эти совокупности покритериям минимального времени реализации их на ЭВМ, выбора наиболеевероятных путей, отсутствия в этих совокупностях несовместимых путей(рассмотренным методам присущ такой недостаток), выбирают наиболееприемлемую совокупность. Для формирования входных данных тестированиядля каждого выделенного пути реализации составляют специальные таблицы. Втаблицах представляют условные операторы, принадлежащие данному пути, иоператоры, в которых вычисляются переменные управления.
В результатеанализа предписаний, удовлетворяющих условным операторам, вырабатываютвходные данные тестирования.Для установления потребности в машинном времени на проведениеиспытаний необходимо знать среднее значение абсолютной реактивности ПИ.Эта характеристика должна быть задана в ТЗ. Если же она не задана, то можнопринять∆t p = (∆t p min + ∆t p max ) 2 ,где ∆tpmin и ∆tpmax — соответственно минимальное и максимальноезначения.Несмотря на то что проверка всех путей граф- схемы большой программынеосуществима, при планировании испытаний необходимо при заданныхресурсах обеспечить максимальную полноту проверки, особенно проверкимодулей решения наиболее ответственных задач. Стремление избежать приэтомнеэффективногопростогоперебораприводиткзадачевыбораминимального количества путей, покрывающих граф ПИ. Под покрытиемпонимают включение всех дуг графа. Минимальное покрытие, с однойстороны, обеспечивает минимум тестов и контрольных просчетов, а с другойстороны, гарантирует прохождение каждой дуги графа хотя бы по одному разу.Рассмотренный метод планирования на этапе автономных статистическихиспытаний модулей ПИ позволяет значительно уменьшить материальные ивременные затраты на испытание программ.
Ориентация на тот или инойподход к испытаниям зависит от типа испытываемого ПИ.В общем случае, при планировании и организации испытаний следуетискатькомпромиссноерешение,учитывающеедвапротиворечивыхтребования: обеспечение максимальной достоверности обобщенной оценкикачества ПИ и выполнение испытания в ограниченное время с использованиемограниченныхресурсов.Следуетвыделитьтристадиииспытания:подготовительную, непосредственные испытания, заключительную (подготовкаотчетных материалов).
Задачи этих стадий очевидны. Подробнее остановимсяна подготовительной стадии.Эта стадия наиболее длительная и наиболее трудоемкая. Основными еезадачами являются:• планирование испытаний;• разработка технологической схемы испытаний и испытательныхсредств;• разработка программ и методик испытания;• накопление предварительных статистических данных, характеризующихПИ.Целенаправленность и четкость организации работ по накоплениюстатистических данных может существенно повысить достоверность оценкикачества ПИ, исключить дублированные (повторные) проверки и уменьшитьсроки испытаний и затрачиваемые материальные ресурсы.
Однако в некоторыхслучаях из-за плохой организации работы результаты тестирования на этапахотладки программ и предварительных испытаний не регистрируются, поэтомуне могут использоваться для окончательной оценки качества программы.Между выделенными стадиями испытания ПИ имеются прямые иобратные связи, аналогичные связям между этапами жизненного цикла ПИ.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
