Надежность АСОИУ (1088455), страница 57
Текст из файла (страница 57)
Этоозначает, что при выполнении работ заключительной стадии может бытьвыявлена необходимость возвращения к стадии непосредственных испытаний(илидажекподготовительнойстадии)дляуточненияотдельныххарактеристик.Составлению плана проведения испытаний должен предшествовать анализТЗ на разработку ПИ, структурных и функциональных схем, режимовфункционирования, зависимостей между модулями программы, плановграфиков разработки и отладки компонентов ПИ, результатов контроля ихкачества на ранних стадиях разработки.
Используя данные анализа, необходиморазработать и обосновать общую стратегию испытания, а на ее основе —комплекс документов по организации испытаний, который должен содержатьответы на следующие вопросы:1)задачи испытаний на каждой фазе, последовательностьразвития фаз;2) используемые специальные испытательные средства;3) количество необходимого машинного времени на каждой фазеиспытаний;4) конфигурация общего технического и программного обеспечения;5) оцениваемые свойства, критерии оценки, способы их получения;6) процедуры контроля хода испытания;7) процедуры регистрации, сбора, обработки и обобщения результатовиспытания;8) условия (критерии) начала и завершения каждой фазы испытаний.По каждому из этих вопросов необходимо определить ответственныхисполнителей, сроки выполнения работ, вид конечного результата.В стандарте IEEE 829-1983 (США) большое внимание уделено документированию процесса испытания ПИ.
Проанализировав содержаниевыделенных разделов плана испытания/тестирования, можно сделать вывод оцелесообразности включения сведений, содержащихся в этих разделах, впрограммы и методики испытания ПИ. Такое включение будет способствоватьповышению информативности документов и упорядочению самого процессаиспытаний.На проведение испытаний ПИ приходится затрачивать значительныетрудовые и материальные ресурсы. Сроки проведения испытаний всегдаограничены.
Поэтому перед испытателями всегда стоит задача поиска путейминимизации затрат материальных, трудовых и временных ресурсов длядостижения цели испытания. Для реализации этой задачи необходимоустановить критерии завершенности испытаний, которые могут служитьосновой для принятия решения об окончании.При оценке уровня завершенности испытаний ПИ и достоверностиполученных результатов часто возникают серьезные затруднения. Отметимследующие из них:• большинство ПИ являются уникальными и либо не имеют аналогов длясравнения характеристик, либо имеют аналоги, характеристики которыхнеизвестны;• отсутствие общепринятых показателей, а также методов расчетатребуемых и фактических значений приводит к тому, что в ТЗ на разработкуПИ требования к характеристикам ПИ либо фактически отсутствуют (вколичественном выражении), либо не претендуют на полноту.Рассмотрим пути решения проблемы оценки завершенности испытанийПИ.
Но прежде всего обратим внимание на необходимость тщательногодокументирования процесса испытания. Такое документирование следуетначать с момента приобретения ПИ свойства работоспособности и вести егонепрерывно до момента передачи ПИ в промышленную эксплуатацию.Опыт создания отечественных систем реального времени подтверждаетнеобходимость ведения одного или двух журналов. В одном из них следуетрегистрировать все эксперименты с ПИ, а в другом — обнаруженные ошибки(проблемы) и ход их устранения.
Периодически составляют отчеты обиспытаниях за определенный период времени. Для ведения журналовнеобходимо тщательно разработать инструкции, в которых установить общиеправила заполнения журналов, в том числе единые правила присвоениярегистрационных номеров ошибкам, индексации типов ошибок, классификацииошибок и т. п. В журналах следует предусмотреть разделы, в которых при необходимости будут даваться подробные комментарии к ошибкам и способы ихустранения.Не всякую ошибку можно быстро идентифицировать, поэтому в стандартеIEEE 829-1983 рекомендовано документировать в виде отчетов тест-инцидентвсе нестандартные события, происходящие во время испытания и требующиедополнительного анализа. Рекомендуется следующая структура этого отчета:идентификатор отчета тест-инцидент, аннотация, описание инцидента, еговлияние на последующий ход испытания.
Последние два раздела являютсяосновными. Описание инцидента должно включать следующие элементы: входные данные, ожидаемые и фактические результаты, отклонение от нормы, датуи время испытания, шаг процедуры испытания, среды функционирования,результатыпопытокповторенияусловийэксперимента,сведенияобиспытателях, наблюдателях-регистраторах.Регистрация экспериментов и ошибок (инцидентов), периодическаяобработка данных и анализ результатов позволяют контролировать испытанияи управлять этим процессом. Сама процедура регистрации может быть разной,важно лишь предотвратить потерю ценной информации при минимальныхтрудозатратах на сбор и обработку данных.
Это условие можно обеспечитьтолько путем максимальной автоматизации всех процессов.Критерий интенсивности обнаружения ошибок. Если считать, что во время одногоэксперимента обнаруживается не более одной ошибки и каждая ошибка доначала следующего эксперимента устраняется, то можно предположить, чтопри благоприятном ходе отладки и испытания кривая зависимости ЛГя1 —η/Л", где п — количество обнаруженных и устраненных ошибок; К— количествоэкспериментов, будет асимптотически стремиться к единице. Тогда в качествекритерия прекращения испытаний можно принять, например, следующееусловие: Ν> 0,95 при обнаружении в последних двухстах экспериментах неболее трех несущественных ошибок.Идея выбора такого критерия основана на том, что частота обнаруженияошибок, выраженная отношением п / А", по мере увеличения количестваэкспериментов должна уменьшаться и к моменту завершения испытанийпринять значение, близкое к нулю. Следует иметь в виду, что оценка уровнязавершенности испытаний по этому показателю будет достоверной лишь в томслучае, если каждый эксперимент проводится в новых условиях и испытателистремятся обнаружить ошибки, а не доказать их отсутствие.
Если же программупроверяют при одних и тех же или близких условиях, то довольно быстрополучают кривую, которая не свидетельствует ни о полноте, ни о глубинепроверки программ, ни об отсутствии в ней ошибок.Критерий заданного значения средней наработки на отказ (критерий Муса).Суммарное количество обнаруженных и устраненных дефектов в программе(под дефектом понимается любая причина неудовлетворенности свойствамипрограммы) описывается показательной функцией времени функционированият. Тогда:Cτ ,n = N 0 1 − exp −MT0 0 где N0 — исходное количество дефектов в программе; M0 — общее количестводефектов, которое может проявиться за время эксплуатации ПИ; То — средняянаработка на отказ в начале испытаний; С —коэффициент сжатия тестов.Коэффициент С≠1 тогда, когда абсолютная реактивность программы припрогоне тестов или статистических испытаниях отличается от абсолютнойреактивности при работе программы в реальных условиях.
Если, например, за 1ч испытаний моделируется управляемый процесс, происходящий в реальныхусловиях в течение 10 ч, то коэффициент сжатия С принимается равным 10.Количество зарегистрированных отказов т зависит от суммарноговремени функционирования программы следующим образом:C m = M 0 1 − exp − τ M 0T0 Значение средней наработки на отказ также зависит от суммарноговремени функционирования: C T = T0 exp − τ . M 0T0 Если в ходе испытания обнаруженные ошибки устраняются, то текущеезначение средней наработки на отказ будет увеличиваться.
Таким образом, вкачестве критерия завершенности испытания можно принять достижениетребуемого (заданного) значения средней наработки на отказ T0. Тогда,определяя периодически текущее значение средней наработки на отказ по этойформуле, можно при планировании дальнейшего хода испытания рассчитатьтребуемое время для дальнейшего прогона программы по формуле∆τ =M 0T0 Tτ ln .CT При планировании отладки и испытания ПО учитывают влияниеследующих факторов:• скорости выявления дефектов;• скорости устранения дефектов;• удовлетворенности машинным временем.Первыйфакторзависитотукомплектованностииквалификациииспытателей, второй — от укомплектованности и квалификации группыпрограммистов-отладчиков, третий — от фондовооруженности (техническойоснащенности) разрабатывающей (испытывающей) организации.На начальной стадии отладки программы интенсивность выявлениядефектов высока.
Программисты-отладчики перегружены работой, приходитсядаже прерывать тестовые прогоны и испытания. На заключительной стадииинтенсивность обнаружения дефектов низкая, но остро ощущается потребностьв машинном времени. Испытатели перегружены, подготавливая все новые иновые тестовые исходные данные, в то время как у программистов-отладчиковработы может быть мало.Стенды отладки и испытания программ. Идея имитационного моделирования положена в основу создания комплексных имитационномоделирующихиспытательныхстендов, используемыхдля отладки ииспытания сложных систем управления в реальном масштабе времени.Комплексный имитационно-моделирующий испытательный стенд (КИ-МИС)представляет собой совокупность средств испытываемой системы и ихмоделей, моделей внешней среды и программ обработки результатовмоделирования, функционально объединенных на основе испытываемогопрограммногокомплекса.Комплексныеимитационно-моделирующиеиспытательные стенды используются при полигонных испытаниях сложныхсистем.Общая идея создания КИМИС основана на том, что для испытания(исследования) ПО, реализованного непосредственно на управляющей ЭВМ,необходимо моделировать управляемый процесс и имитировать поступление вЭВМ информации об этом процессе.
Испытываемое ПИ безразлично кнепосредственнымисточникаминформации.Важнолишь,чтобывсяинформация была распределена по реальным физическим каналам ЭВМ ивременным тактовым интервалам, а также соответствовала заданному (ожида-емому) диапазону условий внешней среды. Сопряжение моделей с реальнымисредствами системы необходимо для оценки результатов моделирования путемих сравнения с реальными данными. Использование в составе КИМИСнепосредственно самого ПИ, а не его модели, позволяет получить болеедостоверныерезультатыпримоделированиииизбежатьбольшихдополнительных трудозатрат на разработку модели ПИ.Для создания КИМИС помимо основной ЭВМ, на которой реализуетсяиспытываемое ПО, используют ЭВМ примерно такой же производительностидля реализации комплекса моделей соответствующего назначения.
ПервуюЭВМ обычно называют технологической, вторую — инструментальной.Инструментальная ЭВМ и программное обеспечение образуют КИМИС. ТакиеКИМИС являются кроссовой системой (КРОСС-КИМИС). Моделируемые(имитируемые)наинструментальнойЭВМданныепередаютсявтехнологическую ЭВМ, где и обрабатываются как реальные данные.ПрограммноеобеспечениеКИМИСможетбытьреализованоинатехнологической ЭВМ (Резидент-КИМИС). Но такой вариант используетсясравнительноредкоиз-задефицитапамятиипроизводительностивтехнологических (управляющих) ЭВМ.Основными компонентами подсистемы анализа результатов испытанийявляются программы выборки результатов преобразования входных данных,формирования эталонных значений для анализа правильности результатов,сравнения фактических результатов с эталонными и оценки их приемлемости(правильности).Подсистема регистрации событий обеспечивает документирование ходаиспытаний и регистрацию всех тех характеристик, которые могут быть полезныкак для определения значений показателей качества испытываемого ПО, так идля оценки эффективности и состояния самого процесса испытаний.Подсистема планирования и управления на основе анализа состоянияиспытаний,полученныхрезультатов,проверенныхпутейграф-схемыиспытываемого ПИ и поступающих заданий от программистов-испытателейосуществляет планирование экспериментов и подготовку соответствующихисходных данных для подсистемы моделирования.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
