Lecture02 (Лекции в ПДФ), страница 2
Описание файла
Файл "Lecture02" внутри архива находится в папке "Лекции в ПДФ". PDF-файл из архива "Лекции в ПДФ", который расположен в категории "". Всё это находится в предмете "тестирование на основе моделей" из 9 семестр (1 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .
Просмотр PDF-файла онлайн
Текст 2 страницы из PDF
Еще в рядесистем все значимые внешние факторы представляются в виде конфигурационныхпараметров, значения которых определяются в конфигурационных файлах и базахданных при развертывании системы. Во всех этих случаях все значимые внешниеусловия либо могут быть сымитированы программно, либо могут управлятьсядостаточно простым образом, и тестирование может быть выполнено толькопрограммными тестами.Если же часть значимых условий не может управляться через программный интерфейсили информацию, заносимую в файлы и базы данных системы, необходимо специальноеоборудование и существенные затраты ресурсов для их моделирования притестировании.Ситуации, в которых будет проверяться поведение тестируемой системы, и самивыполняемые проверки обычно формализуют и представляют в таком виде, чтобы их могвыполнить любой человек, желательно даже незнакомый с предметной областью и задачамисистемы, или, еще лучше, компьютер.Программа или четко описанная процедура, при выполнении которой создается одна илинесколько тестовых ситуаций и проверяется правильность поведения системы в этихситуациях, называется тестом.
Тестирование обычно организуется как выполнениенекоторого набора тестов, который так и называется — тестовый набор.Тестовые наборы чаще всего создаются заранее, до проведения тестирования, приразработке тестов. Иногда, однако, используются техники генерации тестов уже в процессесамого тестирования, когда никакого заранее подготовленного набора тестов нет. Такаягенерация, тем не менее, всегда основана на каких-то правилах, использующихопределенные данные об устройстве тестируемой системы и требованиях к ней.
В этихслучаях разработкой тестов естественно считать разработку этих правил.Чтобы уметь целенаправленно и предсказуемым образом создавать полноценные наборытестов, необходимо уметь решать следующие задачи.•Проверка выполнения требований.•Определение критериев полноты тестирования.•Построение полного набора тестовых ситуаций.•Создание отчетов с информацией о результатах тестирования.•Организация тестового набора для обеспечения удобства его модификации, выполненияи анализа получаемых результатов.Обсуждению нескольких из этих задач посвящены следующие разделы данной лекции.Критерии полноты тестирования подробно рассматриваются в следующей лекции, аразличные техники построения полных наборов тестов являются основным содержаниемвсех дальнейших лекций.Проверка выполнения требованийНа практике решение этой задачи очень часто затрудняется отсутствием документов спонятным, однозначным, непротиворечивым и полным описанием требований.
Чаще всегопри разработке тестов приходится заодно уточнять требования к тестируемой системе идорабатывать представляющие их документы, делая их более ясными и полными, а такжеустраняя имеющиеся противоречия.Для построения систематичных и корректных тестов нужно адекватное пониманиетребований, то есть понимание того, что именно они означают, что из этого может бытьпроверено и, наконец, что именно должно быть проверено в каждой конкретной тестовойситуации.Рассмотрим, например, функцию abs(x), вычисляющую абсолютную величину числа.Вроде бы ясно, что при этом вычисляется — должен возвращаться x, если он неотрицателен,или –x иначе.
На языках C, С++, Java или C# это может быть передано так: ( x >=0 )? x : -x.Можно, например, проверять, что abs(x) >= 0 для любого x.Попробуем взять x = –2147483648, например, в Java. Каков будет результат?Правильный ответ: –2147483648.Этот неожиданный результат — отрицательное число в качестве абсолютной величины— объясняется тем, что в машинной арифметике 32-битных целых чисел выполненосоотношение –(–2147483648) = –2147483648. Приведенное выше определение abs(x) остаетсяправильным, неверно только заключение о том, что abs(x) >= 0.Чтобы объяснить полученное «странное» соотношение, надо понимать, чемруководствовались создатели целочисленной машинной арифметики. Им нужно было целыечисла, которых бесконечно много, представить в машине как некоторое конечное множество.При этом, однако, надо сохранить основополагающие свойства арифметических действий —сложения, вычитания и умножения.
Наиболее похожими на целые числа конечнымимножествами с таким набором операций являются множества (кольца) классов целых чиселпо какому-то модулю, например Z2 = {[0], [1]}, где [0] — класс четных чисел, а [1] — класснечетных, или Z3 = {[0], [1], [2]}, где [n] — класс чисел, имеющих остаток n при делении на3. Поскольку в машине удобно представлять числа в двоичной записи, для эффективногорасхода памяти стоит взять модуль равным степени 2, например 232. То есть, машинноечисло n будет обозначать класс чисел, равных n по модулю 232.
Если к тому же хочется,чтобы действия с небольшими числами приводили к привычным результатам: 2+2 = 4, а 3–5= –2, в качестве представителей классов чисел по модулю 232 должны использоватьсянебольшие положительные и отрицательные числа. Таким образом, в качествепредставителей удобно выбрать числа 0, 1, –1, 2, –2, 3, –3, 4, –4 и т.д. Но, поскольку всего ихдолжно быть 232, для некоторого числа n, мы в итоге выберем n, но не выберем –n илинаоборот — ведь для 0 в этой последовательности уже нет соответствующегоотрицательного числа. Соответственно, конец ее выглядит как 2147483647, –2147483647,–2147483648 = –231.
По причинам, связанным с эффективностью и простотой реализацииопераций, проще выбрать –231, чем 231 — при этом можно использовать первый битпредставления числа в значении его знака, а все вычисления производить побитно, по тем жепричинам не стоит вводить специальное число –0, что, например, сделано в арифметикечисел с плавающей точкой. По модулю 232 выполнено –[–231] = [231] = [232–231] = [–231], что исоответствует выписанному выше соотношению.Другой пример. Как ведет себя tg(arctg(x)) при возрастающем x, которое является числом сплавающей точкой двойной точности? При x <= 1016 все идет как ожидается: tg(arctg(x)) = x снебольшой погрешностью, а вот дальше, как бы ни было велико x, tg(arctg(x)) дает один итот же результат 1.633123935319537⋅1016. Для объяснения этого нужно знать, как устроенычисла с плавающей точкой, что служащее для представления π/2 число с плавающей точкойдвойной точности X = 884279719003555/562949953421312 меньше π/2 примерно на6.1232339957367658⋅10–17, и что получаемый результат является как раз значением tg(X) ≈1/(π/2 – X), вычисленным с двойной точностью.Заметьте, что половину страницы текста заняло объяснение лишь небольшой«странности» поведения операции взятия противоположного целого числа — одной изпростейших и наиболее точно определенных, которые только можно себе представить.
Дляполного и аккуратного разбора примера с арктангенсом потребовалась бы еще пара страниц.При рассмотрении же более сложных функций программных систем, не имеющих такихточных математических аналогов, возникают гораздо более серьезные проблемы.Именно поэтому здесь в качестве примеров взяты математические функции — любойчеловек, окончивший два курса ВУЗа по физико-математической или техническойспециальности, достаточно хорошо представляет себе, что это такое, и при желании можетсамостоятельно понять, как должна работать такая функция.
Если же надо понять, какработают менее однозначно определенные операции, возникает такое количество возможныхразнообразных смыслов, что чисто умозрительно решить, какой именно правилен,практически невозможно — необходима документация, зафиксированные в документахтребования, общение с разработчиками системы или с экспертами в данной предметнойобласти.Например, для адекватного понимания работы операции чтения заданного количествабайт из файла нужно уметь четко отвечать на множество вопросов. Что происходит, еслифайла нет? Что будет, если он есть, но у данного процесса нет прав на работу с ним? Чтобудет результатом, если размер файла меньше запрашиваемого количества байт? А еслидругие операции в тоже время записывают данные в этот же файл? И пр., и т.д., и т.п.В то же время для операций ввода-вывода, как и для большинства других операций,реализованных в рамках широко используемых библиотек, можно, после определенныхусилий, достаточно строго определить математическую модель, адекватно описывающую ихработу.
Для многих же практических примеров — операций биллинговой системы, системыавтоматического управления боевым кораблем или гидроэлектростанцией — таких моделейвообще нет, никто никогда не продумывал такие сложные системы во всех их деталях. Наформальную проработку их при современных технологиях уйдет времени и усилий гораздобольше, чем это допустимо с точки зрения экономической оправданности таких систем.Таким образом, одна из наиболее сложных задач — адекватно понять требования,понять, что именно обозначает каждое утверждение в документации, которое относится кданной операции. В примере с абсолютной величиной вроде бы удалось сразу написатьчеткое определение, но понять его помогает только приведенный пример «странного»поведения.
Только после проведенного дополнительного анализа становится возможным безошибок выводить следствия из этого определения (первоначальный вывод о том, чтоабсолютная величина больше 0 был ошибкой). Во многих других случаях даже простонаписать четкое определение нелегко.
Поэтому всегда необходим вдумчивый анализтребований, извлечение всех сведений, которые только можно получить из документации,стандартов, а также из личного общения с экспертами, архитекторами, разработчиками ипользователями тестируемой системы и другими заинтересованными лицами.Помогают в этом анализе попытки четко определить, как можно проверить требования.Например, попытка проверить правильность вычисление абсолютной величины при помощитождества abs(x) >= 0 проваливается, и этот факт вынуждает задуматься об основныхпринципах машинной арифметики.