С.А. Абрамов - Лекции о сложности алгоритмов (pdf) (1123764), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Важным является также вопрос о существовании в данном классе алгоритмов, нацеленных на решение конкретной задачи,См., например, статью «Алгоритма сложность» в [].Введениеалгоритма такого, сложность которого растет с увеличением размеравхода не слишком быстро, например, остается ограниченной некоторым полиномом, вид которого не оговаривается (такой алгоритмпринято называть полиномиальным).При исследовании существования алгоритма решения задачи,имеющего «не очень высокую» сложность, важную роль играет сводимость какой-то задачи к другой — из возможности быстро решитьнекоторую задачу может следовать такая же возможность для рядадругих, и наоборот, невозможность быстрого решения какой-то одной задачи может автоматически повлечь такую же невозможностьдля ряда других задач.Сложности многих алгоритмов трудно или вообще нельзя представить в простом «замкнутом» виде; помимо этого, точное значение сложности алгоритма для каждого конкретного значения размера входа часто не представляет особого интереса, актуальным же является исследование роста сложности при возрастании размера входа (особый интерес к исходным данным большого размера оправдантем, что на них «захлебываются» тривиальные алгоритмы).

Поэтомув теории сложности широко используется асимптотическое оценивание. Однако сравнение сложностей различных алгоритмов на основеасимптотических оценок этих сложностей возможно не для всех типов таких оценок.Этот круг вопросов, наряду с рассмотрением общих достаточноэлементарных подходов и методов, которые могут оказаться полезными при сложностном анализе алгоритмов, составляет содержаниепредлагаемого курса теории сложности алгоритмов.Наиболее часто используемые обозначенияC AT (x), C AS (x) — временны́е и пространственные затраты алгоритма Aдля входа (входных данных) x;k x k — размер входа x;TA (s), S A (s) — значения временно́й и пространственной сложности алгоритма A для значения s размера входа;λ(n) — количество цифр в двоичной записи неотрицательного целого n (битовая длина n);∗λ (n) — количество единиц в двоичной записи неотрицательного целого n;⌊a⌋ — наибольшее целое, меньшее или равное вещественному a;⌈a⌉ — наименьшее целое, большее или равное вещественному a;N, N+ — множества неотрицательных и положительных целых чисел;Z — множество (кольцо) целых чисел;Zk — кольцо вычетов по модулю k;Q, R, C — множества (поля) рациональных, вещественных и комплексных чисел;Πn — множество всех перестановок чисел 1, 2, ..., n;ƒ — конец доказательства.Глава Сложности алгоритмовкак функции числовых аргументов.Сложность в худшем случае§ .

Затраты алгоритма для данного входа,алгебраическая сложностьПусть по входным данным (входу) x алгоритм A вычисляет результат(выход) y. Такое вычисление связано с затратами времени и памяти. Допустим, что достигнуто соглашение о том, как измеряются этизатраты, тогда можно рассмотреть функции затратC AT (x), C AS (x),где верхний индекс T указывает на временные затраты  , S — напространственные затраты (затраты памяти и пространственные затраты — это синонимы), соответствующие вычислениям, связаннымс применением A к входу x; буквы T и S возникают из английскихслов time — время и space — пространство. Вид этих функций можетбыть очень непростым; их трудно исследовать методами математического анализа, потому что аргумент x не является, вообще говоря,числом и не принадлежит какому-либо метрическому пространству.Можно ввести некоторую неотрицательную числовую характеристикуk x k возможных входов алгоритма и оценивать функции затрат с помощью функций, зависящих не от x, а от k x k:C AT (x) ¶ ϕ (k x k),C AS (x) ¶ ψ(k x k).(.)Если ϕ и ψ не слишком быстро растут при возрастании (числового)аргумента, то эти оценки могут обнадеживать автора или потребителя алгоритма A.Здесь и далее имеется в виду временны́е (связанные с расходованием времени),а не вре́менные (непостоянные, краткосрочные) затраты.

Аналогично — временна́ясложность и т. д. Глава . Сложности алгоритмов как функции числовых аргументовИзбираемую нами величину k · k принято называть размером входа. В соответствии с нашим замыслом размер входа должен характеризовать «громоздкость» исходных данных; то, что k x k являетсячислом, позволяет говорить о росте ϕ , ψ и исследовать этот рост.Выбор размера входа — существенный этап оценивания функций затрат; нужна, во всяком случае, уверенность, что оценки вида (.)будут нести полезную информацию.В дальнейшем, однако, предметом нашего изучения будут не функции затрат, а некоторые другие функции, о которых мы скажем после ряда примеров. Предварительно условимся о некоторых обычныхдля литературы по сложности алгоритмов обозначениях.

Пусть a ∈ R,т. е. a — вещественное число. Значение ⌊a⌋ есть результат округления a до целого в меньшую сторону: ⌊3,14⌋ = 3, ⌊−3,14⌋ = −4 (этувеличину — целую часть a — записывают и как [a]). Соответственно, ⌈a⌉ есть результат округления a до целого в большую сторону:⌈3,14⌉ = 4, ⌈−3,14⌉ = −3. Если a — целое, то ⌊a⌋ = ⌈a⌉ = a.Рассмотрим три простых примера.Пример .. Исходя из определения произведения матриц, мы получаем алгоритм умножения двух квадратных матриц порядка n, требующий n3 операций умножения. Этот алгоритм далее будет обозначаться буквами MM, от английских слов matrix multiplication — матричное умножение.Пример .. Один из очевидных алгоритмов распознавания простоты данного n ∈ N+ , который мы будем называть алгоритмом пробных делений,состоит в выяснении того, имеется ли среди чиселp2, 3, ..., ⌊ n⌋ хотя бы одно, делящее n.

Количество проверок делимости n на те или иные целые числа (для краткостиможно говоpрить о «числе делений») колеблется от 1 до ⌊ n⌋ − 1. Этот алгоритм далее будет обозначаться буквами TD, от английских слов trialdivisions — пробные деления.Пример .. При сортировке простыми вставками число сравнеn(n − 1), в зависимости от входного масний  колеблется от n − 1 до2сива x1 , x2 , ..., xn .

Если интересоваться числом перемещений элеменОсновные алгоритмы сортировки и поиска приводятся в приложении A. Обсуждаяконкретные алгоритмы сортировки, мы для краткости иногда будем опускать само слово «алгоритм», говоря, например, не об алгоритме сортировки простыми вставками,а просто о сортировке простыми вставками и т. д. Все сортировки, которые мы рассматриваем, являются сортировками с помощью сравнений, т. е. никаких других операций,кроме сравнений и перемещений (присваиваний или обменов), над элементами массива производиться не может, — исключение составляет пример ..

Элементы сор-§ . Затраты алгоритма для данного входаn(n − 1)тов (операций обмена ↔), то оно колеблется от 0 до. Эта2сортировка далее будет обозначаться буквой I, от английского словаinsert — вставка.В этих примерах уже фактически сказано, что считается размером входа и затратами. В примере . размер входа — целое неотрицательное n — это порядок матриц. В примере . размер входа — само входное число (сам вход) n. В примерах ., . количество исследуемых операций однозначно определяется по n.

Столь жесткаязависимость затрат от размера входа может и не иметь места, какэто следует из примера ., где размер входа — это длина n массива.В связи с этим примером остановимся пока на операциях сравнения.n(n − 1), требуемое в худшем случае, характеКоличество сравнений2ризует рассматриваемый алгоритм среди всех алгоритмов сортировкикак «имеющий квадратичную сложность». Для придания этим словамточного смысла должно быть, прежде всего, определено само понятиесложности.Определение .. Пусть на возможных входах x алгоритма A определена неотрицательная числовая функция k x k (размер входа).

Пустьтакже определены целочисленные неотрицательные функции C AT (x),C AS (x) временных и пространственных затрат алгоритма A. Тогда временной и пространственной сложностями A называются функциичислового аргументаTA (n) = max C AT (x),k x k=nS A (n) = max C AS (x)k x k=n(.)(областью изменения n как аргумента функций TA (n) и S A (n) является множество значений размера k · k). Более полно каждая такаясложность именуется сложностью в худшем случае.Вместо TA (n), S A (n) мы иногда будем писать просто T(n), S(n), если ясно, о каком алгоритме идет речь.Два примечания к определению ..) Значение C AT (x) есть в подавляющем большинстве случаев числокаких-то операций, а C AS (x) — число хранимых величин какого-то типа, поэтому предположение о целочисленности значений этих функций вполне естественно. Без этого предположения в (.) пришлосьтируемых массивов считаются попарно различными.

Если не оговорено противное, торечь всегда идет о сортировке по возрастанию. Размером входа каждой из сортировокмы без специального упоминания считаем число n элементов массива. Глава . Сложности алгоритмов как функции числовых аргументовбы использовать sup вместо max, что сделало бы многие рассужденияо сложности более тяжеловесными.) Видимо, вместо «сложность в худшем случае» правильнее было бы сказать «сложность как затраты в худшем случае», но таковапринятая здесь терминология. Мы пока (до § ) не рассматриваемсложность в среднем, и поэтому, не опасаясь путаницы, будем называть сложность в худшем случае просто сложностью.Вернемся к алгоритмам MM, TD, I из примеров ., ., ..

Характеристики

Список файлов лекций