Базы данных 07.09.2006

Эволюция устройств внешней памяти и систем управления данными

Есть две системы управления: файлами и данными. И каждая из них имеет свои преимущества, недостатки, особенности и области применения.

Системы управления внешней памятью возникли с большой задержкой. В первые годы (40–50–начало 60) системы были ориентированы на военное применение. В США и СССР два аспекта военной техники диктовали необходимость в вычислительной технике: ядерное оружие и средства его доставки (самолёты, ракеты).

До войны численные расчёты выполнялись бригадами расчётчиков (большие залы, где сидели люди с арифмометрами). Для довоенных самолётов и оружия этого хватало. Когда появились новые виды вооружения, то традиционных методов стало недостаточно (вместо 50 надо было собрать 500 и более человек), и это стимулировало появление первых вычислительных машин. Первые машины существовали достаточно долго.

//Лектор родом из города Жуковска

В 60-е годы вычислительные центры работали так же, как и в 40–50 годы — не было резидентных программ, программы готовились на перфокарте, машина обслуживалась оператором, который составлял программу и обслуживал машину. Этого было достаточно, так как задачи были уникальны, и автор задачи был её эксплуататором, пока она была нужна.

Если бы не американцы, то на этом история вычислительной техники и закончилась. По мнению лектора, величайшая заслуга США в том, что они внесли бизнес в ИТ. Основным знаком было обращение внимания IBM. И они поняли, что компьютеры можно использовть не только для того, чтобы считать бомбу и могут служить не только против людей, но и для любдей.

СССР — страна, в которой можно было зажать любое изобретение так, что оно послужило бы только малой группе людей.

Другая сторона того факта, что на вычислительные машины обратил мир бизнеса — появление новых задач.

Информационная система — система, опирающаяся при своей работе на БД.

Появлению нового направления и связи с развитием СУБД посвящена эта лекция.

Для определённости лектор будет говорить о тех числовиках, которые решали проблемы 60-х годов.

Главной задачей было обеспечение счёта длительных задач при недостаточно стабильных системах. В то время сутки бесперебойной работы – недостижимый предел. В то время как задачи требовали для своего решения дней, недель, месяцев, лет. Одной из таких задач был расчёт последствий ядерного взрыва. Первые полезные результаты можно было получить через полгода, далее через два года результат точнее, через десять лет результат уникальный.

//две великих архитектуры – БЭСМ-6 и ПДП-11

//А. Н. Томилин стоял у истоков БЭСМ-6

Был придуман механиз контрольных точек – периодически образ оперативной памяти сбрасывался во внешнюю память и при возобновлении работы нужно было восстанавливать данные. Для этого нужен не известный заранее объём и последовательный доступ. Идеальным решением была магнитная лента. Бобина может быть сколь угодно большой, и объём дописывающего устр-ва может быть сколь угодно большой. И магнитных лент было вполне достаточно для сохранения контрольных точек.

Ещё одна потребность – недостаток вычислительной памяти на компьютере. Есть желание работать с памятью в иненсивном режиме в псевдослучайном ьдоступе, и необходимо некое устройство, которое позволяло работать почти со скоростью работы с оперативной памяти. Для обеспечения иллюзии большего объёма вычпамяти были созданы устройства под названием магнитные барабаны. Магнитные барабаны на БЭСМ-6 весили 500 кг. Единственны механическим действием было вращение барабана, и скорость их работы была всего в три раза меньше скорости основной памяти. То, что с этими устройствами нужно было работать на физическом уровне... простой интерфейс работы с внешними устройствами... специфика выч задач ограничивала количество одновременно исполняемых задач 2мя-5ю.

//Наиболее продвинутый человек – В.В. Воеводин, в выч центре

Лектор вспомнил время, когда он занимался расработкой системного ПО, и сервис работы с внешними устройствами был не очень удобен. Для разработчиков ПО

Для числовиков нужно 5 лент, чтобы результаты не потерялись, для системных программистов – порядка 30.

Рассказ про перфокарты: *во времена БЭСМ-6* как увстроена колода перфокарт – на ней набивалась программа, на одной из первых перфокарт писалась специальная инструкция, куда в памяти размещать данные с перфокарт, но работа была на космонавтику - генералов. Любимая генеральская проверка – рассыпать все перфокарты. Если программист хорошии, то он пронумеровывал карты. Но специфика работы с перфокартами такова, что там необходимо вводить исправления. Но уменый человек придумал записывать на каждойт перфокарте инструкцию, куда записывать с неё данные, что позволяло программе загружаться при любом порядке перфокарт. *конец*

Когда речь пошля для использовани компьютеров в бизнесс задачах, то всё стало иначе.

Одной из задач и в США, и в России являлась система резирвирования (мест в гостинницах, билетов,...), что связано с большими объёмами данных, рутинной работой, слежением за большим количеством мест. В этом плане США отличалась от СССР, так как в СССР гостиниц в современном понимании этого слова не было.

Рассмотрим систему продажи билетов на самолёт. Для эффективности этой программой должно пользоваться болльшое количество клиентов, и в связи с большик количеством данных их надо где-то хранить. Недостаток магнитных барабанов в малом количестве помещающейся на них информации, и для этого они не подходят. Магнитные ленты имеют практически неограниченный объём, но гигантское время доступа. До этого не было систем управления данными. Революционным изобретением IBM было изобретение магнитных дисков с подвижными головками (1960-е годы).

Нужно было придумать такое устрройство, которое совмещало положительные свойства барабанов (быстрый доступ) и магнитных лент (большая ёмкость). МДПГ состоит из дисков, насаженных на ось и пакета головок, которые двигаются над дисками. Механическая часть – движение головок и вращение дисков, електронная – включение головок в нужный момент времени. Из-за того, что пластин много, площадь записфываемой поверхности больше, а после того, как подвинутся в нужное время головки, практически со скоростью барабано можно производить операции. Почему компромисс: ёмкость магнитных дисков не может расти так неограничено, как магнитные ленты, из-за ограниченности объёма, в который эти диски помещаются. Второе ограничеиние в скорости – барабаны были литые, тяжёлые. Диски весят гораздо меньше, и их нельзя раскрутить так быстро, как барабаны, более важным ограничением является необходимость двигать головки. При операции необходимо сначала передвинуть головки на нужный циллиндр (подвод) – это очень длинная операция. Медленно увести головки неэффективно, но быстро их нельзя двигать, так как при резкой остановке начинаются колебания,которые происходят также достаточнео долго. Вторым действиемя вляется рокрутка. Дорожка делится на блоки, и для начала записи надо прокрутить пакет дисков до нужной позиции, и это время также достаточно большое, так как скорость сращения ограничено. Самое маленькое время тратится на последнее действие – проведение операции чтения-записи.

Один из замечательных людей в миру БД Джим Грей – один из немногих людей, которые не только много делают как специалисты, но и любят много писать, с частности писать разнообразные прогнозы. Что характерно, большая часть его прогнозов сбывалась. 10 лет назад Грей сказал - «всё, что вы пытались сделать против них – ошибка». Так как подобные устройства дешёвые (их можно купить столько, сколько нужно), ужасно простые (и вся сложность уходит из hardware в software, эти устройства хороши тем, что хорошо известно, как они работают). Сейчас не очень внимания люди из области управления данными обращают на raid и другие, которые внутри содержат оптимизацию, основной их минус в том, что их логика закрыта от программиста, И программист не может использовать преимущества этих систем, ориентируюся на простую схему.

В БД есть выжный элемент - журнал, который позволяет восстановить базу данных после разлиных катаклизмов. Если журнал потерян, то информацию не нужно восстанавливать.

*20 лет назад* Был проект компьютеров пятого поколения, который начался по инициативе японцв. В этом проекте было много глупостей. В нём были две идеи относительно управления данными.

1. Интеллектульные магнитные диски. 20 лет назад стали сильно дешеветь процессоры и сильно началась миниатюризация. Было предложено на каждую головку поставить процессор со своей памятью и ПО, который выпонял бы фильтрацию. Оказалось, что никто не знает, для чего это нужно. В чём была ошибка японцев – они решили, что производители оборудования умнее программистов, предлагая им технологию, которая им не нужна.

2. Диски с фиксированными головками. Делается устройство, у которого над каждым диском висит пакет головок, над каждой дорожкой. Тогда исчезает время подвода. Но. Объём и так ограничен, а напихать головки так плотно, как дорожки, невозможно. Основная стоимость диска – электроника, и подобные диски будут стоить на несколько порядков дороже.

//Электроника дишивеет, механика почти не дешевеет

*конец 20 лет назад*

В IBM 360 также появился контроллер внешнего устройства и так называемый канал канал.

Как работало устройство в БЭСМ-6: например, алфавитно-цифровое печатающее устройство – широкое устройство с барабаном. И для печати строки нужно было выполнить соответствующее количеству символов в строке количество комманд на процессоре. Генератор был частотой 50 герц, и этого хватало. Но при управлении ЭЛТ 50 Герц не хватало. Поэтому частота прерываний БЭСМ-6 была поднята до 300 Герц, и в результате машина большую часть времени занималась обработкой прерываний.

В IBM 360 контроллер брал на себя выполнение комманд высокого уровня. Котнтроллер очень сильно разгружает процессор. Но IBM также сделала канал, который позволял формировать цепочки комманд. В результате, процессор получал только информацию о том, что либо операция выполнена, либо выполнена никогда быть не может.

Какие вещи людям требовались:

Пусть имеетя большая система (100 человек). Вопрос, как распределять память в 7 мегабайт между 100 людьми? Для этого создано спеиальное ПО для распределения памяти. Дополнительно возникает проблема именования. То,что имя назначает человек, порождает возможность конфликтов. В-третьих, так как доступ является коллективным, возникает проблема взаимной защиты.

Концерт Мадонны в Москве – все системы бронирования перегружены из-за того что ото всюду – из Нью-Йорка, Лондона, Шанхая едут в Москву.

Базы данных 14.09.06

Файловые системы

Основной причиной появления ФС были 4 обстоятельсятва:

1. Распределение внешней памяти

2. Именование

3. Защита

4. Синхронизация совместной работы

concurrency - трудно переводимо на русский язык. Доступ к одному объекту нескольких активностей, и эти доступы должны регулироваться.

Это 4 основных аспекта ФС.

Сейчас в мире слово ФС, его смысл утрачивается. Эт делается с руки Google и др., которые пренебрегают терминологией, и называют новые вещи старыми именами, внося путанницу. В курсе будут рассматриваться реляционные базы данных потому, что это устоявшееся направление с устоявшейся терминологией.

У истоков многих вещеё, связанных с упаравлением данных, связана фирма IBM и, в частностии, System 360. Наиболее важными вещами, появившимися в 360, являются диски, контроллеры, каналы. В OS/360 наиболее интересной чертой являлось появление впервые в мире понятия файловой системы. IBM руководствовалась этими 4 пунктами, при её создании.

Диски – компромисс между лентами и барабанами.

//Лектор выключил звук мобильного телефона и намекнул на это

Контроллер – универсальный компьютер, Используемый для специальных целей. Правда, для IBM это было не совсем так.

В СССР последним компьютером была машина на основе процессора Motorola - Беста. На памяти лектора, до того, как её перестали выпускать, там контроллеры делались на тех же кристаллах, что и соновной процессор. И Motorola ставила на контроллеры процессоры предыдущего поколения (68ххх).

IBM была воодушевлена тем, что контроллеры такие умные и позволяли разгрузить ЦП. И при создании 360 они очень многие вещи пытались делать аппаратно.

1. Поддержка на уровне хранения записей постоянного и переменного размера – на уровне контроллера для каждого файла делалась служебная запись фиксированного размера для всех файлов, что записи в этом файле определённого размера, и ОС могла ходить вперёд-назад по записям. Для записей переменного размера для каждой записи указывался её размер и при считывании контроллер понимал, какого размера запись.

2. Индексация на уровне дисков – файл состоял из записей, каждая запись могла содержать несколько полей. Это похоже на БД, но не то. В файдлах можно было объявить поле индексным, и на аппаратном уровне в специальной области диска создавался индекс, что позже позволяло этим воспользоваться.

Почему в IBM былаи так сделаны файлы: дело в том, что в ОС у программистов, особенно у системных программистов, всегда было желание позволить людям так писать программы, чтобы они не думали, как эти программы будут работать (следить за тонкостями реализации). Давней мечтой программистов было сделать механизм абстракции, при котором при программировании было только некое абстрактное представление о внешнем мире, заключавшееся в абстракции интерфейса. В IBM бsла предпринята первая попытка абстракции, и в качестве основной абстракции был принят файл. В UNIX так и есть, но для IBM это было плохо. В IBM была предпринята попытка представить всё файлом, и основную нагрузку перенести на контроллер, но в результате получилось, что появился класс интерфейсов, которые похожи, но разные. В 360 пофвлися Job Control Language (JCL), который позволял при запуске программы сообщить ОС, каким типом файлов пользовалась. Это был громоздкий язык, на котором нужно было писать громоздкие конструкции для спецификации типов файлов. Ошибка IBM была в том, что они взяли исходно сложное понятие файла, над которым было сделана абстракция.

Когда человек работает с памятью, он работает с кусочками, т. н. Записями. Но. Что преследовало IBM, когда она хотела спустить информацию о размере записи до уровня диска. Первое, как кажеться, лектору, ошибка в том, что IBMовцам казалось, что при наличии точной информации о длине минимизируется количество записей. Второе ошибочное предположение в минимизации затрат памяти при записи.

В действительности, экономия является ложной, так как собственно запись занимала очень маленькое время.

Одна из самых неприятных вещей – динамическое распределение памяти фиксированными кусками. Человечество не придумало ни одного алгоритма, который эффективно выделял бы области заданного размера и не приводил к внешней фрагментации. Для борьбы с внешней фрагментацией можно только сдвигать выделенные куски. Другие методы, которые выделяют фиксированное количество памяти, приводят к внутренней фрагментации.\

IBM прокололась с внешней фрагментацией, которая пожирала большое количество ресцурсов.

За 30 лет так мало изменилось в ФС и ОС.