Системы управления данными

Лекции 10-11. Системы управления данными (файловые системы)

Лекция 10. Организация файловых систем

10.1 Файлы

      Требования к хранению информации:

• возможность хранения больших объемов данных
• информация должна сохраняться после прекращения работы процесса
• несколько процессов должны иметь одновременный доступ к информации

Рекомендуемые материалы

10.1.1 Именование файлов

     Длина имени файла зависит от ОС, может быть от 8 (MS-DOS) до 255 (Windows, LINUX) символов.

     ОС могут различать прописные и строчные символы. Например, WINDOWS и windows для MS-DOS одно и тоже, но для UNIX это разные файлы.

     Во многих ОС имя файла состоит из двух частей, разделенных точкой, например windows.exe. Часть после точки называют расширением файла. По нему система различает тип файла.

     У MS-DOS расширение составляет 3 символа. По нему система различает тип файла, а также можно его исполнять или нет.

     У UNIX расширение ограничено размером имени файла в 255 символов, также у UNIX может быть несколько расширений, но расширениями пользуются больше прикладные программы, а не ОС. По расширению UNIX не может определить исполняемый это файл или нет.

10.1.2 Структура файла

     Три основные структуры файлов:

1. Последовательность байтов - ОС не интересуется содержимым файла, она видит только байты. Основное преимущество такой системы, это гибкость использования. Используются в Windows и UNIX.
2. Последовательность записей - записей фиксированной длины (например, перфокарта), считываются последовательно. Сейчас не используются.
3. Дерево записей - каждая запись имеет ключ, записи считываются по ключу. Основное преимущество такой системы, это скорость поиска. Пока еще используется на мэйнфреймах.

Три типа структур файла.

10.1.3 Типы файлов

     Основные типы файлов:

• Регулярные - содержат информацию пользователя. Используются в Windows и UNIX.
• Каталоги - системные файлы, обеспечивающие поддержку структуры файловой системы. Используются в Windows и UNIX.
• Символьные - для моделирования ввода-вывода. Используются только в UNIX.
• Блочные - для моделирования дисков. Используются только в UNIX.

     Основные типы регулярных файлов:

• ASCII файлы - состоят из текстовых строк. Каждая строка завершается возвратом каретки (Windows), символом перевода строки (UNIX) и используются оба варианта (MS-DOS). Поэтому если открыть текстовый файл, написанный в UNIX, в Windows, то все строки сольются в одну большую строку, но под MS-DOS они не сольются (это достаточно частая ситуация). Основные преимущества ASCII файлов:

      - могут отображаться на экране, и выводится на принтер без преобразований
      -    могут редактироваться почти любым редактором

• Двоичные файлы - остальные файлы (не ASCII). Как правило, имеют внутреннею структуру.

     Основные типы двоичных файлов:

• Исполняемые - программы, их может обрабатывать сама операционная система, хотя они записаны в виде последовательности байт.
• Неисполняемые - все остальные.

Примеры исполняемого и не исполняемого файла

     «Магическое число» - идентифицирующее файл как исполняющий.

10.1.4 Доступ к файлам

     Основные виды доступа к файлам:

• Последовательный - байты читаются по порядку. Использовались, когда были магнитные ленты.
• Произвольный - файл можно читать с произвольной точки. Основное преимущество возникает, когда используются большие файлы (например, баз данных) и надо считать только часть данных из файла. Все современные ОС используют этот доступ.

10.1.5 Атрибуты файла

     Основные атрибуты файла:

• Защита - кто, и каким образом может получить доступ к файлу (пользователи, группы, чтение/запись). Используются в Windows и UNIX.
• Пароль - пароль к файлу
• Создатель - кто создал файл
• Владелец - текущий владелец файла
• Флаг "только чтение" - 0 - для чтения/записи, 1 - только для чтения. Используются в Windows.
• Флаг "скрытый" - 0 - виден, 1 - невиден в перечне файлов каталога (по умолчанию). Используются в Windows.
• Флаг "системный" - 0 - нормальный, 1 - системный. Используются в Windows.
• Флаг "архивный" - готов или нет для архивации (не путать сжатием). Используются в Windows.
• Флаг "сжатый" - файл сжимается (подобие zip архивов). Используются в Windows.
• Флаг "шифрованный" - используется алгоритм шифрования. Если кто-то попытается прочесть файл, не имеющий на это прав, он не сможет его прочесть. Используются в Windows.
• Флаг ASCII/двоичный - 0 - ASCII, 1 - двоичный
• Флаг произвольного доступа - 0 - только последовательный, 1 - произвольный доступ
• Флаг "временный" - 0 - нормальный, 1 - для удаления файла по окончании работы процесса
• Флаг блокировки - блокировка доступа к файлу. Если он занят для редактирования.
• Время создания - дата и время создания. Используются UNIX.
• Время последнего доступа - дата и время последнего доступа
• Время последнего изменения - дата и время последнего изменения. Используются в Windows и UNIX.
• Текущий размер - размер файла. Используются в Windows и UNIX.

10.1.6 Операции с файлами

     Основные системные вызовы для работы с файлами:

• Create - создание файла без данных.
• Delete - удаление файла.
• Open - открытие файла.
• Close - закрытие файла.
• Read - чтение из файла, с текущей позиции файла.
• Write - запись в файл, в текущею позицию файла.
• Append - добавление в конец файла.
• Seek - устанавливает файловый указатель в определенную позицию в файле.
• Get attributes - получение атрибутов файла.
• Set attributes - установить атрибутов файла.
• Rename - переименование файла.

10.1.7 Файлы, отображаемые на адресное пространство памяти

     Иногда удобно файл отобразить в памяти (не надо использовать системные вызовы ввода-вывода для работы с файлом), и работать с памятью, а потом записать измененный файл на диск.

     При использовании страничной организации памяти, файл целиком не загружается, а загружаются только необходимые страницы.

     При использовании сегментной организации памяти, файл загружают в отдельный сегмент.

Пример копирования файла через отображение в памяти.

     Алгоритм:

1. Создается сегмент для файла 1
2. Файл отображается в памяти
3. Создается сегмент для файла 2
4. Сегмент 1 копируется в сегмент 2
5. Сегмент 2 сохраняется на диске

     Недостатки этого метода:

• Тяжело определить длину выходного файла
• Если один процесс отобразил файл в памяти и изменил его, но файл еще не сохранен, второй процесс откроет это же файл, и будет работать с устаревшим файлом.
• Файл может оказаться большим, больше сегмента или виртуального пространства.

10.2 Каталоги

10.2.1 Одноуровневые каталоговые системы

     В этой системе все файлы содержатся в одном каталоге.

     Однокаталоговая система, содержащая четыре файла, файлов А два, но разных владельцев

     Преимущества системы:

• Простота
• Возможность быстро найти файл, не надо лазить по каталогам

     Недостатки системы:

• Различные пользователи могут создать файлы с одинаковыми именами.

10.2.2 Двухуровневые каталоговые системы

     Для каждого пользователя создается свой собственный каталог.

Двухуровневая каталоговая система

     Пользователь, при входе в систему, попадает в свой каталог и работает только с ним. Это делает проблематичным использование системных файлов.

     Эту проблему можно решить созданием системного каталога, с общим доступом.

     Если у одного пользователя много файлов, то у него тоже может возникнуть необходимость в файлах с одинаковыми именами.

10.2.3 Иерархические каталоговые системы

     Каждый пользователь может создавать столько каталогов, сколько ему нужно.

Иерархическая каталоговая система

     Почти все современные универсальные ОС, организованы таким образом. Специализированным ОС это может быть не нужным.

10.2.4 Имя пути

     Для организации дерева каталогов нужен некоторый способ указания файла.

     Два основных метода указания файла:

• абсолютное имя пути - указывает путь от корневого каталога, например:

- для Windows usrastmailbox

- для UNIX /usr/ast/mailbox

- для MULTICS >usr>ast>mailbox

• относительное имя пути - путь указывается от текущего каталога (рабочего каталога), например:

- если текущий каталог /usr/, то абсолютный путь /usr/ast/mailbox перепишется в ast/mailbox

- если текущий каталог /usr/ast/, то абсолютный путь /usr/ast/mailbox перепишется в mailbox

- если текущий каталог /var/log/, то абсолютный путь /usr/ast/mailbox перепишется в ../../usr/ast/mailbox

./ - означает текущий каталог

../ - означает родительский каталог

10.2.5 Операции с каталогами

     Основные системные вызовы для работы с каталогами:

• Create - создать каталог
• Delete - удалить каталог
• OpenDir - закрыть каталог
• CloseDir - закрыть каталог
• ReadDir - прочитать следующий элемент открытого каталога
• Rename - переименование каталога
• Link - создание жесткой ссылки, позволяет файлу присутствовать сразу в нескольких каталогах.
• Unlink - удаление ссылки из каталога

10.3 Структура файловой системы

Возможная структура файловой системы

     Все что до "Загрузочного блока" и включая его одинаково у всех ОС. Дальше начинаются различия.

     Суперблок - содержит ключевые параметры файловой системы.

10.4 Реализация файлов

     Основная проблема - сколько, и какие блоки диска принадлежат тому или иному файлу.

10.4.1 Непрерывные файлы

     Выделяется каждому файлу последовательность соседних блоков.

5 непрерывных файлов на диске и состояние после удаления двух файлов

     Преимущества такой системы:

• Простота - нужно знать всего два числа, это номер первого блока и число блоков.
• Высокая производительность - требуется только одна операция поиска, и файл может быть прочитан за одну операцию

     Недостатки:

• Диск сильно фрагментируется

     Сейчас такая запись почти не используется, только на CD-дисках и магнитных лентах.

10.4.2 Связные списки

     Файлы хранятся в разных не последовательных блоках, и с помощью связных списков можно собрать последовательно файл.

Размещение файла в виде связного списка блоков диска

     Номер следующего блока хранится в текущем блоке.

     Преимущества:

• Нет потерь дискового пространства на фрагментацию
• Нужно хранить информацию только о первом блоке

     Недостатки:

• Уменьшение быстродействия - для того чтобы получить информацию о всех блоках надо перебрать все блоки.
• Уменьшается размер блока из-за хранения служебной информации

10.4.3 Связные списки при помощи таблиц в памяти

     Чтобы избежать два предыдущих недостатка, стали хранить всю информацию о блоках в специальной таблице загружаемой в память.

     FAT (File Allocation Table) - таблица размещения файлов загружаемая в память.

Рассмотри предыдущий пример, но в виде таблицы.

Таблица размещения файлов

     Здесь тоже надо собирать блоки по указателям, но работает быстрее, т.к. таблица загружена в память.

     Основной не достаток этого метода - всю таблицу надо хранить в памяти. Например, для 20 Гбайт диска, с блоком 1Кбайт (20 млн. блоков), потребовалась бы таблица в 80 Мбайт (при записи в таблице в 4 байта).

     Такие таблицы используются в MS-DOS и Windows.

10.4.4 i - узлы

     С каждым файлом связывается структура данных, называемая i-узлом (index-node- индекс узел), содержащие атрибуты файла и адреса всех блоков файла.

Примеры i-узла

     Преимущества:

• Быстродействие - имея i-узел можно получить информацию о всех блоках файла, не надо собирать указатели.
• Меньший объем, занимаемый в памяти. В память нужно загружать только те узлы, файлы которых используются.

     Если каждому файлу выделять фиксированное количество адресов на диске, то со временем этого может не хватить, поэтому последняя запись в узле является указателем на дополнительный блок адресов и т.д.

     Такие узлы используются в UNIX.

10.5 Реализация каталогов

     При открытии файла используется имя пути, чтобы найти запись в каталоге. Запись в каталоге указывает на адреса блоков диска.

     В зависимости от системы это может быть:

• дисковый адрес всего файла (для непрерывных файлов)
• номер первого блока (связные списки)
• номер i-узла

     Одна из основных задач каталоговой системы преобразование ASCII-имени в информацию, необходимую для нахождения данных.

     Также она хранит атрибуты файлов.

     Варианты хранения атрибутов:

• В каталоговой записи (MS-DOS)
• В i-узлах (UNIX)

Варианты реализации каталогов

10.5.1 Реализация длинных имен файлов

     Раньше операционные системы использовали короткие имена файлов, MS-DOS до 8 символов, в UNIX Version 7 до 14 символов. Теперь используются более длинные имена файлов (до 255 символов и больше).

     Методы реализации длинных имен файлов:

• Просто выделить место под длинные имена, увеличив записи каталога. Но это займет много места, большинство имен все же меньше 255.
• Применить записи с фиксированной частью (атрибуты) и динамической записью (имя файла).

     Второй метод можно реализовать двумя методами:

• Имена записываются сразу после заголовка (длина записи и атрибутов)
• Имена записываются в конце каталога после всех заголовков (указателя на файл и атрибутов)

Реализация длинных имен файлов

10.5.2 Ускорение поиска файлов

     Если каталог очень большой (несколько тысяч файлов), последовательное чтение каталога мало эффективно.

     1 Использование хэш-таблицы для ускорения поиска файла.

     Алгоритм записи файла:

• Создается хэш-таблица в начале каталога, с размером n (n записей).
• Для каждого имени файла применяется хэш-функция, такая, чтобы при хэшировании получалось число от 0 до n-1.
• Исследуется элемент таблицы соответствующий хэш-коду.
• Если элемент не используется, туда помещается указатель на описатель файла (описатели размещены вслед за хэш-таблицей).
• Если используется, то создается связный список, объединяющие все описатели файлов с одинаковым хэш-кодом.

     Алгоритм поиска файла:

• Имя файла хэшируется
• По хэш-коду определяется элемент таблицы
• Затем проверяются все описатели файла из связного списка и сравниваются с искомым именем файла
• Если имени файла в связном списке нет, это значит, что файла нет в каталоге.

     Такой метод очень сложен в реализации, поэтому используется в тех системах, в которых ожидается, что каталоги будут содержать тысячи файлов.

2 Использование кэширования результатов поиска файлов для ускорения поиска файла.

     Алгоритм поиска файла:

• Проверяется, нет ли имени файла в кэше
• Если нет, то ищется в каталоге, если есть, то берется из кэша

     Такой способ дает ускорение только при частом использовании одних и тех же файлов.

10.6 Совместно используемые файлы

     Иногда нужно чтобы файл присутствовал в разных каталогах.

     Link (связь, ссылка) - с ее помощью обеспечивается присутствие файла в разных каталогах.

А - совместно используемый файл.

     Такая файловая система называется ориентированный ациклический граф (DAG, Directed Acyclic Graph).

     Возникает проблема, если дисковые адреса содержатся в самих каталоговых записях, тогда при добавлении новых данных к совместно используемому файлу новые блоки будут числится только в каталоге того пользователя, который производил эти изменения в файле.

     Есть два решения этой проблемы:

1. Использование i-узлов, в каталогах хранится только указатель на i-узел. Такие ссылки называются жесткими ссылками.
2. При создании ссылки, в каталоге создавать реальный Link-файл, новый файл содержит имя пути к файлу, с которым он связан. Такие ссылки называются символьными ссылками.

10.6.1 Жесткие ссылки

     Может возникнуть проблема, если владелец файла удалит его (и i-узел тоже), то указатель, каталога содержащего ссылку, будет указывать на не существующий i-узел. Потом может появиться i-узел с тем же номером, а значит, ссылка будет указывать на не существующий файл.

     Поэтому в этом случае при удалении файла i-узел лучше не удалять.

     Файл будет удален только после того, как счетчик будет равен 0.

Иллюстрация проблемы, которая может возникнуть

10.6.2 Символьные ссылки

     Удаление файла не влияет на ссылку, просто по ссылке будет не возможно найти файл (путь будет не верен).

     Удаление ссылки тоже никак не скажется на файле.

     Но возникают накладные расходы, чтобы получить доступ к i-узлу, должны быть проделаны следующие шаги:

• Прочитать файл-ссылку (содержащий путь)
• Пройти по всему этому путь, открывая каталог за каталогом

10.7 Организация дискового пространства

10.7.1 Размер блока

     Если принято решение хранить файл в блоках, то возникает вопрос о размере этих блоков.

     Есть две крайности:

• Большие блоки - например, 1Мбайт, то файл даже 1 байт займет целый блок в 1Мбайт.
• Маленькие блоки - чтение файла состоящего из большого числа блоков будет медленным.

Скорости чтения/записи и эффективность использования диска,
в системе с файла одинакового размера 2 Кбайта.

     В UNIX системах размер блока фиксирован, и, как правило, равен от 1Кбайта до 4Кбайт.

     В MS-DOS размер блока может быть от 512 до 32 Кбайт в зависимости от размера диска, поэтому FAT16 использовать на дисках больше 500 Мбайт не эффективно.

     В NTFS размер блока фиксирован (от 512байт до 64 Кбайт), как правило, равен примерно 2Кбайтам (от 512байт до 64 Кбайт).

10.7.2 Учет свободных блоков

     Основные два способа учета свободных блоков :

• Связной список блоков диска, в каждом блоке содержится номеров свободных блоков столько, сколько вмешается в блок. Часто для списка резервируется нужное число блоков в начале диска.
  Недостатки:
  - Требует больше места на диске, если номер блока 32-разрядный, требуется 32бита для номера
  - Излишние операции ввода/вывода, т.к. в памяти не хранятся все блоки, а, например, только один блок
• Битовый массив (бит-карта) - для каждого блока требуется один бит.

Основные два способа учета свободных блоков

10.7.3 Дисковые квоты

     Чтобы ограничить пользователя, существует механизм квот.

     Два вида лимитов:

• Жесткие - превышены быть не могут
• Гибкие - могут быть превышены, но при выходе пользователь должен удалить лишние файлы. Если он не удалил, то при следующем входе получит предупреждение, после получения нескольких предупреждений он блокируется.

     Наиболее распространенные квоты:

• Объем использования диска
• Количество файлов
• Количество открытых файлов

10.8 Надежность файловой системы

10.8.1 Резервное копирование

     Случаи, для которых необходимо резервное копирование:

• Аварийные ситуации, приводящие к потере данных на диске
• Случайное удаление или программная порча файлов

     Основные принципы создания резервных копий:

• Создавать несколько копий - ежедневные, еженедельные, ежемесячные, ежеквартальные.
• Как правило, необходимо сохранять не весь диск, а толь выборочные каталоги.
• Применять инкрементные резервные копии - сохраняются только измененные файлы
• Сжимать резервные копии для экономии места
• Фиксировать систему при создании резервной копии, чтобы вовремя резервирования система не менялась.
• Хранить резервные копии в защищенном месте, не доступном для посторонних.

     Существует две стратегии:

• Физическая архивация - поблочное копирование диска (копируются блоки, а не файлы)

     Недостатки:

- копирование пустых блоков

- проблемы с дефектными блоками

- не возможно применять инкрементное копирование

- не возможно копировать отдельные каталоги и файлы

     Преимущества:

- высокая скорость копирования

- простота реализации

• Логическая архивация - работает с файлами и каталогами. Применяется чаще физической.

10.8.2 Непротиворечивость файловой системы

Если в системе произойдет сбой, прежде чем модифицированный блок будет записан, файловая система может попасть в противоречивое состояние. Особенно если это блок i-узла, каталога или списка свободных блоков.

В большинстве файловых систем есть специальная программа, проверяющая непротиворечивость системы.В UNIX - fsck.В Windows - scandisk.

Если произошел сбой, то во время загрузки они проверяют файловую систему (если файловая система журналируемая, такая проверка не требуется).

Журналируемая файловая система - операции выполняются в виде транзакций, если транзакция не завершена, то во время загрузки происходит откат в системе назад.

Два типа проверки на непротиворечивость системы:

1. проверка блоков - проверяется дублирование блоков в файле или в списке свободных блоков. Потом проверяется, нет ли блока файла, который еще присутствует в списке свободных блоков. Если блока нет в занятых и в незанятых, то блок считается не достающем (уменьшается место на диске), такие блоки добавляются к свободным. Также блок может оказаться в двух файлах.
2. проверка файлов - в первую очередь проверяется каталоговая структура. Файл может оказаться; либо в нескольких каталогах, либо не в одном каталоге (уменьшается место на диске).

10.11 Производительность файловой системы

Так как дисковая память достаточно медленная. Приходится использовать методы повышающие производительность.

10.11.1 Кэширование

Блочный кэш (буферный кэш) - набор блоков хранящиеся в памяти, но логически принадлежащие диску.

Перехватываются все запросы чтения к диску, и проверяется наличие требуемых блоков в кэше.

Ситуация схожа со страничной организацией памяти, можно применять те же алгоритмы.

Нужно чтобы измененные блоки периодически записывались на диск. В UNIX это выполняет демон update (вызывая системный вызов sync). В MS-DOS модифицированные блоки сразу записываются на диск (сквозное кэширование).

10.11.2 Опережающее чтение блока

Если файлы считываются последовательно, и когда получен к-блок, можно считать блок к+1 (если его нет в памяти). Что увеличивает быстродействие.

10.11.3 Снижение времени перемещения блока головок

Если записывать, наиболее часто запрашиваемые файлы, рядом (соседние сектора или дорожки), то перемещение головок будет меньше

В случае использования i-узлов если они расположены в начале диска, то быстродействие будет уменьшено, т.к. сначала головка считает i-узел (в начале диска), а потом будет считывать данные (где-то на диске). Если располагать i-узлы поближе к данным, то можно увеличить скорость доступа.

Лекция 11. Примеры файловых систем

11.1 Файловой системы CD-дисков

11.1.1 Файловая система ISO 9660

Более подробная информация - http://ru.wikipedia.org/wiki/ISO_9660 Стандарт принят в 1988 г.

По стандарту диски могут быть разбиты на логические разделы, но мы будем рассматривать диски с одним разделом.

Как вы знаете блоки записываются последовательно; по спирали; сектора по 2352 байта.

Порядок записи информации:

1. Каждый CD-ROM начинается с 16 блоков (неопределенных ISO 9660), эта область может быть использована для размещения загрузчика ОС или для других целей.
2. Дальше один блок основного описателя тома - хранит общую информацию о CD-ROM, в нее входит:

· идентификатор системы (32байта)

· идентификатор тома (32байта)

· идентификатор издателя (128байт)

· идентификатор лица, подготовившего данные (128байт)

· имена трех файлов, которые могут содержать краткий обзор, авторские права и библиографическая информация.

· ключевые слова: размер логического блока (как правило, 2048, но могут быть 4096, 8192 и т.д.); количество блоков; дата создания; дата окончания срока службы диска.

· описатель корневого каталога (номер блока содержащего каталог).

1. Могут быть дополнительные описатели тома, подобные основному.

     Каталоговая запись стандарта ISO 9660.

Каталоговая запись стандарта ISO 9660.

Расположение файла - номер начального блока, т.к. блоки располагаются последовательно.

L - длина имени файла в байтах

Имя файла - 8 символов, 3 символа расширения (из-за совместимости с MS-DOS). Имя файла может встречаться несколько раз, но с разными номерами версий.

Sys - поле System use (используется различными ОС для своих расширений )

     Порядок каталоговых записей:

1. Описатель самого каталога (аналог ".")
2. Ссылка на родительский каталог (аналог "..")
3. Остальные записи (записи файлов) в алфавитном порядке

     Количество каталоговых записей не ограничено, но ограничено количество вложенности каталогов - 8.

     В стандарте ISO 9660 определены три уровня ограничений:

1. - имена файлов = 8-3

      - имена каталогов 8 символов, каталоги без расширений

      - глубина вложенности каталогов ограничена восемью

      - файлы должны быть непрерывными

1. имена файлов и каталогов до 31 символа
2. - имена файлов и каталогов до 31 символа

      - файлы могут быть не непрерывными, состоять из разделов

11.1.2 Рок-ридж расширения для UNIX

     Это расширение было создано, чтобы файловая система UNIX была представлена на CD-ROM.

     Для этого используется поле System use.

     Расширения содержат следующие поля:

1. PX - атрибуты POSIX (стандартные биты rwxrwxrwx, (чтение, запись, запуск) (владелец, группа, все) )
2. PN - старший и младший номер устройств (чтобы можно было записать каталог /dev, который содержит устройства)
3. SL - символьная связь
4. NM - альтернативное имя, позволяет использовать произвольные имена, без ограничений
5. CL - расположение дочернего узла (чтобы обойти ограничение на вложенность каталогов)
6. PL - расположение дочернего узла (чтобы обойти ограничение на вложенность каталогов)
7. RE - перераспределение (чтобы обойти ограничение на вложенность каталогов)
8. TF - временные штампы (время создания, последнее изменение , последний доступ)

11.1.3 Joliet расширения для Windows

     Это расширение было создано, чтобы файловая система ОС Windows 95 была представлена на CD-ROM.

     Для этого используется поле System use.

     Расширения содержат следующие поля:

1. Длинные имена файлов (до 64 символов)
2. Набор символов Unicode (поддержка различных языков)
3. Преодоление ограничений на вложенность каталогов
4. Имена каталогов с расширениями

11.1.4 Romeo расширения для Windows

     Стандарт Romeo предоставляет другую возможность записи файлов с длинными именами на компакт-диск. Длина имени может составлять 128 символов, однако использование кодировки Unicode не предусмотрено. Альтернативные имена в этом стандарте не создаются, поэтому программы MS-DOS не смогут прочитать файлы с такого диска.

Вы можете выбрать стандарт Romeo только в том случае, если диск предназначен для чтения приложениями Windows 95 и Windows NT.

11.1.5 HFS расширения для Macintosh

     Иерархическая файловая система компьютеров Macintosh, не совместима ни с какими другими файловыми системами и называется Hierarchical File System (HFS).

11.1.6 Файловая система UDF (Universal Disk Format)

     Более подробная информация - http://ru.wikipedia.org/wiki/Universal_Disk_Format

     Изначально созданная для DVD, с версии 1.50 добавили поддержку CD-RW и CD-R.

     Сейчас последняя версия 2.60. Официальную информацию (и спецификацию) можно получить на сервере www.osta.org - сервер Optical Storage Technology Association.

     Эта файловая система позволяет дописывать диски, а также поддерживает большие размеры файлов и длинные имена файлов.

11.2 Файловая система CP/M

     CP/M (Control Program for Microcomputers) - операционная система, предшественник MS-DOS.

     В ее файловой системе только один каталог, с фиксированными записями по 32 байта.

     Имена файлов - 8+3 символов верхнего регистра.

     После каждой перезагрузки рассчитывается битовый массив занятых и свободных блоков. Массив находится постоянно в памяти (для 180Кбайтного диска 23 байта массива). После завершения работы, он не записывается на диск.

     Каталоговая запись CP/M

     Видно, что максимальный размер файла 16Кбайт (16*1Кбайт).

     Для файлов размером от 16 до 32 Кбайт можно использовать две записи. Для до 48 Кбайт три записи и т.д.

     Порядковый номер записи хранится в поле экстент.

     Код пользователя - каждый пользователь мог работать только со своими файлами.

     Порядок чтения файлов:

1. Файл открывается системным вызовом open
2. Читается каталоговая запись, из которой получает информацию о всех блоках.
3. Вызывается системный вызов read

11.2 Файловая система MS-DOS (FAT-12,16,32)

     В первых версиях был только один каталог (MS-DOS 1.0).

     С версии MS-DOS 2.0 применили иерархическую структуру.

     Каталоговые записи, фиксированны по 32 байта.

     Имена файлов - 8+3 символов верхнего регистра.

     Порядок чтения файлов:

1. Файл открывается системным вызовом open, которому указывается путь к файлу (может быть абсолютным и относительным).
2. Файловая система открывает каталоги (согласно пути), считывает последний каталог в память.
3. Ищет описатель файла.
4. Читается дескриптор файла, из которого получает информацию о всех блоках.
5. Вызывается системный вызов read

Каталоговая запись MS-DOS, обратите внимание на пустые 10 байт,

 они будут задействованы в Windows 98

     Атрибут архивный нужен для программ резервного копирования, по нему они определяют надо копировать файл или нет.

     Поле время (16 разрядов) разбивается на три подполя:

1. секунды - 5бит (2^5=32 поэтому хранятся с точностью до 2-х секунд)
2. минуты - 6бит
3. часы - 5бит

     Поле даты (16 разрядов) разбивается на три подполя:

1. день - 5бит
2. месяц - 4бита
3. год - 7бит (начинается с 1980г, т.е. максимальный 2107г.)

     Теоретически размер файлов может быть до 4Гбайт (32 разряда).

     Все блоки файла в записи не хранятся, а только первый блок. Этот номер используется в качестве индекса для 64К (для FAT-16) элементов FAT-таблицы, хранящейся в оперативной памяти.

     В зависимости от количества блоков на диске в системе MS-DOS применяется три версии файловой системы FAT:

1. FAT-12
2. FAT-16
3. FAT-32 - для адреса используются только 28 бит, поэтому правильнее назвать FAT-28

     Размер блока (кластера) должен быть кратным 512 байт.

11.2.1 FAT-12

     В первой версии MS-DOS использовалась FAT-12 с 512 байтовыми блоками, поэтому максимальный размер раздела мог достигать 2Мбайта (2^12*512байта).

     С увеличением дисков, этого стало не хватать, стали увеличивать размер блоков 1,2 и 4 Кбайта (2^12) (при этом эффективность использования диска падает).

     FAT-12 до сих пор применяется для гибких дисков.

11.2.2 FAT-16

     Особенности:

• 16-разрядные дисковые указатели
• Размеры кластеров 512, 1, 2, 4, 8, 16 и 32Кбайт (2^15)

     Таблица постоянно занимала в памяти 128 Кбайт.

     Максимальный размер раздела диска мог достигать 2Гбайта (2^16*32Кбайта).

     Причем кластер в 32 Кбайта для файлов со средним размером в 1Кбайт, не эффективен.

11.2.3 FAT-32

     Особенности:

• 28-разрядные адреса
• Размеры кластеров 512, 1, 2, 4, 8, 16 и 32Кбайт

     Максимальный размер раздела диска мог бы достигать 2^28*2^15, но здесь уже вступает другое ограничение - 512 байтные сектора адресуются 32-разрядным числом, а это 2^32*2^9, т.е. 2 Тбайта.

     Максимальный размер раздела для различных размеров кластеров

     Из таблицы видно, что FAT-16 использовать не эффективно уже при разделах в 256 Мбайт, учитывая, что средний размер файла 1Кбайт.

11.2.4 Расширение Windows 98 для FAT-32

     Для расширения были задействованы 10 свободных бит.

     Формат каталоговой записи в системе FAT-32 с расширениями для Windows 98

     Пять добавленных полей:

1. NT - предназначено для совместимости с Windows.
2. Sec - дополнение к старому полю время, позволяет хранить время с точностью до секунды (было 2 секунды)
3. Дата и время создания файла (Creation time)
4. Дата (но не время) последнего доступа (Last access)
5. Для хранения номера блока выделено еще 2 байта (16 бит), т.к. номера блоков стали 32-разрядные.

     Основная надстройка над FAT-32, это длинные имена файлов.

     Для каждого файла стали присваивать два имени:

1. Короткое 8+3 для совместимости с MS-DOS
2. Длинное имя файла, в формате Unicode

     Доступ к файлу может быть получен по любому имени.

     Если файлу дано длинное имя (или используются пробелы), то система делает следующие шаги:

• берет первые шесть символов
• преобразуются в верхний регистр ASCII, удаляются пробелы, лишние точки, некоторые символы преобразуются в "_"
• добавляется суффикс ~1
• если такое имя есть, то используется суффикс ~2 и т.д.

     Короткие имена хранятся в в обычном дескрипторе файла.

     Длинные имена хранятся в дополнительных каталоговых записях, идущих перед основным описателем файла. Каждая такая запись содержит 13 символов формата Unicode (для символа Unicode нужно два байта).

Формат каталогов записи с фрагментом длинного имени файла в Windows 98

     Поле "Атрибуты" позволяет отличить фрагмент длинного имени (значение 0х0F) от дескриптора файла. Старые программы MS-DOS каталоговые записи со значением поля атрибутов 0х0F, просто игнорируют.

     Последовательность - порядковый номер в последовательности фрагментов.

Длина имени файла ограничена 260 символами не из-за порядкового номера (1 байт), для номера используются только 6 бит 6х13=819 символов.

     Контрольная сумма нужна для выявления ошибок, т.к. файл с длинным именем может удалить MS-DOS и создать новый, и тогда останутся не удаленные записи, которые "прилипнут" к новому файлу. Т.к. это поле один байт, есть вероятность 1/256 что Windows 98 не заметит подмены.

11.3 Файловая система NTFS

     Файловая система NTFS была разработана для Windows NT.

     Особенности:

• 64-разрядные адреса, т.е. теоретически может поддерживать 2⁶⁴*2¹⁶ байт (1 208 925 819 Mбайт~1Tбайт(2⁸⁰)).
• Размеры блока (кластера) от 512байт до 64 Кбайт, для большинства используется 4Кбайта.
• Поддержка больших файлов.
• Имена файлов ограничены 255 символами Unicode.
• Длина пути ограничивается 32 767 (2¹⁵) символами Unicode.
• Имена чувствительны к регистру, my.txt и MY.TXT это разные файлы (но из-за Win32 API использовать нельзя), это заложено на будущее.
• Журналируемая файловая система, т.е. не попадет в противоречивое состояние после сбоев.
• Контроль доступа к файлам и каталогам.
• Поддержка жестких и символических ссылок.
• Поддержка сжатия и шифрования файлов.
• Поддержка дисковых квот.

     Главная файловая таблица MFT (Master File Table) - главная структура данных в каждом томе, записи фиксированные по 1Кбайту. Каждая запись описывает один каталог или файл. Для больших файлов могут использоваться несколько записей, первая запись называется - базовой записью.

     MFT представляет собой обычный файл (размером до 2⁴⁸ записей), который может располагаться в любом месте на диске.

Главная файловая таблица MFT, каждая запись ссылается на файл или каталог.

     Первые 16 записей MFT зарезервированы для файлов метаданных. Каждая запись описывает нормальный файл, имена этих файлов начинаются с символа "$".

     Каждая запись представляет собой последовательность пар (заголовок атрибута, значение).

     Некоторые записи метаданных в MFT:

0) Первая запись описывает сам файл MFT, и содержит все блоки файла MFT. Номер первого блока файла MFT содержится в загрузочном блоке.

1) Дубликат файла MFT, резервная копия.

2) Журнал для восстановления, например, перед созданием, удалением каталога делается запись в журнал. Система не попадет в противоречивое состояние после сбоев.

3) Информация о томе (размер, метка и версия)

4) Определяются атрибуты для MFT записей.

6) Битовый массив использованных блоков - для учета свободного места на диске

7) Указывает на файл начальной загрузки

     Атрибуты, используемые в записях MFT:

• Стандартная информация - флаговые биты (только чтение, архивный), временные штампы и т.д.
• Имя файла - имя файла в кодировке Unicode, файлы могут повторятся в формате MS-DOS 8+3.
• Список атрибутов - расположение дополнительных записей MFT
• Идентификатор объекта - 64-разрядный идентификатор файла, уникальный для данного тома.
• Точка повторного анализа - используется для символьных ссылок и монтирования устройств.
• Название тома
• Версия тома
• Корневой индекс - используется для каталогов
• Размещение индекса - используется для очень больших каталогов
• Битовый массив - используется для очень больших каталогов
• Поток данных утилиты регистрации - используется для шифрования
• Данные - поточные данные, может повторяться, используется для хранения самого файла. За заголовком следует список дисковых адресов, определяющий положение файла на диске, если файл очень маленький (несколько сотен байт), то следует сам файл (такой файл называется - непосредственный файл).

     Как привило, все данные файла не помещаются в запись MFT.

     Дисковые блоки файлам назначаются по возможности в виде серий последовательных блоков (сегментов файлов). В идеале файл должен быть записан в одну серию (не фрагментированный файл), файл, состоящий из n блоков, может быть записан от 1 до n серий.

     Запись MFT для 9-блочного файла, состоящего из трех сегментов (серий).
     Вся запись помещается в одну запись MFT (файл не сильно фрагментирован).

     Заголовок содержит количество блоков (9 блоков).

     Каждая серия записывается в виде пары, дисковый адрес - количество блоков (20-4, 64-2, 80-3).

     Каждая пара, при отсутствие сжатия, это два 64-разрядные числа (16 байт на пару).

     Многие адреса содержат большое количество нулей, сжатие делается за счет убирания нулей в старших байтах. В результате для пары требуется чаще всего 4байта.

     Если файл сильно фрагментирован, требуется несколько записей MFT.

Три записи MFT для сильно фрагментированного файла. В первой записи указывается индексы на дополнительные записи.

     Может потребоваться очень много индексов MFT, так что индексы не поместятся в запись. В этом случае список хранится не в MFT, а в файле.

Запись MFT для небольшого каталога

     Поиск файла в каталоге по имени состоит в последовательном переборе имен файлов.

     Для больших каталогов используется другой формат. Используется дерево В+, обеспечивающее поиск в алфавитном порядке.

11.3.1 Поиск файла по имени

     При создании файла, программа обращается к библиотечной процедуре

CreateFile("C:windowsreadmy.txt", ...)

     Этот вызов попадает в совместно используемую библиотеку уровня пользователя kernel32.dll, где ?? помещается перед именем файла, и получается строка:

??C:windowsreadmy.txt

     Это имя пути передается системному вызову NtFileCreate в качестве параметра.

Этапы поиска файла C:windowsreadmy.txt

11.3.2 Сжатие файлов

     Если файл помечен как сжатый, то система автоматически сжимает при записи, а при чтении происходит декомпрессия.

     Алгоритм работы:

1. Берутся для изучения первые 16 блоков файла (не зависимо от сегментов файла).
2. При меняется к ним алгоритм сжатия.
3. Если полученные данные можно записать хотя бы в 15 блоков, они записываются в сжатом виде.
   Если их можно записать только в 16 блоков, то они записываются в несжатом виде.
4. Алгоритм повторяется для следующих 16 блоков.

Пример 48-блочного файла, сжатого до 32 блоков

Запись MFT для предыдущего файла.

     Недостатки сжатия:

• Как видно из рисунка, сжатие приводит к сильной фрагментации.
• Чтобы прочитать сжатый блок системе придется распаковать весь сегмент. Поэтому сжатие применяют к 16 блокам, если увеличить количество блоков, уменьшится производительность (но возрастет эффективность сжатия).

11.3.3 Шифрование файлов

     Любую информацию, если она не зашифрована, можно прочитать, получив доступ. Поэтому самая надежная защита информации от несанкционированного доступа - шифрование.

     Даже если у вас украдут винчестер, прочесть данные не смогут (большинство не сможет).

     Если файл помечен как шифрованный, то система автоматически шифрует при записи, а при чтении происходит дешифрация.

     Шифрование и дешифрование выполняет не сама NTFS, а специальный драйвер EFS (Encrypting File System).

     Каждый блок шифруется отдельно.

     В Windows 2000 используется случайно сгенерированный 128-разрядный ключ для каждого файла. Этот ключ шифруется открытым ключом пользователя и сохраняется на диске.

Шифрование файлов в NTFS

11.4 Файловая система UNIX V7

     Хотя это старая файловая система основные элементы используются и современных UNIX системах.

     Особенности:

• Имена файлов ограничены 14 символами ASCII, кроме косой черты "/" и NUL - отсутствие символа. (в последующих версиях расширены до 255)
• Поддержка ссылок.
• Контроль доступа к файлам и каталогам.
• Имена чувствительны к регистру, my.txt и MY.TXT это разные файлы.
• Используется схема i-узлов.
• Не делается различий между разными файлами (текстовыми, двоичными и д.р.).
• Поддерживаются символьные специальные файлы (для символьных устройств ввода-вывода).
  - Если открыть файл /dev/lp и записать в него данные, то данные будут распечатаны на принтере.
  - Если открыть файл /dev/tty и прочитать из него данные, то получим данные, введенные с клавиатуры.
• Поддерживаются блочные специальные файлы (для блочных устройств ввода-вывода, например /dev/hd1).
• Позволяет монтировать разделы в любое место дерева системы.

Расположение файловой системы UNIX

     Суперблок содержит:

• Количество i-узлов
• Количество дисковых блоков
• Начало списка свободных блоков диска

     При уничтожении суперблока, файловая система становится не читаемой.

     Каждый i-узел имеет 64 байта в длину и описывает один файл (в том числе каталог).

     Каталог содержит по одной записи для каждого файла.

Каталоговая запись UNIX V7 в 16 байт

Структура i-узела

     Первые 10 дисковых блоков файла хранятся в самом i-узле, при блоке в 1Кбайт, файл может быть 10Кбайт.

     Дополнительные блоки для i-узла, в случае больших файлов:

• Одинарный косвенный блок - дополнительный блок с адресами блоков файла, если файл не сильно большой, то один из адресов в i-узле указывает на дополнительный блок с адресами. Файл может быть 266Кбайт=10Кбайт+256Кбайт (256Кбайт <= 256 (2^8)-адресов блоков = 1Кбайт-размер блока / 4байта-размер адреса)
• Двойной косвенный блок - дополнительный блок с адресами одинарных косвенных блоков, если одного дополнительного блока не хватает. Файл может быть 65Мбайт=10Кбайт+2⁸Кбайт+2¹⁶Кбайт.
• Тройной косвенный блок - дополнительный блок с адресами двойных косвенных блоков, если одного одинарного косвенного блока не хватает. Файл может быть 16Гбайт=10Кбайт+2⁸Кбайт+2¹⁶Кбайт+2²⁴Кбайт.

i-узел UNIX V7

11.4.1 Поиск файла

Этапы поиска файла по абсолютному пути /usr/sbin/mc

     При использовании относительного пути, например sbin/mc, поиск начинается с рабочего каталога /usr.

11.4.2 Блокировка данных файла

     Блокирование осуществляется по блочно.

     Стандартом POSIX два типа блокировки:

• Блокировка с монополизацией - больше ни один процесс эти блоки заблокировать не может.
• Блокировка без монополизации - могут блокировать и другие процессы.

Блокировки данных файла без монополизации

     Если процесс К попытается блокировать блок 6 с монополизацией, то сам процесс будет заблокирован до разблокирования блока 6 всеми процессами.

11.4.3 Создание и работа с файлом

     fd=creat("abc", mode) - Пример создания файла abc с режимом защиты, указанном в переменной mode (какие пользователи имеют доступ). Используется системный вызов creat.

     Успешный вызов возвращает целое число fd - дескриптор файла.

     Который хранится в таблице дескрипторов файла, открывшего процесса.

     После этого можно работать с файлом, используя системные вызовы write и read.

n=read(fd, buffer, nbytes)

n=write(fd, buffer, nbytes)

     У обоих вызовов всего по три параметра:

• fd - дескриптор файла, указывающий на открытый файл
• buffer - адрес буфера, куда писать или откуда читать данные
• nbytes - счетчик байтов, сколько прочитать или записать байт

     Теперь нужно по дескриптору получить указатель на i-узел и указатель на позицию в файле для записи или чтения.

     Таблица открытых файлов - создана для хранения указателей на i-узел и на позицию в файле. И позволяет родительскому и дочернему процессам совместно использовать один указатель в файле, но для посторонних процессов выделять отдельные указатели.

  Связь между таблицей дескрипторов файлов, таблицей открытых файлов и таблицей i-узлов.

11.5 Файловая система BSD

     Основу составляет классическая файловая система UNIX.

     Особенности (отличие от предыдущей системы):

• Увеличена длина имени файла до 255 символов
• Реорганизованы каталоги
• Было добавлено кэширование имен файлов, для увеличения производительности.
• Применено разбиение диска на группы цилиндров, чтобы i-узлы и блоки данных были поближе друг к другу, для каждой группы были свои:

- суперблок

- i-узлы

- блоки данных.

Это сделано для уменьшения перемещений головок.

• Используются блоки двух размеров, для больших файлов использовались большие блоки, для маленьких маленькие.

      Каталоговые записи ни как не отсортированы и следуют друг за другом.

Каталог BSD с тремя каталоговыми записями для трех файлов и тот же каталог после удаления файла zip, увеличивается длина первой записи.

11.6 Файловые системы LINUX

     Изначально использовалась файловая система MINIX с ограничениями: 14 символов для имени файла и размер файла 64 Мбайта.

     После была создана файловая система EXT с расширением: 255 символов для имени файла и размер файла 2Гбайта.

     Система была достаточно медленной.

11.6.1 Файловая система EXT2

     Эта файловая система стала основой для LINUX, она очень похожа BSD систему.

     Вместо групп цилиндров используются группы блоков.

Размещение файловой системы EXT2 на диске

     Другие особенности:

• Размер блока 1 Кбайт
• Размер каждого i-узла 128 байт.
• i-узел содержит 12 прямых и 3 косвенных адресов, длина адреса в i-узле стала 4 байта, что обеспечивает поддержку размера файла чуть более 16Гбайт.

     Особенности работы файловой системы:

• Создание новых каталогов распределяется равномерно по группам блоков, чтобы в каждой группе было одинаковое количество каталогов.
• Новые файлы старается создавать в группе, где и находится каталог.
• При увеличении файла система старается новые блоки записывать ближе к старым.

     Благодаря этому файловую систему не нужно дефрагментировать, она не способствует фрагментации файлов (в отличии от NTFS), что проверено многолетним использованием.

11.6.2 Файловая система EXT3

     В отличие от EXT2, EXT3 является журналируемой файловой системой, т.е. не попадет в противоречивое состояние после сбоев. Но она полностью совместима с EXT2.

     Разработанная в Red Hat

     В данный момент является основной для LINUX.

     Драйвер Ext3 хранит полные точные копии модифицируемых блоков (1КБ, 2КБ или 4КБ) в памяти до завершения операции. Это может показаться расточительным. Полные блоки содержат не только изменившиеся данные, но и не модифицированные.

     Такой подход называется "физическим журналированием", что отражает использование "физических блоков" как основную единицу ведения журнала. Подход, когда хранятся только изменяемые байты, а не целые блоки, называется "логическим журналированием" (используется XFS). Поскольку ext3 использует "физическое журналирование", журнал в ext3 имеет размер больший, чем в XFS. За счет использования в ext3 полных блоков, как драйвером, так и подсистемой журналирования нет сложностей, которые возникают при "логическом журналировании".

     Типы журналирования поддерживаемые Ext3, которые могут быть активированы из файла /etc/fstab:

• data=journal (full data journaling mode) - все новые данные сначала пишутся в журнал и только после этого переносятся на свое постоянное место. В случае аварийного отказа журнал можно повторно перечитать, приведя данные и метаданные в непротиворечивое состояние. Самый медленный, но самый надежный.
• data=ordered - записываются изменения только мета-данных файловой системы, но логически metadata и data блоки группируются в единый модуль, называемый transaction. Перед записью новых метаданных на диск, связанные data блоки записываются первыми. Этот режим журналирования ext3 установлен по умолчанию.  При добавлении данных в конец файла режим data=ordered гарантированно обеспечивает целостность (как при full data journaling mode). Однако если данные в файл пишутся поверх существующих, то есть вероятность перемешивания "оригинальных" блоков с модифицированными. Это результат того, что data=ordered не отслеживает записи, при которых новый блок ложится поверх существующего и не вызывает модификации метаданных.
• data=writeback (metadata only) - записываются только изменения мета-данных файловой системы. Самый быстрый метод журналирования. С подобным видом журналирования вы имеете дело в файловых системах XFS, JFS и ReiserFS.

11.6.3 Файловая система XFS

     XFS - журналируемая файловая система разработанная Silicon Graphics, но сейчас выпущенная открытым кодом (open source).

     Официальная информация на http://oss.sgi.com/projects/xfs/

XFS была создана в начале 90ых (1992-1993) фирмой Silicon Grapgics (сейчас SGI) для мультимедийных компьютеров с ОС Irix. Файловая система была ориентирована на очень большие файлы и файловые системы. Особенностью этой файловой системы является устройство журнала - в журнал пишется часть метаданных самой файловой системы таким образом, что весь процесс восстановления сводится к копированию этих данных из журнала в файловую систему. Размер журнала задается при создании системы, он должен быть не меньше 32 мегабайт; а больше и не надо - такое количество незакрытых транзакций тяжело получить.

     Некоторые особенности:

• Более эффективно работает с большими файлами.
• Имеет возможность выноса журнала на другой диск, для повышения производительности.
• Сохраняет данные кэша только при переполнении памяти, а не периодически как остальные.
• В журнал записываются только мета-данные.
• Используются B+ trees.
• Используется логическое журналирование

11.6.4 Файловая система RFS

     RFS (RaiserFS) - журналируемая файловая система разработанная Namesys.

     Официальная информация на RaiserFS

     Некоторые особенности:

• Более эффективно работает с большим количеством мелких файлов, в плане производительности и эффективности использования дискового пространства.
• Использует специально оптимизированные b* balanced tree (усовершенствованная версия B+ дерева)
• Динамически ассигнует i-узлы вместо их статического набора, образующегося при создании "традиционной" файловой системы.
• Динамические размеры блоков.

11.6.4 Файловая система JFS

     JFS (Journaled File System) - журналируемая файловая система разработанная IBM для ОС AIX, но сейчас выпущенная как открытый код.

     Официальная информация на Journaled File System Technology for Linux

     Некоторые особенности:

• Журналы JFS соответствуют классической модели транзакций, принятой в базах данных
• В журнал записываются только мета-данные
• Размер журнала не больше 32 мегабайт.
• Асинхронный режим записи в журнал - производится в моменты уменьшения трафика ввода/вывода
• Используется логическое журналирование.

11.7 Сравнительная таблица некоторых современных файловых систем

11.8 Файловая система NFS

     NFS (Network File System) - сетевая файловая система. Создана для объединения файловых систем по сети.

11.8.1 Архитектура файловой системы NFS

     Предоставляется доступ к каталогу (экспортируется) с подкаталогами. Информация об экспортируемых каталогах хранится в /etc/exports. При подключении эти каталоги монтируются к локальной файловой системе.

Примеры монтирования удаленных файловых систем

11.8.2 Протоколы файловой системы NFS

     Протокол - набор запросов и ответов, клиента и сервера.

     Используется два протокола:

1. Протокол управления монтирования каталогов
2. Протокол управления доступа к каталогам и файлам

11.8.3 Реализация файловой системы NFS

Структура уровней файловой системы NFS

     VFS (Virtual File System) - виртуальная файловая система. Необходима для управления таблицей открытых файлов.

     Записи для каждого открытого файла называются v-узлами (virtual i-node).

VFS используется не только для NFS, но и для работы инородными файловыми системами (FAT, /proc и т.д.)

     Алгоритм работы NFS (рассмотрим последовательность системных вызовов mount, open и read):

1. Вызывается программа mount, ей указывается удаленный каталог и локальный каталог для монтирования.
2. Программа ищет сервер, соединяется с ним.
3. Запрашивает дескриптор каталога.
4. Программа mount обращается к системному вызову mount для монтирования полученного каталога.
5. Ядро формирует v-узел для открытого удаленного каталога.
6. Ядро формирует r-узел (удаленный i-узел) для удаленного каталога в своих внутренних таблицах. В результате v-узел указывает либо на r-узел для удаленного каталога, либо на i-узел одной из локальных файловых систем.
7. Система просит программу клиента NFS открыть файл.
8. Создаются v-узел и r-узел для удаленного файла.
9. Вызывающему процессу выдается дескриптор удаленного файла.
10. Теперь этот процесс может работать с файлом, используя вызов read.

Контрольные вопросы

1. Поясните различие между виртуальным и физическим файлом.

2. Охарактеризуйте основные компоненты иерархической модели файловой системы. Какие преимущества дает иерархическая модель?

3. В чем различие между байт-ориентированными и записеориентированными файлами? Назовите достоинства и недостатки той и другой модели.

4. В чем отличие логической структуры каталогов в MD DOS - Windows - OS/2 от структуры каталогов в Unix?

5. В чем достоинства и недостатки отделения дескриптора файла от элемента каталога?

6. Какую информацию о файле должен содержать его дескриптор, хранимый в файловой системе? Какую информацию должен содержать дескриптор открытого файла?

7. В чем сходство и различие каталогов и файлов (на логическом и на физическом уровнях)?

8. В чем сходство и различие алиасов и косвенных файлов?

9. Обязательно ли закрытие файла при завершении открывшего его процесса? Обязательна ли запись данных файла на диск при закрытии файла?

10. В чем отличие смежного размещения файлов в современных файловых системах от смежного размещения файлов в старых файловых системах?

11. Какими методами может быть обеспечено преимущественно смежное размещение файла на внешней памяти?

12. В чем отличие целостности файловой системы от целостности данных? Какую целостность и какими методами обеспечивают современные файловые системы?

13. Какие два типа ресурсов, связанных с диском, требуется выделить процессу, чтобы он выполнил запись данных на диск?

14. Каким из двух типов драйверов — блок-ориентированным или байт-ориентированным — обслуживается диск?

15. С какой целью в некоторых файловых системах характеристики файла отделяются от его имени?

16. Какие программные компоненты поддерживают структуру файла в тех ОС, где файл представлен последовательностью байт?

17. С какого каталога начинается «раскрутка» полного имени файла?

18. Операционная система выделяет файлам пространство на диске:

А) секторами;

 В) дорожками;

 С) кластерами;

Вместе с этой лекцией читают "Эндокринная система".

D) цилиндрами.

19. Выберите размер кластера для файловой системы FAT16, устанавливаемой в разделе, который разделен на секторы размером 512 байт и имеет общий объем 272 Мбайт. Оцените, сколько в этом случае кластеров будет содержать область данных, а также какой размер необходимо отвести таблице FAT. Учтите, что размер кластера должен быть равен степени двойки. Примите во внимание также, что стандартным размером корневого каталога для жестких дисков является размер в 32 сектора.

20. При каких условиях можно автоматически гарантированно восстановить в файловой системе FAT удаленный файл?

21. Сформулируйте основную цель введения в ОС системного вызова open.

22. В какой из типов систем управления доступом — избирательной или мандатной — пользователю предоставляется большая свобода действий?

23. Какой смысл имеет операция «выполнить каталог» в ОС UNIX