Лекция 17. Файлы. Строки. Форматный ввод-ввод. Сортировка в файлах (Воробьева И.А. «Информатика. Язык Питон» (2016))

1Воробьева И.А. «Информатика. Язык Питон»Данные, хранящиеся на внешнем устройстве. ФайлыДвоичные и текстовые файлы. Файлы прямого и последовательного доступа.Текстовые файлы и особенности кодировки. Работа со строками. Форматныйввод-вывод данных (метод format). Ввод-вывод данных с помощью текстовогофайла. Внешняя сортировка слиянием (дана в лекции 16)12.

СИМВОЛЬНАЯ ИНФОРМАЦИЯ. ФАЙЛЫ.12.1. ФайлыНапоминание. В ЭВМ существуют два разных типа памяти – оперативная(ОП) и внешняя (ВП), причем процессор работает только с данными изоперативной памяти (см. рис. ниже).Как уже отмечалось, внешняя память задействуется в двух основныхслучаях: если объем информации слишком велик для размещения ее вОП, например, базы данных (БД) или если требуется долговременноехранение информации для ее последующего и многократногоиспользования.Отметим основные свойства оперативной памяти:единицей памяти является байт;память прямоадресуема (каждый байт имеет адрес);процессор выбирает для обработки нужные данные, непосредственно адресуясь к последовательности байтов, содержащих этиданные.2Воробьева И.А. «Информатика.

Язык Питон»Отметим основные свойства внешней памяти:минимальной адресуемой единицей является физическая запись(она, как правило, состоит из большого числа байтов, это определяется операционной системой компьютера);для последующей обработки запись должна быть считана в оперативную память;скорость чтения записи в ОП на несколько порядков ниже времениобработки процессором записи из ОП [см. 1].Поэтому организация данных и доступа к ним должна учитыватькак специфику каждого типа памяти, так и способы ихвзаимодействия.Файлом (от англ. file — цепочка) называется последовательный наборданных, хранящийся на каком-либо физическом носителе и имеющийсобственное имя.Мы будем говорить о файлах, расположенных на жестком диске, т.е.во внешней памяти ЭВМ, хотя, строго говоря, операционная системаможет рассматривать в качестве файла и другие устройства: консоли(клавиатура, экран), принтеры и др.Вы постоянно имеете дело с файлами на жестком диске: файлы с текстами программ; файлы с исходными данными, которые считываются в процессеисполнения ваших программ; файлы программ, которые написаны не вами, напримерредактор «Word» или браузер для поиска в интернете; файлы с изображениями или аудио и видео файлы.Вся информация в этих файлах расположена, так же как и в ОП – ввиде последовательности байтов, содержимое байтов определяетсятипом информации – соответствующей кодировкой.

Не будемрассматривать все разнообразия кодировок и форматов (кстати, именноих определяет то, что называется расширением файла, например «.txt»,«.doc», «.exe», «.py»), а рассмотрим два основных представления файлов:двоичное и текстовое.3Воробьева И.А. «Информатика. Язык Питон»Самое главное, разобраться в том, чем отличается то представлениесимволов или чисел, как вы его набиваете в программе, от того, как этобудет выглядеть в памяти компьютера или в файле.Текстовый формат – это такая кодировка, которая сопоставляеткаждому визуальному символу специальный числовой код (см.

примеркодировки в таблице 12.1). Этот код, «понимает» программаотображения текстов. С текстовыми файлами очень удобно работатьчеловеку, так как, если вы запишете целое число, например, «57» втекстовом формате в файл, то при открытии файла любойсоответствующей программой увидите изображение «57». На самом делев файле будет записано минимум два байта: код изображения «5» и кодизображения «7».Как видим, этот формат удобен для работы, но не компактен, потомучто на самом деле в один байт можно записать максимальное число 255 –в десятичной форме, т.к., а в этом формате приходитсяиспользовать минимум один байт на одну цифру разряда.Двоичный (бинарный) формат – это запись числа в двоичной (16ричной) форме в байт непосредственно, т.е.

по правилам перевода изодной системы счисления в другую, которую мы проходили в началекурса. То же самое число «57» в двоичном формате займет максимумодин байт. Символы же в этом формате будут записываться в обычнойсимвольной кодировке (см. табл. 12.1).Примеры.ЗаписьпрограммеZ = 65530целый типв Что в текстовом формате(физически)в соответствии стабл.12.1–вдесятичной форме–вфайле непосредственно,так как файл дажетекстовый пишется вдвоичном формате (ведьЭВМ работает только сЧто в бинарном формате(физически)FF FA – в файленепосредственно, так как.4Воробьева И.А. «Информатика.

Язык Питон»двоичной системойсчисления), нозаписывая «кодысимволов».В файле занято 5 байтпамяти.–в десятичной форме–в файленепосредственно.Str = ’HELLO! 9\n’символьный типиз 8 символов,включая пробел,плюсодинслужебныйсимвол ‘\n’ –переводакаретки,т.е. В файле занято 9 байтвсего 9 символов. памяти.В файле занято 2 байтапамяти.–вфайле непосредственно,т.е. то же, что и в текстовомформате – это же символы.В файле занято 9 байтпамяти.Замечание 12.1. Двоичный (бинарный) файл — в широком смысле:последовательностьпроизвольныхбайтов.Двоичныефайлыпротивопоставляются текстовым файлам, однако с точки зрениятехнической реализации (см.

таблицу выше) на уровне физическойзаписи на носитель, текстовые файлы являются частным случаемдвоичных файлов. В широком значении слова под определение«двоичный файл» подходит вообще любой файл в компьютере, так какиного языка, кроме двоичных кодов ЭВМ просто «не понимает».Текстовых форматов достаточно много, например «.txt» «.doc» «.rtf»«.pdf» и др. Тексты программ («.py») также записаны в текстовомформате. Все они могут использовать еще и различные кодировки длясимволов.

Так называемых, стандартов кодировок существует такженемалое количество, поэтому иногда можно столкнуться с такойпроблемой: открывая обычный текстовый (не бинарный) файл, на экраневиден не ожидаемый текст, а «абракадабра» из символов. Это связано спростой причиной: символы в файле закодированы по одному стандарту,а открывающая программа применяет к ним другой стандарт.

Все, чтообычно требуется – это указать программе, по какому стандарту5Воробьева И.А. «Информатика. Язык Питон»закодирован текст.Давайте рассмотрим чуть ближе распространенную кодировку,принятую в системе Windows – так называемой кодировку ANSI (см.замечание 12.2). В этом стандарте каждому символу (его графическомуизображению) сопоставляется – 8-битные числа (коды) в диапазоне от 0до 255.В кодировке от 0 до 255 встречаются не только видимые символы,но и различные «управляющие» символы, например, такие как: «переходв начало строки», «переход на новую строку», «стирание символа» идругие, то есть все то, что вы обычно вводите с клавиатуры.

Управляющиесимволы имеют код, и на них реагирует программа, но в текстовом файлеони могут быть не отображаемы, например, нажатие клавиши «Shift».Ниже приведена таблица кодировки ANSI для клавиатуры.Таблица 12.1. Кодировка ANSI для клавиатурыEscapeF1 F2 F3F4 F5 F6 F7 F827112 113 114115 116 117 118 119 120 121 122 123`ё1234567819249 50 51 52 53 54 55 56TabQ9Caps Lock20ShiftWERTYUI81 87 69 82 84 89 85 73ASDFG HJK65 83 68 70 71 72 74 75ZXCV B NM,<1690 88 67 86 66 78 77 188Ctrlwin AltSpace BarF9 F10 F11 F12PrintScreenScrollLock145Pause19/ * доп.доп.3357 48 189 187 84536106144111PageO P[]Delete End Down78 9 доп.доп.

доп.79 80 219 221463510534103 104L ;ж 'эEnter45 6 доп.доп. доп.76 186 22213102100 101.> / Shift \|Up12 3 доп.доп. доп.190 191 16 220389997 98Alt win list CtrlLeft Down RightIns/0Del/.90-=+BackSpaceInsert HomePage UpNumLock+доп.107Enterдоп.13171832181737403945/9646/110…Замечание 12.2. Справка «о названиях и аббревиатурах»:Одной из первых для передачи цифровой информации стало появлениекодировки ASCII - American Standard Code for Information Interchange –Американскаястандартнаякодировочнаятаблица, принятаяАмериканскимнациональныминститутомстандартов-6Воробьева И.А.

«Информатика. Язык Питон»American National Standards Institute (ANSI).В разных источниках, можно встретить ситуацию, когда говорят ANSIстрока или кодировка ASCII, подразумевая одно и тоже, и с точностью донаоборот. Чтобы не возникало путаницы, надо просто понять следующее:кодировка ASCII появилась еще тогда, когда существовала только системаDOS и была ориентирована на латинский алфавит. Все последующиекодировки могут отличаться и зависеть от следующего: операционной системы (DOS, WIN, MAC); национального языка (кроме общепринятых латинских букв иуправляющих символов, которые всегда расположены в начальных кодах, например, от 0 до 127 в стандарте ASCII, в кодах от 128 до 255 часто расположены национальные шрифтыразных стран); размера памяти, выделенного под код (например, 2 байта вUnicod).Стандарт ANSI – это стандарт ASCII для системы Windows и в нем русскиебуквы расположены подряд: ‘А..Я, а..я’ – от 192 до 255, особые буквы:Ё=168, ё=184.Стандарт ASCII-DOS (называться может иначе в других источниках) – этостандарт ASCII для системы DOS и в нем русский алфавит расположен сразрывом: ‘А..Я, а..п’ – от 128 до 175, ‘р..я’ – от 224 до 239, Ё=240, ё=241Всю таблицу ASCII-DOS можно посмотреть по адресу в интернетеhttp://ashyoxide.narod.ru/Article/Codering/Assembler/Spravochnik/keyboard.html#asciiТаблицу кодов ANSI и частично таблицу кодов ASCII-DOS (для русскихбукв) можно посмотреть в приложении 1 в конце лекции.Основные проблемы, связанные с многообразием кодировок,вызваны тем, что в каждой стране применяется свой национальныйшрифт.

Одного байта хватает только на то, чтобы с трудом уместитьследующие наборы текстовой информации: управляющие символы; латинский алфавит; национальный алфавит;7Воробьева И.А. «Информатика. Язык Питон» символы псевдографики (это символы, с помощью которыхможно рисовать таблицы и линии в обычном текстовомформате).Для преодоления этой проблемы, которая раньше доставляла многоголовной боли программистам и пользователям, был предложен единыйстандарт расширенной кодировки, так называемый Юникод (Unicode).Символьные данные в кодировке Unicode (числа от 0 до 65535) занимаютуже два байта. Эти современные стандарты кодирования (UTF-8 и UTF-16)охватываютвсемногообразиенациональныхалфавитовидополнительных графических символов, которые были необходимы вразных странах.Python использует, на текущий момент, стандарт UTF-8 – этоUnicode, но он более компактно организован, чем UTF-16.Два важных принципиальных отличия в файлах существуют и науровне доступа к записям в файлах.