lex (813547), страница 9
Текст из файла (страница 9)
Впрактическом смысле такой лексический анализ полезен для преобразования текстовойинформации в формате операционных систем Windows 9x/NT/2000/XP в формат OS UNIX.В формате Windows каждую строку принято завершать парой символов возврата каретки иперевода строки (\r\n) с кодами ASCII \015 и \012, соответственно, в системе счисления пооснованию 8. В формате OS UNIX конец строки обычно обозначает только один символперевода строки (\n) с кодом ASCII \012 в системе счисления по основанию 8.
Такоепреобразование комбинации CR-LF в LF может быть специфицировано следующим правилом:%%\015\012putchar('\n');В единственном правиле приведенной спецификации регулярное выражение образуетконкатенация символов \r и \n, которые заданы своими кодами ASCII \015 и \012 в системесчисления по основанию 8. Действие реализовано стандартной библиотечной функциейputchar системы программирования C, которая в данном случае отображает в потокстандартного вывода символ перевода строки, игнорируя полученный вместе с ним символвозврата каретки. Любые символы входного потока, кроме \r и \n не соответствуютрегулярному выражению данного единственного правила.
Согласно действию по умолчаниюони копируются в выходной поток без изменений.Рассмотренное преобразование CR-LF в LF полезно в практическом смысле, потому чтопозволяет минимизировать объем передачи данных при копировании текстовой информациимежду файловыми системами Windows и OS UNIX. Кроме того, оно исключает проявлениекосметических неудобств, связанных с представлением символов возврата каретки в различныхтекстовых редакторах OS UNIX, где они обычно отображаются как литерал ^M.Следует отметить, что эквивалентный результат преобразования CR-LF в LF обеспечиваетследующее правило, где используется регулярное выражение с правым контекстом и пустойоператор точка с запятой языка программирования C в качестве действия:%%;\015/\012/* Правило с пустым оператором */Аналогично правилу, рассмотренному выше, данное правило блокирует стандартный выводсимвола возврата каретки (\r) в конце строки.
Запрет выражается в том, что указанномусимволу соответствует действие с пустым оператором, в то время как для остальных символовсохраняется действие по умолчанию, которое обеспечивает их копирование в выходной потокстандартного вывода. В общем случае пустое действие позволяет эффективно игнорироватьсимволы входного потока, которые не должны копироваться в выходной поток и не имеютфункциональной обработки в программе лексического анализатора.Еще один характерный пример технологии пустых действий иллюстрирует следующееправило, которое позволяет исключить из входного текста стандартный вывод символовпробела, табуляции и перевода строки:%%” ”+;/* исключение пробелов */\t+;/* исключение табуляций */\n+;/* исключение переводов строк */Эти правила могут быть полезны при разработке лексического анализатора в рамках различныхтрансляторов языков программирования.
Как известно одной из функций транслятора являетсяисключение перечисленных разделителей из исходного текста программы в процессе егопреобразования в объектный код.Следует отметить, что правила с одинаковым, в данном случае, пустым, действием можнообъединить в одно альтернативное правило.
Для этого вместо действия указываетсяслужебный символ '|', который рекурсивно обозначает, что действие данного правиласовпадает с действием следующего правила. Общее действие специфицируется только дляпоследнего правила.В частности, рассмотренные выше три правила исключения разделителей могут быть записаныв альтернативной форме следующим образом:%%” ”+|/* исключение пробелов */\t+|/* исключение табуляций */\n+;/* исключение переводов строк */Кроме правил с пустым действием генератор LEX поддерживает правила, в которыхотсутствует регулярное выражение, а имеется только действие. Такое правило должнопредшествовать остальным правилам секции правил, если они есть, а его действие должноначинаться с любой позиции своей строки, кроме первой.
Правила без регулярного выражениягарантированно выполняются перед началом лексического анализа входного потока и могутбыть полезны для выполнения некоторых подготовительных операций. Например, действияследующих двух правил без регулярного выражения реализуют Escape-последовательностиочистки экрана консоли перед последующей лексической обработкой входного потока:%%printf("%c[2J", 033);printf("%c[H", 033);Первое из этих правил реализует перевод формата экрана терминала в консольном режимеввода-вывода. Второе правило обеспечивает установку текущей позиции текстового курсора влевый верхний угол экрана.
Для реализации обеих Escape-последовательностей используетсябиблиотечная функция printf системы программирования C.БЛОКИ ДЕЙСТВИЙВ большинстве практически интересных случаев действия правил могут занимать больше, чемодну, строку. Их инструкции оформляются в виде блока действий, ограниченного фигурнымискобками в соответствие с синтаксисом языка программирования C. В блоки действий могутбыть включены комментарии, декларации локальных переменных, операторы, выражения ивызовы различных стандартных, библиотечных или прикладных функций.
Кроме того, в блокахдействий доступны внешние переменные и макроопределения констант из секции описаний.Использование блоков действий в правилах иллюстрирует следующий пример спецификацииправил лексического анализатора, который должен нумеровать строки входного потока:%%printf("0)\t");\n/* Нумерация начальной строки */{ /* Правило нумерации входных строк */static int number = 0;/* Номер строки */putchar('\n');printf("%d)\t", ++number);}В этом примере первое правило без регулярного выражения нумерует начальную строкувходного потока нулем.
Блок действий второго правила обеспечивает последнюю нумерациювсех последующих строк, входного потока. Номер очередной входной строки устанавливаетсяпо значению целочисленной статической переменной number, которая определена в блокедействий и инициализирована нулем. Ее значение увеличивается на 1 после ввода каждойочередной строки. Отображение номеров строк обеспечивает вызов библиотечной функцииprintf системы программирования C.ВСТРОЕННЫЕ ПЕРЕМЕННЫЕ ДЕЙСТВИЙКроме явно декларированных автоматических, статических или внешних переменных системыпрограммирования C в действиях правил допускается использовать собственные встроенныепеременные генератора LEX.
При этом наиболее часто используются переменные yytext иyyleng, объявление и определение которых генератор LEX автоматически включает в исходныйкод проектируемого лексического анализатора.Переменная yytext имеет тип указателя на символы (char *) и используется в блоке действияправила для адресации внешнего одномерного символьного массива, составленного изсимволов входного потока, которые удовлетворяют регулярному выражению данного правила.Символьный массив yytext обычно применяется, когда в блоке действий необходимопреобразовать или посимвольно обработать входной текст, соответствующий регулярномувыражению правила.Например, следующие два правила специфицирует криптографическое преобразованиевходного текста, составленного из заглавных и строчных латинских букв в кодировке ASCII, наоснове шифра Цезаря:%%[a-z]{/* Шифрование строчных латинских букв */putchar((yytext[0] - 'a'+ 1)%26 + 'a');}[A-Z]{/* Шифрование заглавных латинских букв */putchar((yytext[0] - 'A'+ 1)%26 + 'A');}Как известно, шифр Цезаря реализует наиболее популярный вариант шифра простой замены, вкотором каждая буква исходного текста, кроме последней буквы по алфавиту, заменяетсяследующей буквой алфавита.
Последняя по алфавиту буква исходного текста, заменяетсяпервой буквой алфавита. Учитывая, что в кодировке ASCII буквы упорядочены по алфавиту,образуя два непрерывных диапазона из 26-ти строчных и 26-ти заглавных букв, соответственно,требуемое преобразование кодов букв легко реализуется в арифметике вычетов по модулю 26.В действиях каждого из приведенных правил, код текущей буквы идентифицируется значениемначального элемента символьного массива yytext[0]. Для отображения результатов шифрованияв выходном потоке стандартного вывода используется вызов библиотечной функции putcharсистемы программирования C.В действиях более сложных правил массив yytext может содержать больше одного элемента ивсе его элементы, аналогично начальному элементу, доступны по своему индексу.
В этихслучаях часто бывает полезно знать число символов в массиве yytext, которые удовлетворяютданному правилу, то есть эффективную длину массива yytext в байтах. Эту информацию вдействиях правил предоставляет значение внешней целочисленной переменной yyleng. Такимобразом, считается, что все символы массива yytext, которые имеют индексы от 0 до(yyleng – 1), удовлетворяют текущему правилу.
Фактически значение переменной yylengэквивалентно результату измерения длины массива yytext с помощью библиотечной функцииstrlen из системы программирования C.Практическое использование переменной yyleng совместно с переменной yytext иллюстрируетследующее правило поиска символьных палиндромов среди слов входного текста:%%[A-Za-z]+ {/* Поиск символьных палиндромов */int i = yyleng - 1; /* обратный счетчик символов слова */int j = 0;/* прямой счетчик символов слова */while(j < yyleng)/* Цикл сравнения символов слова */if(tolower(yytext[j++]) != tolower(yytext[i--]))break;if( j == yyleng)/* Оценка результата сравнения */puts(yytext);}Как известно, символьным палиндромом является слово, которое одинаково читается слеванаправо и справа налево, например, rotor или radar.
Регулярное выражение данного правилараспознает любые слова входного текста, которые составлены из букв латинского алфавита.Проверку свойства палиндрома для полученного слова обеспечивает действие правила, гдеосуществляется сравнение yyleng парных букв, которые находятся на одинаковом расстоянииот противоположных концов массива yytext, содержащего все символы данного слова.
Чтобыисключить различие регистра сопоставляемых символов, они приводятся к регистру строчныхбукв с помощью библиотечной функции tolower системы программирования C. Если всерассмотренные пары символов совпадают с точностью до регистра букв, то данное словоявляется палиндромом и все символы массива yytext, который содержит его, отображаетсячерез поток стандартного вывода с помощью библиотечной функции puts системыпрограммирования C.СТАНДАРТНЫЕ ФУНКЦИИ ДЕЙСТВИЙКак отмечалось выше, в действиях правил могут быть вызваны любые библиотечные функциисистемы программирования C и прикладные функции, определенные в секции подпрограмм.Кроме этого генератор LEX предоставляет стандартные функции yymore, yyless и reject,которые также могут быть вызваны в действиях правил.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
