CONSCOMP (Материалы к контрольным работам), страница 7

границу буфера, левая половина заполняется n символами и

указатель продвижение устанавливается на начало буфера.

При каждом продвижении указателя необходимо проверять, не

достигли ли мы границы одной из половин буфера. Для всех

символов, кроме лежащих в конце половин буфера, требуются две

проверки. Число проверок можно свести к одной, если в конце

каждой половины поместить дополнительный 'сторожевой' символ

'#' (рис. 2.14).

В этом случае почти для всех символов делается единственная

проверка на совпадение с '#' и только в случае совпадения

нужно проверить, достигли ли мы середины или правого конца.

В третьей схеме используются три указателя (рис. 2.15).

Непросмотренная часть буфера заключена между текущим и

границей (граница - это указатель на последний элемент

буфера). Анализ очередной лексемы начинается после

сканирования незначащих пробелов. Если после этого текущий

указывает на '#' в конце буфера, делается перезагрузка буфера

(предполагается, что '#' не может входить в состав лексемы).

Барьер выбирается таким образом, чтобы между барьером и

границей всегда помещалась любая лексема. Если начало

очередной лексемы оказывается правее барьера, то часть буфера

от текущего до границы переписывается левее буфера и буфер

перезагужается. Тем самым начало лексемы конкатенируется с ее

концом. Так обрабатывается ситуация, когда граница буфера

прошла через лексему.

+----------+ +-----+

| n | | n |

v v v v

+------------------+ +-------------+

| | |\n| | | | #|

+------------------+ +-------------+

| | |Граница | | |Граница

| |Барьер | |Барьер

|Текущий |Текущий

а) Пока текущий < барьер б) После чтения

Рис. 2.15

В результате большинство входных символов обрабатываются

непосредственно в буфере. Копируются только идентификаторы и

строковые константы в соответствующие таблицы.

2.6. Конструктор лексических анализаторов lex

Для автоматизации разработки лексических анализаторов было

разработано довольно много средств. Как правило, входным

языком для них служат либо КС (автоматные) грамматики, либо

язык регулярных выражений. Одной из наиболее распространенных

систем является lex, входным языком которого являются

регулярные выражения. lex-программа состоит из трех частей:

Объявления

%%

Правила трансляции

%%

Вспомогательные процедуры

Секция объявлений включает объявления переменных, констант и

определения регулярных выражений. Правила трансляции lex

программ имеют вид

p1 { действие_1 }

p2 { действие_2 }

...............

pn { действие_n }

где каждое pi - регулярное выражение, а каждое действие_i -

фрагмент программы, описывающий, какое действие должен сделать

лексический анализатор, когда образец pi сопоставляется

лексеме. В lex действия записываются на Си.

Третья секция содержит вспомогательные процедуры,

необходимые для действий. Эти процедуры могут транслироваться

раздельно и загружаться с лексическим анализатором.

Лексический анализатор, сгенерированный lex, взаимодействует

с синтаксическим анализатором следующим образом. При вызове

его синтаксическим анализатором лексический анализатор

посимвольно читает остаток входа, пока не находит самый

длинный префикс, который может быть сопоставлен одному из

регулярных выражений pi. Затем он выполняет действие_i. Как

правило, действие_i возвращает управление синтаксическому

анализатору. Если это не так, т.е. в соответствующем действии

нет возврата, то лексический анализатор продолжает поиск

лексем до тех, пока действие не вернет управление

синтаксическому анализатору. Повторный поиск лексем вплоть до

явной передачи управления позволяет лексическому анализатору

правильно обрабатывать пробелы и комментарии. Синтаксическому

анализатору лексический анализатор возвращает единственное

значение - тип лексемы. Для передачи информации о лексеме

используется глобальная переменная yylval.

Пример 2.4. На рис. 2.16 приведена lex-программа.

%{ /*определения констант lt,le,eq,ne,gt,

ge,if,then,else,id,number,relop например

через define или скалярный тип*/ %}

/*регулярные определения*/

delim [ \t\n]

ws {delim}+

letter [a-za-z]

digit [0-9]

id {letter}({letter}|{digit})*

number {digit}+(\.{digit}+)?(e[+\-]?{digit}+)?

%%

{ws} {/* действий и возврата нет */}

if {return(if);}

then {return(then);}

else {return(else);}

{id} {yylval=install_id(); return(id);}

{number} {yylval=install_num(); return(number);}

"<" {yylval=lt; return(relop);}

"<=" {yylval=le; return(relop);}

"=" {yylval=eq; return(relop);}

"<>" {yylval=ne; return(relop);}

">" {yylval=gt; return(relop);}

">=" {yylval=ge; return(relop);}

%%

install_id(){/*процедура, которая помещает лексему,

на первый символ которой указывает yytext,

длина которой равна yyleng, в таблицу

символов и возвращает указатель на нее*/

}

install_num(){/*аналогичная процедура для размещения

лексемы числа*/

}

Рис. 2.16.

В разделе объявлений, заключенном в скобки %{ и %},

перечислены константы, используемые правилами трансляции. Все,

что заключено в эти скобки, непосредственно копируется в

программу лексического анализатора lex.yy.c и не

рассматривается как часть регулярных определений или правил

трансляции. То же касается и вспомогательных процедур третьей

секции. На рис. 2.16 это процедуры install_id и install_num.

В секцию определений входят также некоторые регулярные

определения. Каждое такое определение состоит из имени и

регулярного выражения, обозначаемого этим именем. Например,

первое определенное имя - это delim. Оно обозначает класс

символов { \t\n}, т.е. любой из трех символов: пробел,

табуляция или новая строка. Второе определение - разделитель,

обозначаемый именем ws. Разделитель - это любая

последовательность одного или более символов-разделителей.

Слово delim должно быть заключено в скобки, чтобы отличить его

от образца, состоящего из пяти символов delim.

В определении letter используется класс символов. Сокращение

[a-za-z] означает любую из прописных букв от a до z или

строчных букв от a до z. В пятом определении для id для

группировки используются скобки, являющиеся метасимволами lex.

Аналогично, вертикальная черта - метасимвол lex, обозначающий

объединение.

В последнем регулярном определении number символ '+'

используется как метасимвол "одно или более вхождений", символ

'?' как метасимвол "ноль или одно вхождение". Обратная черта

используется для того, чтобы придать обычный смысл символу,

использующемуся в lex как метасимвол. В частности, десятичная

точка в определении number обозначается как '\.', поскольку

точка сама по себе представляет класс, состоящий из всех

символов, за исключением символа новой строки. В классe

символов [+\-] обратная черта перед минусом стоит потому, что

знак минус используется как символ диапазона, как в [a-z].

Если символ имеет смысл метасимвола, то придать ему обычный

свысл можно и по-другому, заключив его в кавычки. Так, в

секции правил трансляции шесть операций отношения заключены в

кавычки.

Рассмотрим правила трансляции, следующие за первым %%.

Согласно первому правилу, если обнаружено ws, т.е.

максимальная последовательность пробелов, табуляций и новых

строк, никаких действий не производится. В частности, не

осуществляется возврат в синтаксический анализатор.

Согласно второму правилу, если обнаружена последовательность

букв 'if', нужно вернуть значение if, которое определено как