LEX7 (Материалы к контрольным работам), страница 2

Каждому листу дерева (кроме e-листьев) припишем уникальный номер и ссылаться на него будем, с одной стороны, как на позицию в дереве и, с другой стороны, как на позицию символа, соответствующего листу.

Теперь, обходя дерево T снизу-вверх слева-направо, вычислим четыре функции: nullable, firstpos, lastpos и followpos. Функции nullable, firstpos и lastpos определены на узлах дерева, а followpos - на множестве позиций. Значением всех функций, кроме nullable, является множество позиций. Функция followpos вычисляется через три остальные функции.

Функция firstpos(n) для каждого узла n синтаксического дерева регулярного выражения дает множество позиций, которые соответствуют первым символам в подцепочках, генерируемых подвыражением с вершиной в n. Аналогично, lastpos(n) дает множество позиций, которым соответствуют последние символы в подцепочках, генерируемых подвыражениями с вершиной n. Для узлов n, поддеревья которых (т.е. дерево, у которого узел n является корнем) могут породить пустое слово, определим nullable(n)=true, а для остальных узлов false.

Рис. 2.6

Таблица для вычисления функций nullable, firstpos и followpos приведена на рис. 2.6.

{1,2,3}.{6}
/ \
{1,2,3}.{5} {6}#{6}
/ \ позиция followpos
{1,2,3}.{4} {5}b{5}
/ \ 1 {1,2,3}
{1,2,3}.{3} {4}b{4} 2 {1,2,3}
/ \ 3 {4}
{1,2}*{1,2} {3}a{3} 4 {5}
| 5 {6}
{1,2}U{1,2} 6
/ \ {1}a{1} {2}b{2}

Рис. 2.7 Рис. 2.8

Пример 2.3. Функции firstpos и lastpos для выражения (a+b)*abb# приведены на рис. 2.7. Слева от каждой вершины значение firstpos, справа - lastpos. Заметим, что эти функции могут быть вычислены за один обход дерева.

Если i - позиция, то followpos(i) есть множество позиций j таких, что существует некоторая строка ...cd..., входящая в язык, описываемый РВ, такая, что i - соответствует этому вхождению c, а j - вхождению d.

Функция followpos может быть вычислена также за один обход дерева снизу-вверх по следующим двум правилам

1. Пусть n - внутренний узел с операцией "." (конкатенация), a,b - его потомки. Тогда для каждой позиции i, входящей в lastpos(a), добавляем к множеству значений followpos(i) множество firstpos(b).

2. Пусть n - внутренний узел с операцией "*" (итерация), a - его потомок. Тогда для каждой позиции i, входящей в lastpos(a), добавляем к множеству значений followpos(i) множество firstpos(а).

Для примера 2.3 значения функции followpos приведены на рис. 2.8.

Функция followpos позволит теперь сразу построить детерминированный конечный автомат с помощью следующего алгоритма.

Алгоритм 2.2. Прямое построение ДКА по регулярному выражению.

Будем строить множество состояний автомата Dstates и помечать их. Состояния ДКА соответствуют множествам позиций. Начальным состоянием будет состояние firstpos(root), где root - вершина синтаксического дерева регулярного выражения, конечными - все состояния, содержащие позиции, связанные с символом "#".

Сначала в Dstates имеется только одно непомеченное состояние firstpos(root).

while (в Dstates есть непомеченное состояние R)
{пометить R;
for (каждого входного символа a, такого, что в R
имеется позиция, которой соответствует a)
{пусть символ a в R соответствует позициям
p₁,...,p_i, и пусть S=U followpos(p_i);
i
if (S не пусто и S не принадлежит Dstates)
добавить непомеченное состояние S в Dstates
(рис. 2.9);
Функцию перехода Dtran для R и a определить как
Dtran(R,a)=S;
}
}

Д
ля примера 2.3 вначале R={1(a),2(b),3(a)}. Последовательность шагов

алгоритма приведена на рис. 2.10. В результате будет построен детерминированный конечный автомат, изображенный на рис. 2.11. Состояния автомата обозначаются как множества позиций, например {1,2,3}, конечное состояние заключено в квадратные скобки [1,2,3,6].

U followpos(p(a)) U followpos(p(b))
{1,2,3} {1,2,3,4,} {1,2,3}
{1,2,3,4} {1,2,3,4} {1,2,3,5}
{1,2,3,5} {1,2,3,4} {1,2,3,6} {1,2,3,6} {1,2,3,4} {1,2,3}

Рис. 2.10

2.5 Построение детерминированного конечного автомата с минимальным числом состояний

Рассмотрим теперь алгоритм построения ДКА с минимальным числом состояний, эквивалентного данному ДКА [2].

Алгоритм 2.3. Построение ДКА с минимальным числом состояний.

Шаг 1. Строим начальное разбиение П множества состояний из двух групп: заключительные состояния Q и остальные Q-F.

Шаг 2. Применяем к П следующую процедуру и получаем новое разбиение П_new (рис. 2.12):

for (каждой группы G в П)
{разбиваем G на подгруппы так, чтобы
состояния s и t из G оказались в одной
группе тогда и только тогда, когда для каждого
входного символа a состояния s и t имеют
переходы по a в состояния из одной и той же
группы в П;
заменяем G в П_new на множество всех
полученных подгрупп;
}

Шаг 3. Если П_new=П, полагаем П_res=П и переходим к шагу 4, иначе повторяем шаг 2 с П:=П_new.

Шаг 4. Выберем по одному состоянию из каждой группы в разбиении П_res в качестве представителя для этой группы. Представители будут состояниями приведенного ДКА М'. Пусть s - представитель. Предположим, что на входе a в M существует переход из s в t. Пусть r - представитель группы t. Тогда М' имеет переход из s в r по a. Пусть начальное состояние М' - представитель группы, содержащей начальное состояние s₀ исходного M, и пусть заключительные состояния М' - представители в F. Отметим, что каждая группа П_res либо состоит только из состояний из F, либо не имеет состояний из F.

Шаг 5. Если М' имеет мертвое состояние, т.е. состояние d, которое не является допускающим и которое имеет переходы в себя по любому символу, удалим его из М'. Удалим также все состояния, не достижимые из начального.

На рис. 2.13 приведен пример применения алгоритма.

2.6. Программирование лексических анализаторов

Лексический анализатор, как правило, вызывается как подпрограмма. При обращении к ЛА вырабатываются как минимум два результата: тип выбранной лексемы и значение (или указатель на значение) для классов лексем (идентификаторов, чисел, строк и т.д.). Само значение передается, если ЛА не работает с таблицей имен. Если же ЛА сам формирует таблицу имен, то он выдает указатель на имя. Обычно ЛА оформляется как процедура-функция, вырабатывающая тип лексемы и заносящая в некоторую глобальную переменную значение лексемы, если это необходимо. Помимо значения лексемы, эта глобальная переменная может содержать некоторую дополнительную информацию: номер текущей строки, номер символа в строке и другую. Эта информация может использоваться в различных целях, например, для диагностики.

Тело ЛА представляет собой диаграмму переходов соответствующего конечного автомата. Отдельная проблема - анализ ключевых слов. Как правило, ключевые слова - это выделенные идентификаторы. Поэтому возможны два основных способа выделения ключевых слов: либо очередная лексема сначала диагностируется на совпадение с каким-либо ключевым словом и в случае неуспеха делается попытка выделить лексему из какого-либо класса, либо, наоборот, после выборки лексемы идентификатора требуется заглянуть в таблицу ключевых слов на предмет сравнения. Подробнее о механизмах поиска в таблицах будет сказано ниже (гл. 7), здесь отметим только, что поиск ключевых слов может вестись либо в основной таблице имен и в этом случае в нее до начала работы ЛА загружаются ключевые слова, либо в отдельной таблице. При первом способе все ключевые слова непосредственно встраиваются в конечный автомат лексического анализатора, во втором конечный автомат содержит только разбор идентификаторов.

В некоторых языках (например, ПЛ/1 или Фортран) ключевые слова могут использоваться в качестве обычных идентификаторов. В этом случае работа ЛА не может идти независимо от работы синтаксического анализатора. В Фортране возможны, например, следующие строки:

DO 10 I=1,25 и
DO 10 I=1.25

В первом случае строка - это заголовок цикла DO, во втором - оператор присваивания. Поэтому, прежде чем можно будет выделить лексему, лексический анализатор должен заглянуть довольно далеко.

Еще сложнее дело в ПЛ/1. Здесь возможны такие операторы:

IF THEN THEN THEN = ELSE; ELSE ELSE = THEN или
DECLARE (ARG1, ARG2, ...., ARGn) ...

и только в зависимости от того, что стоит после ")", можно определить, является ли DECLARE именем подпрограммы или объявлением. Длина такой строки может быть сколь угодно большой и уже невозможно отделить фазу синтаксического анализа от фазы лексического анализа.

Рассмотрим несколько подробнее вопросы программирования ЛА. Основная операция лексического анализатора, на которую уходит большая часть времени его работы, - это взятие очередного символа и проверка на принадлежность его некоторому диапазону. Например, основной цикл при выборке числа в простейшем случае может выглядеть следующим образом:

while (Insym<='9' && Insym>='0')
{}

Программу можно значительно улучшить следующим образом [2]. Пусть LETTER, DIGIT, BLANK, SLESS - элементы перечислимого типа. Введем массив MAP, входами которого будут символы, значениями - типы символов. Инициализируем массив MAP следующим образом:

MAP['A']:=LETTER;
........
MAP['z']:=LETTER;
MAP['0']:=DIGIT;
........

MAP['9']:=DIGIT
MAP[' ']:=BLANK;
MAP['<']:=SLESS;
........

Тогда приведенный выше цикл примет следующую форму:

while (Map[Insym]==Digit)
{}

Выделение ключевых слов может осуществляться после выделения идентификаторов. ЛА работает быстрее, если ключевые слова выделяются непосредственно.

Для этого строится конечный автомат, описывающий множество ключевых слов. На рис. 2.14 приведен фрагмент такого автомата. Рассмотрим пример программирования этого конечного автомата на языке Си, приведенный в [3]:

case 'i':
if (cp[0]=='f' &&!(map[cp[1]] & (digit | letter)))
{cp++; return IF;}
if (cp[0]=='n' && cp[1]=='t'
&&!(map[cp[2]] & (digit | letter)))
{cp+=2; return INT;}

Здесь cp - указатель текущего символа. В массиве map классы символов кодируются битами.

Поскольку ЛА анализирует каждый символ входного потока, его скорость существенно зависит от скорости выборки очередного символа входного потока. В свою очередь, эта скорость во многом определяется схемой буферизации. Рассмотрим несколько возможных эффективных схем буферизации.