И.А. Волкова, Т.В. Руденко - Формальные грамматики и языки. Элементы теории трансляции, страница 6

#include <stdio.h>

int c;

FILE *fp;/указатель на файл, в котором находится анализируе-мая цепочка /

void A();

void B();

void ERROR(); / функция обработки ошибок /

void S() {A(); B();

if (c != '') ERROR();

}

void A() {if (c=='a') c = fgetc(fp);

else if (c == 'c') {c = fgetc(fp); A();}

else ERROR();

}

void B() {if (c == 'b') {c = fgetc(fp); A();}

else ERROR();

}

void ERROR() {printf("ERROR !!!\n"); exit(1);}

main() {fp = fopen("data","r");

c = fgetc(fp);

S();

printf("SUCCESS !!!\n"); exit(0);

}

О применимости метода рекурсивного спуска

Метод рекурсивного спуска применим в том случае, если каждое правило грамматики имеет вид:

1. либо A  , где   (VT  VN)^* и это единственное правило вывода для этого нетерминала;

2. либо A  a₁₁ | a₂₂ | ... | a_n_n, где a_i  VT для всех i = 1,2,...,n; a_i  a_j для i  j; _i  (VT  VN)^*, т. е. если для нетерминала А правил вывода несколько, то они должны начинаться с терминалов, причем все эти терминалы должны быть различными.

Ясно, что если правила вывода имеют такой вид, то рекурсивный спуск может быть реализован по выше изложенной схеме.

Естественно, возникает вопрос: если грамматика не удовлетворяет этим условиям, то существует ли эквивалентная КС-грамматика, для которой метод рекурсивного спуска применим? К сожалению, нет алгоритма, отвечающего на поставленный вопрос, т.е. это алгоритмически неразрешимая проблема.

Изложенные выше ограничения являются достаточными, но не необходимыми. Попытаемся ослабить требования на вид правил грамматики:

(1) при описании синтаксиса языков программирования часто встречаются правила, описывающие последовательность однотипных конструкций, отделенных друг от друга каким-либо знаком-разделителем (например, список идентификаторов при описании переменных, список параметров при вызове процедур и функций и т.п.).

Общий вид этих правил:

L  a | a,L ( либо в сокращенной форме L  a {,a} )

Формально здесь не выполняются условия применимости метода рекурсивного спуска, т.к. две альтернативы начинаются одинаковыми терминальными символами.

Действительно, в цепочке a,a,a,a,a из нетерминала L может выводиться и подцепочка a , и подцепочка a,a , и вся цепочка a,a,a,a,a. Неясно, какую из них выбрать в качестве подцепочки, выводимой из L. Если принять решение, что в таких случаях будем выбирать самую длинную подцепочку (что и требуется при разборе реальных языков), то разбор становится детерминированным.

Тогда для метода рекурсивного спуска процедура L будет такой:

void L()

{ if (c != 'a') ERROR();

while ((c = fgetc(fp)) == ',')

if ((c = fgetc(fp)) != 'a') ERROR();

}

Важно, чтобы подцепочки, следующие за цепочкой символов, выводимых из L, не начинались с разделителя (в нашем примере - с запятой), иначе процедура L попытается считать часть исходной цепочки, которая не выводится из L. Например, она может порождаться нетерминалом B - ”соседом” L в сентенциальной форме, как в грамматике

S  LB

L  a {, a}

B  ,b

Если для этой грамматики написать анализатор, действующий РС-методом, то цепочка а,а,а,b будет признана им ошибочной, хотя в действительности это не так.

Нужно отметить, что в языках программирования ограничителем подобных серий всегда является символ, отличный от разделителя, поэтому подобных проблем не возникает.

(2) если грамматика не удовлетворяет требованиям применимости метода рекурсивного спуска, то можно попытаться преобразовать ее, т.е. получить эквивалентную грамматику, пригодную для анализа этим методом.

a) если в грамматике есть нетерминалы, правила вывода которых леворекурсивны, т.е. имеют вид

A  A₁ | ... | A_n | ₁ | ... | _m,

где _i  (VT  VN)⁺, _j  (VT  VN)^*, i = 1, 2, ..., n; j =1, 2 ,..., m, то непосредственно применять РС-метод нельзя.

Левую рекурсию всегда можно заменить правой:

A  ₁A’ | ... | _mA’

A’  ₁A’ | ... | _nA’ | 

Будет получена грамматика, эквивалентная данной, т.к. из нетерминала A по-прежнему выводятся цепочки вида _j {_i}, где i = 1,2,...,n; j = 1,2,...,m.

b) если в грамматике есть нетерминал, у которого несколько правил вывода начинаются одинаковыми терминальными символами, т.е. имеют вид

A  a₁ | a₂ | ... | a_n | ₁ | ... |_m,

где a  VT; _i, _j  (VT  VN)^*, то непосредственно применять РС-метод нельзя. Можно преобразовать правила вывода данного нетерминала, объединив правила с общими началами в одно правило:

A  aA’ | ₁ | ... | _m

A’  ₁ | ₂ | ... | _n

Будет получена грамматика, эквивалентная данной.

c) если в грамматике есть нетерминал, у которого несколько правил вывода, и среди них есть правила, начинающиеся нетерминальными символами, т.е. имеют вид

A  B₁₁ | ... | B_n_n | a₁₁ | ... | a_m_m

B₁  ₁₁ | ... | _1k

. . .

B_n  _n1 | ... | _np,

где B_i  VN; a_j  VT; _i, _j, _ij  (VT  VN)^*, то можно заменить вхождения нетерминалов B_i их правилами вывода в надежде, что правило нетерминала A станет удовлетворять требованиям метода рекурсивного спуска:

A  ₁₁₁ | ... | _1k₁ | ... | _n1_n | ... | _np_n | a₁₁ | ... | a_m_m

d) если допустить в правилах вывода грамматики пустую альтернативу, т.е. правила вида

A  a₁₁ | ... | a_n_n |  ,

то метод рекурсивного спуска может оказаться неприменимым (несмотря на то, что в остальном достаточные условия применимости выполняются).

Например, для грамматики G = ({a,b}, {S,A}, P, S), где

P: S  bAa

A  aA | 

РС-анализатор, реализованный по обычной схеме, будет таким:

void S(void)

{if (c == ‘b’) {c = fgetc(fp); A();

if (c != ‘a’) ERROR();}

else ERROR();

}

void A(void)

{if (c == ‘a’) {c = fgetc(fp); A();}

}

Тогда при анализе цепочки baaa функция A() будет вызвана три раза; она прочитает подцепочку ааа, хотя третий символ а - это часть подцепочки, выводимой из S. В результате окажется, что baaa не принадлежит языку, порождаемому грамматикой, хотя в действительности это не так.

Проблема заключается в том, что подцепочка, следующая за цепочкой, выводимой из A, начинается таким же символом, как и цепочка, выводимая из А.

Однако в грамматике G = ({a,b,с}, {S,A}, P, S), где

P: S  bAс

A  aA | 

нет проблем с применением метода рекурсивного спуска.

Выпишем условие, при котором -правило вывода делает неприменимым РС-метод.

Определение: множество FIRST(A) - это множество терминальных символов, которыми начинаются цепочки, выводимые из А в грамматике
G = (VT, VN, P, S), т.е. FIRST(A) = { a  VT | A  a, A  VN,   (VT  VN)^*}.

Определение: множество FOLLOW(A) -это множество терминальных символов, которые следуют за цепочками, выводимыми из А в грамматике
G = (VT, VN, P, S), т.е. FOLLOW(A) = { a  VT | S  A,   a, A  VN, , ,   (VT  VN)^*}.

Тогда, если FIRST(A)  FOLLOW(A)   , то метод рекурсивного спуска неприменим к данной грамматике.

Если

A  ₁A | ... | _nA | ₁ | ... | _m| 

B  A

и FIRST(A)  FOLLOW(A)   (из-за вхождения А в правила вывода для В), то можно попытаться преобразовать такую грамматику:

B  A’

A’  ₁A’ | ... | _nA’ | ₁ | ... |_m| 

A  ₁A | ... | _nA | ₁ | ... |_m| 

Полученная грамматика будет эквивалентна исходной, т.к. из B по-прежнему выводятся цепочки вида  {_i} _j  либо  {_i} .

Однако правило вывода для нетерминального символа A’ будет иметь альтернативы, начинающиеся одинаковыми терминальными символами, следовательно, потребуются дальнейшие преобразования, и успех не гарантирован.

Метод рекурсивного спуска применим к достаточно узкому подклассу КС-грамматик. Известны более широкие подклассы КС-грамматик, для которых существуют эффективные анализаторы, обладающие тем же свойством, что и анализатор, написанный методом рекурсивного спуска, - входная цепочка считывается один раз слева направо и процесс разбора полностью детерминирован, в результате на обработку цепочки длины n расходуется время cn. К таким грамматикам относятся LL(k)-грамматики, LR(k)-грамматики, грамматики предшествования и некоторые другие (см., например, [2], [3]).

Синтаксический анализатор для М-языка

Будем считать, что синтаксический и лексический анализаторы взаимодействуют следующим образом: анализ исходной программы идет под управлением синтаксического анализатора; если для продолжения анализа ему нужна очередная лексема, то он запрашивает ее у лексического анализатора; тот выдает одну лексему и "замирает" до тех пор, пока синтаксический анализатор не запросит следующую лексему.

Соглашение

1. об используемых переменных и типах:

• пусть лексический анализатор выдает лексемы типа struct lex {int class; int value;};

• при описанном выше характере взаимодействия лексического и синтаксического анализаторов естественно считать, что лексический анализатор - это функция getlex с прототипом struct lex getlex (void);

• в переменной struct lex curr_lex будем хранить текущую лексему, выданную лексическим анализатором.

1. об используемых функциях:

int id (void); - результат равен 1, если curr_lex.class = 4, т.е. curr_lex представляет идентификатор, и 0 - в противном случае;

int num (void); - результат равен 1, если curr_lex.class = 3, т.е. curr_lex представляет число-константу, и 0 - в противном случае;

int eq (char * s); - результат равен 1, если curr_lex представляет строку s, и 0 - иначе ;

void error(void) - функция обработки ошибки; при обнаружении ошибки работа анализатора прекращается.

Тогда метод рекурсивного спуска реализуется с помощью следующих процедур, создаваемых для каждого нетерминала грамматики:

для P  program D' ; B

void P (void){

if (eq ("program")) curr_lex = getlex();

else ERROR();

D1();

if (eq (";")) curr_lex = getlex(); else ERROR();

B();

if (!eq ("")) ERROR();

}

для D'  var D {, D}

void D1 (void){

if (eq ("var")) curr_lex = getlex();

else ERROR();

D();

while (eq (","))

{curr_lex = getlex (); D();}

}

для D  I {,I}: [ int | bool ]

void D (void){

if (!id()) ERROR();

else {curr_lex = getlex();

while (eq (","))

{curr_lex = getlex();

if (!id()) ERROR();

else curr_lex = getlex ();

}

if (!eq (":")) ERROR();

else {curr_lex = getlex();

if (eq ("int") || eq ("bool"))

curr_lex = getlex();

else ERROR();}

}

}

для E1  T {[ + | - | or ] T}

void E1 (void){