part 3 (694718), страница 2
Текст из файла (страница 2)
Далее рассмотрим некоторые подходы, позволяющие, по нашему мнению, осуществлять относительное сравнение сложности распознавания словарей, и введем определения, связанные с оценкой качества автоматического распознавания слов проблемно-ориентированного языка.
2.2.2. Информационный критерий оценки фонетической неопределенности. При распознавании устной речи необходимо стремиться к тому, чтобы все фонемы классифицировались правильно, поэтому нас интересует распознавание полной последовательности фонетических единиц, составляющих высказывание. При этом основным источником неопределенности при распознавании речи является сам акустический сигнал. Еще большую неопределенность представляет параметрическое описание речевой волны. Рассмотрим неопределенности акустического сигнала и приведем меру оценки фонетической неопределенности. Используя эти мерь, можно оценить лексическую и фразеологическую неопределенности. Слитная речь расчленяется на последовательность сегментов по признакам способа образования звуков. К этим признакам добавляются признаки места образования,которые изменяются непрерывно как внутри сегментов, так и через их Границы С 91,97]. С некоторыми дискретными единицами-звуками речи - фонемами или квааифонемами сегменты связаны таким образом,что смысловые единицы речи (слова) представляются цепочкой фонем.
Большинство систем автоматического распознавания речи [79] преобразует речевой сигнал в такую фонемную цепочку, которая затем сравнивается с ожидаемыми в слове звуками. Процесс преоб-
79
разования речевого сигнала в последовательность фонем включает нахождение признаков, сегментацию и маркировку сегментов.
Опишем модель фонетической неопределенности, позволяющую оценивать результаты неправильного распознавания фонем. Далее будем использовать матрицу ошибок распознавания фонем и фонетическую структуру слов словаря при оценке лексической неопределенности.
Лексическая неопределенность будет иметь место тогда, когда слова неверно классифицируются из-за близости их фонетической структуры, т.е. последовательности параметров, определяющих эту структуру, на конкурирующих словах. Например, в словах "слезать" и "срезать" первичные параметры звуков, входящих в эти слова, сходны. Когда оба эти слова входят в один и тот же словарь,их точная классификация затруднена, поэтому их можно считать лексически неопределенными. В реальных системах, если позволяет задача, следует подбирать слова,чтобы такой ситуации не возникло.Приведем критерии сложности словаря для того, чтобы можно было оценить степень различимости словарей [63].
рассмотрим распознавание речи как процесс передачи речевой информации через канал с шумом и оценим информацию, теряющуюся в канале. Потерянная информация является мерой неопределенности или сложности распознавания фонем. В идеальном канале числи входных идеальных, полученных после сегментации высказывания экспертами-фонетистами, и выходных фонетических единиц должно быть одинаковым, а последовательность фонем на выходе должна соответствовать входной последовательности. Если же это условие не соблюдается, в канале теряется информация, и в зависимости от вели-vwi потерь можно говорить о большей или меньшей неопределенности классификации фонем. При практической оценке фонетической неопределенности в данной работе использовались система признаков [73] и алгоритм сегментации речи на семь типов сегментов:
V - гласный, Т - переходный, М - сонорный, L - низкочастотный, Н - высокочастотный, /? - шумный, П - пауза. Затем алгоритм маркировки ставил в соответствие каждому сегменту некоторый фонетический символ, используя априорно полученные гистограммы параметров. От надежности маркировки сегментов во многом зависит точность работы GPP.
Так как СРР рассматривается здесь как канал передачи информации, предположим, что имеются г возможных входных символов алфавита А и s возможных выходов алфавита В . Таким образом, СРР описывается канальной матрицей. На рис. 2.1 приводится схема канала передачи информации и канальной матрицы.
60
| а, "г | 'и Рг, | Р„ • • Р„ •• | • • • P,s • • • Р„ |
| * | |||
| • | |||
| '. | |||
| "г | ^ | Рг, • • | • • Prs |
рис. 2.1. Блок-схема канала передачи иниормации и канальной матрицы
Канал передачи информации, используемой для описания системы распознавания речи, представленной цепочкой фонем, преобразует незашумденную последовательность звуков в выходную последовательность "машинных " фонем, содержащую ошибки пропуска, вставки слияния и замены звуков.
Символами Ar'l{a•|.} и ^s={Ц'} обозначены соответственно входной и выходной алфавиты фонем. Дхя простоты предполагается, что канал представляет собой независимый дискретный канал без памяти. Если р {Ь. /а^) - вероятность символа Ь- на выходе канала при подаче символа а^ , то этот канал передачи информации можно описать матрицей условных вероятностей Р = = [^(6//o,)J . Очевидно, £ p( &/•/i=f~r. На рис. 2.2 приводится пример матрицы условных вероятностей при распознавании изолированных звуков.
Пусть элемента входного фонетического алфавита {аЛ появляются на входе с некоторой априорной вероятностью р(а ),р(а ),-.. ••.,/?(а^), а элементы алфавита [Ь.\ на виходв - с вероятностью P(ti,), p(by),..., р(.Ьу) • Как отмечено ранее, работу канала передачи входного ад^евита {а^} кластеризует канальная ма'грипа,поэт<аду
(2.1)
| Символ | а | о | и |
0,69 0.10 0.01
Апостериорная вероятность того, '•то, если в результате распознавания Получили фонеыу Ь, , то на вход поступила фонема а^ , определяется по Формуле Байеса
Зак.480 у
0,15 0,75 0,10
0,01 0,10 0,89
Рис. 2.2. Ilptttcap мктрицы условных вероятностей распознавания изолированных звуков
(2.2)
Ииормацня 7(а^; Ь ), получаемая от канала, когда на его вход потупила фонема а.^ , а на выходе распозналась как 6, , опредедется [91]
. , p^Jbj)
l^i\b^lo
С]»дняя информация, получаемая на выходи канаха с потерями при жредаче (распознавании) входного алфавита фонем A:={a•^, которШ распознается как алфавит в = { ^ } , будет
UA,B)=^p(a„^)Ha^^)=
^^,6,)^^/^-а,в' L J у? р(а,)
=-ip(a„b-)lo^p(ai)^p(a^b,)io^p(a,/^)^
^,0 /1,0
=-ip(a,)log,p(a^lp(a,^toy^p(a,/ 6,);
л, в
I (А ,В) = Н W^P^, ^}to^f){a, /Ь,). (2.4)
л, в
С»метим, чтоН(Л)- энтропия, характеризующая степень неоп-редвдедости входного алфавита А-=-{а^] . Из (2.4) подучаем,что
H(A)-I(A,S)=-^p(a,,b..)iw,p(ai/b^=
Л, о
=-рР(^/Ь/)р(Ь,)1о^р(а,/6,)-
Д,В
=-^р(^-)^/?1'а,/^-)^/)(^./^.)= Н(А/В); (2.5)
Н(А^)- апостериорная ентропия входного алфавита фонем, которая 82
характеризует меру информации, теряемой в системе распознавания дрй передаче входного алфавита { я^} . Апостериорная внтропия и является мерой, оценивающей сложность входного словаря для автоматического распознавания при фиксированном параметрическом описании.
При наличии значений энтропии входного алфавита фонем можно вычислить размер (объем), равный У'"', а значения 2 vw характеризуют среднее количество возможных альтернативных (конкурентных) элементов алфавита {о I на входе СРР после того, как на выходе получили множество { 6 } , т.е. меру сложности распознавания входного алфавита фонем. Назовем эту меру эквивалентным размером алфавита фонем. Значение у"^0' можно назвать энтропийным критерием оценки фонетической неопределенности, который является обобщенной характеристикой сложности распознавания алфавита фонем < а^ \ данной системы распознавания. Если СРР работает без ошибок, условная энтропия Н(А/В)вО и эквивалентный размер алфавита фонем 2"("/°' = i. Естественно, что если Н(А/В)»0, то Z"^^!, а в случае, когда СРР не распознает Н(А/В)=Н(А), то эквивалентный размер алфавита фонем равен Z"^
Эквивалентный размер алфавита фонем дает возможность количественно оценить среднее число возможных конкурентных фонем (имеющие близкие параметрические описания), и для его определения необходимо знать апостериорные вероятности p(a^/b-) входного алфавита.
Для решения конкретных проблем автоматического распознавания ограниченных наборов слов взе многообразие фонем можно свести к двум-трем рабочим фонетическим единицам (например,к классам длительных шумных, звонких и смычных звуков), которые При использовании простой системы признаков к несложных алгоритмов распознавания дают нулевую апостериорную энтропию. Однако ври решении задачи распознавания относительно сложных словарей и/иди требование надежной фонетической верификаций произнесенного слова такого количества рабочих фонем сказывается явно недостаточно. Работать Же с полным набором фоней "ложно из-за ошибок их автоматического распознавания. Поэтому к приходится идти на компромиссные решения - искать какой-то оптимуи при фонетическом описании рабочих словоформ. Эти проблемы будут частично рас-емотрены в а. 2.2.3.
Условные вероятности распознавания фонем ^(6,/д.), определяющие эквивалентный размер фонетического алфавита, можно опре-• Делить несколькими методами.
83
Статистический мегод позволяет получать вероятности распознавания фонем, используя реальную СРР. ото осуществляется путем сравнения результата распознавания системы с точной ручной сег~ ментацией и маркировкой речевого сигнала (иди его параме-гричес-кого представления), поступающего на вход системы распознавания. В результате получается классическая матрица правильной и оаибочной классификации входного алфавита фонем.
Акустико-параметрический метод, когда матрица ошибок классификации фонем получается путем прямого сравнения их параметрического описания. При этом эталон фонемы выбирается из множества реализации данной фонемы. Расстояние между фонемами используется для оценки условных вероятностей ошибочной классификации фонем. Точность этого метода зависит от выбранного эталона и объема исследовательского материала.
Кроме этих методов, оценку вероятности ошибочной классификации фонем можно произвести на основе моделирования речеобразующе-го тракта человека [73.
^.2.3. Оценка сложности распознавания слов по их фонетичес-кой структуре. Рассмотрим неадаптивную систему распознавания слов как канал передачи информации. Слова входного словаря V= ^Я.,У„,... ..., V.,..., v„} можно представить последовательностью фонетичес-
'• f Г Г /* 1
~ " /•> ' * о JiHftBa п^гуппылрп ^ЛП—
НИХ СИМВОЛОВ V
\ а^ , af , . . . , af \ , а слова выходного сло-11 г "- 1
варя канала W= {
'I 2 " ^ "1 ^,,^,.. . W -.^}
цепочками
_^.. „_..... квазифонетических эталонов iff, -- i bj , bj , . . . , bj } , где Q^ e А , Ъ, f- В - соответственно входной и выходной алфавиты фонем канала; г= /, R ; s= /, 5 ; л= п(г) ; 1= l(s). Тогда оценку сложности распознавания слов, производимого сравнением входной реализации с цепочками квааифонетических эталонов, можно осуществить на основании анализа матрицы ошибок, подученной при представлении эталонов слов Wy ё. W поверхностными формами й^ f Wg , k^ f,Ky каждого выходного слова. Фактически сложность распознавания входного словаря V определяется наличием сходных эталонных поверхностных форы U^ выходного словаря W и частотой встречаемости зтих поверхностных форм р (wВ4
особенностями произношения, но и формы, включающие случайные сегменты, маркированные квазифонетическими метками, появление которых связано с неидеальностью автоматической фонетической сегментации и маркировки нашим алпаратурно-програмыным методом, вызванной, например, изменением интенсивности речевого сигнала.
В дальнейшем будем рассматривать влияние двух обстоятельств на формирование эталонных поверхностных форм слов рабочего словаря, учитывая, что поверхностные формы, связанные о особенностями произношения и матрицей ошибок квазифонемной классификации, можно построить вручную (или автоматически,исполь-ауя таблицу акустико-фонодогических правил, хранящуюся в памяти, и прилагаемых к базовой квазифонетической цепочке), а поверхностные формы w . , обусловленные особенностями аппаратуры выделения информативных признаков, можно получить, анализируя статистику реализации квазифояетических цепочек слов рабочего словаря, полученных с помощью ЭВМ. Получение этой статистики не всегда обязательно, особенно если рассматриваются слова,контраст-ные по своим акустическим свойствам. Предварительную оценку сложности распознавания слов можно сделать аналогично оценке сложности фонетического алфавита - по фонетической структуре слов, вычисляя апостериорную словесную неопределенность и не исследуя статистики реализации.
Все эталоны слов и^у б W рабочих словарей должны быть представлены последовательностью маркированных фонетическими метками отрезков, где квазифонемы должны делиться на опорные, обязательные для данного слова (определяющие базовую форму и, как Правило, присутствующие во всех поверхностях), и "вспомогательные", трудноклассифицируемые. Трудноклаосифицируемые сегменты должны быть расчленены (хотя бы грубо) на несколько квазифонетических элементов, если длина этих сегментов выше пороговой (это делает на первом этапе человек на основании знаний фонетической структуры возможных форм каждого слова). Опорными сегментами слова следует считать маркированные отрезки которые при их маркировке квазифонетичаскими метками допускают суммарную ошибку ниже ввристически определенного порога.
При автоматическом распознавании выбор эталонов (из словаря эталонов) должен быть в первую очередь обусловлен наличием в Поступившей на вход реализации опорных, обязательных маркированных сегментов о. с учетом того, что за счет иеидеадьности сегментации общее число сегментов входной реализации может не совпадать с возможным числом сегментов эталонного графа,за счет Неопорных сегментов, образующихся или выпадающих случайно.
У5
Сшибки классификации дают появление "путающихся" поверхностных форм (представленных последовательностью квазифонеы) дяя различных слов словаря. Будем считать, что матрица ошибок при распознавании слов априори формируется таким образом, что (при сходстве поверхностных форм различных слов словаря) более часто встречающиеся поверхностные формы слов одного класса (при заданном алфавите квазифонем) считаются относящимися к словам только этого класса, а редко встречающиеся сходные поверхностные формы для других слов словаря дают ошибки распознавания. Впрочем, используя синонимию или семантико-синтаксические ограничения при распознавании пословно произносимых фраз. Всегда следует добиваться того, чтобы подобные случаи не происходили (трудности представляют слова, входящие в одну семантико-сиитаксическую группу,которые нельзя заменить синонимами, например, названия цифр).
Следует отметить, что принятые решения о принадлежности поступившей на вход реализации к тому или иному классу следует делать но эталонам с одинаковым числом опорных сегментов и с учетом верификации сяова, всякий раз используя эвристически выбранные пороги достоверности, в общем случае разные для различных слов. Так, для принятия окончательного решения о принадлежности входной реализации Уд. к классу Wy необходимо выбрать
и w, , который ооответ-
два наиболее вероятных кандидата
— —— - . ^ ствуют вероятности p(v,/u7y] и ^(i^/г^ ), и проверить,удовлетворяются ли условия:
WM,)>^,;
Р^/^-Р^/^,)^^
где А^ - пороговое значение вероятности того, что входная реализация соответствует олову у/, ; Ay, - пороговые значения разности условных вероятностей принадлежности входной реализации
г1д. классам и vf. , при которых принимается решение о клас-
сификации у^ .
Пороговые значения /Зд,/!,, выбираются экспериментально по заданной системе используемых фонетических признаков,а также требуемых точности распознавания и вероятности отказов от распознавания. В случае, если подбором порогов заданные требования к системе распознавания не удается выполнить, следует провести более детальный анализ неопорных сегментов, иди попытаться улучшить систему признаков. В ряде случаев дяя удовлетворения заданных в системе требований следует использовать синонимию.
66
Рассмотрим далее более конкретно, как оценить лексическую неопределенность словаря V языка речевого общения неадаптивной системы автоматического распознавания. Аналогично тому, как оценивалась неопределенность алфавита фонем, можно определить сложность распознавания входного словаря V , состоящего из R слов, и вычислить эквивалентный размер входного словаря. При этом необходимо получить вероятности p(v^/w,) одиэости областей призна-хового описания слов i^, « V, ur, б W, г= /7Д. 3s /75. которые представляются в виде последовательности фонетических единиц (фонетической транскрипции слов). Далее оценим вероятности p(ff^/v7y).
Как уже отмечалось, на основе лингвистических знаний, эта-жоны слов Wy (. W представляются в вида фонетических ( вернее, квазифонетических) цепочек,совокупность которых описывается графом с конечным числом состояния, а каждая фонема - признаками способа и места образования. Слову VT, соответствует одна или несколько траекторий (цепочек поверхностных форм) на графе (количество траекторий зависит от метода произношения и характеристики диктора). Направленный граф f (W,) представляет все фонемы этахона сяова иг, б W , который имеет uf, поверхностных форм, k= !, 2, . . ., А-з ; uly = U'1Л ; каждая поверхностная форма
^ e w, содержит
,.^,-...^ Пусть р ( иГу)
ur, e 1= l(3.k) опорных квааифонем, т.е. иг,), } I-- /,2,..., 1(з, k).
априорная вероятность появления слова u^eW на выходе блока лексического распознавания, а априорная вероят-
р (vfs„ ) • При
ность иГу поверхностной формы этого же оаова этом выполняются условия
л, « Р(Щ,)= Z: Р(^) ; £/?(ur,)=/.
Необходимо отметить, что количество опорных сегментов в поверхностных формах слов выходного словаря различно, т.е. предел изменения индекса I зависит как от номера слова, так и от его поверхностной формы I = I (.з, k}.
Для того,чтобы осуществить оценку неверной классификации слов словаря на стадии лексического распознавания по фонетической структуре этих слов, выполним операцию разбиения всех поверхностных форм эталонов слов на М фонетических групп с одинаковым количеством опорных сегментов 1= I (з) . При этом слова, поверхностные формы которых принадлежат разным группам, не будут Путаться между собой, поскольку их легко классифицировать по числу "опорных" фонем, составляющих слова.
8?
Вообще говоря, можно представить себе фонетические группы эталонных поверхностных форм, отличающиеся не только числом опорных фонем, но и их характером, а также порядком следования.Если учесть все три фактора, позволяющие разбить эталоны на существенно большее число фонетических групп, то дальнейшие рассуждения можно отнести к каждой из этих групп. Для простоты,однако, будем считать, что мы имеем М фонетических групп, в каждой из которых одинаковое число опорных сегментов. В практических задачах при разбиении на группы следует учитывать все эти факторы, однако необходимо строго ограничивать число различных опорных сегментов, выбирая лишь те, которые не путаются между собой и характеризуются групповыми признаками места образования - ударные гласные, смычные, фрикативные [81,60] .
Итак, допустим, что существует М фонетических групп слов W, , W^, . . . , W^ , . .., W^ , в каждой из которых^ одинаковое число опорных квазифонем. Общее число эталонов И/= U W^ , а количество фонем, составляющих: слова (длина фонетической цепочки) каждой группы, об означим через I ; т= /,/И.
Представляя таким образом слова словаря на входе СРР и используя матрицы ошибочной классификации фонем, составляющих слова
/Кй/&)-[Ру], (2.5) можно оценить вероятности p^(v /Wy) спутывания поверхностных
форм слов внутри каждой группы слов следующим образом:
где
t = t, 2, . . . , t^ - длина фонетической цепочки группы слов ^ , а^ е ^ , Ь„ е иг,.В общем случае одно и ъо же слово Wy может иметь К, поверхностных форм, имеющих разное число фонетических элементов и попадающих в разные группы слов W^, . Поэтому общую условную вероятность "спутывания" слов словаря определим
(2.8)
P(v^/w,l= Г P(w^) р^ ( ^ /г^-) .
Для определения потери информации в СРР, которая рассматривается как канал перэдачи информации, в случае распознавания слов используем выражение
86
(2.9)
KV/W)-- -Z p(w,)i p(v^/ w^ locj^ p( v^ /v/,).
/ (V/W)
Тогда 2 определяет эквивалентный размер словаря —
число альтернативных слов на входе системы распознавания, а
2й v) - фактический объем входного словаря, где
R
Х
г'1
(2.10)
Эти выражения, аналогичные формулам (2.4), (2.5), оценивающим фонетическую неопределенность, являются критерием оценки лексической неопределенности. Они определяют сложность распознавания словаря и позволяют судить о качестве СРР. При автоматической маркировке, наряду с ошибками неверной кдассификации фонем, существуют, как уже отмечалось, ошибки неверной сегментации, приводящие к слиянию отрезков, соответствующих смежным фонемам, в один сегмент или расчленению отрезка, соответсвувщего одной фонеме, на несколько смежных фонем разных классов. При выборе альтернативных слов словаря надо следить за тем, чтобы неприятности такого рода не вызывали подобия последовательностей фонетических единиц, соответствующих разным словам. Для этого необходимо использовать матрицы, отражающие возможные варианты сегментации слов словаря и частоты встречаемости тех или иных вариантов сегментации, соответствующих различит поверхностным фориам слов. Так как информация о словах, содержащихся в фонемах,избыточна, то часто при оценке различимости слов словаря вполне достаточно использовать опорные фонемы, допускающие минимум ошибок расчленения и слияния. Поэтому в формуле ( § 2.3. О языке описания данных в системе автоматического речевого запроса информации 2.3.1. Понятийный язык и двухступенчатое иерархическое построение его грамматического представления. Информационные системы, стояь распространившиеся в настоящее время, требувФ общения с ними с помощью устной речи на языяв, близком к естественному. Необходимая нам информация должна быть выдана по запросу Зак.480 89
последовательности понятийных дескрипторов, которую человек может произнести, не используя жесткого порядка следования этих дескрипторов. Такое представление совокупности дескрипторов - понятийного поля не только обеспечивает естественность запроса информации из базы данных, но и фактически не увеличивает времени поиска релевантной информации, так как при этом учитываются отношения между понятиями и используется иерархический принцип с ыниыой иерархией, обеспечиваемой перестраиваемой структурой дорического дерева. В связи с этим можно представить общую грамматику 6 формирования понятийного поля, включающего посведо-вательность предложений, которые дают информацию о структуре дег.криптов, в виде иерархически связанных граыиатик верхнего и нижнего уровней. (Процесс формирования свободных от ошибок словесных цепочек, полученных в результате автоматического распознавания слов и устного редактирования, рассматривать здесь не будем .) Грамматика верхнего уровня G" определяет общую структуру понятийного поля, а языки, обусловленные грамматиками нижних уровней б[ , конкретизируют порождение предложений на уровне формирования понятийных фраз. Грамматика G" допускает появление понятий (они выражены запросными фразами S^ ), формирующих смысл запроса, в произвольном чередовании. Иными словами, порождающая грамматика последовательности понятий - есть простей-вая грамматика типа 0 (по Хомскому), в которой нетерминальными символами vh являются обобщенный дескриптор понятийного поля (поисковый образ запроса) и понятийный уровень, а терминальными V - конкретное наименование понятий (названия уровней) ^ . Нетерминальный символ { обобщенный дескриптор понятийного поля j является начальным символом S в грамматике в", а правила вывода р сводятся к допустимости перестановок терминальных символов s.—^s-.такчто для понятий s,,Sg,...,5^ язык, обусловленный этой грамматикой, допускает К ' предложений длины К , в каждом из которых все понятия различны:
S, , S, , . . . , S„ ; ^ , s, , • • • , ^ ; 5,. S,, S, ,. .., 5^ .
Вообще говоря, грамматики типа 0 допускают бесконечное количество словесных цепочек (предложений) различной длины, составленных из терминальных символов. Если считать, что нас интересуют словесные цепочки с неповторяющимися терминальными символами, и представлять обобщенный дескриптор понятийного поля цепочками переменной длины J = f -L К , то число N возможных предложений, используемых для работы и допускаемых языком этой гр^матикм, ^^., ^^
90
Каждый из терминальных символов грамматики в° в свою очередь является начальным (и нетерминальным) символом порождающей грамматики второго уровня (7, , накладывающей или не нак-
ограничения на формирование предложений в t'-ru понятийного уровня (рис.2.3).
ладывающей ограничения на формирование предложений в рамках каждого t-ru понятийного ур
Рис. 2.3. Порождения тийных полей
Отметим, что в зависимости от особенностей терминального словаря каждого уровня и привычки пользователей к произношению фраз этого уровня на естественном языке порождающая грамматика с начальным (нетерминальным) символом, полученным на предыдущем уровне, может быть нулевого, первого, второго иди третьего типа, определяемого соответствующими правилами вывода.Далее мы рассмотрим оценку грамматической сложности языка (с точки зрения автоматического распознавания речи) на уровне
формирования предложений с учетом произношения слов, являющихся
Go терминальными символами грамматики , и покажем, что означает
"подстройка под словарь и язык" в неадаптивных системах автоматического распознавания слов. Языки, определяемые грамматиками б", (7/, G',...,(?/,..., G^ (рис. 2.3), будем называть языками системы распознавания речи, подразумевая, что с точки зрения автоматического распознавания слова, являющиеся терминальньгми символами грамматики высшего уровня, также конкурируют между собой и определяют начальный символ сети (графа), которой представляется языком СРР.
2.2.2. Оценка сложности языка с точки зрения автоматичес-кого распознавания пословно произносимых предложений. Синтаксис и семантика языка СРР, определяемых грамматилаки {G^} , накладывают ограничения на порядок следования слов в предложении в характер возможных словосочетаний. Эти ограничения существенно облегчают задачу распознавания речи вследствие сокращения общего поискового пространства признаков.
Для приближенной оценки грамматической сложности языка СРР рассмотрим грамматику автоматического языка как наиболее простого и наиболее поддающегося количественному анализу.Грамматики Нулевого, первого и второго типов, как было указано ранее, также можно использовать для формирования предложений в СРР, однако их количественные характеристики подучить сложнее. и тому же ряд закономерностей, характерных дяя языков, оаисываяицихся грамматиками
91
большей сложности, можно выявить и на самом простом языке, относящееся к частным случаям языков нулевого, первого и второго типов и наиболее используемом при формировании предложений в современных системах распознавания речи.
Правила подстановки в грамматиках третьего типа (автоматных) имеют вид А = а В или А —- В , где А, В с 1^ и а, Ь (. \'i . Для языка СРР А и В характеризуют названия смысловых групп, а а , Ь - названия слов в смысловых группах - подсдоварях. Грамматика автономного языка определяется множеством внутренних состояний s„3 ,. . .,s^,..., ss и правилом перехода в следующее состояние .
Следовательно, после слова с номером i(n) из группы слов s с S может следовать слово из подсловаря s^, с s . Кроме того, заданы S и S - состояния, которыми соответствен
KG)
но начинаются и кончаются фразы. Например, предложение имеет структуру
l.(G)=S„v, v. ,.
где veS,, v, e S,, . т = /, 2, . . . , I
Оценим синтаксическую сложность автоматного языка средним коэффициентом ветвления К^р , который определяется средним числом возможных слов в каждой точке дерева ветвления:
К,
ср
i м -—Z К,
N l-i
(2.К)
количест-
^десь К^ - коэффициент ветвления в точке i ; N во точек ветвления.
Средний коэффициент ветвления удовлетворительно описывает синтаксическую сложность языка тогда, когда появления слов в предложении равновероятны.
Если средняя длина предложения /^д , то произведениями Z^„ «/<- можно оценивать грамматическую сложность рассматриваемых языков речевого запроса и даже в какой-то мере (очень приближенно) сравнивать точность автоматического распознавания пословно произносимых фраз. Но эта оценка не учитывает фонетических особенностей подсловарей. К тому же в реальных условиях различные слов8 словаря речевого общения имеют разные вероятности при формировании фраа. Для учета этих факторов будут использованы квазифонетическое представление поверхностных форм слов (см.п.2.2.2) и стохастическая порождающая грамматика, у которой задано вероятностное распредеаенме правил образований предложений рц из слов в
i/
92
»аждой точке ветвления 1= 1,п нкя выполняется условие
При этом для всех точек ветвле-
(2.13)
где К- - количество возможных слов в точке I (коэффициент ветвления). Тогда вероятность получения фразы l(G)6i(G) в результате применения t правил подстановок равно произведению вероятностей примененных при этом выводе правил образования. Отметим, «то число слов, составляющих предложения, может быть различное И зависит от количества правил,примененных при формировании данного предложения.
Определим энтропию Н(/-} языка /(0) .Для этого обозначим через L^ множество всех фраз длины п слов, допускаемых грамматикой G:
| через ЮЛИЯ | р(^) | / -и1^ ^п-\Ч '•••' | f(n) | Лп) '-г '• • • | |
| - вероятность | •s • • • • ' получения | фразы /(0) | |||
| HU | ) | языка речевого общения | |||
(2.14)
if/)) f(n) •} ^ • • • • • '-г ' • • •)•
Тогда эн-
г(л)н^-^, ^ ^О^/^О, (2.15) где Т - максимальная длина предложения. Естественно, что
(2.16)
г z pa^)=f.
/,., iyki, г
В случае, когда различные предложения, порождаемые грамматикой G , имеют разные смысловые интерпретации, тогда энтропия Языка характеризует его возможность передавать информации. В соответствии с теорией кодирования информации число возможных фраз языка с энтропией H(Z) будет 2н(t), и это значение определяет размер входного языка.
Для определения сложности (неопределенности) распознавания языка речевого обшения рассмотрим процесс распознавания предложения в виде последовательности распознавания слов из подсловарей данного уровня, размеры которых определяются коэффициентами ветвления К^ . Тогда для оценки сложности распознавания языка необходимо оценить сложность распознавания всех N подсловарей
93
этого уровня, где вероятностью P(Vf, } применения'
каждом узле дерева стохастической автоматной грамматики. Имея условные вероятности р. (v^/Шс) ошибочного распознавания слов каждого из подсловарей и рассматривая CPF как канал передачи информации, определяем потери информации /„ду в случае распознавания предложений, произносимых пословно, следующим образом:
к к;
£
с?
Обычно интересуются, как распределены потери информации по различным понятийным уровням S^ и различным узлам графа, представлякщего автоматную грамматику уровня. Важно знать,в каком узле языка общения "тонкое место" и как его устранить.
Для общей оценки сложности распознавания предложений, которые произносятся пословно в соответствии с заданной грамматикой G , можно пользоваться выражением 2 "" , которое определяет среднее число возможных альтернативных фраз на входе в СРР. В случае, если СРР работает баз ошибок, при пословном произношении фразы на выходе системы всегда одно предложение.
Формула (2.17) оценивает сложность распознавания фраз языка речевого общения СРР. При этом отметим, что эта мера зависит как от фонетической структуры слов словаря, так и от грамматических правил образования предложений. В практических СРР при
распознавании языка необходимо, чтобы /„ была близка к нулю
^пот < ] порог • (РВД11118 ошибки при распознавании слов можно устранить словами устного автоматического редактирования .) Если это условие не удовлетворяется, то возникает проблема изменения языка, которая сводится к изменению словаря системы и/ияи грам-иатики языка с целью увеличения точности распознавания.Для этого можно либо использовать синонимию в подсловарях, имеющих наибольшую неопределенность, либо изменить грамматическую структуру предложения путем изменения грамматики G , которая используется как механизм сокращения области поиска, ограничивающей число приемлемых альтернатив.
94
г.3.3. Изменение языка в неадаптивных системах автоматического речевого запроса.Описанный во. 2.3.1 в общем видепоня-тийный язык речевого общения "человек - информационная систеыа" допускает его развитие на основе некоторого ядре или создание -не базе общих представлений о структуре языка. Суть развития этого языка ("подстройка под язык") сводится: к замене или увеличению числа терминальных символов грамматики в", определяющей появление, замену или уничтожение целых понятийных уровней, язык которых определяется грамматиками ^ ; к замене, уменьшению или увеличении числа терминальных символов грамматик G^ без изменения числа понятийных уровней.
Понятийный язык речевого запроса информации рассматривается как лингвистический процессор, который представяен комплексом Программ, обеспечивающим автоматический перевод устного текста в заданный момент для того, чтобы информационная система могла воспринимать (понимать) фразы, относящиеся к рассматриваемой пред-иетной области. Тогда задача "подстройки под язык" сводится к модификации (иди вообще построению) этого лингвистического процессора, который допускает только правильные, осмысленные пред-жижения, обусловяенные грамматики 6°, G,',
В соответствии с п. 2.3.1, задача построения такого лингвистического процессора, если заданы множества слов { у, , г^, . . . .... Уд,} словаря V описания данных информационной системы, формально сводится к построению некоторой функции
/ = (v,, ^ , . . .. 1^ ),
где i v, , Vy , . . . , гГд. } б V , полностью определяющей работу «Ннгвистичесного процессора (семантико-синтаксического анализатора), который допускает только слова, являющиеся грамматически правильными в данном контексте.
Дяя этой цели фразы языка речевого общения представим в виде направленного графа с конечным числом состояний без циклов
(2.18)
Весь словарь (узлы графа) разобьем на I непересекающихся понятийных уровней, т.е.
V П V^ П . .. П V = О
(2.19)Для указания связи между словами (узлами) понятийного графа строим матрицу смежности 2)= [и';,], которая распадается на
9Ь
D, ,Д,, . . . ,Д„, . . . ,^_, подматриц, где Д„ =(о^ б {О,/}) указывает смежность п-го и п+1 уровней графа 6(1/, Г). Тогда задача подстройки "под язык" заключается в задании
и/или изменении словаря языка речевого общения и матрицы смежности D > указывающей связь между словами понятийного графа.
Иными словами, частичная иди полная замена словари в неадаптивных системах распознавания фраз, составленных из изолированных слов и коротких словосочетаний на основе понятийных языков, описываемых грамматиками { 6°, G\, CJ, . . . , G^ } , приводит к изменению грамматик, к приспособлению понятийного графа к новым требованиям,
Замена терминальных символов {V- ^ грамматик {С/} производится записью в соответствующий массив, где хранятся эталоны старых слов, новых слов и квазифонетических поверхностных форм, представляющих эталоны нового терминального символа. Если используются программы автоматического порождения множества поверхностных форм по базовой форме слов (слова), определяющих новый терминальный символ, то дл.-: замены терминального символа (получения множества эталонов) требуется ввести лишь информацию о последовательности квазифонетических символов; запись новых символов можно производить аналогично описанному. Эталоны названий новых понятийных уровней вводятся так же,потому что они являются терминальными символами грамматики верхнего уровня G"• При введении нового уровня необходимо описать грамматику языка этого уровня и включить эталоны новых терминальных символов. Изменение матрицы смежности производится в зависимости от требований измененного языка, от новых понятий и новых взаимоотношений между словами понятийного графа. Если необходима замена правильных слов словами-синонимами, то никаких изменений матрицы смежности не производится. Оысл введения слов-синонимов сводится лишь в уменьшению 1^, (2.17).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
