Авт. обработка текстов на естественном языке и комп. лингвистика. Большакова (2014) (Авт. обработка текстов на естественном языке и комп. лингвистика. Большакова (2014).pdf), страница 6

Однако степень фразеологизации и идиоматизации в языке можетбыть разной. Поэтому правильнее было бы сказать, что фразеологизмы и идиомырасположены на шкале от инвентарных к конструктивным единицам. Кроме тогобольшую проблему представляют составные слова: «в отличие от» в современномязыке является инвентарной единицей, но состоит из трех пробельных слов(текстоформ). Каждый прикладник на своей шкуре испытал всю сложность инеоднозначность решения задачи разделения на слова (графематического анализа ипарсинга). К этой же проблеме относится, например, задача выделения(объединения?) компонентов сложных номинаций. Обо всем этом пойдет речь вданной главе.«С морфологической точки зрения слова — конечные составляющиевысказывания, т.

е. такие структурные единицы, взаимодействие которых и создаетвысказывание безотносительно к его устройству. Это значит, что, во-первых, поотношению к высказыванию словá являются мельчайшими интегрантами и, вовторых, статус слова предполагает лишь (относительную) цельность и автономность всоставе высказывания» [113: 821]. Именно по этой причине сложно, а подчас иневозможно анализировать информационную (или коммуникативную) структурутекста на уровне этих мельчайших интегрантов.В [98] было выдвинуто понятие «текущего словаря»: подобно тому, как всамом начале восприятия осуществляется фаза ориентировки (знакомство скоммуникативной ситуацией, подстройка под нее, подстройка под диктора), имеетместо и своего рода подстройка под лексико-семантические особенностивоспринимаемого текста, что позволяет сузить рабочую область словаря: перейти отобщего словаря к текущему.

Соответственно облегчаются и становятся болееэффективными процедуры идентификации (поиска в текущем словаре), ведь словарьслушающего переструктурировался.Остановимся подробнее на следующих вопросах:o как происходит подстройка слушающего под структурные особенности текста;o как формируется «текущий словарь» в процессе восприятия речи;18o как соотносится формирование «текущего словаря» с извлечением смысловойструктуры текста и ключевых слов как наиболее ярких представителей этойструктуры.Согласно [99: 136] «…«общий» словарь разбит на потенциальные «текущие» потематическому принципу, примерно так же, как это имеет место для словарейидеографического или тезаурусного типа, создаваемых лексикографами».Соотношение общего словаря и потенциальных текущих, вероятно, соответствуетсоотношению словаря, полученного на репрезентативном корпусе, и подсловарей,полученных на соответствующих подкорпусах9.В процессе восприятия речи «один из тематических словарей можетактивироваться, в результате чего и появляется возможность обращения к«текущему» словарю» (там же).

Активация рассматривается в цитируемой работе, повидимому, в традиционном контексте сетевых моделей как активация по некоторомузаданному семантическому стимулу-признаку (в частности на материале работ посемантическому праймингу (ср. [101])). «…Уровень активации не используемых вданный момент подсловарей, будучи существенно ниже, как бы временно выводит ихиз игры, тем самым поле поиска словарных единиц существенно сужается» [99: 136].Процедуры поиска в таком переструктурированном словаре по всей видимостидолжны быть наиболее легкими и быстрыми. Однако даже столь прямолинейнорешаемая задача разбиения всего общего словаря на потенциально текущие можетбыть достаточно сложно реализуемой:o как правило, возникают сложности при отнесении к какому-либо тематическомуподсловарю сравнительно частотной лексики;o возможны сложности при определении степени дробности такого родатематических словарей;o вероятно, возможность осуществления такого рода структурирования словаря(построения системы вложенных словарей) зависит, во-первых, отфункционального стиля рассматриваемых текстов (жанра, типа и т.д.) и, вовторых, от анализируемых предметных областей.Например, можно представить себе тезаурусного типа систему вложенныхсловарей научного (ср., например, библиотечные рубрикаторы и классификаторы)или делового функциональных стилей.

В какой-то степени подобную схему можнопредставить и для новостных текстов (новостных сообщений, новостных лент).Формирование «текущего» словаря осуществляется на этапе восприятия первыхкомпозиционных фрагментов текста. В дальнейшем «текущий» словарь, будучи ужесформированным, претерпевает изменения по мере узнавания структуры текста,таким образом, активированная сеть отвечает на каждый новый квант информации.Функционирование этой сети тоже в значительной степени зависит от стиля текста.Использование представления о роли «текущего» словаря в процедурах анализатекста неизбежно ставит вопрос о том, насколько при этом оказываютсявзаимосвязанными «текущий» словарь и ключевые слова. «Можно сказать, вероятно,что набор ключевых слов для заданного текста представляет собой подмножествословарных единиц, которые принадлежат «текущему» словарю…» (там же: 137).Предложенное А.В.

Венцовым и В.Б. Касевичем решение вопроса заключается в том,Построение тематических словарей разных уровней вложенности является обязательным компонентоммногих моделей автоматического понимания текста. В качестве единиц такого рода словарей выступают нетолько словоформы и лексемы, но и сложные номинации.919что «…«текущий» словарь задает широкую тематику, всю предметную область…, анабор ключевых слов очерчивает в ней определенную подобласть» (там же: 137). Повидимому, это решение соответствует основным особенностям текстов научного,делового, отчасти новостного функциональных стилей.

Вариативность возможныхпересечений подмножеств «текущего» словаря и набора ключевых слов являетсяпрямым следствием вариативности стратегий анализа и типа текста. Кроме уженазванных параметров, таких как функциональный стиль и предметная область, намой взгляд, стоит указать еще два:o степень статичности-динамичности текста,o степень информационной насыщенности, которой противопоставляетсяфункция воздействия на адресата (и другие возможные функции).Под такой характеристикой как «динамичность» понимается наличие в текстенескольких ситуаций, сменяющих друг друга. Под статичностью, соответственно, –минимальное количество ситуаций (одна-две). Все три перечисленныхфункциональных стиля имеют, казалось бы, явно выраженную статическую природу.Они занимают на шкале «статичность» vs.

«динамичность» положение близкое кстатичности, однако могут отстоять от этого полюса. Аналогично обстоит дело синформационной насыщенностью.Существенное пересечение «текущего словаря» и набора ключевых словхарактеризует, прежде всего, статичные и информационно насыщенные тексты.Максимальное число ключевых слов такого текста вводится в начальномкомпозиционном фрагменте, таким образом, и область, и подобласть задаются всамом начале анализа10.Тексты, относящиеся к научной публицистике, учебной литературе, новостнойаналитике, интервью и т.д.

оказываются в более уязвимом положении. Более того,часть ключевых слов таких текстов может вообще никогда не оказаться напересечении с «текущими словарями», ориентированными на разные предметныеобласти.С другой стороны – при решении вопросов о соотношении «текущего словаря»и ключевых слов при анализе (письменных) текстов, принадлежащих некоторымколлекциям и подколлекциям, мы выходим на более высокий уровень анализа исопоставляем:o «текущие словари», принадлежащие тексту и коллекциям разной степениоднородности;o ключевые слова, характеризующие текст и коллекции (подколлекции).Переход на этот уровень анализа позволяет получить представление о наличиипересечений как характеристике степени тематической однородности коллекций ицентральном/периферийном положении текста в информационном пространствеколлекций не только для информационно насыщенных текстов (напр., [138]), но ихудожественных текстов [156], см.

чуть подробнее в параграфе 4 главы 3.Научный текст, представляющий описание работы программы, скорее всего, будет менее статичным, чемтекст, в котором идет обсуждение некоторого положения дел.1020§ 2.2.Избыточность. Контекстная предсказуемостьПри исследовании процессов восприятия и понимания текста – устного илиписьменного – неизбежно обращение к вопросам, связанным с информационнойизбыточностью как неотъемлемому свойству любого текста. Употребляя термин«информационная избыточность»мы подчеркиваем, что для нас подход кисследованию избыточности связан с тем направлением в лингвистике, котороенаследует идеи теории информации.