Рассел С., Норвиг П. Искусственный интеллект. Современный подход (2-е изд., 2006) (1245267), страница 311
Текст из файла (страница 311)
В [1230] описан классический алгоритм выделения основы с помощью правил, а в [860] описан вариант, в котором применяется словарь. В [980] приведен хороший обзор проблематики классификации и кластеризации документов. В [738] используются теория статистического обучения и теория машин векторов поддержки для теоретического анализа ситуаций, в которых классификация должна быть успешной. В [37] приведены данные о том, что при классификации новостных сообщений агентства Веи1егз, относящихся к категории "Еагп[п8з" (Доходы), была достигнута точность 96% В [824] приведены данные о том, что при использовании наивного байесовского классификатора достигается точность вплоть до 95%, а при использовании байесовского классификатора, в котором учитываются некоторые зависимости между характеристиками, — вплоть до 98,6% В [922[ приведен обзор результатов, достигнутых за сорок лет применения наивных байесовских моделей для классификации и поиска в тексте.
Последние достижения в этой области публикуются в журнале 7л7огаайол )ГеГНега( и в трудах ежегодной конференции ИС7Я. Одними из первых программ извлечения информации являются Оиз [143] и Ештр [380]. В основе некоторых проектов современных систем извлечения информации лежат работы в области семантических грамматик, проводившиеся в 1970-х и 1980-х годах. Например, в интерфейсе системы резервирования авиабилетов с семантической грамматикой используются такие категории, как гооасуоп (место нахождения) и Г2уз'о (место назначения), а не ггР и ър. Описание результатов реализации одной из систем, основанных на семантических грамматиках, приведено в [130].
Новейшие результаты исследований по извлечению информации пропагандируются на ежегодных конференциях М13С (Меззайе ()пдегзгапб[п8 СопГегепсе), спонсором которых выступает правительство США. Система РОТ(38 была разработана Хоббсом и др. [664]; в сборнике статей, в котором впервые была опубликована информация об этой системе [1299], можно найти информацию и о других системах, в которых используются модели конечных автоматов. В 1930-м году Петр Троянский (Регг Тгоуапз[г[1) подал заявку на патент, в котором была сформулирована идея "машины перевода", но в то время еще не сугцествовали компьютеры, позволяющие реализовать эту идею.
В марте 1947 года Уоррен Вивер (%аггеп %еачег), сотрудник Фонда Рокфеллера, написал Норберту Винеру письмо, в котором указал, что решение задачи машинного перевода вполне возможно. Опираясь на работы в области криптографии и теории информации, Вивер писал: "Когда я рассматриваю статью, написанную на русском языке, я говорю себе: «Она фактически написана на английском языке, но закодирована странными символами.
Теперь я приступаю к ее декодированию»". В течение следующего десятилетия все сообщество специалистов в этой области предпринимало упорные попытки декодирования текстов на иностранном языке таким способом. Компания 1ВМ про- 1138 Часть У)1. Общение, восприятие и осуществление действий демонстрировала соответствующую зачаточную систему в 1954 году. Энтузиазм, характерный для этого периода, показан в [69] и [942]. Последуюгцее разочарование в возможностях машинного перевода описано Линдсеем ]935], указавшим также на некоторые препятствия, связанные с необходимостью обеспечения взаимодействия синтаксиса и семантики, а также с потребностью в наличии знаний о мире, с которыми сталкивается машинный перевод.
Правительство США выразило недовольство полным отсутствием прогресса в этой области и сформулировало свое заключение в одном из отчетов, который известен как отчет А1.РАС ]21]: "Нет ни ближайших, ни обозримых перспектив создания практически применимых систем машинного перевода". Однако работы в ограниченном обьеме продолжались, и в ВВС США в 1970 году была развернута система Зузггап, которая была взята на вооружение Европейским экономическим сообществом в 1976 году.
В том же 1976 году была развернута система перевода сообщений о погоде Ташп-Мегео [1255]. К началу 1980-х годов возможности компьютеров возросли до такой степени, что выводы отчета АРРАС потеряли свою актуальность. В [1548) приведены сведения о некоторых новейших приложениях машинного перевода, основанных на системе %огдпег. Учебное введение в эту область приведено в [710).
Первые предложения по использованию статистического машинного перевода были сделаны в заметках Уоррена Вивера, опубликованных в 1947 году, но возможность практического применения этих методов появилась только в 1980-х годах. Описание этой тематики, приведенное в данной главе, основано на работе Брауна и его коллег из компании 1ВМ [195], [196]. Эти труды весьма насыщены математической символикой, поэтому прилагаемый к ним учебник Кевина Найта [806) воспринимается как глоток свежего воздуха.
В более современных исследованиях по статистическому машинному переводу наблюдается отказ от модели двухсловных сочетаний в пользу моделей, которые включают некоторые синтаксические конструкции [1627]. Первые работы в области сегментации предложений были выполнены Палмером и Херстом [1166]. Задача выравнивания двуязычных предложений рассматривается в [!042). Есть две превосходные книги по вероятностной обработке лингвистической информации: книга [235) является краткой и точной, а книга ]980] — всеобьемлющей и современной.
С состоянием работ по созданию практических методов обработки лингвистической информации можно ознакомиться по материалам проводимой один раз в два года конференции Арр!гед (тагига1 (.ап8иа8е Ргосеззупк (А)х) 1.Р) и конференции Етртса1 Мегйодз и (тагига1 (апдиа8е Ргосетп8 (ЕМХЕР), а также по публикациям в журнале Магога( (.ап8иаяе Епх(пеег(п8. Организация 8!О1К финансирует выпуск информационного бюллетеня и проведение ежегодной конференции по информационному поиску.
УПРАЖНЕНИЯ 23.1. 1Й(Адапгпировано из (756(.) В этом упражнении предлагается разработать классификатор для выявления авторства: при наличии некоторого текста этот классификатор должен попытаться определить, какой из двух возможных авторов написал этот текст. Получите образцы текста двух различных авторов.
Разделите их на обучающие и контрольные множества. После этого определи- Глава 23. Вероятностная обработка лингвистической информации 1139 23.2. 23.3. 23.4. 23.5. те с помощью обучения параметры модели однословных сочетаний для каждого автора по обучающему множеству. Наконец, для каждого контрольного множества рассчитайте его вероятность в соответствии с каждой моделью однословных сочетаний и присвойте эту вероятность наиболее вероятной модели. Оцените точность этого метода.
Можете ли вы повысить его точность с помощью дополнительных характеристик? Эта подобласть лингвистики называется 'в. стилометрией; к числу достижений в этой области относится идентификация автора "Заметок федералиста" (Рес1ега1В1 Рарегз) (1091) и некоторых произведений Шекспира, авторская принадлежность которых некогда оспаривалось[486]. 6Й В этом упражнении исследуется качество моделей и-элементных сочетаний, характерных для некоторого языка.
Найдите или создайте моноязыковую совокупность, состояшую примерно из 100 тысяч слов. Сегментируйте ее на слова и вычислите частоту каждого слова. Каково количество присутствуюших в ней различных слов? Начертите график зависимости частоты слов от их ранга (первое, второе, третье...) с логарифмической шкалой по горизонтали и по вертикали. Кроме того, подсчитайте частоты двухсловных сочетаний (два подряд идущих слова) и трехсловных сочетаний (три подряд идущих слова).
Воспользуйтесь этими частотами для генерации языка: на основании моделей одно-, двух- и трехсловных сочетаний последовательно сформируйте образцы текста из 100 слов, выполняя выбор случайным образом в соответствии со значениями частот. Сравните три сформированных текста с фактически имеюшимся текстом на рассматриваемом языке. Наконец, рассчитайте показатель связности каждой модели. ~Й В этом упражнении рассматривается задача распознавания нежелательной электронной почты (спама). Сламол принято называть незатребованные объемистые коммерческие сообшения, поступающие по электронной почте.
Утомительную задачу разборки спама приходится решать многим пользователям, поэтому создание надежного способа его устранения явилось бы большим достижением. Создайте две совокупности текстов — состояшую из почтовых сообшений, представляющих собой сиам, и состоящую из обычных почтовых сообщений. Исследуйте каждую совокупность и определите, какие характеристики, скорее всего, окажутся применимыми для классификации: однословные сочетания, двухсловные сочетания, длина сообщений, отправитель, время получения и т.д.
Затем проведите обучение алгоритма классификации (дерева решений, наивной байесовской модели или какого-то другого выбранного вами алгоритма) на обучающем множестве и определите его точность на контрольном множестве. Создайте контрольное множество из пяти запросов и предъявите эти запросы трем основным машинам поиска %еЬ. Оцените каждую из них по показателю точности для 1, 3 и 10 возврагценных документов и по среднему обратному рангу. Попытайтесь обьяснить обнаруженные различия. Попытайтесь определить, в какой из машин поиска, рассматриваемых в предыдушем упражнении, используются методы приведения к нижнему регистру, выделения основы, выявления синонимов и исправления орфографических ошибок.
!140 23.10. (Адалглировано из (80б/.) В модели машинного перевода !ВМ Мосе! 3 предпо- сти с наибольшей вероятностью. Определите точность этой модели. 23.11. Согласно данным англо-французского словаря, переводом для слова "Ьеаг" 23.6. 23.7. 23.8. 23.9. Часть ЪЧ1, Общение, восприятие и осуществление действий Оцените, какой объем памяти является необходимым для индекса к совокупности %еЬ-страниц, состояшей из миллиарда страниц. Укажите, какие предположения были вами приняты. Й) Напишите регулярное выражение или короткую программу для извлечения названий компаний. Проверьте ее на совокупности, состояшей из деловых новостных сообщений.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
