Формирование сервиса построения образа автора как когнитивная технология

Министерство образования и науки Российской ФедерацииФедеральное государственное автономное образовательное учреждениевысшего профессионального образования«Московский физико-технический институт(государственный университет)»Факультет управления и прикладной математикиКафедра информатики и вычислительной математикиФОРМИРОВАНИЕ СЕРВИСА ПОСТРОЕНИЯ ОБРАЗААВТОРА КАК КОГНИТИВНАЯ ТЕХНОЛОГИЯМагистерская диссертацияНаправление подготовки: 011600 Прикладные математика и физикаВыполнил:студент 176а группыРодина София ВикторовнаНаучный руководитель:к.ф.н.Рыков Владимир ВасильевичМосква 2017Содержание1.Введение ....………………………………………………………………….. 22.Вычислительная лингвистика и образ автора ………………………… 42.1.2.2.2.3.2.4.2.5.3.Предмет вычислительной лингвистикиЧеловек - часть информационной системыОбраз автора(ОА)Обзор существующих работе по темеПрактическое применениеПостроение образа автора …………………………………………….… 123.1.3.2.3.3.3.4.3.5.МетодологияПостроение ERRПостроение классификаторовКлассификация ERRПостроение образа автора4.Анализ результатов …………………...…………………………………..

335.Заключение ………………………………………………………………... 3711 ВведениеОгромное число людей в развивающихся странах в настоящее время имеютдоступ к сети Интернет, благодаря сочетанию снижения затрат иэкспоненциального совершенствования технологий, которые используются длясоздания ноутбуков, смартфонов и планшетных устройств. Их можно купитьвсего за несколько десятков долларов. Также произошел невероятный ростдоступности мобильных сетей.

Даже некоторые из наиболее отдаленныхпоселений на Земле могут воспользоваться Интернетом, благодаря развитиюинфраструктуры на местах. В этом году ​количество пользователей интернетапревысило 5 млрд. человек, вместе с тем растет и число пользователейразличных социальных сетей для обмена сообщениями, ведения блогов,трансляции фото- и видеоданных.

Число активных пользователей крупнейшейсоцсети в мире - Facebook - достигло почти 2-х млрд. человек в месяц. На фонетакого активного роста аудитории различных интернет-сервисов появляетсяогромное количество пользовательских данных, которые находятся впубличном доступе и могут быть полезны для исследований в самых различныхобластях.Актуальность.

​Задача построения образа пользователя становится все болееактуальной с неукротимым ростом интернет-аудитории. Интернет-гиганты,такие как Google и Facebook, владеющие различными сервисами, имеютвозможность аккумулировать различную информацию о человеке, исходя изличных данных и активности, которую пользователь проявляет в интернете ииспользовать эти данные для разного рода исследований.

Публичностьбольшого количества данных также позволяет проводить различныеэксперименты независимым исследователям.Новизна. ​Данная область исследования является новаторской и числоподобных исследований невелико. Системы построения образов тольконачинают свой путь среди когнитивных сервисов. Тем не менее, уже сегоднякомпания IBM предлагает подобный продукт под названием Personality Insights[3], который может быть использован для создания образа автора.Практическая значимость.

​Исследования, проведенные компанией Facebookпоказали,чтопринимаявовниманиеличныехарактеристикипользователя(вычисленные путем предварительного опроса), национальныеособенности, политические убеждения и прочие данные, конверсия рекламыможет быть увеличена многократно. Данное исследование было проведено втестовом режиме и его результаты стали неожиданностью для многих. Другим2интересным примером использования персонализированных данных являютсяалгоритмы предложения новостей.

По некоторым данным [4], подобная системабыла опробована на последних президентских выборах в США, что в своюочередь могло отчасти вызвать столь непредсказуемый для многих аналитиковрезультат выборов. Таким образом, более точная персонализация рекламных иновостных предложений являются подтвержденными приложениями для системпостроения образов.Построение образа автора в данном исследовании будет проведено средствамивычислительной лингвистики и анализа данных.32 Вычислительная лингвистика и образавтора2.1. Предмет вычислительной лингвистикиВычислительная лингвистика(компьютерная или математическая лингвистика) научное направление в области математического и компьютерногомоделирования интеллектуальных процессов у человека и животных присоздании систем искусственного интеллекта, которое ставит своей цельюиспользование математических моделей для описания естественных языков.Компьютерная лингвистика частично пересекается с обработкой естественныхязыков.

Однако в последней акцент делается не на абстрактные модели, а наприкладные методы описания и обработки языка для компьютерных систем.Полем деятельности компьютерных лингвистов является разработка алгоритмови прикладных программ для обработки языковой информации.Направления компьютерной лингвистики:● Обработка естественного языка(англ. ​natural language processing​;синтаксический, морфологический, семантический анализы текста). Сюдавключают также:○ Корпусная лингвистика, создание и использование электронныхкорпусов текстов.○ Создание электронных словарей, тезаурусов, онтологий. Например,Lingvo. Словари используют, например, для автоматическогоперевода, проверки орфографии.○ Автоматический перевод текстов.○ Автоматическое извлечение фактов из текста(извлечениеинформации).○ Автореферирование(англ. ​automatic text summarization​).○ Создание вопросно-ответных систем.● Оптическое распознавание речи.● Автоматический синтез речи.В данной работе будет рассматриваться подход к обработке естественногоязыка с целью получения информации об авторе данного текста или текстов.Задача построения образа автора возникла как следствие накопления большого4количества пользовательских данных в сети Интернет.

Базами данных такогорода сегодня обладают многие крупные компании, такие как Google, Facebook,Apple и многие другие. Помимо этого, большое количество пользовательскихданных находится в публичном доступе и могут быть использованынезависимыми исследователями для своих целей. В рамках данной работыбудет произведена попытка построения личностного портрета пользователя всети по блогам, которые он ведет. Принципиальным ограничениемиспользуемой модели является качество вводимых текстов, а именно тексты,используемые в исследовании обязательно должны отражать точку зрения ихавтора, т.е.

следует избегать объемного цитирования и чересчур формальногоязыка. Подобные исследования могут быть полезны для любых приложений, гдеучет личного портрета человека может улучшить качество получаемогорезультата.2.2. Человек - часть информационной системы.Человек давно уже является частью информационных систем. Конкретно винновационных проектах необходимо знать объективные характеристики егоучастников или их образы.

Этим определяется актуальность этой темы.Знание принципиально отличается от информации. При выполненииинформационных процессов информационная система (ИС) находит заданнуюей по запросу информацию. При выполнении когнитивных процессов (КП)генерируется новое знание. С когнитивной информатикой (КИ) связаныбольшие надежды на то, что при помощи ее моделей можно будет находитьрешения различных проблем, недоступных человеку в силу самых разныхпричин. Начиная от тривиальных, но необходимых, – например, обсчеталгоритмов эвакуации из большого строящегося здания и до нахождениярешений проблем глобальной экологии.Нахождение решений различных когнитивных проблем осуществляется обычнов рамках определенных когнитивных моделей (КМ). В данной статьерассматривается модель автоматического нахождения или генерации образаавтора (ОА) из некоторого корпуса авторских публикаций. Образ автора –риторический термин.

Эта проблема является во многих отношениях новой иактуальной. Представить себе автора текста интересно многим читателям. Носейчас человек давно стал частью многих глобальных ИС (например, соцсетей)и поэтому также важно знать хотя бы некоторые качества их участников [1, 2].2.3. Образ автора(ОА).Само определение образа автора имеет различные значения в различных5областях. Рассмотрим некоторые из них.2.3.1.

Образ автора в риторике.Риторика развивалась Аристотелем, написавшим один из наиболее древних иавторитетных трактатов о ней. Но он же общепризнан как основатель логики,при описании которой он исходил из задач убеждения слушателя. И здесьвозникает одно из древнейших заблуждений, что правильная, то естьубедительная (с точки зрения риторики) речь должна быть обязательнологичной. Она может быть логичной, почти логичной, паралогичной илиалогичной – выбор осуществляется исходя из главного постулата эффективности. Если нелогичная речь, обращенная к женщине с просьбойвыйти замуж, достигнет нужного эффекта, а строго логичная - нет, то ктовыберет логичную? Это уже скорее риторический вопрос. Но это в то же времяреальная и массовая практика.Риторика - это словесное (знаковое) и страшное оружие в руках обученногочеловека.

Это прекрасно знали в древности, преподавая риторику вместе сосновами этики в древности или богословия в средневековье. И не только вотношении логики. По отношении к истине и поискам истины риторика всегдапротивопоставлялась диалектике. Риторика ставила во главу угла задачуубедить человека любой ценой. Скажем, убедить преподавателя на экзамене,что знаешь предмет. Или, например, можно ставить цель убедить ученый советв том, что проделана ученая работа на достаточно высоком уровне.

Тогда какдругая наука, диалектика, по представлению древних, наоборот, преследовалацель совместного поиска истины. Примером этого могут служить диалогиПлатона, научные семинары (быть может, в идеализированном варианте).Печально, хотя это часто бывает, что поиски истины (диалектика) иногдаподменяются неистовым стремлением убедить собеседника в своей правоте.Следовательно, нужно иметь в виду, что обе науки – риторику и диалектику (вантичном понимании этого термина) - можно и нужно рассматривать в гораздоболее обобщенном контексте, как знаковые технологии эффективнойинтеграции разных видов деятельности, в зависимости от обстоятельств ихреализации.