Антиплагиат (1220030), страница 10
Текст из файла (страница 10)
Из полученногодокумента будет возмож но извлечение списков id документов, которые в дальнейшем мож но использовать для построения таблиц ,отображ ения объектов на карте вместе со связями, построения схем и диаграмм.Пример построения диаграммы деятельности показан на рисунке 3.21.Рисунок 3.21 – Построение диаграммы деятельности в модуле визуализац ии.Указывание при создании id документа позволит прикрепить к узлам схемы/диаграммы реальный объект, в том числе и технический, э томогут быть станки, камеры блоки устройств, сохраняющ ие информац ию в хранилищ е.Дальнейшая разработка модуля будет вестись в направлении создания более приятного интерфейса, а такж е роста функц иональныхвозмож ностей.4 ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ.4.1 Внедрение полнотекстового поискаСервер Couch справляется с задачей хранения данных, в формате JSON, а такж е любых других форматах файлов в виде влож ений кдокументу.
Однако у Couch отсутствует возмож ность вести полнотекстовый поиск.Для решения задачи полнотекстового поиска решено использовать Elastic Search. Данный модуль предназначен для полнотекстовогопоиска и позволяет хранить, анализировать и получать большие объемы данных в реж име реального времени.Этот модуль планируется применять при реализац ии следующ их задач:– полнотекстовый поиск;– поиск по параметрам;– агрегац ия данных для статистики и их последующ ая визуализац ия;– генерац ия вариантов для автокомплита.Для анализа и поиска Elastic Search использует библиотеку Apache Lucene. Для работы с данными у Elastic Search используется REST API.4.2 Распознавание речиТак как значительный объем данных связанный с заседаниями, комиссиями, слушаниями и обсуж дениями хранится в формате аудио и видеофайлов, для ведения полнотекстового поиска необходимо внесение текстовой версии в документы объекта.Для решения данной задачи был проведен анализ возмож ностей технологий Google Speech API и Yandex SpeechKit Cloud входе которогобыло выявлено, что по техническим возмож ностям сервис Yandex превосходит сервис от Google, поэ тому было принято решениеиспользовать его для программной реализац ии.
SpeechKit Cloud – механизм использующ ий технологии распознавания и синтеза речиЯндекса, а такж е выделения смысловых объектов в произносимом тексте. Инфраструктура сервиса спроектирована с учетом высокихнагрузок, чтобы обеспечивать доступность и безотказную работу системы даж е при большом количестве одновременных обращ ений.Запросы к API обрабатывает балансировщ ик, который автоматически распределяет их по разным серверам. Инфраструктура SpeechKitизначально спроектирована под высокие нагрузки, поэ тому система является достаточно надеж ной.Нейронная сеть для акустического моделирования тренируется в несколько этапов [46-48].
Для инициализации нейронной сетииспользуется стек из ограниченных машин Больцмана (Restricted oltzmann Machines, RM). RM – это стохастическая нейросеть,которая тренируется без учителя. Хотя выученные ей веса нельзя напрямую использовать для различения между классамиакустических событий, они детально отражают структуру речи. Можно относиться к RM как к механизму извлечения признаков(feature extractor) – полученная генеративная модель оказывается отличной стартовой точкой для построения дискриминативноймодели. Дискриминативная модель тренируется с использованием классического алгоритма обратного распространения ошибки,при этом применяется ряд технических приемов, улучшающих сходимость и предотвращающих переобучение (overfitting).
В итогена входе нейросети – несколько фреймов MFCC-features (центральный фрейм подлежит классификации, остальные образуютконтекст), на выходе – около 4000 нейронов, соответствующих различным сенонам. Этаакустическая модель в production-системе.нейронная сеть используется как[22]Принц ип работы пошагового распознавания акустической модели Яндекс наглядно представлен в прилож ении Ж .SpeechKit Cloud предоставляет API для распознавания речи.
Звуковые данные передаются по протоколу HTTPS.Чтобы получить распознанный текст, нуж но отправить POST-запрос по адресу: https://asr.yandex.net/Запрос на распознавание речиследует отправлять с помощ ью метода POST. Формат запроса приведен на рисунке 4.1.Рисунок 4.1 – Формат ззапросаUniversally Unique Identifier(UUI) – строка из 32-х шестнадц атеричных символов без дефисов. UUI формируется случайным образом иявляется уникальным для каж дого пользователя прилож ения или сервиса.Topic –Языковая модель, которую следует использовать при распознавании:– queries – короткие запросы;– maps – адреса;– dates – даты (только для русского языка);– names – имена (только для русского языка);– numbers – числа (только для русского языка);– music – музыка (только для русского языка);– buying – заказы (только для русского языка).Для обеспечения высокого качества распознавания голосовых запросов параметр topic долж ен соответствовать тематике передаваемыхсистеме запросов [49].
На рисунке 4.2 приведен пример полного ответа при удачном распознавании.Рисунок 4.2 – Пример полного ответа при удачном распознаванииДля решения данной задачи на языке С++, с использованием библиотеки CURL была написана программа для распознавания аудиофайлов.Код программы представлен в прилож ении И.Программа отправляет запрос на распознавание речи с помощ ью метода POST.На рисунке 4.3 представлен проц есс отправки запроса.Рисунок 4.3 – Отправка запросаДанный рисунок демонстрирует параметры запроса, размер файла и время ож идания.
После оправки пакет происходит проверкавалидности данных: соответствие размера и формата фрагмента допустимым, проверка на действительность ключа разрабочика, а затемприходит ответ о состоянии передачи медиаданных (рисунок 4.4).Рисунок 4.4 – Ответ о начале распознаванияОтвет возвращ ается в виде XML, содерж ащ его список лучших гипотез распознавания с оц енками их достоверности (так называемый nbest список). В списке содерж ится не больше пяти гипотез. Такж е указывается параметр вероятности (рисунок 4.5).http://dvgups.antiplagiat.ru/ReportPage.aspx?docId=427.24085263&repNumb=120/2227.04.2016АнтиплагиатРисунок 4.5 – Пример полного ответа при удачном распознаванииТаким образом, программа распознает аудио фрагменты, преобразуя их в текстовую форму.
Дальнейшие разработки будут направленына распознавание речи из потока, а такж е распознавание речи из видео.4.3 Использование нейронных сетейКогда речь идет о задачах, отличных от обработки больших массивов информац ии, человеческий мозг обладает большим преимущ ествомпо сравнению с компьютером. Но когда э ти задачи ставятся в контексте ig ata возмож ность автоматизированной э кспертной оц енкинеобходима. В настоящ ее время все больше внимания уделяется нейронным сетям, оно обусловлено следующ ими качествами нейронныхсетей:–высокая скорость выполнения сложных логических конструкций –[4]предикатовс[25]высокимпараллелизмом действий;– простота алгоритмов логических действий, основанная не на численном манипулировании, а на принципах ассоциативногомышления;–возможность решения трудно формализуемых задач, в которых совместно используются данные логически несовместимойприроды, противоречивые, неполные, «зашумленные», некорректные;– устойчивость работы, совместимая с расширением, трансформированием и совершенствованием знаний;– надежность, обеспечиваемая наличием многих путей логического вывода и способностью восстановления утраченных данных;– возможность построения самообучающихся и самонастраивающихся систем;– прекрасная сочетаемость с традиционными «вычислительными» алгоритмами обработки информации, позволяющая строитьсложные системы управления, – с максимальной надежностью, адаптивностью и с минимумом расходуемых ресурсов;– отсутствие требований к «традиционно» развиваемым вычислительным средствам.
Единственный стимулируемый принцип –параллелизм. Для реализации параллельной системы – нейросети – необходима параллельная вычислительная система [50],[4]такими ресурсами располагают NoSQL хранилищ а.Мож но выделить классы задач при решении которых используются нейронные сети:– распознавания и классификац ии образов;– прогнозирования;– классификац ии;– аппроксимац ии (регрессии);– кластеризац ии и визуализац ии;– идентификац ии;– управления [50-54].При решении каж дого типа задач нейронная сеть выступает в качестве аппроксиматора функц ии отнескольких переменных, который моделирует неизвестную нелинейную функцию вида у= fx, где x – входной вектор, а у –реализованная функция нескольких переменных.
Множество задач моделирования, идентификации, обработки сигналов удаетсясформулировать в аппроксимационной постановке [52].Как ранее упоминалось, важнейшее свойство нейронных сетей, свидетельствующее об их огромном потенциале и широкихприкладных возможностях, состоит в параллельной обработке информации одновременно всеми нейронами. Благодаря этойспособности при большом количествемежнейронных связей достигаетсязначительноеускорениепроцессаобработкиинформации. Во многих ситуациях становится возможной обработка сигналов в реальном масштабе времени.[2]Однако, всегда следует помнить, чтоочень большое количество межнейронных соединений приводит к тому, что сеть становится нечувствительной к ошибкам,возникающим в отдельных контактах.
Функции поврежденных соединений принимают на себя другие элементы, в результате вдеятельности сети не наблюдаются заметные нарушения.Другое не менее важное свойство нейронной сети состоит в способности к обучению и к обобщению полученных знаний. Сетьобладает чертами так называемого искусственного интеллекта. Натренированная на ограниченном множестве обучающихвыборок,она обобщаетнакопленную информацию и вырабатываетожидаемую реакцию применительно кданным,необрабатывавшимся в процессе обучения [52].[2]Под обучением подразумевается проц есс, в ходекотором свободные параметры нейронной сети настраиваются посредством моделирования среды, в которую эта сеть встроена.Тип обучения определяется способами подстройки этих параметров.[42]Проц есс обучения предполагает следующ ую последовательность событий.В нейронную сеть поступают стимулы из внешней среды.В результате э того изменяются свободные параметры нейронной сети.После изменения внутренней структуры нейронная сеть отвечает на возбуж дение уж е иным образом.Для классификации и распознавания образов сеть обучается важнейшим их признакам, таким, как геометрическое отображениеточечной структуры изображения, относительное расположение важнейших элементов образа, компоненты преобразования Фурьеи другие подобные факторы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
