Диссертация (1090484), страница 6
Текст из файла (страница 6)
Существующие методы векторного представления текстов не учитываютморфологические признаки слов. Метод TF-IDF не учитывает порядок слов втексте.2. Существующие методы классификации текстов не учитывают взаимноерасположение слов, а словосочетания являются одним из лучших признаков.Морфологические признаки слов так же не учитываются при классификации.3. Метод «К» ближайших соседей работает медленно и требует большоеколичество вычислений, для классификации нового текста, нужно вычислятьрасстояния между этим текстом со всеми текстами в корпусе, а их количествоможет достигать миллионов.4. На основе анализа существующих методов представления и классифика54ции текстов гипотезируется, что создание вычислительного комплекса-классификатортекстов с использованием морфологического анализа и нейро-семантических сетей может обеспечить высокое качество классификации текстов.55Глава 2Анализ методов глубокогообучения посредствомискусственных нейронныхсетей для обработки иклассификации текстовВ настоящее время теория нейронных сетей является одним из важнейших направлений науки, которое играет очень важную роль в технологиях обработке цифровых сигналов, машинного обучения [111].
При помощи искусственныхнейронных сетей решаются сложные практические задачи [112].Главной целю искусственных нейронных сетей нейронной сети является решение проблем таким же образом, что люди, хотя несколько категорий искусственных нейронных сетей являются более абстрактными [113]. Новые исследования мозга человека часто стимулирует новые модели нейронных сетей.
Динамические нейронные сети являются самыми передовыми, в том, что они, основываясь на правилах, могут динамически формировать новые нейроны и новыесвязи, в то время и отключать другие существующие нейроны и связи [114].Обычно, нейроны объединены в слои, и сигнал распространяет с первого56(входного) до последнего (выходного) слоя. Современные искусственные нейронные сети могут иметь несколько тысяч до несколько миллионов нейронови миллионов связей. Сигналы и состояние искусственных нейронов являютсяреальными цифрами, как правило, ограниченными между 0 и 1 (или -1 и 1,зависит от типа функции активации) [115]. Обратное распространение является методом для изменения веса связи, чтобы обучить сеть, используя известныеправильные выходы (обучение с учителем).
Обучение обычно требует несколькотысяч циклов [116].На основе искусственных нейронных сетей развиваются области науки: компьютерные технологии, обработка сигналов, медицинские технологии, управление и т.п. [117] Одним из важнейших свойств искусственных нейронных сетей является способность обучения на основе примеров, обучение может бытьс учителем, без учителя или гибридным (частично с учителем) [91]. Благодарявозможности обучаться искусственные нейронные сети имеют применения в таких технологиях, как моделирование, анализ временных рядов, распознаваниеобразов и т.п.
[118]Искусственная нейронная сеть состоит из слоев, а каждый слой состоит изнейронов с различными типами связей между ними [119]. Число слоев и числонейронов каждого слоя зависят от конкретной задачи, чем больше число нейронов и число слоев, тем больше времени нужно для обучения. Искусственныенейронные сети имеют очень важное свойство - возможность распараллеливания вычислений при обучение, таким образом обучение сети можно производить на многоядерных, в том числе и графических процессорах, это свойствопозволяет эффективно обучать нейронные сети на компьютерах и существенносократить время обучения[19].При помощи искусственных нейронных сетей входное пространства преобразуется в выходное, и это преобразование можно легко регулировать изменениями числа слоев искусственной нейронной сети, числа нейронов на слоях итипа связей по требованям задачи [120].Нейронные сети можно настроить и их функционирование можно контролировать в процессе решения задачи.
Структура и конфигурация нейронной сетизависят от сложности конкретной задачи. Очень важное свойство нейронных57сетей - возможность адаптации, их настройка можно изменять даже во времяобучения по требованиям задач [121].Основные преимущества искусственных нейронных сетей [122]:• Адаптивное обучение: возможность научиться выполнять задания на основе данных для обучения;• Самоорганизация: Искусственные нейронные сети могут создавать своиструктуры и представления информации, которую он получает во времяобучения;• Возможность работы в режиме реального времени : Вычисления в искусственных нейронных сетях могут осуществляться параллельно, и специальные технические устройства реализуются, чтобы использовать такуювозможность;• Отказоустойчивость: частичное разрушение сети приводит к соответствующему снижению производительности.
Однако состояния искусственныхнейронных сетей могут быть сохранены даже при их серьезных повреждениях. Это свойство позволяет восстанавливать сетей и продолжатьобучение;• Возможность масштабировать: для проверки правильность работы нейронной сети можно использовать небольшую сеть и тестировать на небольшие выборки данных, а при решении реальных задач можно увеличитьколичество слоев и нейронов, и размер выборки данных;• Возможность распараллеливания вычислений и реализации алгоритмовобучения сети на компьютерах с многоядерными процессорами или намножестве компьютеров;Чем отличаются искусственные нейронные сети от обычных компьютеров врешении задач. Обычные компьютеры используют алгоритмический подход, т.е.
компьютер следует набор инструкций для того, чтобы решить проблему. Компьютер может решить эту проблему только при условии, что известны конкретные шаги, которые он должен следовать. Но компьютеры были бы намного более58полезно, если они могли бы сделать вещи, которые мы не знаем, как это сделать. Эта возможность есть у искусственных нейронных сетей. Нейронные сетиобрабатывают информации каким образцом, таким как человеческий мозг.
Нейронные сети состоят из взаимосвязанных нейронов, работающих параллельно,чтобы решить конкретную проблему. Нейронные сети обучаются на примерах.Они не могут быть запрограммированы для выполнения определенных задач.Примеры должны быть тщательно подобраны, в противном случае полезноговремени тратится впустую, или еще хуже нейронные сети могут неправильнофункционировать.
Недостатком нейронных сетей является то, что, так как нейронные сети сами решают задачу, его работа может быть непредсказуемой [123].Теория нейронных сетей зародилась в 40-х годах прошлого века и до сих порпостоянно развивалась. Прошло более 60 лет, но теория нейронных сетей ещедалека от завершения. Существует огромное количество нерешенных проблемтеории нейронных сетей, которые возникают при решении различных сложныхзадач [124].В самой теории нейронных сетей развиваются много разных направленийисследования, для решения конкретных задач (распознавание образов, криптография, анализ характеристик сигналов, логистические системы) придуманыразличные архитектуры нейронных сетей (такие как сверточные нейронные сети, рекуррентные нейронные сети т.п.) [125]. Эти исследования с одной стороны позволят эффективно продвигаться в части , а с другой стороны позволятиспользовать заранее заданные свойства.
Такие исследования в полной меретребуют огромное количество вычислений, и могут быть проведены только сиспользованием высокопроизводительных систем, можно сказать, что развитиекомпьютерных технологий является основой для развития теории нейронныхсетей [126].2.1Многослойные нейронные сетиМногослойные нейронные сети - это модель искусственной нейронной сети, которая принимает на входе наборы входных данных и выдает на выходе множество соответствующих данных. Многослойные нейронные сети состоят из слоев,59при этом каждый слой состоит из множества узлов (нейронов) и подключается кследующему.
Кроме входных узлов, каждый узел является нейрон с нелинейнойфункцией активации. Для обучения многослойных нейронных сетей используется алгоритм обратного распространения ошибки, который основан на методеградиентного спуска. Алгоритм обратного распространения ошибки был впервые описан А.И. Галушкиным [127], и Полом Дж. Вербосом [128] независимо иодновременно в 1974 г. Многослойные нейронные сети были популярным решением машинного обучения в 1980-е годы, их применения широко исползовалисьи до сих пор используются в различных областях, таких как распознавание речи, распознавание образов и машинный перевод, но уже с 1990-х годов столкнулись с сильной конкуренцией со стороны опорных векторов.
В последнее времянаблюдается некоторое возрождение интереса к многослойной нейронной сетиобратного распространения в связи с успехами технологий глубокого обучения.Рис. 2.1: Многослойная нейронная сеть.Выходное значение нейрона yj вычисляется как функция активации от линейной комбинации [41]:60yj = σ(zj ),(2.1)X(2.2)где:zj =wij yi .Часто используемые функции активации и их производные [129]:Сигмоида:σ(z) = S(z) = (1 + e−z )−1 ,(2.3)∂σ∂S== S(z)(1 − S(z)).∂z∂z(2.4)ez − e−zσ(z) = tanh(z) = z,e + e−z(2.5)∂σ∂ tanh(z)== 1 − tanh2 (z).∂z∂z(2.6)σ(z) = ReLU (z) = max(0, z),(2.7)∂σ∂ReLU (z) 0 если z ≤ 0==.1 если z > 0∂z∂z(2.8)Tanh:ReLU:612.2Метод обратного распространения ошибкиМетод обратного распространения ошибки является распространенным методом обучения искусственных нейронных сетей и используется в сочетании сметодами оптимизации, такие как метод градиентного спуска [130].
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
