ВКР: Разработкааппаратно-программного комплексараспознавания и перевода языка жестов на базе нейронной сети

ОГЛАВЛЕНИЕ

Реферат............................................................................................................ 4

1. Обзор литературы..................................................................................... 10

1.1. Цифровой перевод жестового языка......................................... 10

1.2.1 Активные модели внешнего вида....................................... 12

1.2.2. Метод гибкого сравнения на графах................................ 13

1.2.4. Искусственные нейронные сети......................................... 15

2. Разаработка аппаратно-программного комплекса.................................. 21

2.1. Составление плана разработки................................................. 21

2.4. Анализ программной части....................................................... 30

3 Проведение испытаний, обработка и анализ результатов........................ 39

3.1. Проверка работоспособности алгоритма на прототипе АПК.. 39

3.2. Результаты испытаний............................................................... 39

4. Техника безопасности и охраны труда..................................................... 43

4.1. Результаты испытаний............................................................... 43

4.3. Требования охраны труда во время работы............................ 46

4.5. Требования безопасности по окончании работы...................... 48

Заключение.................................................................................................... 49

Список использованных источников............................................................ 51

Приложение А............................................................................................... 55

ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

В настоящем текстовом документе применяются следующие определения, обозначения и сокращения:

АПК – аппаратно-программного комплекса. ПО – программное обеспечение.

ОС – операционная система.

ВВЕДЕНИЕ

Жестовая речь, или жестовый язык, является особым видом языка, который используют глухие люди в качестве способа общения. Он является одним из основных способов взаимодействия для людей, страдающих поражением слуха или нарушением речи, что приводит к затруднению восприятия речи и звуков [12].

Данный язык сложен и не имеет универсальной формы. Он содержит свои грамматику и синтаксис, которые зависят от особенностей географического региона, где применяется, и имеет множество обозначений [18]. Также применять и переводить жестовый язык могут люди, прошедшие специальное обучение [28]. Распознавание жестов сама по себе сложная задача, обусловленная трудностью изучения жестов [12]. Кроме того, по данным Всемирной организации здравоохранения число людей, имеющих инвалидность слуха, будет только увеличиваться [16].

Жестовый язык основан на жестах рук и, в отличии от других естественных языков, использует осмысленные движения тела для передачи сообщений [12]. Существует два типа жестового языка: знаки и написание пальцами. Знаки представляют из себя динамические жесты. Они используют непрерывные движения рук, разные жесты рук, кивки головы, движения плеч и выражение лица, чтобы передавать смысл сообщения. Написание пальцев является статическими жестами, которые формируются из различных положений пальцев рук для обозначения букв алфавита и цифр [20].

Одним из актуальных решений возникающих проблем является использование цифровых методов перевода, так как современные технологии уже сейчас позволяют значительно облегчить жизнь людей, имеющих разные степени инвалидности. Применение средств автоматического перевода языка жестов может упростить взаимодействие инвалидов с окружающим миров. Это также позволит компенсировать нехватку переводчиков [17].

Целью данного исследования является разработка аппаратно- программного комплекса для исследования возможностей применения нейронных сетей в электронике и в переводе жестового языка, а также определение их эффективности в распознавании объектов на аппаратно- программных платформах.

Для достижения цели необходимо выполнить следующие задачи:

1. Изучить программные методы распознавания изображений и существующие решения по реализации распознавания языка жестов.
2. Выполнить подбор необходимых компонентов для разработки АПК.
3. Собрать устройство, обучить нейронную сеть и написать программный код для распознавания языка жестов, чтобы обеспечить его функционирование.
4. Произвести испытания прототипа АПК и анализ результатов.