Министерство транспорта Российской Федерации

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «ДАЛЬНЕВОСТОЧНЫЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ»

Кафедра «Информационные технологии и системы»

К ЗАЩИТЕ ДОПУСТИТЬ

Заведующий кафедрой

____________ М. А. Попов

«____» ___________ 2017 г.

РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ С ИСПОЛЬЗОВАНИЕМ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ

Пояснительная записка к магистерской диссертации

МД 09.04.02 ИС2 ПЗ

Студент гр. ИС-2	(Б.Е. Королёв)
Руководитель (доцент, к.т.н., доцент)	(Р.А. Ешенко)
Нормоконтроль (доцент, к.п.н., доцент)	(В. И. Шестухина)

Хабаровск – 2017

ABSTRACT

In this paper, an analysis is made of existing methods for recognizing objects on an image. The strengths and weaknesses of each identification method are described. Proceeding from the set tasks, our own recognition method was developed, which includes 2 methods, such as the support vector method and the convolutional neural network. The created method showed excellent results in the learning speed, as well as in the accuracy of recognition. Based on this method, a software solution was created. The results of the master's thesis can be used to recognize road signs and other objects on images in video surveillance and video monitoring systems, video recorders and other areas related to ensuring traffic safety on public roads.

РЕФЕРАТ

Магистерская диссертация «Разработка информационной системы распознавания дорожных знаков с помощью сверточной нейронной сети»

Содержит 90 страницы – 3 главы; 4 таблицы; 38 рисунков; 2 диаграммы; 50 источников;

Ключевые слова: сверточные нейронные сети, метод опорных векторов, информационная система, распознавание, компьютерное зрение.

Объектом исследования: являются системы обработки изображений, основанные на сверточных нейронных сетях и методах опорных векторов. Предметом исследования является применение нейросетевых алгоритмов для обнаружения и распознавания дорожных знаков на изображениях со сложным фоном.

Целью работы: является разработка алгоритма обнаружения и распознавания дорожных знаков, обладающего высокой степенью инвариантности к аффинным и проекционным искажениям. Для достижения поставленной цели необходимо решить следующие задачи:

1. Исследование существующих алгоритмов, которые применяются для распознавания дорожных знаков на изображениях.

2. Разработка алгоритма обнаружения образов дорожных знаков на изображениях, обеспечивающего высокую устойчивость к наличию шумов и различных искажений.

Актуальность задачи: распознавания дорожных знаков обусловлена повышением уровня безопасности на дорогах общего пользования и чрезвычайной важности информации, которую содержат дорожные знаки. При использовании автоматизированной системы распознавания крайне важно точно и своевременно идентифицировать дорожные знаки при движении транспортного средства как в условиях города, так и автострады. В настоящее время для решения задачи распознавания разрабатываются и используются коммерческие закрытые системы, которые поставляются «в комплекте» с автомобилем. К таким системам относятся «Opel Eye» от Opel, «Speed limit assist» от Mercedes, «Road sign information» от Volvo. Указанные выше аппаратно-программные комплексы устанавливаются в автомобиль как опция и не могут быть модифицированы. При анализе предметной области было выявлено, что существующие системы не в полной мере удовлетворяют решению поставленной задачи. Эффективность работы большинства существующих систем резко снижается в реальных условиях при наличии шума, слабого освещения и при различных геометрических и фотометрических искажениях.

Практическая значимость результатов ВКР: Результаты магистерской диссертационной работы могут быть использованы для распознавания дорожных знаков и других объектов на изображениях в системах видеонаблюдения и видеоконтроля, видеорегистраторах и других сферах, связанных с обеспечением безопасности движения по дорогам общего пользования и в целом компьютерного зрения.

Полученные результаты и новизна: Результатом данной магистерской диссертации стал комбинированный алгоритм, состоящий из двух методов, первый это метод опорных векторов, второй сверточная нейронная сеть. На основе этого метода было создано программное решение, для распознавания дорожных знаков, которое показала высокий процент идентификации, а так же устойчивость к шумам и различным искажениям таким как изменения угла наклона.

Содержание

Введение 8

1 Аналитический обзор существующих алгоритмов и систем, применяемых для распознавания дорожных знаков, а также обзор предметной области 9

1.1 Обзор существующих алгоритмов, применяемых для идентификации дорожных знаков 9

1.1.1 Сравнение с шаблоном 11

1.1.2 Метод преобразования Хафа 12

1.1.3 Дескрипторы локальных особенностей 14

1.1.4 Методы использующие гистограммный анализ изображения 16

1.1.5 Метод главных компонент 17

1.1.6 Линейный дискриминантный анализ 18

1.1.7 Алгоритм AdaBoost 19

1.1.8 Алгоритм Виолы Джонса 20

1.1.9 Искусственные нейронные сети (ИНС) 22

1.1.10 Сверточные нейронные сети (СНС) 24

1.1.11 Структурные методы распознавания 27

1.1.12 Признаковые методы распознавания 28

1.1.13 Морфологический анализ 29

1.2 Дорожные знаки 30

1.3 Существующие системы, применяемые для распознавания дорожных знаков 33

1.3.1Общая архитектура 33

1.3.2 Opel eye 33

1.3.3 Speed limit assist (Mercedes) 35

1.3.4 Road sign information 36

1.3.5 Система распознавания дорожных знаков лаборатории компьютерной графики и мультимедиа МГУ им. Ломоносова 37

1.4 Сравнение технических характеристик существующих систем распознавания дорожных знаков 39

1.5 Основные результаты и выводы 40

2 Разработка алгоритмов обнаружения и распознавания дорожных знаков на изображении 42

2.1 Разработка метода распознавания объектов на изображении 42

2.2 Метод опорных векторов 43

2.3 Пример Кода и разбор основных функций SVM 47

2.4 Описание алгоритма 49

2.5 Предварительная классификация с помощью сверточной нейронной сети 51

2.6 Выводы по 2 главе 57

3 Программное обеспечения для распознавания дорожных знаков на изображении 58

3.1 Общие требования к разрабатываемому программному обеспечению 58

3.2 Выбор средств для разработки программного обеспечения 59

3.3 Интерфейс программного обеспечения 62

3.4 Оценка качества работы программной системы 67

3.4.1 Оценка качества распознавания дорожных знаков на ложных изображениях 68

3.4.2 Оценка качества распознавания дорожных знаков при различных углах отклонения 70

3.4.3 Оценка качества распознавания дорожных знаков на большом расстоянии от регистрирующего устройства 73

3.4.4 Оценка качества распознавания нескольких дорожных знаков в одном кадре 75

3.4.5 Сравнение технических характеристик разработанных алгоритмов и программных средств с существующими 78

3.5 Основные результаты и выводы по 3 главе 80

Заключение 81

Список используемых источников и литературы 83

Введение

В современном автомобилестроении все чаще встречаются технические системы, направленные на оптимизацию вождения автомобиля, включающие в себя также системы автоматического распознавания дорожных знаков. Это облегчает задачу водителя, позволяет ему лучше сосредоточиться на процессе вождения, повышает безопасность всех участников дорожного движения. В отличие от других способов идентификации знаков (как, например, радиометрические «маяки», способные сообщить радио-модулю автомобиля о том, что он вошёл в зону действия данного знака) система непосредственного распознавания знаков с изображений имеет преимущества в плане надёжности и возможности её применения к существующей инфраструктуре дорожных знаков.

1 Аналитический обзор существующих алгоритмов и систем, применяемых для распознавания дорожных знаков, а также обзор предметной области

В данной главе производится аналитический сбор информации о существующих методах и алгоритмах, применяющихся для обнаружения и распознавания дорожных знаков. Рассмотрены основные недостатки и преимущества этих методов, а также представлен обзор технических параметров существующих систем идентификации дорожных знаков.

1.1 Обзор существующих алгоритмов, применяемых для идентификации дорожных знаков

Объекты на изображениях представляют собой некоторую упорядоченную совокупность признаков. Совокупность объектов, обладающих некоторыми общими характерными признаками, называется классом. Машинное распознавание объектов на изображениях заключается в способности автоматически классифицировать исходные данные и относить их к определенному классу с помощью выделения характерных признаков объекта. Проблема автоматического распознавания объектов на изображениях является относительно новой и получила свое развитие во второй половине 20 века. В первых системах распознавания использовались простые геометрические модели, и требовалось участие администратора, который производил выделение признаков объекта на изображении. Затем система выполняла численные измерения размеров и расстояний выделенных признаков относительно контрольных точек.

В настоящее время распознавание объектов на изображениях осуществляется на основе сложных математических представлений о существующих процессах и является очень востребованной в областях компьютерного зрения, обработки и анализа изображений, биометрии, систем безопасности и видеоконтроля. Современные методы, решающие задачу распознавания объектов, применяются для решения широкого круга задач: распознавание лиц, отпечатков пальцев, сетчатки глаза, печатных символов, автомобильных номерных знаков, маркировки на поверхностях различных объектов и т.д.

На сегодняшний день достигнуты значительные успехи при решении задач распознавания объектов и символов на изображениях, однако существует ряд сложностей, которые существенно снижают надежность применения современных методов:

• низкое разрешение изображений. В результате чего, признаки объектов

могут быть плохо различимы;

• наличие сложной фоновой структуры на изображениях. Это подразумевает наличие на изображениях посторонних объектов, которые могут иметь визуальные признаки, схожие с искомым объектом;

• различные искажения, полученные в процессе регистрации изображений. Регистрация изображений может производиться при неудачных ракурсах, плохих погодных условиях, различных углах и условиях освещения. В результате этого, на изображениях могут быть различные шумовые помехи, символы могут быть подвержены аффинным и проекционным искажениям;

• количество искомых объектов на изображении заранее не известно.

Все это требует применения различных алгоритмов предварительной обработки, что в свою очередь усложняет процесс распознавания, делает его более громоздким, увеличивает объем и время вычислительных процессов. Поэтому на сегодняшний день до сих пор существует потребность в разработке методов и алгоритмов, решающих вышеперечисленные проблемы.

Для устранения вышеперечисленных сложностей требуется применение различных дополнительных подходов предобработки, что увеличивает вычислительную сложность системы. Таким образом, можно сделать вывод, что сегодня существует необходимость в реализации методов и алгоритмов, позволяющих снизить влияние вышеперечисленных сложностей на процесс распознавания.

Распознавание дорожных знаков на изображениях можно логически разделить на два основных этапа:

• обнаружение области расположения дорожного знака на изображении;

• распознавание дорожного знака.

Для реализации каждого из этих этапов применяются свои индивидуальные методы и алгоритмы. Поэтому дальше в этой главе приводится обзор методов и алгоритмов по трем категориям применения.

1.1.1 Сравнение с шаблоном

Главным принципом работы этих методов является сравнение каждой области изображения с заданным шаблоном, в последствие чего определяется взаимная корреляция. Шаблоны могут задаваться вручную либо определяться какой-либо функцией, а также могут соответствовать целому объекту или отдельным составляющим объекта. При превышающим заданный порог коэффициенте корреляции, область исследования изображения будет помечаться как содержащая образ дорожного знака. Так же выделяются различные улучшения данного подхода, использующие несколько шаблонов, которые соответствуют отдельным компонентам объектов, представлявших собой области в виде линий. Работа данных алгоритмов состояла из нескольких этапов, на каждом из которых определялась достоверность найденных областей. Если область изображения соответствует одному из шаблонов, то она отмечается как область, представляющая интерес для более детального анализа.