Государственное образовательное учреждение высшего профессионального образования

Кафедра «Системы Обработки Информации и Управления»

Реферат
"Подходы к разработке системы анализа поведения человека по

видеоинформации"

Выполнил:

Князев Б.А.
Научный руководитель:
д.т.н., проф., Черненький В.М.

Москва, 2011

Содержание

Введение 3

1 Задача распознавания двигательной активности человека 4

1.1 Решение задачи распознавания образов с применением нейронных сетей 4

2 Онтологический подход 10

2.1 Построение онтологий верхнего уровня 11

2.2 Способ построения онтологий предметных областей 12

Выводы 14

Список использованных источников 15

Введение

В современном мире существует множество задач, для решения которых необходима актуальная информация о действиях и поведении людей. Такими задачами являются задача организации систем безопасности, проведения психологических и маркетинговых исследований, задачи организации других систем, в которых есть ограничения или правила, которым должна соответствовать деятельность людей. Особую ценность представляет информация, получаемая в масштабе реального времени, так как для прогнозирования и предотвращения нежелательных последствий действий человека необходима своевременная информация о его текущих действиях.

Одним из способов извлечения информации о поведении человека является анализ изображений или последовательности изображений (видеопотока). Существующие системы анализа видео либо не рассчитаны на работу в режиме реального времени, либо не обладают достаточным набором методов описания правил и шаблонов поведения. Также существующие системы работают только с двухмерными изображениями, что не дает целостное представление исследуемых объектов и снижает вероятность точного определения паттернов двигательной активности человека. Поэтому тема предполагаемой диссертационной работы является, безусловно, акту­альной.

На основании вышеизложенного сформулированы задачи диссертацион­ной работы:

• разработать функционирующие в режиме реального времени алгоритмы трекинга паттернов двигательной активности человека,

• разработать алгоритмы и методики формирования стереоизображения для повышения точности распознавания объектов,

• разработать методику семантического описания видеопотока с применением онтологического подхода,

• разработать экспертную систему решающих правил по оценки действий и поведения людей,

• разработать требования к качеству входных видеоданных, вычислительным средствам и программному обеспечению биотехнических средств динамического анализа изображения,

• создать и апробировать макет программно-аппаратного комплекса для динамического анализа изображения.

Для решения данных задач в реферате приведен анализ существующих алгоритмов распознавания и трекинга объектов, методы построения онтологий, тезаурусов, предложена архитектура использования онтологических баз для построения семантической части изображений и видеоизображений. Также в реферате рассмотрены проблемы при решении задач распознавания паттернов на видеоизображении, предложены пути решения данных проблем.

Задача идентификации двигательной активности человека состоит из трех подзадач:

1. задача распознавания паттернов человека на статическом изображении;

2. задача слежения за объектом на последовательности изображений;

3. задача наделения семантикой динамики положения объектов.

В данном реферате подробно рассмотрены проблемы и пути решения первой и третьей задач.

1. Задача распознавания двигательной активности человека

Анализ существующих систем и методов распознавания показывает, что задача распознавания графических образов не решена, а все существующие системы обработки показывают хорошие результаты только при строго ограниченных параметрах входных документов и наличии дополнительной информации о содержании документа. Тем не менее, известно, что проблема распознавания образов вполне решаема. Так, например, человек без труда решает эту задачу. Причем, даже при предъявлении ему зашумленных и/или искаженных образцов. Задача распознавания паттернов или графических образцов относится к классу NP-задач. Это требует поиска новых методов решения.

При обработке изображения можно выделить несколько этапов – выделение полей, содержащих предполагаемые графические образы, распознавание графических образов, проверка результатов распознавания. На каждом этапе используются свои методы обработки. При этом эффективность решения задачи распознавания зависит от выбранной комбинации методов обработки изображения.

1. Решение задачи распознавания образов с применением нейронных сетей

Нейросетевые методы - это методы, базирующиеся на применении различных типов нейронных сетей (НС). Основные направления применения различных НС для распознавания образов и изображений:

применение для извлечение ключевых характеристик или признаков заданных образов,

классификация самих образов или уже извлечённых из них характеристик (в первом случае извлечение ключевых характеристик происходит неявно внутри сети),

решение оптимизационных задач.

Архитектура искусственных НС имеет некоторое сходство с естественными нейронными сетями. НС, предназначенные для решения различных задач, могут существенно различаться алгоритмами функционирования

К достоинствам данного метода можно отнести практически мгновенное распознавание

образа. Недостаток – необходимость предварительного обучения сети и связанное с этим формирование обучающего набора, что имеет свои сложности. Этот метод рекомендуется использовать в системах поддержки принятия решений наряду с другими методами.

Одно из преимуществ НС (а так же недостаток при реализации их на последовательной архитектуре) это то, что все элементы могут функционировать параллельно, тем самым существенно повышая эффективность решения задачи, особенно в обработке изображений. Кроме того, что НС позволяют эффективно решать многие задачи, они предоставляют мощные гибкие и универсальные механизмы обучения, что является их главным преимуществом перед другими методами (вероятностные методы, линейные разделители, решающие деревья и т.п.). Обучение избавляет от необходимости выбирать ключевые признаки, их значимость и отношения между признаками. Но, тем не менее, выбор исходного представления входных данных (вектор в n-мерном пространстве, частотные характеристики, вэйвлеты и т.п.), существенно влияет на качество решения и является отдельной темой. НС обладают хорошей обобщающей способностью (лучше, чем у решающих деревьев), т.е. могут успешно распространять опыт, полученный на конечном обучающем наборе, на всё множество образов.

Опишем применение НС для распознавания изображений, отмечая возможности применения для распознавания человека по изображению лица.

Архитектура многослойной нейронной сети (МНС) состоит из последовательно соединённых слоёв, где нейрон каждого слоя своими входами связан со всеми нейронами предыдущего слоя, а выходами - следующего. НС с двумя решающими слоями может с любой точностью аппроксимировать любую многомерную функцию. НС с одним решающим слоем способна формировать линейные разделяющие поверхности, что сильно сужает круг задач ими решаемых, в частности такая сеть не сможет решить задачу типа “исключающее или”. НС с нелинейной функцией активации и двумя решающими слоями позволяет формировать любые выпуклые области в пространстве решений, а с тремя решающими слоями - области любой сложности, в том числе и невыпуклой. При этом МНС не теряет своей обобщающей способности. Обучаются МНС при помощи алгоритма обратного распространения ошибки, являющегося методом градиентного спуска в пространстве весов с целью минимизации суммарной ошибки сети. При этом ошибки (точнее величины коррекции весов) распространяется в обратном направлении от входов к выходам, сквозь веса, соединяющие нейроны.

Простейшее применение однослойной НС (называемой автоассоциативной памятью) заключается в обучении сети восстанавливать подаваемые изображения. Подавая на вход тестовое изображение и вычисляя качество реконструированного изображения, можно оценить насколько сеть распознала входное изображение. Положительные свойства этого метода заключаются в том, что сеть может восстанавливать искажённые и зашумленные изображения, но для более серьёзных целей он не подходит. МНС так же используется для непосредственной классификации изображений – на вход подаётся или само изображение в каком-либо виде, или набор ранее извлечённых ключевых характеристик изображения, на выходе нейрон с максимальной активностью указывает принадлежность к распознанному классу (рис. 1).

Рисунок 1 – Многослойная нейронная сеть для классификации изображений. Нейрон с максимальной активностью (здесь первый) указывает принадлежность к распознанному классу.

Если эта активность ниже некоторого порога, то считается, что поданный образ не относится ни к одному из известных классов. Процесс обучения устанавливает соответствие подаваемых на вход образов с принадлежностью к определённому классу. Это называется обучением с учителем. В применении к распознаванию человека по изображению лица, такой подход хорош для задач контроля доступа небольшой группы лиц. Такой подход обеспечивает непосредственное сравнение сетью самих образов, но с увеличением числа классов время обучения и работы сети возрастает экспоненциально. Поэтому для таких задач, как поиск похожего человека в большой базе данных, требует извлечения компактного набора ключевых характеристик, на основе которых можно производить поиск.

Подход к классификации с использованием частотных характеристик всего изображения, описан в [2]. Применялась однослойная НС, основанная на многозначных нейронах. Отмечено 100% распознавание на базе данных MIT, но при этом осуществлялось распознавание среди изображений, которым сеть была обучена.

Применение МНС для классификации изображений лиц на основе таких характеристик, как расстояния между некоторыми специфическими частями лица (нос, рот, глаза), описано в [3]. В этом случае на вход НС подавались эти расстояния. Использовались так же гибридные методы – в первом на вход НС подавались результаты обработки скрытой марковской моделью, а во втором – результат работы НС подавался на вход марковской модели. Во втором случае преимуществ не наблюдалось, что говорит о том, что результат классификации НС достаточен.

В [3] показано применение НС для классификации изображений, когда на вход сети поступают результаты декомпозиции изображения по методу главных компонент.

В классической МНС межслойные нейронные соединения полносвязны, и изображение представлено в виде одномерного вектора, хотя оно двумерно. Архитектура свёрточной НС направлена на преодоление этих недостатков. В ней использовались локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов), общие веса (обеспечивают детектирование некоторых черт в любом месте изображения) и иерархическая организация с пространственными подвыборками (spatial subsampling). Свёрточная НС (СНС) обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, искажениям. Архитектура СНС состоит из многих слоёв, каждый из которых имеет несколько плоскостей, причём нейроны следующего слоя связаны только с небольшим числом нейронов предыдущего слоя из окрестности локальной области (как в зрительной коре человека). Веса в каждой точке одной плоскости одинаковы (свёрточные слоя). За свёрточным слоем следует слой, уменьшающий его размерность путём локального усреднения. Затем опять свёрточный слой, и так далее. Таким образом, достигается иерархическая организация. Более поздние слои извлекают более общие характеристики, меньше зависящие от искажений изображения. Обучается СНС стандартным методом обратного распространения ошибки. Сравнение МНС и СНС показало существенные преимущества последней как по скорости, так и по надёжности классификации. Полезным свойством СНС является и то, что характеристики, формируемые на выходах верхних слоёв иерархии, могут быть применимы для классификации по методу ближайшего соседа (например, вычисляя евклидово расстояние), причём СНС может успешно извлекать такие характеристики и для образов, отсутствующих в обучающем наборе. Для СНС характерны быстрая скорость обучения и работы. Тестировании СНС на базе данных ORL, содержащей изображения лиц с небольшими изменениями освещения, масштаба, пространственных поворотов, положения и различными эмоциями, показало приблизительно 98% точность распознавания, причём для известных лиц, предъявлялись варианты их изображений, отсутствующие в обучающем наборе. Такой результат делает эту архитектуру перспективной для дальнейших разработок в области распознавания изображений пространственных объектов.

МНС применяются и для обнаружения объектов определённого типа. Кроме того, что любая обученная МНС в некоторой мере может определять принадлежность образов к “своим” классам, её можно специально обучить надёжному детектированию определённых классов. В этом случае выходными классами будут классы принадлежащие и не принадлежащие к заданному типу образов. В [3] применялся нейросетевой детектор для обнаружения изображения лица во входном изображении. Изображение сканировалось окном 20х20 пикселей, которое подавалось на вход сети, решающей принадлежит ли данный участок к классу лиц. Обучение производилось как с использованием положительных примеров (различных изображений лиц), так и отрицательных (изображений, не являющихся лицами). Для повышения надёжности детектирования использовался коллектив НС, обученных с различными начальными весами, вследствие чего НС ошибались по разному, а окончательное решение принималось голосованием всего коллектива.

НС применяется так же для извлечения ключевых характеристик изображения, которые затем используются для последующей классификации. В [2], показан способ нейросетевой реализации метода анализа главных компонент. Суть метода анализа главных компонент заключается в получении максимально декореллированных коэффициентов, характеризующих входные образы. Эти коэффициенты называются главными компонентами и используются для статистического сжатия изображений, в котором небольшое число коэффициентов используется для представления всего образа. НС с одним скрытым слоем содержащим N нейронов (которое много меньше чем размерность изображения), обученная по методу обратного распространения ошибки восстанавливать на выходе изображение, поданное на вход, формирует на выходе скрытых нейронов коэффициенты первых N главных компонент, которые и используются для сравнения. Обычно используется от 10 до 200 главных компонент. С увеличением номера компоненты её репрезентативность сильно понижается, и использовать компоненты с большими номерами не имеет смысла. При использовании нелинейных активационных функций нейронных элементов возможна нелинейная декомпозиция на главные компоненты. Нелинейность позволяет более точно отразить вариации входных данных. Применяя анализ главных компонент к декомпозиции изображений лиц, получим главные компоненты, называемые собственными лицами (holons в работе [6]), которым так же присуще полезное свойство – существуют компоненты, которые в основном отражают такие существенные характеристики лица как пол, раса, эмоции. При восстановлении компоненты имеют вид, похожий на лицо, причём первые отражают наиболее общую форму лица, последние – различные мелкие отличия между лицами (рис. 2). Такой метод хорошо применим для поиска похожих изображений лиц в больших базах данных. Показана так же возможность дальнейшего уменьшения размерности главных компонент при помощи НС [6]. Оценивая качество реконструкции входного изображения можно очень точно определять его принадлежность к классу лиц.