Visual
Object
Recognition:
Contributors’
Slides
Основные моменты
Первые теории в распознавании
изображений
Метод 2D проекций
Способы избавления от шума
Трудности в распознавании изображений
Струянский
2
Contents of lection
Gospel according to Marr
Ullman’s alignment theory
Ullman’s intermediate features theory
30 years
Correlation
Попов К.
3
Термины и
основные понятия
4
Glossary
Surface normal – нормаль к поверхности
Orthographic projection – ортогональная
проекция
Linearly related – линейно зависимый
Translation – параллельный перенос
Intermediate feature – промежуточный
признак
Галкина
5
TERMS
Object recognition – распознавание
объектов
edges - края
primal sketch - первичный эскиз
three dimensional arrangement of the faces
- трехмерное устройство граней
generalized cylinder - обобщенный цилиндр
alignment - выравнивание
vertex - вершина
transparent
Savostin
Peter - прозрачный
6
Vocabulary
Recognizing objects – распознавание
объектов
Computer vision – компьютерное зрение
Vertex – вершина
Orthographic projection – ортогональная
проекция
Two-dimensional coordinates – координаты в
двумерном пространстве
Булгакова
7
Terms
visual object recognize – задача
распознавания объектов
edge fragment – края объекта
edge-based description – описание
объектов, основанное на их контуре
primal sketch – простой эскиз
surface normal – вектор нормали к
поверхности
generalized cylinders – обобщенный
цилиндр А.В.
Михайлишин
orthographic projection – ортогональная
Glossary
Circumstances – условия
Recognition problem – проблема распознавания
Object recognition – распознавание объектов
Мартиросян
9
History
Gospel according to Marr
Shimon Ullman: Alignment theory
Shimon Ullman: Intermediate features
theory
Correlation
Цзян Лэй
Этапы исследования
компьтерного зрения
I: выделение границ у объектов и
представление их в виде обобщенных
цилиндров
Недостатки: сложно реализуемы, полученные
цилиндры были слишком грубые, например,
нельзя было отличить одну марку машины от
другой.
Сальников
11
Этапы исследования
компьтерного зрения
II: на основе имеющихся изображений объекта
выделить точки и уравнения, используя
которые можно было опознать объект с любого
ракурса.
Недостатки: плохо работает с объектами
естественного мира, требует нахождения
соответствующих точек, ошибка выбора
которых приводит к неправильной работе
системы.
Сальников
12
Этапы исследования
компьтерного зрения
III: проверять на соответствие образцу какиелибо элементы объекта. Например, для
человеческого лица это могут быть глаза, нос,
рот.
Недостатки: не работает с искаженными
объектами, например, с повернутыми или
перевернутыми лицами.
Сальников
13
Идея Дэвида
Марра
14
Marr’s image recognition
steps
1. Primal sketch (boundaries of image)
2. Two and half D sketch (normal vectors of
surfaces)
3. Generalized cylinders
4. Recognition
No one could make it work because of too hard
steps.
Попов К.
15
Идея Дэвида Марра
Первичный
набросок
Псевдотрехмерное Обобщенные
изображение
цилиндры
Библиотека
описаний
Распознавание
Асирян
16
David Marr computer
vision idea
Recognitio
n
Primal sketch
Savostin Peter
2
D sketch
Generalized
cylinders
17
Теория Дэвида Марра
Исходное
изображение
Первичный
эскиз
(определение
границ)
2-D эскиз
(построение
нормалей)
Метод оказался неприменим на практике
Шрамов
Обобщенные
цилиндры
Распознавание
(бутылка вина)
18
Marr approach
camera
primal
sketch
2½ D
sketch
generalized
cylinders
�
Trouble is, no one could make it work.
Михайлишин А.В.
David Marr and his ideas
британский нейробиолог и психолог, работал на стыке
психологии, ИИ и нейрофизиологии, разрабатывал новые
вычислительные модели обработки визуальной информации
в мозге
Выделил три ступени восприятия трехмерных объектов:
1. Формирования двумерного наброска сенсорной информации,
поступающей на сетчатку глаза (primal sketch)
2. Создание псевдотрёхмерной картины объектов на основе
признаков глубина (2 ½ D sketch)
3. Создание полноценной трехмерной картины ориентации
объектов и их взаимного расположения (generalized cylinders)
Булгакова
20
Теория
выравнивания
21
The alignment theory
A
Рой
B
C
U
22
The alignment theory
Рой
неизвестные
23
Решить систему
Рой
По «квадратным»
точкам на A, B и С
предсказать
положение
соответствующей
точки на U
24
C
A
U
B
Теория выравнивания
Асирян
?
25
Shiman Ullman approach
A
B
C
Track 4 points and write down 4
equations.
Михайлишин А.В.
U
Метод 2D проекций
Задача – имеется 3 разных изображения
объекта, нужно определить является ли
4- е изображение тем же объектом
Для 3 произвольных точек должно
выполняться:
Струянский
27
Теория выравнивания
y
B
U
ϴ � ϴ
�
A
ϴ �
измерения
S
� �
� �
константы
�� =�� cosϴ � − � � sin ϴ �
x
поворот объекта
�� =α � � +β � �
Асирян
28
Goldilocks principle
29
Goldilocks principle
Принцип Златовласки – название –
отсылка к английской сказке «Goldilocks
and the Three Bears», где девочка
пытается воспользоваться несколькими
наборами из трёх однородных предметов,
в каждом из которых один из предметов
оказывается по какому-либо параметру
избыточным, другой – недостаточным, а
третий, промежуточный между ними, – «в
самый раз».
Булгакова
30
Goldilocks principle
Big features
whole face
Мартиросян
Intermediate features
two eyes and nose
Small features
individual eye
31
GOLDILOCKS PRINCIPLE
× Don’t look for big features (e.g. whole faces)
× Don’t look for small features (e.g. individual eyes)
✓ Look for intermediate features:
two eyes and a nose
mouth and a nose
MAIN IDEA: not too big && not too small
Кузьмин
32
FINDING PATTERNS
Consider one-dimensional signal
How do we find the offset of it’s occurrence in
a picture?
Кузьмин
33
Correlation
Исходный объект
f(x)
Изображение
для
распознавания
g(x)
x
x
X
Шрамов
34
Вопросы
35
Question&Answer
What is the defect of alignment theory?
Цзян Лэй
Question&Answer
What is the defect of alignment theory?
It works fine on things that are manufactured
because they all have identical dimensions. But
the natural objects don’t have the identical
dimensions, so it doesn’t work fine on natural
objects.
Цзян Лэй
QUESTIONS
What is Goldilocks principle?
Name all steps of David Marr computer vision idea?
Why we are not using David Marr computer vision idea?
Savostin Peter
38
Questions
What does the number of pictures involved in
recognition process (using alignment theory) depend
on?
Which restriction in alignment theory allows us to say
that points on library images and on unknown image
are linearly related?
What is Goldilocks principle?
Галкина
39
Questions
What does the number of pictures involved in
recognition process (using alignment theory) depend
on? Type of transformation (rotation only,
rotation+translation...) => number of unknowns =>
number of equations needed to find them => number of
pictures.
Which restriction in alignment theory allows us to say
that points on library images and on unknown image
are linearly related?
What is Goldilocks principle?
Галкина
40
Questions
What does the number of pictures involved in
recognition process (using alignment theory) depend
on?
Which restriction in alignment theory allows us to say
that points on library images and on unknown image
are linearly related? The images are 2D orthographic
projections, not 3D objects (no perspective).
What is Goldilocks principle?
Галкина
41
Questions
What does the number of pictures involved in
recognition process (using alignment theory) depend
on?
Which restriction in alignment theory allows us to say
that points on library images and on unknown image
are linearly related?
What is Goldilocks principle? Use intermediate size
features, “not too big, not too small”, as a correlation
mask.
Галкина
42
Questions
Why David Marr’s idea did not work?
What is Goldilocks principle?
Мартиросян
43
ВСЕМ БОЛЬШОЕ
СПАСИБО!
44
