Трёхмерная реконструкция лица человека по его изображениям (1006006), страница 5
Текст из файла (страница 5)
Видимо, этот факт, а также соображенияпо поводу возможности представить произвольный сигнал в виде рядаФурье, натолкнул авторов исследования на идею использовать нормализованные производные в детекторах. Это наиболее прозрачный сточки зрения анализа случай, который и будет использован в дальнейшем. С помощью операторов из 1-нормализованных производныхстроится детектор SIFT, рассматриваемый далее, и другие детекторыточек (bulbs).б) ̸= 1: в этом случае производные не получатся безразмерными, амаксимум будет зависеть от частоты, но инвариантности к масштабированию по-прежнему можно добиться, рассматривая оператоы, всеслагаемые которого имеют одинаковый порядок производных. В работе [6] показывается, как с помощью такой нормализации построитьдетекторы краёв (edges) и гребней (ridges).34Таким образом, отыскивая для каждой точки изображения максимумы вмасштабном пространстве некоторой функции из -нормализованных производных, можно попытаться определить, в каком масштабе следует рассматривать объект с центром в этой точке.2Детектор Scale-Invariant Feature Transform.
В статье 1999 года [9]предлагается совмещённый алгоритм детектирования и построения дескрипторов, инвариантных к масштабированию, основанный . Метод получил название Scale Invariant Feature Transform. В последующих работах он былразвит и на сегодняшний день является одним из лучших алгоритмов дляпоиска точечных соответствий.Вместо полноценного масштабного пространства используется пирамида изображений, получающихся из исходного многократным ресемплированием в = 1.5 раза. Затем ищутся максимумы и минимумы функции,получающейся свёрткой изображения с разностью гауссовских ядер из “соседних” масштабов:√√(; ) = ((; ) − (; )) * () = (, ) − (, )(такая функция выбирается главным образом из соображений эффективности вычислений, а также потому, что она даёт хорошее приближение длянормализованного оператора Лапласа).
Построение функции проиллюстрировано на рис. 1.10.После того, как найдены точки-кандидаты в значимые, для каждой изних расположение уточняется методом Ньютона, применённым для минимизации функции в соответствующем масштабе (её градиент и гессианаппроксимируются по значениям функции в соседних точках). Затем длягессиана из последней итерации определяются главные направления, чтопозволяет оценить ориентацию объекта в точке и задать локальные координаты для построения дескриптора.Дескриптор строится из четырёх гистограмм, отражающих ориентациюградиентов функции в окрестностях найденной точки. Эта процедурапроиллюстрирована на рис.
1.11. Кругом на рис. отмечено применение “гаус-35Рис. 1.10. Построение функции отклика D для различных масштабов (рисунок взят из [8])совского окна” (аналогичного функции из 1.2.2.2) к области вокруг точки.3Другие детекторы. На базе детектора SIFT было построено большоеколичество других детекторов. Часть из них работают менее точно, но гораздо более быстро: например, Speeded-Up Robust Features (SURF), см. [surf]. Другие помимо улучшения производительности в нужную сторону преследовали цель освободиться от запрета на коммерческое использованиеалгоритма SIFT, который защищён патентами.36Рис. 1.11. Построение дескриптора (рисунок взят из [8])1.2.3Трёхмерная реконструкция1.2.3.1Неопределённость реконструкцииПусть имеется два изображения трёхмерной сцены, и точечные соответствияx′ ↔ x , = 1, каким-либо образом получены (например, методами из раздела 1.2.2 илиуказаны вручную).Определение 27 Будем понимать под реконструкцей этих точечных соответствий такой набор ℛ = (P, P′ , {X }), что соотношенияPX = x , P′ X = x′выполнены для всех = 1, .Важно понять, в какой степени восстановленные координаты X останутся неопределёнными.
Обозначим за X̄ истинные мировые координатыточек и за P̄, P̄′ — истинные матрицы камер, породивших образы x , x′ .37Определение 28 Будем говорить о реконструкции с точностью до какоголибо класса преобразований ℋ, если точки X и матрицы камер P, P′ переводятся в истинные преобразованием из класса ℋ.В частности, проективной назовём реконструкцию с точностью до гомографии; аффинной — с точностью до аффинного преобразования и метрической — с точностью до преобразования подобия.В отсутствие каких-либо сведений о трёхмерной сцене, кроме её плоских изображений, и о матрицах камер, реконструкция может быть выполнена с точностью до проективного преобразования H.
В этом легко убедиться,применив H к мировому пространству и вспомнив, как меняются координаты точек пространства и матрица линейного преобразования при заменебазиса в отображаемом пространстве (см. [19]):x̂ = P̂X̂ = PH−1 HX = PX = xЕсли камеры откалиброваны (P = K(R | t)), то на преобразование накладывается ограничение: оно не должно менять калибровочные матрицы.Прямой проверкой можно показать, что любое преобразование подобия Hудовлетворяет этому условию. В работе [7] доказывается, что преобразования из любого более широкого класса меняют калибровочную матрицу, азначит, реконструкция изображений с таких камер является метрической.1.2.3.2Проективная реконструкцияВ книге [5] доказывается следующее важное утверждение.Теорема 6 (о проективной реконструкции) Пусть заданы точечные соответствия x ↔ x′ и пусть фундаментальная матрица однозначно определена для каждого из этих соответствий, т.е.
x′ Fx = 0, = 1, .Пусть ℛ1 = (P1 , P′1 , {X1 }), ℛ2 = (P2 , P′2 , {X2 }) — две реконструкцииэтих точечных соответствий. Тогда существует невырожденная матрица H, такая, чтоX2 = HX1 , P2 = P1 H−1 , P′2 = P′1 H−1 ,38для всех = 1, кроме тех, для которых Fx = x′ F = 0.Чтобы найти проективную реконструкцию, нужно выполнить следующие три шага:а) по точечным соответствиям оценить фундаментальную матрицу,б) восстановить из неё матрицы камер,в) найти прообразы X точек x , x′ .1′Оценка фундаментальной матрицы. Соотношение x Fx = 0 поз-воляет записать по уравнению на каждую точку.
Всего у фундаментальнойматрицы 8 степеней свободы, поэтому при точно известных координатахточек достаточно восьми соответствий.В реальности автоматические методы поиска соответствий никогда ненайдут точных координат точек x и x′ , а соответствий будет больше восьми, поэтому система не будет иметь точного решения. В таком случае решение ищется методом наименьших квадратов.Поскольку при определении соответствий автоматическими методамивозможны неверные сопоставления, целесообразно применить метод, устойчивый к выбросам, например, RANSAC ([5]).2Восстановление матриц камеры. После того, как фундаментальнаяматрица найдена, матрицы камер P, P′ могут быть получены из неё поформулам из раздела 4.
Матрицы находятся с точностью до произвольногопроективного преобразования.3Нахождение прообразов точек соответствия. Это можно сделать ме-тодом триангуляции (см. рис. 1.12). Для каждой пары точек x ↔ x′ :а) строятся лучи, проходящие через эти точки и центры камер:r() = P+ x + (1 − )C, r′ () = P′+ x′ + (1 − )C′б) определяеляется точка их пересечения — это и будет точка X.39Рис.
1.12. Нахождение трёхмерных координат точки X методом триангуляции (рисунок из книги [5])1.2.3.3Аффинная и метрическая реконструкцияОсновная идея перехода от проективной реконструкции к аффиннойв том, чтобы идентифицировать в мировом пространстве объект, инвариантный относительно аффинных преобразований. Таким объектом являетсяплоскость на бесконечности. В истинных координатах она задаётся вектором (0, 0, 0, 1) .Пусть найдена проективная реконструкция ℛ = (P, P′ , {X }) и пустькаким-либо образом получены координаты плоскости , в истинных координатах являющейся плоскостью на бесконечности.
Остаётся найти гомографию, переводящую в (0, 0, 0, 1) : H = (0, 0, 0, 1) . Применив эту гомографию к реконструкции, получим другую, отличающуюся от истиннойаффинным преобразованием.В случае, если камеры P, P′ получаются одна из другой переносом навектор t, плоскость на бесконечности можно отыскать по точкам, остающимся неподвижными при переходе от одного изображения к другому: трёхтаких точек достаточно, чтобы найти плоскость.Другой способ найти точки на бесконечности — найти в мировом пространстве параллельные прямые и получить точки пересечения их образовв пространствах изображений.Аналогично выполняется переход от аффинной реконструкции к мет-40рической.
Известно ([5]), что преобразования подобия оставляют на местеабсолютную конику Ω∞ , с помощью которой в мировом пространстве задаются углы между прямыми. В истинных координатах её матрица равнаdiag(1, 1, 1, 0). Найдя аффинное преобразование, переводящее Ω∞ в эту матрицу и применив его к реконструкции, получим новую, отличающуюся отистинной лишь преобразованием подобия.Кроме того, в разделе 5 показано, как получить метрическую реконструкцию, зная точечные соответствия и калибровочные матрицы камер.411.2.4Регистрация трёхмерной модели1.2.4.1Постановка задачи регистрации поверхностиПусть имеется фиксированная эталонная поверхность, и на вход подаётся произвольная поверхность.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
