Трёхмерная реконструкция лица человека по его изображениям (1006006), страница 4
Текст из файла (страница 4)
Из выражения для F через матрицы камер прямо следует следующий факт.Утверждение 2 Пусть H — проективное преобразование мировых координат. Тогда парам камер (P, P′ ) и (HP, HP′ ) соответствует одна и таже фундаментальная матрица.Верно и обратное утверждение (доказательство которого можно найти в[5]):Теорема 3 Если две пары матриц камер P, P′ и P̃, P̃′ отвечают однойфундаментальной матрице F, то существует гомография H, переводящаяпопарно матрицы одних камер в матрицы других:P̃ = HP, P̃′ = HP′Таким образом, фундаментальная матрица задаёт пару камер с точностьюдо произвольного проективного преобразования H.Следующая теорема даёт способ восстановить матрицы камер по фундаментальной матрице:Теорема 4 Пусть задана какая-либо фундаментальная матрица F.
Тогдаона будет фундаментальной для любой пары камерP = (I | 0), P′ = (SF | e′ )где S — произвольная кососимметрическая матрица, такая, что rk(P′ ) = 3.25Условия теоремы будут выполнены, если взять S = [e′ ]× . При такомвыбореP = (I | 0), P′ = ([e′ ]× F | e′ ).Утверждение 3 В общем случае из фундаментальной матрицы можно получить следующей семейство пар камер в канонической форме:P = (I | 0), P′ = ([e′ ]× F + e′ v | e′ ),где v — произвольный вектор, а — произвольное число, не равное нулю.5Существенная матрица.
Если известны калибровочные камеры мат-риц (“камеры откалиброваны”), то можно исключить проективную и аффинную неопределённость и по фундаментальной матрице восстановитькамеры с точностью до преобразования подобия, то есть с максимальновозможной точностью.Пусть K — калибровочная матрица камеры P:P = K(R | t)и точка X проецируется камерой в x:x = PXМы можем перейти от x к x̂ = k−1 x:x̂ = (R | t)XОпределение 21 Координаты в плоскости изображения камеры P = K(R | t),вводимые по правилу x к x̂ = k−1 x, назовём нормализованными. Матрицукамеры P̂ = (R | t), получающуюся после такой замены координат, такжебудем называть нормализованной.Пусть теперь заданы две нормализованные камеры (в каноническом представлении):P = (I | 0), P′ = (R | t)26Определение 22 Фундаментальную матрицу E, соответствующую двумнормализованным камерам, назовём существенной матрицей (essential matrix).Из формул раздела 4 получается выражение для существенной матрицы:E = [t]× R = R[R t]×Ещё одно выражение получается из соотношения, накладываемого фундаментальной матрицей на соответствующие точки:x̂′ Ex̂ = x′ K′− FK−1 x = 0откудаE = K′ FK.Существенная матрица имеет меньше степеней свободы, чем фундаментальная.
Верно следующее утверждение (см. [5]):Утверждение 4 Матрица E является существенной (для какой-либо парыкамер) тогда и только тогда, когда два её сингулярных значения равнымежду собой, а третье равно нулю.Таким образом, сингулярное разложение E равно:E = U diag(1, 1, 0)VСледующая теорема даёт ответ о неопределённости матриц камер приизвестной существенной матрице:Теорема 5 Пусть задана существенная матрица E = U diag(1, 1, 0)V иматрица первой камеры P = (I | 0). Тогда существует четыре вариантаматрицы второй камеры:(UWV | ± u3 ), (UW V | ± u3 ).Геометрическая интерпретация этих вариантов показана на рис. 1.8.27Рис. 1.8.
Возможные варианты расположения камер, восстановленных посущественной матрице1.2.2Поиск точечных соответствий на двумерных изображениях1.2.2.1Вводные соображения и постановка задачиПусть известны два двумерных изображения , одного трёхмерногообъекта. Требуется на этих изображениях определить точки (x1 , x′1 ), ·, (x , x′ ),являющиеся проекциями одних и тех же точек X1 , . .
. , X трёхмерного пространства.Аналогичная задача может ставиться не только для точек, но и для других объектов (кривых, плоскостей), но мы здесь ограничиваемся только точечными соответствиями.Задача поиска точечных соответствий разбивается на две подзадачи:28а) нахождение важных точек на изображениях (детектирование)б) построение описания этих точек (построение дескриптора)После того, как это сделано, остаётся лишь найти для каждой важной точкипервого изображения соответствующую ей точку второго, и наоборот.К детекторам и дескрипторам предъявляется несколько очевидных требований, диктуемых природой задачи:а) они должны быть инвариантны относительно оператора проектирования.
Это означает, что если одна и та же трёхмерная точка X, отображенная на две плоскости 1 и 2 в точки и , то для этих точекдолжны быть построены одинаковые дескрипторы (x) и (x′ ).б) они должны быть инвариантны к условиям съёмки, главным из которых является освещение.В силу разложения произвольного проективного преобразования из раздела 1.2.1 требование 1 уточнится до требования инвариантности относительно:- переносов- поворотов- масштабированияОказывается, что если достаточно легко обеспечить инвариантность относительно переносов и (до определённой степени) поворотов, то с инвариантностью относительно масштабирования дело обстоит сложнее (см.
раздел. 1.2.2.3).На вопрос о том, возможно ли обеспечить инвариантность к условиямсъёмки, даёт некоторые ответы математическая морфология (см., например,[45]). В этой работе мы не затрагиваем данный вопрос.1.2.2.2Детектор ХаррисаОдин из популярных в приложениях методов обнаружения угловых точек — это детектор Харриса. Он был предложен в 1988 году [4].
В своейстатье Харрис построил функцию, по значению которой в точке изображения можно судить о принадлежности этой точки к угловым.29Рассматривается квадрат производной функции-изображения в точке по направлению ⃦⃦(︂)︂2⃦ () ⃦2‖(+)−()‖⃦⃦⃦ ⃦ = lim→0‖‖и приближенный сеточный аналог — функцию() =∑︁()‖+ − ‖2где — точка, в которой вычисляется производная (в первом случае из, ∈ R2 , во втором случае один из узлов сетки). Функция () — какаялибо срезающия функция (равная единице в точке и стремится к нулюпри удалении от неё).Автор исходит из следующих соображений:а) если точка лежит на краю, то изменение функции () в окрестности этой точки будет велико в каком-то одном направлении (именно —перпендикулярном краю) и мало в перпендикулярных ему;б) если точка — в вершине, то изменение функции () в окрестностиэтой точки будет велико как минимум в двух направлениях (перпендикулярных тем краям, которые сходятся в этой вершине);в) если же точка лежит на однородном фрагменте изображения, то изменение () в окрестности точки в любом направлении будет мало.Введём обозначения: () = +(1,0) − −(1,0) , () = +(0,1) − −(0,1) .Раскрыв скобки в выражении для и предположив, что смещение мало,получим выражение() ≈ 21 + 21 2 + 22 = 30где(︃= )︃ ∑︁() 2 ()==∑︁=∑︁() 2 ()()() ()(умножение матриц и в последнем выражении — поэлементное).Симметричную матрицу можно привести к диагональному виду ′ =diag(, ) (см.
[19]). Тогда первое из соображений (точка – на краю) будетвыполняться, если одно из значений на диагонали велико, а второе мало;если оба числа велики — верно второе соображение (точка – в вершине);если оба числа малы — точка лежит на однородном фрагменте.В качестве объединённого детектора вершин и краёв предлагается функция = det − tr2 , которая:- отрицательна в точках, лежащих на краях;- положительна в точках, являющихся углами;- невелика по модулю в точках, лежащих на однородном фрагменте.Недостаток детектора в том, что он чувствителен к масштабированию,т.е.
для одного и того же изображения в различных масштабах значенияфункции в одних и тех же точках изображения будут разными.1.2.2.3Детекторы, инвариантные к масштабированиюПроблема инвариантного к масштабированию поиска и описания объектов (точек, краёв, стыков) была детально изучена Тони Линдебергом вработе 1998 года [6]. Методы, изложенные в этой работе, применимы кпроизвольным функциям : R → R (называемым в работе “сигналами”),в том числе и к изображениям. Далее даётся краткий обзор идей и результатов работы.31Рис. 1.9. Значения элементов матрицы ′ , кривые уровня функции иинтерпретация результатов (рисунок взят из статьи [4])1Масштабное пространство и гауссовские производные.
Пусть зада-на функция : R → R,Определение 23 Решение задачи Коши для параболического уравнения⎧∑︁⎪1⎪⎨ = ,2 =1 ⎪⎪⎩ (, 0) = ()назовём масштабным представлением (scale-space representation) функции . Пространство функций : R × R+ → R назовём масштабнымпространством (scale-space).Если воспользоваться формулой Пуассона для решения этой системы([24]), можно заменить определение на эквивалентное. Пусть (·, ) – “гауссовское ядро ширины t”, т.е.
плотность -мерного гауссовского распределения (0, 2 ):‖‖21(; ) = 2(2)/2−32Определение 24 Масштабным представлением функции назовём свёртку(·; ) = (·; ) * ().Второй аргумент масштабного представления равен дисперсии гауссовской плотности и имеет смысл параметра размытия: чем он больше, темсильнее оператор () : (·) ↦→ (·; ) размывает (усредняет, сглаживает)функцию.Определение 25 Оператор, действующий на по формуле (·; ) = ( )(·, ·; )где – мультииндекс, будем называть гауссовской производной (gaussianderivative operator) функции .Определение 26 Оператор ,− = /2 , получаемый заменой переменной = /2 , будем называть -нормализованной производной.При = 1 нормализованные производные получаются безразмерными, чтосразу же обеспечивает инвариантность к масштабированию любых построенных из них детекторов и дескрипторов (это свойство в литературе именуется perfect scale invariance)Чтобы продемонстрировать мотивацию введённых выше определений,исследуем поведение простейшего синусоидального сигнала () = sin 0 , ∈R в масштабном пространстве.
Решение уравнения теплопроводности можно получить напрямую методом Фурье:2(; ) = −0 /2 sin 0 Максимум этой функции по пространственной координате равен () =22−0 /2 , а максимум её -ой гауссовской производной , () = 0 −0 /2 .С ростом масштабного аргумента максимумы монотонно убывают. Еслитеперь перейти к -нормализованным переменным, получим2 , () = /2 0 −0 /233Эта функция имеет единственный максимум по переменной :, =Перейдём от к =√ 2= , 0 = 2020(2)2 0, измеряемой в тех же величинах, что и простран-ственная координата :√02Получается, что масштабная координата, в которой -нормализованная про, =изводная достигает своего максимума, прямо пропорциональна “длине волны” 0 , то есть некой характерной величине, дающей представление о масштабе, в котором сигнал представляет интерес.Сама -нормализованная производная в этой точке равна , (, ) =(−1)0(︁ )︁/2Возможны два основных случая при разных значениях :а) = 1: все 1-нормализованные производные любых порядков (и всеоператоры, сконструированные из них), не зависят от частоты сигнала,что позволяет рассматривать все синусоидальные сигналы одинаковонезависимо от их частоты.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
