Трёхмерная реконструкция лица человека по его изображениям (1006006), страница 8
Текст из файла (страница 8)
Причины в том, что не учитываются априорно известные особенности объекта:некоторые фрагменты (щёки, лоб) представляют собой ровные поверхности,имеют бедную структуру и могут описываться небольшим числом данных;другие же (глаза, нос, уши, губы), напротив, устроены сложно и их нужноописывать более детально. Кроме того, о человеческом лице есть масса сведений из анатомии, что позволяет ввести явные параметры и таким образомполучать более точные реконструкции.1.2.5.1Параметрические моделиПредставляют собой различные модели, задаваемые набором параметров с ясным физическим или геометрическим смыслом, например, набором антропометрических измерений.
Возникли в компьютерной графикедля нужд компьютеной анимации.Рис. 1.13. Параметрическая модель лица (рисунок взят из статьи [13])В пионерской работе Parke 1974 года [13] строится параметрическаяполигональная модель (см. рис. 1.13. Вводится две категории параметров:определяющие строение лица и его выражение; изменение параметров второй группы позволяет получить достаточно правдоподобную анимацию.
Вдальнейшем система параметров была расширена, были добавлены параметры, относящиеся к костям черепа, к состоянию тканей лица и т.д.В дальнейшем модели этого типа значительно усложнились ради нужд58компьютерной анимации (в кинематографе и компьютерных играх) и сейчаспозволяют получать изображения фотографического качества. Представление о современном состоянии предмета можно получить из книги [12].Однако эти модели плохо подходят для задач реконструкции, посколькупараметры довольно трудно оценить автоматически.1.2.5.2Деформируемые моделиДанный класс моделей не делает акцента на ясности смысла параметрови их пригодности к анимации, вместо этого параметры задают деформациюполигональной сетки.В базельской модели (Basel Face Model, [2]) используется следующийподход. Задаётся эталонная модель лица — полигональная сетка, т.е.
наборвершин в трёхмерном пространстве и набор граней, и каждое лицо задаётся просто с помощью трёхмерных координат каждой из точек эталонноймодели.Такой подход не даёт лёгкого способа создавать анимацию, но хорошо подходит для автоматической генерации моделей по набору трёхмерныхсеток (которые можно получить различными способами, например, трёхмерным сканированием или методами из главы 1). Именно, фиксировав количество вершин в каждой сетке и получив выборку сеток, можно рассматривать каждую сетку как 3 -мерный вектор, и применять к выборкеэтих векторов разничные статистические методы, например, метод главныхкомпонент.1.2.5.3Базельская модель лицаБудем задавать лицо двумя векторами:а) S ∈ R3 (вектор координат) состоит из выстроенных в один векторкоординат каждой из вершин сетки (S = (1 , 1 , 1 , 2 , .
. . , , ) )б) T ∈ R3 (вектор текстуры) строится аналогично вектору координат изцветовых координат каждой вешшины сетки (T = (1 , 1 , 1 , 2 , . . . , , ) ,59используются RGB-координаты)Пусть есть выборка лиц: (S1 , T1 ), . . . , (S , T ). Новое лицо можнополучить барицентрической линейной комбинацией из уже имеющихся:S(a) =T(b) =∑︁=1 =∑︁=1∑︁=1∑︁ S , T , = 1=1Определение 36 Множество {(S(a), T(b)),∑︀=1 =∑︀=1 = 1} назо-вём деформируемой моделью.При фиксированной выборке лиц координатные векторы модели образуют − 1-мерное подпространство в 3-мерном пространстве координат. Тоже верно и для текстурных векторов модели.Модель пока не накладывает никаких органичений на получающиесяповерхности и не говорит, насколько они на самом деле похожи на человеческие лица. Чтобы заполнить этот пробел, к выборке лиц применяетсяметод главных компонент:а) вычисляются средние лица и отклонения от нихS̄ =T̄ =∑︁=1∑︁S /,∆S = S − S̄T /,∆T = S − T̄=1а) по выборке оцениваются ковариационные матрицы распределений координатных и текстурных векторов60(K)S, =(K)T, (︃ ∑︁)︃(∆S ) (∆S )/( ( − 1)),(︃ =1)︃∑︁(∆T ) (∆T ) /( ( − 1)),==1, = 1, а) отыскиваются базисы s , t , в которых эти матрицы являются диагональными с диагональными элементами S, , T, , отсортированнымипо убыванию.
Отбирается первые − 1 базисных векторов, отвечающих наибольшим диагональным элементам.В этих базисах лицо будет задаваться векторами параметров: координатных ∈ R −1 и текстурных ∈ R −1 :S() =−1∑︁T() = s ,=1−1∑︁ t=1Оценка распределения вероятностей в пространствах параметров теперьдаётся выражениями(︃() ∼ exp −(︃() ∼ exp −1212−1∑︁)︃( /S, )2 ,=1−1∑︁)︃( /T, )2=1Выразительная сила модели может быть увеличена, во-первых, добавлением новых лиц (увеличением выборки), а во-вторых, разбиением сетки наобласти (например, область вокруг глаз, рта, носа и всё остальное).Конкретно базельской моделью называется модель, построенная по вышеописанной методике в университете Базеля по выборке из = 200 высококачественных сеток, полученных трёхмерным сканированием лиц студентов и преподавателей.
Каждая сетка содержит примерно ≈ 53000 вершинс заданными координатами и цветами. Авторы базельской модели предо-61ставляют к ней доступ для некоммерческого использования в исследовательских целях.1.2.5.4Использование базельской модели для аппроксимации лицапо его трёхмерной моделиПредположим, что каким-либо методом получена трёхмерная модель лица. Поставим задачу подобрать такие параметры , деформируемой модели, которые наилучшим образом воспроизведут эту трёхмерную модель.В работе [2] предлагается следующий метод, адаптированный под модели, полученные трёхмерным сканированием. В результате такого сканирования получается цилиндрическая поверхность. Введём в мировом пространстве цилиндрические координаты (ℎ, ).
В этих координатах целеваямодель примет видI (ℎ, ) = ((ℎ, ), (ℎ, ), (ℎ, ), (ℎ, ))Аналогично можно параметризовать деформируемую модель:I (ℎ, ) = ((ℎ, ), (ℎ, ), (ℎ, ), (ℎ, ))Дополнительные параметры, такие, как поворот, сдвиг и масштаб деформируемой модели, параметры освещения и т.д., поместим в вектор =(1 , . . . , ) Нужно подобрать такие параметры , и , при которыхразличия между фотографией и проекцией трёхмерной модели будут минимальны.Введём в цилиндрических координатах конечную сетку и будем измерять разницу двух поверхностей функцией:∑︁ =‖I (ℎ, ) − I (ℎ, )‖2ℎ,Если на I [, , ] смотреть как на модель, то распределение вероятности наблюдать I при условии , , задаётся выражением)︂(︂(I | , , ) ∼ exp − 22622(здесь с помощью учитываем шум аппаратуры, выполняющей скани-рование, или ошибки реконструкции: считаем их гауссовскими и независимыми для каждой точки сетки).По формуле Байеса апостериорная вероятность набора параметров равна(, , | I ) =(, , ) · (I | , , )где — нормировочный коэффициент.Априорные распределения и были оценены в предыдущем разде22ле.
Пусть задано также и распределение ∼ (¯, diag(,1, . . . , ,). Тогдамаксимизация апостериорной вероятности будет эквивалентна минимизации функции=2+−1∑︁2( /S, ) +=1−1∑︁2( /T, ) +=1∑︁(¯ − )2=1,равной логарифму функции правдоподобия, взятой с обратным знаком.Решая задачу(* , * , * ) = arg min (,,)находим оптимальный набор параметров.631.3Практическая часть1.3.1Архитектура тестового стендаДля проверки работы описанных в теоретической части алгоритмов былразработан соответствующий программный инструментарий. Он состоит изнескольких модулей:- register: подсистема регистрации моделей.- visualize: подсистема визуализации трёхмерных моделей и процесса регистрацииОбъектно-ориентированная методология в разработке использована длятого, чтобы обеспечить безболезненное (в смысле [25]) дальнейшее развитие программы, а также для того, чтобы облегчить использование наработокв других проектах.
Диаграмма классов приведена на рисунке 1.14.Модуль register состоит из базового класса Registrator, реализующего чтение и подготовку данных для работы, и двух классов ICP и CPD,реализующих описанные в разделах 1.2.4.2 и 1.2.4.3 методы.Модуль visualize состоит из класса Canvas, отвечающего за отрисовку трёхмерной сцены в целом, и класса Model, отвечающего за отрисовку отдельной модели по набору координат вершин, их цветов и рёбермежду ними. Класс Entity позволяет одной модели быть отображенной внескольких экземплярах (каждый – со своим расположением в пространствеи параметрами отрисовки).Разработка велась на языке программирования Python с использованием библиотек:- numpy: реализация многомерных массивов и алгоритмов численныхметодов- scipy: реализация всевозможных математических объектов и алгоритмов и вспомогательных процедур, в том числе:– scipy.sparse: разреженные матрицы и часто используемыеоперации и процедуры над ними (решение систем линейных урав-64Рис.
1.14. Диаграмма классов тестового стенданений, метод наименьших квадратов)– scipy.optimize: алгоритмы условной и безусловной конечномерной оптимизации– scipy.io: чтение и запись массивов данных, в том числе формата MATLAB- vispy: библиотека визуализации трёхмерных сцен с поддержкой технологии OpenGL65Рис.
1.15. Пример лица, полученного с помощью базельской лицевой модели1.3.2Алгоритмы поиска точечных соответствийДля поиска значимых точек были использованы два детектора, описанные в разделе 1.2.2. В качестве входных изображений были взяты кадрылица, полученного при помощи базельской модели, снятые с разных ракурсов.1.3.2.1Детектор ХаррисаНа рис.
1.16 показана функция отклика детектора Харриса для этихизображений. Детектор Харриса показал неудовлетворительные результаты,не сумев найти достаточно значимых точек для оценки фундаментальнойматрицы. Отчасти это вызвано малым количеством деталей на изображении и его низким разрешением.661.3.2.2Детектор SIFTРис. 1.16. Функция отклика детектора ХаррисаНа рис. 1.17 показаны значимые точки, найденные на обоих изображениях детектором SIFT. Размер круга показывает масштаб, в котором, помнению детектора, целесообразно рассматривать объект в точке. Засечка накруге показывает ориентацию объекта.Рис. 1.17.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
