Для студентов МГТУ им. Н.Э.Баумана по предмету АвтоматизацияАвтоматическая калибровка внешних параметров широкоугольных камер в автомобильных системах кругового обзораАвтоматическая калибровка внешних параметров широкоугольных камер в автомобильных системах кругового обзора
2024-05-252024-05-25СтудИзба
ВКР: Автоматическая калибровка внешних параметров широкоугольных камер в автомобильных системах кругового обзора
Описание
Оглавление
3
4
Введение
В современных автомобилях все чаще используются многокамерные си стемы кругового обзора. Применение таких систем помогает водителю луч ше ориентироваться в окружающей обстановке с помощью виртуальных ви дов, таких как проекция на плоскость земли, вид на колеса или псевдотрех мерная панорама. Также, множество программ и сервисов, параллельно ра ботающих на вычислительном блоке мультимедиа системы, используют ин формацию с камер для обнаружения определенных событий и оповещения водителя о нештатной ситуации (появление пешехода, пересечение траек торий транспортных средств и др.). Для обеспечения согласованного пред ставления об окружающей среде, все программы и сервисы, использующие видеокадры, должны иметь полную информацию о внутренних и внешних параметрах каждой камеры.
Внутренние параметры (фокус, центр оптической оси и коэффициенты нелинейных искажений) вычисляются при производстве конкретной камеры и не меняются в процессе эксплуатации. В отличие от них, внешние пара метры (относительное расположение и направление с привязкой к плоско сти земли) зависят от модели автомобиля и даже от процесса монтажа на машину и со временем могут изменяться. При производстве автомобиля ка либровка внешних параметров камер кругового обзора происходит в конце линии, после того, как машина уже на ходу и камеры зафиксированы в своих посадочных местах. Работник завода заезжает на машине в специально обо рудованную зону с расположенным на полу калибровочным объектом (чаще всего паттерн из черных и белых квадратов) и производит процедуру калиб ровки. Знание всех физических размеров такого объекта и видимость частей паттерна из всех калибруемых камер позволяют достаточно точно вычислить их внешние параметры.
Основная проблема, связанная с этим производственным процессом, со
5
| Введение | 5 | |
| Постановказадачи......................... | 6 | |
| 1 Литобзор | 7 | |
| 1.1 Описание предметной области . . . . . . . . . . . . . . . . . . | 7 | |
| 1.1.1 | Система кругового обзора . . . . . . . . . . . . . . . . | 7 |
| 1.1.2 | Геометрия проективных камер . . . . . . . . . . . . . . | 9 |
| 1.2 Анализ и сравнение существующих методов решения задачи | ||
| автоматической калибровки . . . . . . . . . . . . . . . . . . . . | 11 | |
| 1.2.1 | Методологияанализа................... | 11 |
| 1.2.2 | Natroshvili и Scholl, 2017: “Automatic extrinsic calibra | |
| tion methods for Surround View Systems” . . . . . . . . | 12 | |
| 1.2.3 | Liu и др., 2019: “Online Camera Pose Optimization for | |
| the Surroundview System” . . . . . . . . . . . . . . . . | 12 | |
| 1.2.4 | Choi и др., 2018: “Automatic Calibration of an Around | |
| View Monitor System Exploiting Lane Markings” . . . . | 13 | |
| 1.2.5 | Zhao и др., 2014: “An automatic online camera calibra | |
| tion system for vehicular applications” . . . . . . . . . . | 14 | |
| 1.2.6 | Heng, Li и Pollefeys, 2013: “CamOdoCal: Automatic | |
| intrinsic and extrinsic calibration of a rig with multiple | ||
| generic cameras and odometry” . . . . . . . . . . . . . . | 14 | |
| 1.2.7 | Heng, Furgale и Pollefeys, 2014: “Leveraging Image | |
| Based Localization for InfrastructureBased Calibration of | ||
| a MultiCamera Rig” . . . . . . . . . . . . . . . . . . . | 15 | |
3
| 1.2.8 | Knorr, Niehsen и Stiller, 2013: “Online extrinsic multi | |||
| camera calibration using ground plane induced homogra | ||||
| phies” . . . . . . . . . . . . . . . . . . . . . . . . . . . | 16 | |||
| 1.2.9 | Knorr, 2018: “SelfCalibration of MultiCamera Systems | |||
| for Vehicle Surround Sensing” . . . . . . . . . . . . . . | 16 | |||
| 1.2.10 | Выводы........................... | 17 | ||
| 2 | Основной подход | 19 | ||
| 2.1 | Внешнесистемные требования . . . . . . . . . . . . . . . . . . | 19 | ||
| 2.2 | Требованияксистеме....................... | 20 | ||
| 2.3 | Направлениереализации ..................... | 21 | ||
| 3 | Архитектура системы | 23 | ||
| 3.1 | Высокоуровневыемодули..................... | 23 | ||
| 3.2 | Состояниясистемы ........................ | 24 | ||
| 3.3 | Потокданных ........................... | 26 | ||
| 4 | Прототип | 27 | ||
| 4.1 | Системакоординат ........................ | 27 | ||
| 4.2 | Сегментация поверхности земли . . . . . . . . . . . . . . . . . | 28 | ||
| 4.3 | Сопоставлениеточек ....................... | 28 | ||
| 4.4 | ФильтрКалмана.......................... | 30 | ||
| 4.5 | Финальнаясшивка......................... | 34 | ||
| 5 | Апробация | 35 | ||
| 5.1 | Наборыданных .......................... | 35 | ||
| 5.2 | Проверкаэффективности..................... | 35 | ||
| Заключение | 38 | |||
| Список литературы | 39 | |||
4
Введение
В современных автомобилях все чаще используются многокамерные си стемы кругового обзора. Применение таких систем помогает водителю луч ше ориентироваться в окружающей обстановке с помощью виртуальных ви дов, таких как проекция на плоскость земли, вид на колеса или псевдотрех мерная панорама. Также, множество программ и сервисов, параллельно ра ботающих на вычислительном блоке мультимедиа системы, используют ин формацию с камер для обнаружения определенных событий и оповещения водителя о нештатной ситуации (появление пешехода, пересечение траек торий транспортных средств и др.). Для обеспечения согласованного пред ставления об окружающей среде, все программы и сервисы, использующие видеокадры, должны иметь полную информацию о внутренних и внешних параметрах каждой камеры.
Внутренние параметры (фокус, центр оптической оси и коэффициенты нелинейных искажений) вычисляются при производстве конкретной камеры и не меняются в процессе эксплуатации. В отличие от них, внешние пара метры (относительное расположение и направление с привязкой к плоско сти земли) зависят от модели автомобиля и даже от процесса монтажа на машину и со временем могут изменяться. При производстве автомобиля ка либровка внешних параметров камер кругового обзора происходит в конце линии, после того, как машина уже на ходу и камеры зафиксированы в своих посадочных местах. Работник завода заезжает на машине в специально обо рудованную зону с расположенным на полу калибровочным объектом (чаще всего паттерн из черных и белых квадратов) и производит процедуру калиб ровки. Знание всех физических размеров такого объекта и видимость частей паттерна из всех калибруемых камер позволяют достаточно точно вычислить их внешние параметры.
Основная проблема, связанная с этим производственным процессом, со
5
Характеристики ВКР
Предмет
Учебное заведение
МГТУ им. Н.Э.БауманаСеместр
Просмотров
1
Размер
971 Kb
Список файлов
Автоматическая калибровка внешних параметров широкоугольных камер в автомобильных системах кругового обзора.doc
Tortuga
25 мая 2024 в 11:27
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
