ВКР: Инструмент Data Quality в банковском секторе в BIG DATA

Содержание:
Оглавление
Введение
Почему была выбран данная тема.
Анализ данных в банковской сфере
Data Quality в банковской сфере
Модель инструмента в банковской сфер
Архитектура
Функциональные необходимость.
Объектная модель DQ
Структура YAML конфига
Источник данных. SOURCES
Параметры источников
Объекты проверок. CHECK_OBJECTS
Метрики. METRICS
Сравнение. COMPARES
Группы. Groups
Параметры запуска по расписанию
Алерты. Alerts
Механизм работы prev_metric (Конвейер метрик)
Метрики нал результатами из базы DQ (метрики второго порядка)
Результаты проверок (compare_result_view)
Интеграция в ETL-процесс
Ролевая модель
Вывод

Введение

В современном мире финансовая сфера играет огромную роль в экономическом развитии страны. Для эффективной работы с данными, которые поступают из различных источников, необходимо обеспечить высокое качество информации. Data Quality позволяет выявлять ошибки в данных, устранять их и предотвращать дальнейшие проблемы. В связи с этим вопросы качества данных в финансовой сфере становятся все более актуальными.
В условиях глобальной цифровизации и роста объемов информации, использование больших данных (Big Data) предоставляет банковским организациям огромные возможности для повышения качества услуг и оптимизации бизнес-процессов. Однако, для того чтобы успешно работать с Big Data, необходимо гарантировать высокое