Учебный проект по курсу “Системная аналитика DWH”, онлайн-школа T1
Описание проекта
Проект моделирует хранилище данных крупного банка, предоставляющего финансовые услуги для частных лиц (Retail) и малого/среднего бизнеса (SME). Основная цель — разработать архитектуру хранилища, включающую концептуальную, логическую и аналитическую (витринную) модели, а также определить потоки данных и трансформации между слоями (S2T).
Проект состоит из трёх этапов, каждый из которых отражает отдельный уровень проектирования DWH.
⸻
Структура проекта
1️⃣ Conceptual_&_Logical_Model_DWH_Banking.pdf Этап 1. Анализ предметной области и построение моделей данных
• Разработана концептуальная модель, описывающая основные сущности банковской системы: клиент, банковский продукт, счет, транзакции, каналы взаимодействия.
• Построена логическая модель с нормализацией до 3НФ.
• Описаны предположения и допущения, использованные при проектировании.
• Инструменты: Draw.io, ERD, нормализация, DWH fundamentals.
⸻
2️⃣ Star_Schema_&_S2T_Mapping.pdf Этап 2. Проектирование аналитической модели (витрины)
• Построена снежинка (Snowflake) для анализа количества клиентов и продуктов в разрезе канала, продукта и даты (granularity — день).
• Реализована возможность агрегации данных по месяцам, кварталам, годам.
• Добавлена поддержка отслеживания изменений условий по продуктам (SCD Type 2, например изменение процентной ставки).
• Подготовлен S2T-документ, описывающий соответствие между 3НФ и витриной.
⸻
3️⃣ Data_Flows_Design_&_ETL_Pipeline.pdf Этап 3. Проектирование потоков данных и ETL-архитектуры
• Описана схема потоков перемещения данных из источников в хранилище.
• Обоснован порядок загрузки данных в таблицы хранилища (staging → core → marts).
• Для каждого потока данных:
• Определён метод извлечения (Extract)
• Перечислены ключевые преобразования (Transform)
• Подробно описаны структуры и правила загрузки (Load) в формате S2T Mapping.
⸻
Используемые технологии и подходы
• Моделирование: Draw.io / ERD
• Хранилища данных: 3NF, Star/Snowflake Schema
• Процессы: ETL, SCD Type 2, Data Flows, S2T Mapping
• Предметная область: банковские продукты, клиенты, счета, транзакции
⸻
Результат
Проект демонстрирует навыки системного анализа и проектирования DWH, включая:
• построение многослойной архитектуры (3NF → Snowflake → Data Mart),
• разработку S2T-документов,
• понимание логики загрузки и трансформаций данных,
• анализ и моделирование предметной области в банковском секторе.