Курсы BI

Описание курса

Этот курс поможет вам разобраться в том, как правильно проектировать и развивать хранилище данных (DWH), чтобы оно отвечало бизнес-задачам компании. Вы изучите ключевые принципы проектирования, эволюцию архитектур(от классических подходов Inmon/Kimball до LakeHouse), методы моделирования данных(3НФ,Звезда, Data Vault 2.0), процесс разработки и современные тренды. В ходе обучения мы разберем реальные кейсы, типичные ошибки и способы их решения, а также рассмотрим лучшие практики, применяемые в индустрии. В конце курса рассмотрим основные инструменты для создания DWH(NiFi, AirFlow, Spark, dbt, Trino, GreenPlum, ClickHose)"

Кому подойдет этот курс

• Бизнес-аналитикам – для понимания, как данные помогают решать бизнес-задачи.
• Продуктовым менеджерам – для эффективного управления данными в продуктах.
• Руководителям IT-проектов – для грамотного планирования и внедрения DWH.
• Начинающим дата-инженерам – для формирования базового понимания DWH и его роли в корпоративной архитектуре.

Чему вы научитесь

• Определять необходимость внедрения DWH и оценивать его ценность для бизнеса.
• Разбираться в архитектурных подходах к созданию DWH и понимать их эволюцию.
• Выбирать правильную архитектуру в зависимости от задач компании.
• Понимать, как различные методологии моделирования данных влияют на эффективность хранилища.
• Разрабатывать DWH с учетом бизнес-требований и технических ограничений.
• Работать с современными инструментами и концепциями, такими как Data Mesh, Data Lakehouse, Apache Iceberg, Trino, dbt.
• Избегать типичных проблем при разработке и эксплуатации DWH.
• Оптимизировать процессы, повышая гибкость, масштабируемость и производительность системы.

Какие выгоды получите после курса:

• Понимание связи бизнеса и данных – сможете говорить на одном языке с бизнесом и IT.
• Глубокое понимание DWH – научитесь проектировать хранилища с учетом актуальных практик.
• Готовность к реальным проектам – сможете участвовать в проектах по разработке и оптимизации DWH.
• Навыки, востребованные в индустрии – понимание архитектуры DWH, моделирования и ETL-процессов.
• Применение на практике – в каждом модуле практические задания, которые закрепляют материал.

 

Программа курса

Модуль 1. Что Такое DWH и Почему Это Важно?

Цели Модуля:

1) Понимать базовые принципы DWH — его роль, ключевые функции и связь с бизнес-задачами.

2) Уметь оценить необходимость DWH для компании через анализ её текущих проблем и бизнес-целей

Темы:

1. Что такое DWH?
2. DWH!? зачем нам это???
   1. Как компания работает с данными без DWH?
   2. ТОП-3 проблемы компаний без DWH
   3. Что получаем с внедрением DWH ?
3. Качество данных и DWH
   1. Что значит "Качество данных" ?
   2. ТОП-5 примеров некачественных данных
   3. Некачественные данные это проблема DWH!
   4. Где исправлять качество данных? Идеал vs Реальность
4. Как DWH делает данные доступнее?
   1. Единая точка входа
   2. Модель данных
   3. Характеристики успешной модели данных в КХД
   4. Автоматизация процессов ETL/ELT
   5. Поддержка разных видов аналитики
   6. Какие преимущества для бизнеса приносит доступность данных?
5. Как DWH решает проблемы производительности? (OLTP и OLAP)
   1. OLTP vs OLAP
   2. Почему плохо совмещать OLTP и OLAP
   3. OLTP и OLAP на одном сервере: почему это путь к катастрофе?
   4. Решение? Выносим аналитику из рабочей базы!
   5. Killer фичи DWH для проблем производительности
6. DWH как фундамент для Data-Driven подхода
   1. Примеры Data-Driven решений
   2. Вам необходимо DWH, если: … ?
7. Когда DWH не нужен?!
8. DWH - 4 ключевых элемента для успешной реализации
9. Современные тренды в развитии DWH
10. Starbucks как data-driven компания

Модуль 2. Архитектура DWH

Цели Модуля:

1) Использовать подходы Инмона и Кимбалла для решения бизнес-задач— Вы научитесь:

2) Создавать слоистую архитектуру DWH, которая работает

Темы:

1. Введение в архитектуру DWH
   1. Что такое архитектура DWH?
   2. Зачем продумывать архитектуру заранее?
2. Классические подходы: Инмон vs Кимбалл
3. Top-Down (Инмон)
4. Bottom-Up (Кимбалл)
5. Сравнение подходов
6. Гибридные решения
7. Современные требования к DWH
8. Почему старые подходы устарели?
9. Гибкость и адаптивность
10. Модульность
11. Компоненты современного DWH
12. Ключевые модули
13. Как достичь модульности?
14. Преимущества компонентной архитектуры
15. Слоистая архитектура DWH
16. Классическая модель (STG → ODS → DDS → CDM → REP)
17. Эволюция подходов
18. Типовые ошибки при проектировании слоёв DWH
19. Как UBER сэкономил 1400 часов каждый месяц используя Text-to-SQL 

Модуль 3. От DWH к LakeHouse — история, технологии и практика

Цели Модуля:

1) Проследить эволюцию подходов к хранению данных — от классических DWH до Data Lake и LakeHouse — через призму технологических и бизнес-вызовов.

2) Понять архитектуру LakeHouse, её компоненты, преимущества и ограничения в сравнении с другими подходами.

Темы:

1. Введение в эволюцию DWH
2. DWH 1970–1990: Зарождение концепций
3. Причины популяризации DWH
4. Ключевые проблемы
5. Влияние на развитие
6. DWH 1990–2000: Эпоха RDW (Relational Data Warehouse)
7. Почему RDW?
8. Преимущества и недостатки RDW
9. Big Data революция (2000–2015)
10. Предпосылки
11. Технологические прорывы
12. Проблемы Hadoop-экосистемы
13. Data Lake: Архитектура и эволюция
14. Компоненты Data Lake
15. Преимущества и недостатки
16. Parquet — фундамент Data Lake
17. Apache Iceberg: Следующий шаг эволюции
18. Что такое табличный формат?
19. Механика Iceberg
20. Преимущества и недостатки
21. LakeHouse: Объединяя лучшее
22. Архитектура LakeHouse
23. Преимущества и Недостатки LakeHouse
24. Современный ландшафт: LakeHouse vs Modern DWH

Модуль 4. Моделирование данных

Цель: Освоить ключевые методологии моделирования данных:  Inmon(3НФ), Kimball(Звезда) и Data Vault 2.0

Темы:

1. Основы моделирования данных
2. Что такое моделирование данных?
3. Этапы моделирования: Концептуальный → Логический → Физический уровень
4. Классические методологии моделирования данных - Inmon
5. Нормализация и 3НФ
6. 3НФ как ядро DWH
7. Аналитический подход к моделированию - Kimball и BEAM
8. Методология и как работает и BEAM
9. Пробуем BEAM на практике для "5-Ретейл"
10. Звезда VS Снежинка
11. Золотые правила проектирования Звезд/Снежинок
12. Data Vault 2.0
13. Принципы, компоненты (хабы, линки, сателлиты).
14. Практика на "5-Ретейл": ошибки, рекомендации.
15. Процесс реализации
16. Сравнение Inmon, Kimball, Data Vault 2.0
17. Data Mesh
18. Архитектура, топологии, проблемы Data Mesh

Модуль 5. Как сделать DWH?

Цель: Освоить методологии, этапы и практические аспекты реализации Greenfield DWH

Темы:

1. Введение в Greenfield DWH-проекты
2. Что такое greenfield в контексте DWH
3. Отличия от других типов проектов
4. Преимущества и риски
5. Выбор методологии для Greenfield DWH
6. Обзор методологий Waterfall, Incremental, Iterative, Agile
7. Почему Incremental + Iterative - идеальный тандем
8. Потенциальные проблемы и их решения
9. Главные принципы успешного Greenfield DWH
10. Этапы Greenfield DWH-проекта на примере компании «5-Ретейл»
11. Этапы Greenfield DWH проекта
12. Что такое уровень зрелости в управлении данными (DMMА)
13. Этапы Greenfield DWH проекта на примере компании "5-Ретейл"
14. Greenfield DWH - Ключевые выводы
15. Разработка DWH и роли в DWH-проектах
16. Жизненный цикл разработки DWH
17. Роли в DWH-проектах
18. Роль архитектора в процессе разработки DWH
19. Метрики DWH
20. Бизнес-метрики
21. Технические метрики
22. Метрики разработки
23. Как правильно делать ETL/ELT?
24. Логика ELT
25. Критерии качественного ELT процесса

Модуль 6. Обзор инструментов для построения DWH

Цели Модуля:

1) Понять основные возможности PostgreSQL для построения DWH

2) Знать об основных open-source инструментах для построения DWH

План:

1. PostgreSQL как основа для DWH
2. Архитектура PostgreSQL
3. Оптимизация: индексы (B-Tree), партицирование, VACUUM.
4. Ключевые аспекты архитектуры для DWH
5. Практика использования PostgreSQL для DWH на примере IMDb
6. Обзор Greenplum и ClickHouse
7. Архитектура
8. Ключевые особенности, сценарии использования, ограничения
9. Сравнение Greenplum vs ClickHouse vs PostgreSQL
10. Обзор open-source ETL/ELT инструментов: Apache Airflow и Ni-Fi
11. Архитектура и ключевые возможности
12. Инструменты Big Data в архитектуре DWH: Kafka, Spark, Trino
13. Архитектура и ключевые возможности
14. Обзор dbt

 

 

« Предыдущий курс     Следующий курс»