Курсы BI

Цель курса

научить руководителей и специалистов по работе с данными выстраивать систему управления качеством данных, которая масштабируется, снижает бизнес-риски и окупается за счёт предотвращения инцидентов.

По результату курса студенты смогут

• Разрабатывать и обосновывать процесс управления качеством данных с учётом бизнес-рисков.
• Внедрять и настраивать инструменты автоматического контроля и мониторинга качества данных.
• Управлять инцидентами, рисками и коммуникацией в области качества данных.
• Внедрять и масштабировать DQ-фреймворк в организации с любым уровнем зрелости.
• Оценивать влияние проблем с данными на TCO, AI-стратегии и бизнес-показатели.

Для кого курс

• Специалисты, отвечающие за внедрение Data Governance и Data Quality
• Тимлиды и руководители команд данных
• Бизнес-аналитики и дата-инженеры
• Руководители IT-проектов и продуктовые менеджеры

 

Модуль 1. Введение в контекст

Цель: сформировать понимание о базовых терминах и проблематике контроля качества данных, а также о том что качество данных - это управленческая ответственность, а не только инженерная задача.

Темы:

1. Что такое качество данных качество данных
2. Как низкое качество данных убивает AI-стратегии и увеличивает TCO.
3. Реальные примеры: финансовые потери, сбои в отчётности, репутационные риски.
4. DQ как управленческая ответственность: системный подход, бюджет, внимание топ-менеджмента.

Задание: групповая дискуссия «Какие проблемы с данными есть в вашей компании и как вы их сейчас решаете?»

Модуль 2. Метрики, архитектура и Governance

Цель: научиться переводить технические метрики на язык бизнеса, строить архитектуру DQ и управлять ответственностью.

Темы:

1. Технические vs бизнес-метрики. Как говорить на языке компании.
2. Шесть классических измерений качества данных (Completeness, Uniqueness, Validity, Accuracy, Consistency, Timeliness) и почему их недостаточно.
3. Трансформация технических метрик в бизнес-показатели: от «% NULL» до «потерянной выручки».
4. Формулирование SLO (Service Level Objectives) для данных.
5. Архитектурные паттерны: Shift-Left и Shift-Right.
6. Data Contracts: когда нужны, когда избыточны.
7. Интеграция с каталогами данных (OpenMetadata, DataHub, Arenadata Catalog) и семантическим слоем (DataForge).
8. Data Governance: роли (Data Owner, Data Steward, Data Engineer), RACI-матрица, бизнес-глоссарий.
9. Управление техническим долгом в DQ: приоритизация, рефакторинг, отключение устаревших правил.

Задание: разработка шаблона SLO для своего бизнес-кейса; составление Data Contract для выбранного домена; заполнение RACI-матрицы.

Модуль 3. Внедрение Data Observability

Цели модуля:

Освоить современные подходы к автоматическому обнаружению проблем с данными и контролю качества ML-моделей и AI-агентов.

Темы:

1. Data Quality vs Data Observability: в чём разница.
2. Пять столпов Observability: freshness, distribution, volume, schema, lineage.
3. «Линзы» Observability: логи, метрики, трейсы для данных.
4. Архитектурные ревью как практика работы с Observability.
5. Механизмы защиты и отката.
6. ИИ-агенты-разведчики: как они улучшают Observability.
7. Автоматическое обнаружение аномалий: Row Count Anomaly, NULL-проценты, распределения.
8. Немного про продвинутые методики поиска аномалий: PSI, KS-тест, Isolation Forest, Z-score.
9. Качество данных в ML-контуре: concept drift, data drift, стратегии реагирования.
10. Agentic AI: новые вызовы, контроль качества работы агентов, метрики faithfulness, hallucination rate, grounding score.

Задание: разбор кейса «Компания заметила падение качества в витрине - как Observability + агенты помогают найти источник за часы, а не за недели».

Модуль 4. Инциденты и доверие

Цель: выстроить процессы управления инцидентами и сделать доверие к данным измеримым.

Темы:

1. Жизненный цикл инцидента: обнаружение → классификация → эскалация → исправление → постмортем.
2. Шаблон описания инцидента: impact, root cause, corrective actions.
3. Операционные метрики: MTTR, количество инцидентов, доля автоматически найденных.
4. Расчёт стоимости плохого качества данных (COPQ) на основе инцидентов.
5. Бенчмарки и KPI для DQ-команды.
6. Автоматическое разрешение инцидентов: от алертов к авто-исправлению.
7. SLA и SLI для данных.
8. Публичный статус-дашборд для бизнеса.
9. Data Trust Score: как измерить доверие и использовать его для приоритизации.
10. Аудит проверок: вопросы, периодичность, обновление метрик.         

Задание: разбор реального инцидента с распределением ролей; расчёт MTTR и COPQ; проектирование публичного

Модуль 5. Стратегия и процесс внедрения

Цель: научиться внедрять DQ-фреймворк, продавать его внутри компании, рассчитывать бюджет и соблюдать регуляторные требования.

Темы:

1. Как «продать» DQ смежным командам: аналитикам, разработчикам, BI, продукт-менеджерам.
2. Централизованная vs децентрализованная модель DQ-команды.
3. Мотивация инженеров: DQ в OKR, Definition of Done.
4. Data Quality как сервис (DQaaS).
5. Data Storytelling: структура презентации «проблема → impact → root cause → решение → выгода».
6. Техники работы с возражениями: «Это не приоритет», «Нет бюджета», «Позже».
7. Идеальная архитектура DQ-фреймворка: слои, связи, встраивание в ландшафт.
8. План внедрения за 3 месяца: по неделям, с задачами и ответственными.
9. Адаптация фреймворка под уровень зрелости: хаос → средний → Data Mesh.
10. Неструктурированные данные: как работать с их качеством.
11. Антикейсы и фатальные ошибки при внедрении.
12. Бюджетирование: TCO DQ-инструментов, Open-Source vs Commercial.
13. Критерии выбора инструментов: интеграция с каталогом, наличие ИИ-агентов, поддержка РФ.
14. Регуляторные требования: 152-ФЗ, GDPR, штрафы, DQ-проверки для критических полей.

Задание:

• разработка дорожной карты внедрения DQ-фреймворка на 3 месяца;
• подготовка 3-минутного питча для руководства;
• расчёт TCO для своего кейса.

Финальный тест

30-35 вопросов на знание концепций, понятий, инструментов.

 

« Предыдущий курс     Следующий курс»