Даты курса
02.09.2025 - 05.09.2025
09.12.2025 - 12.12.2025
Что представляет собой курс
Это четырехдневный практический курс. В рамках которого участники получат теоретические знания и практический опыт по:
- подготовке окружения и установке Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
- архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
- Arenadata Streaming Control (ADS Control);
- архитектуре, администрированию и эксплуатации Apache NiFi;
- обеспечению информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.
Аудитория курса
Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными и обеспечения безопасности кластеров Apache Kafka и Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для системных администраторов, специалистов по информационной безопасности и разработчиков в области больших данных. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных − Arenadata Streaming.
Слушателям необходимо обладать следующим уровнем подготовки:
- знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
- опыт работы с SQL.
Программа
Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
- Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
- Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
- Arenadata Streaming Control.
- Arenadata Platform Security.
Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi
- Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
- Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).
- Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi.
Архитектура и инструменты Apache Kafka
- Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
- Topics Kafka.
- Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
- Гарантии надежности Kafka (доставка/потребление).
- Producers Kafka.
- Запись сообщений в Kafka, console Producer.
- Настройка Producers.
- Consumers Kafka.
- Сonsumer groups, ребалансировка разделов.
- Настройка Consumers.
- Изменение параметров Topics, consumer groups, Partitions.
Kafka Connect
- Основные понятия и инструменты.
- FileStream Connectors.
- CDC Debezium.
- Kafka ADB Connectors.
Kafka REST Proxy, ksqlDB
- Основные возможности и примеры использования.
Мультикластерные архитектуры
- Топология мультикластерной репликации.
- Настройка MirrorMaker, Mirror Connectors.
Архитектура и инструменты Apache NiFi
- Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
- Создание, настройка и управление процессорами, процессорными группами.
- Flow Files и атрибуты.
- Подключение источников (File, Apache Kafka, СУБД (ADB)).
- FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
Администрирование и эксплуатация Apache NiFi
- Инструменты мониторинга и администрирования.
- Горизонтальное масштабирование и отказоустойчивость NiFi.
- Управление репликацией и балансировкой нагрузки.
- Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Arenadata Streaming Control (ADS Control)
- Планирование кластера, настройка параметров окружения и установка, обзор UI.
- Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).
Управление информационной безопасностью кластера ADS
- Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
- Керберизация ADS/ADPS с MS Active Directory, Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров
- Настройка LDAP sync source для Ranger User synchronizer.
- Настройка LDAP/AD auth для Ranger Admin.
- Присоединение узлов к Active Directory (SSSD/realmd).
- Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
- Настройка авторизации: Kafka (ACL, Apache Ranger Plugin), Apache NiFi (based authorizer, Apache Ranger Plugin).
Итоговое тестирование