Курс «Arenadata DB для разработчиков» будет полезен разработчикам, планирующим использовать или уже применяющим в работе ADB, или тем, в чьих задачах стоит миграция на ADB. Акцент при проведении курса будет сделан на разборе практических примеров.
Для того, чтобы успешно пройти курс «Arenadata DB для разработчиков», потребуется предварительная подготовка:
- Базовые знания по работе с командной строкой Linux;
- Понимание основ работы реляционных баз данных;
- Базовые знания T-SQL (опыт написания запросов из нескольких таблиц);
- Знакомство с ETL/ELT процессами.
Содержание курса "Arenadata DB для разработчиков":
ДЕНЬ 1:
-
Обзор архитектуры ADB. Концепция MPP и её имплементация в ADB. Терминология и архитектура СУБД. Интерконнект. Выполнение запросов. Отказоустойчивость
-
Основные отличия от других СУБД. Основные отличия ADB от Hadoop, ADQM, Oracle, Postgres
-
Подключение к БД. Реквизиты. Доступы. psql. Лабораторная работа
-
Устройство БД. Шаблоны БД. Логическая схема данных. Обзор дефолтных схем. Основные объекты для работы с БД. Лабораторная работа
-
Пользователи и группы. Роль и пользователь, группы. Доступы. Создание пользователей, управление. Интеграция с LDAP. Лабораторная работа
-
Создание таблицы в БД. Основные правила создания таблиц. Типы данных. Распределение таблицы. Skew. Констрейнты. Тип хранения данных. Компрессия. Лабораторная работа
ДЕНЬ 2:
-
Выполнение запросов. Получение плана. Оптимизаторы. Статистика выполнения. Разбор плана запроса. Redistribute и Broadcast. Поиск узких мест. Лабораторная работа
-
Партиционирование таблицы. Создание партиционированных таблиц. Ключ партиционирования. Разные типы хранения. Файлспейсы и тейблспейсы. Мульти-партиционирование. Удаление. Разбиение. Обмен партиций. Внешние таблицы. Загрузка в партиционированные таблицы. Лабораторная работа
-
Индексы. Применимость индексов. Типы. Best practices. Управление индексами. Основные параметры управления индексами в запросе.Лабораторная работа
-
Транзакции. Обзор. Уровни изоляции. CAP-теорема. Лабораторная работа
-
MVCC. Цели. Реализация. Bloat. VACUUM. VACUUM FULL. Пример. Регламенты. Лабораторная работа
-
Блокировки. Синтаксис. Пример. Лабораторная работа
-
Статистика. Цели. Сбор статистики. Лабораторная работа
-
Ресурсные группы. Обзор. Ограничиваемые ресурсы. Сценарии использования. GUCs. Лабораторная работа
ДЕНЬ 3:
-
Внешние таблицы. Обычные внешние таблицы. Web-внешние таблицы
-
GPFDIST. Сценарии. Сервер gpfdist. Создание внешних таблиц. Опции LOCATION. Достижение лучшей производительности. Параметры GUC. Примеры. Лабораторная работа.
-
GPLOAD. Использование утилиты. Лабораторная работа
-
PXF. Архитектура. Директории сервиса. Конфигурационные файлы. Логи. Управление сервисом. HDFS. HBASE. Hive. JDBC. Pushdown. Batching. Pooling. User impersonation. Лабораторная работа.
-
COPY. Синтаксис. Пример. Лабораторная работа
-
UDF. Цели. PL/SQL. PL/python. C-функции. PLContainer. Волатильность функций. Доверенность функций. Лабораторная работа
-
Продвинутые запросы. Описание языка запросов. Особенности использования. Встроенные функции и операторы. Оконные функции. Common Table Expressions. Работа с JSON и XML данными. Обработка запросов разными оптимизаторами. Особенности работы с партиционированными таблицами. Лабораторная работа
-
Дополнительные модули и библиотеки. Встроенная аналитика на основе MADLib. Работа с географическими данными и объектами с помощью PostGis. Дополнительные модули, поддерживаемые в GP. Лабораторная работа
ДЕНЬ 4:
-
Принципы работы, синтаксис запросов и функций, процедур. Миграция СУБД. Синтаксис запросов/функций в ADB. Соответствие типов DDL. Конструкции SQL. Конструкции PL/SQL. Примеры миграции Oracle -> Greenplum. Блокеры. Лабораторная работа
-
ETL vs ELT подходы. Интеграция источников данных и ADB. Batch-загрузка. PXF. Примеры загрузки данных по JDBC из СУБД Oracle. Лабораторная работа
-
Реализация DWH на базе ADB. Загрузка данных в ODS/DDS слои. Загрузка справочников SCD1/SCD2. Загрузка фактовых таблиц. Лабораторная работа
-
Создание витрины данных. Загрузка данных в ODS/DDS слои. Загрузка справочников SCD1/SCD2. Загрузка фактовых таблиц. Лабораторная работа
- Экзамен