ARMG «Архитектура данных»
Теоретический минимум для эффективной работы с архитектурными моделями корпоративных репозиториев и их реализациями в реляционных хранилищах и NoSQL-средах на базе Hadoop и других технологий Big Data.
Спикер: Елена Верещага
Чему вы научитесь
- Поймете базовые задачи Data Governance
- Разберетесь с основными положениями теории построения корпоративных хранилищ данных с учетом современных принципов и технологий Big Data
- Узнаете особенности процессов построения, внедрения и эксплуатации озер данных
- Получите базовые навыки обеспечения качества данных и эффективной эксплуатации корпоративных репозиториев
Программа курса
6 дней · 24 ак. часа · 50% теории / 50% практики
Дни 1–2 · Архитектура данных и Data Governance6 тем
- Архитектура данных как часть реализации стратегии Data Centric на уровне предприятия. Роль и задачи архитектора данных. Data Governance
- Data Driven-подход. Успехи, проблемы, эволюция. Внедрение Data Lake: что может пойти не так?
- Application Centric vs Data Centric. Когда, внедряя Big Data, мы приближаемся к Data Centric, а когда отдаляемся?
- Какие проблемы невозможно решить на уровне Data Lake / DWH. Задачи Data Governance. Корпоративная модель данных (EDM) как часть Data Governance
- Архитектор данных. Роли и задачи
- Стандартизация работы с данными предприятия. Внедрение практик культуры работы с данными. Задачи, процессы и сложности
Дни 3–4 · Проектирование моделей данных11 тем
- Основные подходы к проектированию моделей данных ключевых компонентов Big Data-решений
- Обобщенная схема архитектурных решений. Требования к компонентам и моделям данных
- Понятие модели данных. Виды моделей данных, их назначение и особенности
- Реляционная модель данных. Нормализация и денормализация
- Классическая концептуальная модель «сущность–связь» и ее расширения
- Нотации и инструменты моделирования данных
- Концептуальная, логическая и физическая модели данных
- Ключевое отличие построения моделей данных аналитических систем — работа со временем. Поддержка истории изменений
- BEAM (Business Event Activity Modeling) — подход к проектированию моделей для аналитических задач
- Design-паттерны проектирования моделей данных
- Моделирование ядра. Подход Data Vault, его преимущества, ограничения и развитие
Дни 5–6 · Метаданные, загрузка и витрины8 тем
- Основные подходы к проектированию моделей данных ключевых компонентов Big Data-решений
- Метаданные
- Эффективная загрузка данных
- Итеративное развитие модели данных ядра
- Моделирование аналитических витрин. Подход Р. Кимбалла и его развитие
- Отраслевые примеры моделей данных
- Виды метаданных для аналитических систем
- Эффективное обновление данных. Управление загрузкой
Требования
- Предварительный опыт не требуется
Для кого этот курс
- ИТ-архитекторы, системные аналитики и разработчики, которым интересно проектирование моделей данных систем аналитического класса (озера и хранилища данных)
- Руководители Big Data-проектов и команд в области аналитики
- Специалисты направления Data Governance
- ИТ-менеджеры и руководители проектов по цифровизации
Описание
Курс «Архитектура моделей данных» содержит теоретический минимум, необходимый для эффективной прикладной работы с архитектурными моделями корпоративных репозиториев и их различными реализациями в виде реляционных хранилищ и NoSQL-сред на базе Hadoop и других технологий Big Data.
Вы разберете роль архитектора данных в стратегии Data Centric, классические и современные подходы к моделированию — от реляционной модели и «сущность–связь» до BEAM, Data Vault и витрин по Р. Кимбаллу, — а также работу с метаданными и эффективную загрузку данных.
Кто проводит курс
Елена Верещага
Московский энергетический институт, 1996
- Проектирование и разработка хранилищ данных и аналитических систем (Skyeng, Райффайзен Банк, Связной-Retail, Банк Открытие, Альфа-Банк, ВТБ24, Форс — центр разработки)
- Проектирование модели данных: концептуальное, логическое, физическое
- Оптимизация хранения данных для систем OLTP, DSS, DWH, Data Lake
- Концептуальный дизайн аналитических систем под разные бизнес-потребности
- Системная архитектура и оптимизация загрузки данных для хранилищ и озер данных
- Разработка архитектурных стандартов проектирования моделей данных на корпоративном уровне