module-4

Модуль 4. «Хранилища данных. SQL-доступ к данным».

Описание:

По результатам модуля:

• добавляем stream-источник
• создаем схему в хранилище
• создаем дизайн
• оптимизируем под задачу

Занятие 15. DWH. MPP базы данных - назначение и особенности.

• Семейство MPP баз - назначение и особенности
• Логический и физический дизайн
• Vertica

Занятие 16. DWH. Моделирование Хранилища данных.

Студент научится:

• Выстраивать работу с СУБД в соответствии с лучшими практиками
• Выбрать подход для моделирования витрин в DWH
• Использовать фреймворк DBT для построения витрины

Краткое содержание:

• Лучшие практики работы с Аналитическими СУБД
• Логический и физический дизайн
• Data Build Tool (dbt)

Результаты занятия:

• Студент готов построить витрину данных в DWH с использованием DBT

Домашнeе заданиe № 5. Домашнее задание: проектирование DWH и витрины данных.

Занятие 17. Хранилища NoSQL. Назначение и особенности.

• NoSQL Databases. HBase, Cassandra, Elasticsearch, Aerospike
• Key-value
• Cache

Занятие 18. SQL-доступ к данным. Apache Hive.

• SQL - межгалактический язык работы с данными

Домашнeе заданиe № 6. HiveQL.

• Развернуть дистрибутив CDH
• Самостоятельно проделать манипуляции с Hive с приложенными скриптами

Занятие 19. ElasticSearch.

• Знакомство с компонентами ELK-стэка
• Классы задач, для которых подходит ELK