Проект | Технологии, инструменты, библиотеки |
---|---|
Проверка качества данных. Витрина метрики RFM. | SQL, Common Table Expression, Window Functions, PostgreSQL, cloudbeaver |
Модификация DWH. Миграция данных в новую модель. | SQL, Window Functions, PostgreSQL, cloudbeaver |
Модификация ETL и витрины. Реализация идемпотентности. | AirFlow, SQL, PostgreSQL, cloudbeaver, bash, pandas, SQLAlchemy, PostgresOperator, BashOperator |
Проверки качества данных в ETL процессе | AirFlow, SQL, PostgreSQL |
Витрина на DWH из нескольких источников | Airflow, PostgreSQL, MongoDB Compass, pendulum, Jupyter Notebook, bash, SQLAlchemy, PostgresHook |
Витрина на данных аналитической БД Vertica | AirFlow, Yandex S3 Storage, Common Table Expression, SQL, Vertica, cloudbeaver, pandas |
Spark/PySpark в Hadoop. Работа с HDFS. | Hadoop, Spark, PySpark, YARN, MapReduce, Window Functions, HDFS, Airflow, SparkSubmitOperator, Parquet |
Обработка потоковых данных в Spark Streaming | Kafka, PySpark, AirFlow, kcat, Jupyter Notebook, SQL, PostgreSQL, Spark Streaming |
Создание сервисов в инфраструктуре Yandex Cloud | Yandex Cloud Services, Datalense, Kubernetes, kubectl, Kafka, kcat, confluent_kafka, flask, Docker Compose, Helm, Redis |
Объединение потоков данных. Витрина аналитики. | Yandex S3, DWH, Vertica, boto3, Airflow, TriggerDagRunOperator, Metabase |
-
Notifications
You must be signed in to change notification settings - Fork 4
Проекты курса Инженер данных на платформе Yandex Practicum
License
SergeySenigov/data-engineer-practicum-portfolio
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
Проекты курса Инженер данных на платформе Yandex Practicum
Topics
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published