From 350390ec529bda279828c4f0e662cbac07250994 Mon Sep 17 00:00:00 2001 From: Igor do Nascimento Alves Date: Fri, 13 Sep 2024 13:21:22 -0300 Subject: [PATCH 1/6] criando guide e cards para a carreira engenharia de analytics --- .../cards/pt_BR/advanced-data-analytics.yaml | 63 +++++++++++++++ .../data-lake-warehouse-architectures.yaml | 72 +++++++++++++++++ _data/cards/pt_BR/data-pipelines-deploy.yaml | 2 +- _data/guides/pt_BR/analytics-engineering.yaml | 77 +++++++++++++++++++ 4 files changed, 213 insertions(+), 1 deletion(-) create mode 100644 _data/cards/pt_BR/advanced-data-analytics.yaml create mode 100644 _data/cards/pt_BR/data-lake-warehouse-architectures.yaml create mode 100644 _data/guides/pt_BR/analytics-engineering.yaml diff --git a/_data/cards/pt_BR/advanced-data-analytics.yaml b/_data/cards/pt_BR/advanced-data-analytics.yaml new file mode 100644 index 000000000..035a02b71 --- /dev/null +++ b/_data/cards/pt_BR/advanced-data-analytics.yaml @@ -0,0 +1,63 @@ +name: Analise de dados avançada +logo: +short-description: +key-objectives: + - A analise de dados avançada é uma habilidade essencial para profissionais de ciência de dados e engenharia de analutics, permitindo a identificação de padrões, tendências e insights valiosos a partir de grandes volumes de dados. Compreender técnicas avançadas de análise de dados, como machine learning, estatística avançada e análise preditiva, é fundamental para a tomada de decisões baseadas em dados e a criação de modelos de previsão precisos. + - Combinar técnicas de estatística, machine learning e análise de séries temporais para identificar padrões e tendências em dados históricos, prever comportamentos futuros e detectar anomalias em séries temporais. +aditional-objectives: +contents: + - type: YOUTUBE + title: "ChatGPT com Code Interpreter: Análise de Dados Avançada" + link: https://www.youtube.com/watch?v=u-JoDQ58Dv0 + - type: SITE + title: "ICD-UFMG: Testes de Hipóteses - Entendendo valores-p" + link: https://icd-ufmg.github.io/11-hipoteses/ + - type: SITE + title: "ICD-UFMG: Testes AB - Como comparar dois grupos" + link: https://icd-ufmg.github.io/10-ab/ + - type: ARTICLE + title: "Testes de normalidade" + link: https://medium.com/dados-e-saude/testes-de-normalidade-9dc9068bcf80 + - type: YOUTUBE + title: "Prof. Dr. Petronio Silva: Ciência de Dados - Métricas e Testes" + link: https://www.youtube.com/watch?v=gRfS2ns-r0Q + - type: ARTICLE + title: "O Guia Completo para Previsão de Séries Temporais (inglês)" + link: https://towardsdatascience.com/the-complete-guide-to-time-series-forecasting-using-sklearn-pandas-and-numpy-7694c90e45c1 + - type: SITE + title: "Google Livros - Introdução à previsão de séries temporais com Python (inglês)" + link: https://books.google.com.br/books?id=-AiqDwAAQBAJ&printsec=frontcover&hl=pt-BR&source=gbs_ge_summary_r&cad=0#v=onepage&q&f=false + - type: ARTICLE + title: "Google Livros - Aprendizagem profunda para previsão de séries temporais (inglês)" + link: https://books.google.com.br/books?hl=pt-BR&lr=&id=o5qnDwAAQBAJ&oi=fnd&pg=PP1#v=onepage&q&f=false + - type: YOUTUBE + title: "Alexandre Cunha Costa: Análise de Séries Temporais - Previsão (playslist)" + link: https://www.youtube.com/watch?v=BY67cTSBYO0&list=PLSDVadsSlXTD2R5JXcAkk9v-X6qKWH3cs&ab_channel=AlexandreCunhaCosta + - type: YOUTUBE + title: "Leandro: Previsão de Série Temporal com Pycaret (Machine Learning)" + link: https://www.youtube.com/watch?v=0xrsgR4OB60&ab_channel=Leandro + - type: YOUTUBE + title: "economiaetv: Séries Temporais (playlist)" + link: https://www.youtube.com/playlist?list=PLW1zGvUGqyiEw1O3HAcjezB9esyI8R8xe + - type: SITE + title: "Detecção de anomalias em séries temporais (inglês)" + link: https://neptune.ai/blog/anomaly-detection-in-time-series +alura-contents: + - type: COURSE + title: "Data Science: testando relações com Regressão Linear" + link: https://cursos.alura.com.br/course/data-science-testando-relacoes-regressao-linear + - type: COURSE + title: "Data Science: testando hipóteses" + link: https://cursos.alura.com.br/course/data-science-testando-hipoteses + - type: ARTICLE + title: "Séries temporais e suas aplicações" + link: https://www.alura.com.br/artigos/series-temporais-e-suas-aplicacoes + - type: COURSE + title: "Curso Data Science: análise de series temporais" + link: https://www.alura.com.br/curso-online-data-science-series-temporais + - type: COURSE + title: "Curso Data Science: analisando e prevendo séries temporais" + link: https://cursos.alura.com.br/course/data-science-analisando-prevendo-series-temporais + - type: BOOK + title: "Séries temporais com Prophet" + link: https://www.casadocodigo.com.br/products/livro-series-temporais-prophet \ No newline at end of file diff --git a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml new file mode 100644 index 000000000..e05a5003a --- /dev/null +++ b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml @@ -0,0 +1,72 @@ +name: Arquituras de dados: Data Lake e Data Warehouse +logo: +short-description: +key-objectives: + - As arquiteturas de dados, como Data Lakes e Data Warehouses, são fundamentais para a engenharia de dados, permitindo a coleta, armazenamento, processamento e análise de grandes volumes de dados de diversas fontes. Data Lakes são projetados para armazenar dados brutos em seu formato original, enquanto Data Warehouses são otimizados para análises de negócios. Compreender as diferenças e os casos de uso de cada arquitetura é essencial para projetar e implementar soluções de dados eficazes. + - Na engenharia de analytics e ciência de dados, a escolha da arquitetura de dados correta é crucial para garantir a qualidade, a confiabilidade e a acessibilidade dos dados. Data Lakes são ideais para armazenar grandes volumes de dados brutos e semiestruturados, permitindo flexibilidade na análise e processamento dos dados. Já os Data Warehouses são otimizados para consultas analíticas complexas e relatórios de negócios, garantindo a consistência e a qualidade dos dados para tomada de decisões. +aditional-objectives: +contents: + - type: SITE + title: "AWS: O que é um data lake?" + link: https://aws.amazon.com/pt/big-data/datalakes-and-analytics/what-is-a-data-lake/ + - type: YOUTUBE + title: "Código Fonte TV: Data Warehouse / Data Lake / Data Lakehouse" + link: https://www.youtube.com/watch?v=V07Pk4de-5M + - type: ARTICLE + title: "Data Lake: O componente essencial em uma Estratégia de Dados" + link: https://www.linkedin.com/pulse/data-lake-o-componente-essencial-em-uma-estrat%C3%A9gia-de-brito-ruiz/?originalSubdomain=pt + - type: ARTICLE + title: "Conceito de Datalake e armazenamentos possíveis" + link: https://medium.com/rescuepoint/conceito-de-datalake-e-armazenamentos-poss%C3%ADveis-65f337924fc8 + - type: ARTICLE + title: "Data Lake x Data Warehouse: Onde armazenar seus dados?" + link: https://medium.com/datalakers-blog/data-lake-x-data-warehouse-onde-armazenar-seus-dados-67534c9dcfad + - type: YOUTUBE + title: "Seu primeiro passo no mundo analítico - Criando o primeiro datalake na AWS" + link: https://www.youtube.com/watch?v=sVFT-XK6rk4 + - type: COURSE + title: "AWS Data Lake: construindo pipelines na AWS" + link: https://cursos.alura.com.br/formacao-aws-data-lake-construindo-pipelines-aws + - type: COURSE + title: "Azure Data Lake: criando um pipeline de ingestão de dados" + link: https://cursos.alura.com.br/course/azure-data-lake-pipeline-ingestao-dados +alura-contents: + - type: COURSE + title: "Formação BigQuery" + link: https://cursos.alura.com.br/formacao-bigquery + - type: COURSE + title: "Formação BI e Data Warehouse com SQL Server e Power BI" + link: https://cursos.alura.com.br/formacao-business-intelligence-data-warehouse + - type: COURSE + title: "Data Warehouse com Data Marts e Power BI" + link: https://cursos.alura.com.br/formacao-data-warehouse-data-marts-power-bi + - type: COURSE + title: “Data Warehouse com Data Lake e SQL Server" + link: https://cursos.alura.com.br/formacao-business-intelligence-data-warehouse-data-lake-sql-server + - type: YOUTUBE + title: "Alura: O que são Data Lakes?" + link: https://www.youtube.com/watch?v=GkhuRcHsVMk + - type: ARTICLE + title: "Data Lake vs Data Warehouse" + link: https://www.alura.com.br/artigos/data-lake-vs-data-warehouse + - type: PODCAST + title: "Hipsters.tech: Data Lakes" + link: https://www.hipsters.tech/data-lakes-hipsters-ponto-tech-269/ + - type: COURSE + title: "Formação Engenharia de dados com Databricks" + link: https://cursos.alura.com.br/formacao-databricks + - type: SITE + title: "Hotmart e a Democratização de dados em um cenário de microsserviços" + link: https://cursos.alura.com.br/extra/cases/hotmart-e-a-democratizacao-de-dados-em-um-cenario-de-microsservicos-z1066 + - type: SITE + title: "Banco Pan e a Jornada de construção de um Data Lake" + link: https://cursos.alura.com.br/extra/cases/banco-pan-e-a-jornada-de-construcao-de-um-data-lake-z1284 + - type: COURSE + title: “Data Warehouse com Data Lake e SQL Server" + link: https://cursos.alura.com.br/formacao-business-intelligence-data-warehouse-data-lake-sql-server + - type: PODCAST + title: "Datamesh com a ThoughtWorks" + link: https://cursos.alura.com.br/extra/hipsterstech/datamesh-com-a-thoughtworks-hipsters-ponto-tech-292-a1418 + - type: COURSE + title: "Formação Data Mesh" + link: https://cursos.alura.com.br/formacao-data-mesh diff --git a/_data/cards/pt_BR/data-pipelines-deploy.yaml b/_data/cards/pt_BR/data-pipelines-deploy.yaml index b8e401656..2a43f30e2 100644 --- a/_data/cards/pt_BR/data-pipelines-deploy.yaml +++ b/_data/cards/pt_BR/data-pipelines-deploy.yaml @@ -31,7 +31,7 @@ contents: title: "Escritório de Dados: Aula 05 - Fazendo deploy de pipelines (mais exemplos)" link: https://www.youtube.com/watch?v=jNivNlva2sU - type: COURSE - title: "Deploy de Data Pipelines" + title: "AWS Data Lake: construindo pipelines na AWS" link: https://cursos.alura.com.br/formacao-aws-data-lake-construindo-pipelines-aws - type: COURSE title: "Azure Data Lake: criando um pipeline de ingestão de dados" diff --git a/_data/guides/pt_BR/analytics-engineering.yaml b/_data/guides/pt_BR/analytics-engineering.yaml new file mode 100644 index 000000000..394d14d92 --- /dev/null +++ b/_data/guides/pt_BR/analytics-engineering.yaml @@ -0,0 +1,77 @@ +name: Analytics Engineering +tags: + - data +expertise: + - name: Analytics Engineer Jr + cards: + - data-visualization-bi: + priority: 10 + - business-intelligence-fundamentals: + priority: 10 + - python-fundamentals: + priority: 9 + - sql-fundamentals: + priority: 9 + - data-engineering-fundamentals: + priority: 9 + - statistics-and-math-fundamentals: + priority: 9 + - data-modeling: + priority: 8 + - cloud-service-providers: + priority: 8 + - databases-fundamentals: + priority: 8 + - name: Analytics Engineer Mid + cards: + - advanced-data-analytics: + priority: 10 + - python-for-data-science: + priority: 10 + - sql-advanced: + priority: 9 + - data-pipeline-orchestration: + priority: 9 + - cloud-fundamentals: + priority: 8 + - big-data-fundamentals: + priority: 8 + - name: Analytics Engineer in depth + cards: + - data-pipelines-deploy: + priority: 10 + - log-management: + priority: 9 + - data-protection: + priority: 9 + - data-governance: + priority: 9 + - data-lake-warehouse-architectures: + priority: 8 + - storytelling-with-data: + priority: 10 +collaboration: + - name: Comunicação, Negócios e Colaboração + cards: + - business-analysis: + priority: 10 + - communication-skills: + priority: 9 + - technical-english: + priority: 8 + - name: Análise e Sistemas + cards: + - excel: + priority: 10 + - api_building: + priority: 10 + - ci-cd: + priority: 9 + - devops-and-cloud-concepts: + priority: 9 + - linux-fundamentals: + priority: 8 + - git-and-github-fundamentals: + priority: 8 + - streaming: + priority: 8 \ No newline at end of file From 98f54a94d7394af81fa6d2097a81629ca2c24291 Mon Sep 17 00:00:00 2001 From: Igor do Nascimento Alves Date: Fri, 13 Sep 2024 13:30:55 -0300 Subject: [PATCH 2/6] corrigindo nome do card --- _data/cards/pt_BR/data-lake-warehouse-architectures.yaml | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml index e05a5003a..022bb7865 100644 --- a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml +++ b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml @@ -1,5 +1,5 @@ -name: Arquituras de dados: Data Lake e Data Warehouse -logo: +name: Arquituras de dados - Data Lake e Data Warehouse +logo: short-description: key-objectives: - As arquiteturas de dados, como Data Lakes e Data Warehouses, são fundamentais para a engenharia de dados, permitindo a coleta, armazenamento, processamento e análise de grandes volumes de dados de diversas fontes. Data Lakes são projetados para armazenar dados brutos em seu formato original, enquanto Data Warehouses são otimizados para análises de negócios. Compreender as diferenças e os casos de uso de cada arquitetura é essencial para projetar e implementar soluções de dados eficazes. From 198213189997eca37854ee823a93f00c3e66fb11 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Fabr=C3=ADcio=20Carraro?= Date: Fri, 13 Sep 2024 15:23:52 -0300 Subject: [PATCH 3/6] Update data-lake-warehouse-architectures.yaml --- _data/cards/pt_BR/data-lake-warehouse-architectures.yaml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml index 022bb7865..00749defa 100644 --- a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml +++ b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml @@ -1,4 +1,4 @@ -name: Arquituras de dados - Data Lake e Data Warehouse +name: Arquiteturas de Dados - Data Lake e Data Warehouse logo: short-description: key-objectives: From 23cd44eab0a91d75c0568c82c66fdbdba39033f5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Fabr=C3=ADcio=20Carraro?= Date: Fri, 13 Sep 2024 15:24:33 -0300 Subject: [PATCH 4/6] Update advanced-data-analytics.yaml --- _data/cards/pt_BR/advanced-data-analytics.yaml | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/_data/cards/pt_BR/advanced-data-analytics.yaml b/_data/cards/pt_BR/advanced-data-analytics.yaml index 035a02b71..090cbc1f7 100644 --- a/_data/cards/pt_BR/advanced-data-analytics.yaml +++ b/_data/cards/pt_BR/advanced-data-analytics.yaml @@ -1,4 +1,4 @@ -name: Analise de dados avançada +name: Análise de Dados Avançada logo: short-description: key-objectives: @@ -60,4 +60,4 @@ alura-contents: link: https://cursos.alura.com.br/course/data-science-analisando-prevendo-series-temporais - type: BOOK title: "Séries temporais com Prophet" - link: https://www.casadocodigo.com.br/products/livro-series-temporais-prophet \ No newline at end of file + link: https://www.casadocodigo.com.br/products/livro-series-temporais-prophet From 8a1e87ba21bdca6da8b512e54550d32f5687d5fc Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Fabr=C3=ADcio=20Carraro?= Date: Fri, 13 Sep 2024 15:25:03 -0300 Subject: [PATCH 5/6] Update advanced-data-analytics.yaml --- _data/cards/pt_BR/advanced-data-analytics.yaml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/_data/cards/pt_BR/advanced-data-analytics.yaml b/_data/cards/pt_BR/advanced-data-analytics.yaml index 090cbc1f7..63be0916c 100644 --- a/_data/cards/pt_BR/advanced-data-analytics.yaml +++ b/_data/cards/pt_BR/advanced-data-analytics.yaml @@ -2,7 +2,7 @@ name: Análise de Dados Avançada logo: short-description: key-objectives: - - A analise de dados avançada é uma habilidade essencial para profissionais de ciência de dados e engenharia de analutics, permitindo a identificação de padrões, tendências e insights valiosos a partir de grandes volumes de dados. Compreender técnicas avançadas de análise de dados, como machine learning, estatística avançada e análise preditiva, é fundamental para a tomada de decisões baseadas em dados e a criação de modelos de previsão precisos. + - A análise de dados avançada é uma habilidade essencial para profissionais de ciência de dados e engenharia de analytics, permitindo identificação de padrões, tendências e insights valiosos a partir de grandes volumes de dados. Compreender técnicas avançadas de análise de dados, como machine learning, estatística avançada e análise preditiva, é fundamental para a tomada de decisões baseadas em dados e a criação de modelos de previsão precisos. - Combinar técnicas de estatística, machine learning e análise de séries temporais para identificar padrões e tendências em dados históricos, prever comportamentos futuros e detectar anomalias em séries temporais. aditional-objectives: contents: From 61566c506733d960ebcbc138162044f152407b61 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Fabr=C3=ADcio=20Carraro?= Date: Fri, 13 Sep 2024 15:34:26 -0300 Subject: [PATCH 6/6] Update data-lake-warehouse-architectures.yaml --- _data/cards/pt_BR/data-lake-warehouse-architectures.yaml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml index 00749defa..c3011dd17 100644 --- a/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml +++ b/_data/cards/pt_BR/data-lake-warehouse-architectures.yaml @@ -3,7 +3,7 @@ logo: short-description: key-objectives: - As arquiteturas de dados, como Data Lakes e Data Warehouses, são fundamentais para a engenharia de dados, permitindo a coleta, armazenamento, processamento e análise de grandes volumes de dados de diversas fontes. Data Lakes são projetados para armazenar dados brutos em seu formato original, enquanto Data Warehouses são otimizados para análises de negócios. Compreender as diferenças e os casos de uso de cada arquitetura é essencial para projetar e implementar soluções de dados eficazes. - - Na engenharia de analytics e ciência de dados, a escolha da arquitetura de dados correta é crucial para garantir a qualidade, a confiabilidade e a acessibilidade dos dados. Data Lakes são ideais para armazenar grandes volumes de dados brutos e semiestruturados, permitindo flexibilidade na análise e processamento dos dados. Já os Data Warehouses são otimizados para consultas analíticas complexas e relatórios de negócios, garantindo a consistência e a qualidade dos dados para tomada de decisões. + - Na Engenharia de Analytics e Ciência de Dados, a escolha da arquitetura de dados correta é crucial para garantir a qualidade, a confiabilidade e a acessibilidade dos dados. Data Lakes são ideais para armazenar grandes volumes de dados brutos e semiestruturados, permitindo flexibilidade na análise e processamento dos dados. Já os Data Warehouses são otimizados para consultas analíticas complexas e relatórios de negócios, garantindo a consistência e a qualidade dos dados para tomada de decisões. aditional-objectives: contents: - type: SITE