structure de pipeline br_camara_dados_abertos.proposicao

pipelines/datasets/br_camara_dados_abertos/constants.py

@@ -14,7 +14,7 @@ class constants(Enum):
     INPUT_PATH = "/tmp/input/"
     OUTPUT_PATH = "/tmp/output/"
 
-    ANOS = [2023]
+    ANOS = [2024]
 
     TABLE_LIST = {
         "votacao_microdados": "votacoes",
@@ -53,3 +53,11 @@ class constants(Enum):
         "deputado_ocupacao": "https://docs.google.com/spreadsheets/d/1Cj6WE3jk63p21IjrINeaYKoMSOGoDDf1XpY3UH8sct4/edit#gid=0",
         "deputado_profissao": "https://docs.google.com/spreadsheets/d/12R2OY7eqUKxuojcpYYBsCiHyzUOLBBdObnkuv2JUMNI/edit#gid=0",
     }
+
+    # ------------------------------------------------------------> PROPOSIÇÃO
+
+    TABLE_LIST_PROPOSICAO = {
+        "proposicao_microdados": "proposicoes",
+        "proposicao_autor": "proposicoesAutores",
+        "proposicao_tema": "proposicoesTemas",
+    }

pipelines/datasets/br_camara_dados_abertos/tasks.py

@@ -12,6 +12,7 @@
 from pipelines.datasets.br_camara_dados_abertos.utils import (
     get_data,
     get_data_deputados,
+    get_data_proposicao_microdados,
     read_and_clean_camara_dados_abertos,
     read_and_clean_data_deputados,
 )
@@ -87,3 +88,14 @@ def treat_and_save_table(table_id):
     log(f"{constants_camara.OUTPUT_PATH.value}{table_id}/data.csv")
 
     return f"{constants_camara.OUTPUT_PATH.value}{table_id}/data.csv"
+
+
+# -------------------------------------------------------------------> PROPOSIÇÃO
+
+
+@task
+def get_date_proposicao():
+    df = get_data_proposicao_microdados()
+    max_data_proposicao = df["dataApresentacao"].max()
+
+    return max_data_proposicao

pipelines/datasets/br_camara_dados_abertos/utils.py

@@ -155,3 +155,45 @@ def get_data_deputados():
     )
 
     return df
+
+
+# ----------------------------------------------------------------------------------- > Proposição
+
+
+def download_csvs_camara_proposicao() -> None:
+    """
+    Docs:
+    This function does download all csvs from archives of camara de proposição.
+    The csvs saved in conteiners of docker.
+
+    return:
+    None
+    """
+    print("Downloading csvs from camara de proposição")
+    if not os.path.exists(constants.INPUT_PATH.value):
+        os.makedirs(constants.INPUT_PATH.value)
+
+    for anos in constants.ANOS.value:
+        for key, valor in constants.TABLE_LIST_PROPOSICAO.value.items():
+            url_2 = f"http://dadosabertos.camara.leg.br/arquivos/{valor}/csv/{valor}-{anos}.csv"
+
+            response = requests.get(url_2)
+            if response.status_code == 200:
+                with open(constants.INPUT_PATH.value, "wb") as f:
+                    f.write(response.content)
+                    print("donwload complet")
+
+            elif response.status_code >= 400 and response.status_code <= 599:
+                raise Exception(
+                    f"Erro de requisição: status code {response.status_code}"
+                )
+
+
+def get_data_proposicao_microdados():
+    download_csvs_camara_proposicao()
+    df = pd.read_csv(
+        f'{constants.INPUT_PATH.value}{constants.TABLE_LIST_PROPOSICAO.value["proposicao_microdados"]-{constants.ANOS.value}}.csv',
+        sep=";",
+    )
+
+    return df