PR com único propósito de realizar a revisão do código atual da main #9
Conversation
…o script inicial para extração dos arquivos .zip e carga dos .csv para o banco de dados.
…oding para latin-1
…o muito tempo para subir os dados.
… de carga direto com copy e psycopg2
… do metodo carregar_tabela. Testando
…d". Needs performance improvement as only single thread works.
…do as mensagens de log com detalhe de contagem total de registros
… antes de iniciar de fato a carga. Reconfigurando tamanho das fatias de escrita.
…opy_from para testar melhoria de velocidade de escrita
…nsagens de tempo de carga.
…usive uma tabela de socios
…ualificacao de sócios.
…lacionamento dos dados do Cadastro Nacional de Pessoa Jurídica da Receita Federal
…as informações de estabelecimento e socios, com adição de fluxos de exceção com mensagens de erro.
…cando formatação com black
…ão black e logging para o arquivo de download. Correção do processamento das informações de motivo situação cadastral.
…tratégia para evitar recarga de dados de empresa e sócios
…serção em batch da resposta_socios
…s para empresa e estabelecimentos das informações de sócios. Adicionando objetos ORM SQLAlchemy para permitir o acesso ao banco postgres e aos dados via objetos instanciados em memória, para facilitar o acesso às informações das tabelas auxiliares de informação, com dados do tipo codigo/descricao
…s para empresa e estabelecimentos das informações de sócios. Adicionando objetos ORM SQLAlchemy para permitir o acesso ao banco postgres e aos dados via objetos instanciados em memória, para facilitar o acesso às informações das tabelas auxiliares de informação, com dados do tipo codigo/descricao
…m estrutura tipo dicionário
Todo trecho já revisado e aprovado para junção com o tronco principal do código.
… instruções de instalação e execução
Signed-off-by: Pedro Guimarães <[email protected]>
Atualizando o arquivo de entidade relação das tabelas. Signed-off-by: Pedro Guimarães <[email protected]>
Pequenas correções de formatação do texto Signed-off-by: Pedro Guimarães <[email protected]>
Correção dos links de endpoints da api. Signed-off-by: Pedro Guimarães <[email protected]>
Correções de formatação do texto. Signed-off-by: Pedro Guimarães <[email protected]>
Revisão upmerge com o main trazendo correções de bugs, implementação de backup e adição de documentação
Pequenas adições e correções à documentação README. Signed-off-by: Pedro Guimarães <[email protected]>
Adicionando informações de criação do banco postgres. Signed-off-by: Pedro Guimarães <[email protected]>
Correções e adições. Signed-off-by: Pedro Guimarães <[email protected]>
There was a problem hiding this comment.
@tigreped tá bem legal!
Sobre o código dos .py penso que numa refatoração posterior poderíamos compartimentalizar mais blocos de código em funções e reduzir o número de comentários. As mensagens de logs também atrapalham a leitura dos fluxos principais então seria muito beneficial estarem compartimentalizadas e o fluxo principal ficasse num nível de abstração acima.
Mas no momento não acho que devamos priorizar isso. Deixo apenas esses comentários aqui para sua avaliação:
|
|
||
| Este repositório busca facilitar o acesso às informações publicadas pela Receita Federal do Brasil sobre o Cadastro Nacional de Pessoa Jurídica, na medida em que fornece uma solução para a criação de uma base de dados relacional local unificada para consultas. | ||
|
|
||
| Dessa forma, é possível realizar análises mais profundas com os dados que estão acessíveis através [DESTE SERVIÇO](http://200.152.38.155/CNPJ/). Caso o serviço deixe de estar online ou mude de endereço, o código deverá refletir as alterações. O serviço contém uma listagem com arquivos comprimidos tipo .ZIP que contém, cada um, um arquivo tabular do tipo .CSV (comma-separated-values), representando os dados modelados disponíveis para as seguintes entidades: |
There was a problem hiding this comment.
Bora criar uma issue pra disponibilizar o formato raw de forma mais organizada? Imagino que seja legal poder escolher a versão dos dados e deixar o checksum fácil, por exemplo.
|
|
||
| Assim, uma empresa pode possuir múltiplos estabelecimentos, todos compartilhando o mesmo cnpj base, entretanto cada estabelecimento com um código de ordem individual e um dígito verificador correspondente. | ||
| O estabelecimento possui informações complementares às informações de empresa, definidos pelas outras entidades a que chamaremos de **dimensões complementares**. Segue abaixo a sugestão adotada para a modelagem das tabelas no projeto: | ||
|  |
There was a problem hiding this comment.
Ficou apontando pra branch revisao. Vale deixar genérico
|  | |
|  |
| include_trailing_comma = true | ||
| use_parentheses = true | ||
| line_length = 88 | ||
| known_third_party = ["aiohttp", "parsel"] |
There was a problem hiding this comment.
| known_third_party = ["aiohttp", "parsel"] | |
| known_third_party = ["requests", "parsel"] |
tasks/download.py
Outdated
| import re | ||
| import subprocess | ||
| import os | ||
| import shutil | ||
| import requests | ||
| import time | ||
| import datetime | ||
| from parsel import Selector | ||
| import hashlib | ||
| import logging |
There was a problem hiding this comment.
Ficou faltando executar os formatadores de código?
| file_name = None | ||
| if url: | ||
| file_tokens = url.split("/") | ||
| file_name = file_tokens[-1] | ||
| return file_name |
There was a problem hiding this comment.
Provavelmente não é o caso de mudar aqui, mas se tivermos querystrings ou qualquer outra coisa na url teríamos problemas com o file_name = file_tokens[-1].
Uma recomendação seria usar a urlparse para segmentar a url, utilizar o .path e então a partir do path fazer o .split() (os.path.basename() também poderia ser usado no lugar do .split() se estiver usando apenas o path e não a url inteira).
sql/startdb.sql
Outdated
| # Realiza uma regra de três para calcular a porcentagem de andamento da carga dos dados | ||
| def status_carga(parcial: int, total: int): | ||
| if total != 0: | ||
| x = (parcial * 100) / total | ||
| # Arrendondando os valores | ||
| x = round(x) | ||
| return str(x) | ||
| return None |
There was a problem hiding this comment.
Acho que usar tqdm seria mais interessante para gerenciar os andamentos e aí não precisaríamos ter esse tipo de subrotina implementado aqui. O que acha?
tasks/postgres_interface.py
Outdated
There was a problem hiding this comment.
Parece que os pass ficaram sobrando no fim dos métodos e da declaração de classe
tasks/process_cnpjs.py
Outdated
There was a problem hiding this comment.
Parece que os pass ficaram sobrando no fim de algumas funções
tasks/download.py
Outdated
| f"Não foi possível carregar preventivamente os metadados do arquivo {file_name}. Baixar arquivo." | ||
| ) | ||
| return get_remote_file(url, file_path, retry) | ||
| pass |
No description provided.