README.md

Mecanismo de busca e repositório de bases de dados brasileiras e internacionais.

Versões atuais do pacote:

R	Python

O que fazemos?

Organizamos, tratamos e disponibilizamos bases de dados públicas difíceis de se manusear e disponibilizamos as mesmas no nosso mecanismo de busca e num datalake público de forma fácil e simples para que a única preocupação de quem as utiliza seja qual pergunta fazer aos dados. Uma simples consulta de SQL é o suficiente para cruzamento das bases que você desejar - sem nunca mais precisar procurar, baixar, tratar, comprar um servidor e subir clusters na nuvem.

Nosso repositório traz acesso, rapidez, escala, facilidade, economia, curadoria, e transparência ao cenário de dados no Brasil.

Usando em Python

Instale

pip install basedosdados

Crie seu projeto no BigQuery

É necessário criar um projeto para que você possa fazer as queries no nosso repositório. Ter um projeto é de graça e basta ter uma conta Google (seu gmail por exemplo).

Caso não tenha ainda um projeto, veja aqui como criar um projeto no Google Cloud.

Se possível, armazene suas credenciais em um arquivo dotenv:

"billing_project_id=<suas_credenciais_do_projeto>" >> .env

Acesse uma tabela

import basedosdados as bd

df = bd.read_table('br_ibge_pib', 'municipios', billing_project_id="<YOUR-PROJECT>")

Caso esteja acessando da primeira vez, vão aparecer alguns passos na tela para autenticar seu projeto - basta segui-los!

Faça uma consulta

import basedosdados as bd

# Bens dos candidatos de Tocantins em 2020
query = """
SELECT *
FROM `basedosdados.br_tse_eleicoes.bens_candidato` 
WHERE ano = 2020
AND sigla_uf = 'TO'
"""

df = bd.read_sql(query, billing_project_id="<YOUR-PROJECT>")

Caso esteja acessando da primeira vez, vão aparecer alguns passos na tela para autenticar seu projeto - basta segui-los!

Veja todos os datasets disponíveis

import basedosdados as bd

bd.list_datasets()

Para saber mais, veja os exemplos ou a documentação da API

Usando em R

Instale

install.packages("basedosdados")

# ou a versão de desenvolvimento

devtools::install_github("basedosdados/mais", subdir = "r-package")

Faça uma consulta

library(basedosdados)

set_billing_id("id do seu projeto aqui") # autenticação para acesso aos dados

pib_per_capita <- " 
SELECT 
    pib.id_municipio ,
    pop.ano, 
    pib.PIB / pop.populacao * 1000 as pib_per_capita
FROM `basedosdados.br_ibge_pib.municipios` as pib
INNER JOIN `basedosdados.br_ibge_populacao.municipios` as pop
ON pib.id_municipio = pop.id_municipio AND pib.ano = pop.ano"

(data <- read_sql(pib_per_capita)) # leia os dados em memória
download(pib_per_capita, "pib_per_capita.csv") # salve os dados em disco

Exemplos

Acesse os códigos de análises produzidas em Workshops, Artigos, Tutoriais e Redes Sociais todas no nosso repositório de analises

Contribua! 🔄

Você pode contribuir de várias maneiras:

• Subindo novos conjuntos de dados
• Melhorando a documentação
• Criando tutoriais e workshops
• Melhorando nossa API em Python
• Melhorando nossa API em R
• Criando checagens automáticas de qualidade de dados e metadados (em Python)
• Melhorando nosso o UX do nosso site (React, CSS, HTML)
• Contribuindo com nossa comunicação e mídias
• Reportando bugs
• Ajudando na captação de recursos
• Nos chamando para aprensetações, simpósios e conferências

Não sabe por onde começar? Entre no nosso Discord e se apresente no canal #quero-contribuir

Incentivamos que outras instituições e pessoas contribuam. Veja mais como contribuir aqui.

Descubra quem contribui com nosso código!

Apoie 💚

A Base dos Dados já poupou horas da sua vida? Ou permitiu coisas antes impossíveis? Nosso trabalho é quase todo voluntário, mas temos vários custos de infraestrutura, equipe, e outros.

Nos ajude a fazer esse projeto se manter e crescer!

Como citar o projeto 📝

O projeto está licenciado sob a Licença Hipocrática. Sempre que usar os dados cite a fonte como:

Português:

Carabetta, João; Dahis, Ricardo; Israel, Fred; Scovino, Fernanda (2020) Base dos Dados: Repositório de Dados Abertos em https://basedosdados.org.

Inglês:

Carabetta, João; Dahis, Ricardo; Israel, Fred; Scovino, Fernanda (2020) Data Basis: Open Data Repository at https://basedosdados.org.

Idiomas

Documentação está em português (quando possível), código e configurações estão em inglês.

Docs (dev)

Atualize os docs adicionando ou editando .md em docs/.

Se for adicionar um arquivo novo, adicione ele em mkdocs.yml sob a chave nav.

Para testar a documentação, rode:

mkdocs serve