Brazils Population.Rmd

---
title: "Brazil's Population"
description: |
  Creating a dataset about the Brazil's population from the last 20 yeas (1998 - 2017)
author:
  - name: Rodrigo Silva
    url: https://github.com/rdsilva
    affiliation: Laboratório de Inovação Tecnológica em Saúde - LAIS
    affiliation_url: http://lais.huol.ufrn.br/
date: "`r Sys.Date()`"
output: radix::radix_article
---

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = FALSE)
```

The goal of this project is just create a dataset about Brazil's population from the last 20 years to make easy any demographic processing. All the data was obtained from IBGE (Brazilian Institute of Geography and Statistics) and TCU (Federal General Accounting Office).

```{r libraries, eval=FALSE, echo=FALSE, warning=FALSE}
library(foreign)
library(dplyr)
```

```{r merging population, eval=FALSE, warning=FALSE, echo=TRUE}

files <- list.files(path = 'dados/', pattern = '.DBF', full.names = T)

myfiles <- lapply(files, read.dbf)

populacao <- do.call(rbind, myfiles)
```

Os dados de 1996 não estão disponíveis originalmente na base de dados do IBGE e/ou TCU. Neste ano foi aplicado uma metodologia diferente de contagem populacional, o que gerou um resultado a parte. No entanto depois de algumas pesquisas foi possível encontrar a extratificação por municipio.

```{r}
pop_96 <- read.csv2('Data/POPTBR96.csv', header = T)

pop_96$MUNIC_RES <- as.character(pop_96$MUNIC_RES)
pop_96$ANO <- as.character(pop_96$ANO)
```

```{r}
populacao <- rbind(populacao, pop_96)
```


## Nomenclature of municipalities and regions

```{r municipalities and regions, eval=FALSE, warning=FALSE, echo=TRUE}

municipios <- read.csv2('Municipios_Brasileiros.csv', header=TRUE, sep = ',')

regioes <- read.csv2('UF-Regiões.csv', header = TRUE)

```

Investigando

```{r}
summary(municipios)
```

```{r}
summary(regioes)
```

```{r}
names(regioes)[1] <- 'UF'
```



Merging data about location

```{r merging location, eval=FALSE, warning=FALSE, echo=TRUE}
# names(municipios)[3] <- 'CO_UF'

brasil <- merge(municipios, regioes, by = 'UF', all.x = TRUE)
```

```{r}
summary(brasil)
```


Filtering for the desired parameters

```{r filtering parameters, eval=FALSE, warning=FALSE, echo=TRUE}
brasil <- brasil %>%
  select(Código.IBGE, Nome.do.Município, Estado, UF, region, Latitude, Longitude)
```

Renaming columns

```{r renaming columns, eval=FALSE, warning=FALSE, echo=TRUE}

# Location
names(brasil)[1] <- 'code'
names(brasil)[2] <- 'city'
names(brasil)[3] <- 'state'
names(brasil)[4] <- 'abbreviation'
names(brasil)[5] <- 'region'
names(brasil)[6] <- 'lat'
names(brasil)[7] <- 'long'

# Population
names(populacao)[1] <- 'code'
names(populacao)[2] <- 'year'
names(populacao)[3] <- 'population'

```

The *code* about municipalities used to have 7 digits, the 7th digit was necessary to verify the code, so as we don't use it anymore I'll cut it out from the data. 

```{r}
summary(populacao)
```


```{r remove digit verification, eval=FALSE, warning=FALSE, echo=TRUE}
brasil$code <- substr(as.character(brasil$code),1,6)
populacao$code <- substr(as.character(populacao$code),1,6)
```

```{r}
summary(brasil)
```


Other thing is bothering me is the name *REGIAO* in the *region* column, I gonna take it out too. 

```{r remove name regiao, eval=FALSE, warning=FALSE, echo=TRUE}
# brasil$region <- substr(as.character(brasil$region), 8, 20)
```

## Merging data about population with data about location

```{r generating result, eval=FALSE, warning=FALSE, echo=TRUE}
resultado <- merge(brasil, populacao, by = 'code', all.x = TRUE)
```

```{r}
summary(resultado)
```


## Spreading the result to better viewing

```{r spreading results, eval=FALSE, warning=FALSE, echo=TRUE}

library(tidyr)

resultado_horizontal <- spread(resultado, year, population)

```

```{r}
summary(resultado_horizontal)
```


## Exporting results

```{r exporting results, eval=FALSE, warning=FALSE, echo=TRUE}
write.csv2(resultado, "brazil-population-1992-2017.csv", row.names = FALSE)

write.csv2(resultado_horizontal, "brazil-population-1992-2017-spread.csv", row.names = FALSE)
```

## Corrigindo a tabela municipios e regiões

Havia um erro nos codigos dos municipios na tabela original que listava as regiões de cada estado... irei agora corrigir isso.

```{r}
head(municipios)
```

```{r}
head(regioes)
```

```{r}
head(brasil)
```

```{r}
regioes <- municipios %>%
  distinct(Código.UF, UF, Estado)
```

```{r}
tmp_regioes <- brasil %>%
  distinct(abbreviation, state, region)
```

```{r}
regioes <- merge(regioes, tmp_regioes, by.x = 'UF', by.y = 'abbreviation')
```

```{r}
regioes <- regioes %>% select(UF, Código.UF, Estado, region)

names(regioes)[1] <- 'abbreviation'
names(regioes)[2] <- 'code'
names(regioes)[3] <- 'state'
names(regioes)[4] <- 'region'
```

```{r}
write.csv2(regioes, 'UF-Regiões.csv',row.names = FALSE)
```


ASAP I'll continue improving this dataset!
I really hope you enjoy this!


```{r}
# exportando os municipios do Brasil com os seguintes parametros
# codigo_ibge, cidade, estado, região, país

brasil_tmp <- brasil %>%
  select(code, city, state, region)

brasil_tmp$pais <- 'Brasil'

names(brasil_tmp)[1] <- 'id_municipio'
names(brasil_tmp)[2] <- 'cidade'
names(brasil_tmp)[3] <- 'estado'
names(brasil_tmp)[4] <- 'regiao'
```

```{r}
write.csv2(brasil_tmp, 'brasil.csv', row.names = F)
```

# Adicionando 2019

```{r}
ano_19 <- read.dbf("Data/POPTBR19.dbf")
```

```{r}
ano_19 <- ano_19 %>%
  select(MUNIC_RES, ANO, POPULACAO)
```

```{r}
ano_19 <- droplevels(ano_19)
```

```{r}
names(ano_19)[1] <- "code"
names(ano_19)[2] <- "year"
names(ano_19)[3] <- "population"
```

```{r}
ano_19$code <- substr(ano_19$code, 1, 6)
```

```{r}
res_19 <- merge(ano_19, brasil, by = "code", all.x = T)
```

```{r}
res_19 <- res_19 %>%
  select("code","city","state","abbreviation","region","lat","long","year","population")
```

```{r}
resultado_19 <- rbind(resultado, res_19)
```

```{r}
write.csv2(resultado_19, "brazil-population-1992-2019.csv", row.names = FALSE)
```