Este é um projeto de nível iniciante para a área de engenharia de dados. O objetivo é extrair dados das ofertas de produtos do site Mercado Livre e armazená-los em um banco de dados PostgreSQL com um mesmo schema. Na branch docker-version está implementado o código para ser executado localmente em um container Docker com orquestramento do crawler e do banco de dados feito pelo Docker Compose. Na branch principal está o código para ser executado e hospedado na plataforma Heroku. O banco de dados também está hospedado nesta plataforma com um limite de 10.000 registros.
Escrevi um tutorial no Medium com um passo a passo para realizar o deploy de um Crawler com Scrapy no Heroku.
Neste repositório fiz uma limpeza e análise dos dados coletados por este crawler.