Skip to content

matsuch/amazon-web_scraping

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 

Repository files navigation

Amazon Web Scraping

Sumario

  1. Resumo
  2. Requisitos
  3. Instruções de instalação
  4. Descrição dos arquivos
  5. Resultado

Resumo do projeto

Este projeto tem como objetivo realizar a extração de alguns dados do site amazon.com utilizando a biblioteca BeautifulSoup e enviá-los para o google sheets. Dados extraidos:

  • Link do produto
  • Nome do produto
  • Valor
  • Avaliação (nota)
  • Disponibilidade (Em estoque)

amazon_webscraping

Requisitos

O código deve ser executado sem problemas usando Python versões 3 com as seguintes bibliotecas:

  • Web Scrapping: BeautifulSoup
  • Google Integrations: Oauth2client, gspread

Instruções de instalação

  1. Crie um projeto na sua conta do Google Drive.

  2. Faça login na sua conta amazon e na página inicial acesse o inspetor do navegador (F12)

    • Procure por Rede, no primeiro link que aparecer clique com o botão direito do mouse e vá em Copiar valor > Copiar como cURL

    baixar_ccurl

  3. Abra o arquivo "links.csv" e informe todas as URLs que você deseja buscar, cada URL em uma linha (mantenha o cabecalho)

  4. Abra o arquivo "web_scraping.py" e na linha 83 informe o ID do seu Google Sheets.

Captura de tela de 2023-06-12 22-30-06

Descrição dos arquivos

  • Dados
    • links.csv - tabela com a lista de links que voce deseja buscar
    • requirements.txt - lista das bibliotecas necessarias para rodar o codigo
    • web_scraping.py - Código em python para fazer o web scraping

ATENÇÃO: Não se esqueça de criar os arquivos JSON descritos na etapa Instruções de instalação

Resultados

Toda vez que você rodar o código, serão adicionadas novas linhas com a data/hora que foi realizado a consulta.

resultado_webscraping

About

Web Scraping feito no site amazon

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages