Skip to content

Este projeto oferece uma ferramenta automatizada para coletar informações específicas de páginas da web, utilizando técnicas de mapeamento e extração de dados para analisar sua estrutura e identificar padrões, resultando na organização dos dados em uma estrutura útil.

Notifications You must be signed in to change notification settings

gildemberg-santos/webcrawlerurl_v2

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Aqui está a versão atualizada da documentação com os comandos solicitados:


Web Crawler para Extração de Dados

Example Workflow

Visão Geral

Este projeto fornece uma ferramenta automatizada para coletar informações específicas de páginas da web. Utilizando técnicas avançadas de mapeamento e extração de dados, o crawler analisa a estrutura das páginas e identifica padrões na apresentação dos dados, organizando-os em uma estrutura útil para análise ou processamento posterior.

Pré-requisitos

  • Git: Para clonar o repositório.
  • Docker: Para construir e executar o container do projeto.
  • Make: Para simplificar os comandos de execução.

Instalação

Clone o repositório em sua máquina local:

git clone [email protected]:gildemberg-santos/webcrawlerurl_v2.git
cd webcrawlerurl_v2

Configuração do Docker

Construção da Imagem Docker

Construa a imagem Docker do projeto:

docker build -t webcrawlerurl_v2 .

Executando o Container

Inicie o container em segundo plano:

docker run -d --name webcrawlerurl_v2 -p 8080:8080 webcrawlerurl_v2

Interagindo com o container:

docker exec -it webcrawlerurl_v2 /bin/bash

Outros Comandos Docker

Para matar o container em execução:

docker container kill webcrawlerurl_v2

Para remover todos os containers parados e liberar espaço:

docker container prune -f

Exibindo Logs do Container

Para visualizar os logs do container em execução:

docker logs webcrawlerurl_v2

Uso do Makefile

Iniciando o Container

Para iniciar o container utilizando o make, execute:

make start

Parando o Container

Para parar o container:

make stop

Executando o Serviço

Para rodar o serviço de web crawler:

make run

Modo de desenvolvimento:

make dev

Executando os Testes

Para rodar todos os testes automatizados:

make test

Realizando o Build do Projeto

Para construir o projeto:

make build

Considerações Finais

Com esses comandos, você pode facilmente instalar, configurar e executar o web crawler para extrair dados de qualquer site. Sinta-se à vontade para explorar e customizar conforme as necessidades do seu projeto.

About

Este projeto oferece uma ferramenta automatizada para coletar informações específicas de páginas da web, utilizando técnicas de mapeamento e extração de dados para analisar sua estrutura e identificar padrões, resultando na organização dos dados em uma estrutura útil.

Topics

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages