Aqui está a versão atualizada da documentação com os comandos solicitados:
Este projeto fornece uma ferramenta automatizada para coletar informações específicas de páginas da web. Utilizando técnicas avançadas de mapeamento e extração de dados, o crawler analisa a estrutura das páginas e identifica padrões na apresentação dos dados, organizando-os em uma estrutura útil para análise ou processamento posterior.
- Git: Para clonar o repositório.
- Docker: Para construir e executar o container do projeto.
- Make: Para simplificar os comandos de execução.
Clone o repositório em sua máquina local:
git clone [email protected]:gildemberg-santos/webcrawlerurl_v2.git
cd webcrawlerurl_v2
Construa a imagem Docker do projeto:
docker build -t webcrawlerurl_v2 .
Inicie o container em segundo plano:
docker run -d --name webcrawlerurl_v2 -p 8080:8080 webcrawlerurl_v2
Interagindo com o container:
docker exec -it webcrawlerurl_v2 /bin/bash
Para matar o container em execução:
docker container kill webcrawlerurl_v2
Para remover todos os containers parados e liberar espaço:
docker container prune -f
Para visualizar os logs do container em execução:
docker logs webcrawlerurl_v2
Para iniciar o container utilizando o make
, execute:
make start
Para parar o container:
make stop
Para rodar o serviço de web crawler:
make run
Modo de desenvolvimento:
make dev
Para rodar todos os testes automatizados:
make test
Para construir o projeto:
make build
Com esses comandos, você pode facilmente instalar, configurar e executar o web crawler para extrair dados de qualquer site. Sinta-se à vontade para explorar e customizar conforme as necessidades do seu projeto.