Skip to content

PierreDubrulle/scrap

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

31 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Dans un terminal de commande

Vérifier que docker compose est installé

docker-compose -v

Cloner le repo et créer les containers

 git clone https://github.com/PierreDubrulle/scrap.git && cd scrap && docker compose up -d

Services

Pour chaque service recopier le lien correspondant dans un navigateur

mongo-express => locahost:6082 streamlit => localhost:8501

PS : Vérifier que docker-desktop est lancé. Si ce n'est pas le cas, ouvir l'application

Composition du fichier yml

La base

Le fonctionnement de l'application nécessite une base de donnée. Cette base de donnée est sur mongodb. Elle est sur le port 2017

Base GUI

Afin de pouvoir visualiser la base de donnée, un container est dédié à mongo-express. En se connectant sur le port 6082 il est possible de visualiser la base de données

Application Streamlit

L'application streamlit est sur le port 8501

Mise à jour de la base

Afin de mettre régulièrement la base à jour, un container est chargé de lancer tous les jours à une heure du matin un script python chargé du scrap et de l'insertion dans la base.

Mongo-seed

Permet d'importer un fichier de données au format .json lors du démarrage du container de la base.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published