Skip to content

L’objectif du projet est la création d’une application permettant de proposer un itinéraire selon certains critères

Notifications You must be signed in to change notification settings

dianapenciuc/plantrip

Repository files navigation

Plantrip

L’objectif du projet est la création d’une application permettant de proposer un itinéraire optimisé selon certains critères (Durée du séjour, lieu de visite). Le dossier data contient actuellement des échantillons de données, le dataset complet est disponible sur un stockage externe ainsi que les fichiers de données extraites et transformées. Le fichier requirements.txt contient les dépendances pour l'environnement python; le contenu actuel est donné à titre d'exemple.


Dans l'ordre chronologique de lancement pour un fonctionnement optimal:

1 - Task_Scheduler.bat:

  • Permet de télécharger les flux de données au format jsonld provenant de DATATourisme dans un dossier ./data/jsonld/ => 7 fichiers seront téléchargés correspondant aux différents types de POI définis sur DATATourisme (Lieux, Events, Tours et Produits)
  • Effectue les modifications sur les anciens fichiers téléchargés (suppression/conservation)
  • Lance le docker-compose pour initier le processus ETL sur les données téléchargées et alimenter la base de données.
  • Il faut lancer le script en étant dans le dossier principal du projet. Ce fichier a été testé à partir d'un processus Windows Task Scheduler réalisé toutes les semaines.

=> Extract_jsonld.py :

  • Permet d'extraire les données brutes des fichiers jsonld et de les stocker dans un fichier csv par jsonld.

    => Données extraites pour chauqe POI : id, nom, type(s), theme(s), startdate, enddate, street, postalcode, city, insee, latitude, longitude, email, web, tel, lastupdate, comment

    => Nettoie les données type et thèmes

    => 7 fichiers csv seront créés car 7 jsonld téléchargés à chaque update.

  • Prend automatiquement en entrée tous les fichiers se trouvant dans le dossier ./data/jsonld/

  • Ajout d'une colonne région

=> Transform_csv.py:

=> Load_csv_to_sql.py:

  • Charge les données dans MySQL, le docker-compose lancer par task_scheduler ouvrira une base de données MySQl qui sera alimentée par les données traitées dans les scripts précédents.
  • 4 tables de données seront créées, une par type de POI.

About

L’objectif du projet est la création d’une application permettant de proposer un itinéraire selon certains critères

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages