feature/data quality

[8huit]

Description

Nocodb : (https://noco.services.dataforgood.fr/dashboard/#/nc/p0dx3u4rkk0ymxl/m8e3rjp5dj2gf5m/Kanban?rowId=23)

Cette PR a pour objectif de proposer une démarche pour évaluer la qualité d'un dataset pour fournir des informations utiles sur le potentiel solaire d'établissement scolaires.
La démarche d'évaluation est structurée par un notebook dédié, qui liste les sources, puis propose une évaluation de la complétude et de la proximité d'une école présente sur plusieurs sources de données.

Comment tester ?

Lancer et exécuter les cellules du notebook data_quality_dataset.ipynb

Pour faciliter la validation de ma PR

• Les pre-commit passent
• [ X] Les test unitaires passent
• [ X] Le code modifié fonctionne en local (bonus : il fonctionne avec docker)
• J'ai demandé une peer-review à un autre bénévole du projet
• J'ai ajouté / mis à jour de la documentation sur outline

[machbry]

Super boulot, peux-tu nettoyer les résultats du notebook et ne laisser que le code ?
Tu peux partager les visuels sur outline si besoin :)
Merci à toi

[8huit]

Merci pour le feedback. J’ai pushé le notebook nettoyé et corrigé un conflit poetry car la branche main a pas mal avancé entre temps. :)

…

________________________________ De : machbry ***@***.***> Envoyé : Saturday, February 15, 2025 11:30:52 AM À : dataforgoodfr/13_potentiel_solaire ***@***.***> Cc : Hui-Guan Tai ***@***.***>; Author ***@***.***> Objet : Re: [dataforgoodfr/13_potentiel_solaire] feature/data quality (PR #17) Super boulot, peux-tu nettoyer les résultats du notebook et ne laisser que le code ? Tu peux partager les visuels sur outline si besoin :) Merci à toi — Reply to this email directly, view it on GitHub<#17 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AT57YFKPPEITZHL5T4J5GG32P4JNZAVCNFSM6AAAAABXDCTS7CVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDMNRQHA3DCMBVGM>. You are receiving this because you authored the thread.Message ID: ***@***.***> [machbry]machbry left a comment (dataforgoodfr/13_potentiel_solaire#17)<#17 (comment)> Super boulot, peux-tu nettoyer les résultats du notebook et ne laisser que le code ? Tu peux partager les visuels sur outline si besoin :) Merci à toi — Reply to this email directly, view it on GitHub<#17 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AT57YFKPPEITZHL5T4J5GG32P4JNZAVCNFSM6AAAAABXDCTS7CVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDMNRQHA3DCMBVGM>. You are receiving this because you authored the thread.Message ID: ***@***.***>

[machbry]

Pour info tu as une librairie vraiment pratique pour calculer des proximités entre valeurs textuelles : https://www.datacamp.com/tutorial/fuzzy-string-python
Je l'avais utilisé lors d'une mission sur une mission avec du NLP, c'était vraiment pratique :)

Sinon de mon côté j'ai noté qu'en l'état une même zone d'activité pouvait être affectée à plusieurs écoles, ce qui n'est pas possible et va conduire à doublonner & surestimer le calcul de potentiel solaire.

Une image qui l'illustre bien :