chores: update stop words / remove 'normes'

dataforgoodfr · Jul 2, 2024 · f99bb74 · f99bb74 · github-actions · Jul 2, 2024
1 parent 5aa0d80
commit f99bb74
Show file tree

Hide file tree

Showing 2 changed files with 15 additions and 21 deletions.
diff --git a/quotaclimat/data_processing/mediatree/keyword/keyword.py b/quotaclimat/data_processing/mediatree/keyword/keyword.py
@@ -2904,10 +2904,6 @@
             "keyword": "norme",
             "category": "General"
         },
-        {
-            "keyword": "norme",
-            "category": "General"
-        },
         {
             "keyword": "nucléaire",
             "category": "Energie"
@@ -3564,10 +3560,6 @@
             "keyword": "mesure environnementale",
             "category": "General"
         },
-        {
-            "keyword": "norme",
-            "category": "General"
-        },
         {
             "keyword": "nous adapter à un futur incertain",
             "category": "General"

diff --git a/quotaclimat/data_processing/mediatree/keyword/stop_words.py b/quotaclimat/data_processing/mediatree/keyword/stop_words.py
@@ -1,20 +1,22 @@
 # Based on advertising
 STOP_WORDS = [
-    "bonus écologique",
-    "groupe verlaine isolation thermique",
-    "haute isolation thermique fabriqué en france",
-    "ou covoiturage tous les moyens sont bon",
-    "blablacar et recevez cent euros de prime covoiturage",
-    "conditions sébastien point fr covoiturage",
-    "sur dacia point fr covoiturage",
-    "dacia point fr un covoiturage",
-    "engie peut vous aider par exemple avec des panneaux solaires",
-    "panneaux solaires pour produire votre énergie",
-    "panneaux solaires groupe",
-    "avec le leader du photovoltaïque",
-    "en train d"
+    "bonus écologique"
+    ,"groupe verlaine isolation thermique"
+    ,"haute isolation thermique fabriqué en france"
+    ,"ou covoiturage tous les moyens sont bon"
+    ,"blablacar et recevez cent euros de prime covoiturage"
+    ,"conditions sébastien point fr covoiturage"
+    ,"sur dacia point fr covoiturage"
+    ,"dacia point fr un covoiturage"
+    ,"engie peut vous aider par exemple avec des panneaux solaires"
+    ,"panneaux solaires pour produire votre énergie"
+    ,"panneaux solaires groupe"
+    ,"verlaine installateur de panneaux photovoltaïques"
+    ,"avec le leader du photovoltaïque"
+    ,"en train d"
     ,"huile de coude est aussi une énergie renouvelable"
     ,"huile de coude était aussi une énergie renouvelable"
+    ,'huile de coude étaient aussi une énergie renouvelable'
     ,"climatique c' est pour ça que je suis au crédit coopératif"
     ,"le mouvement de la rénovation énergétique"
     ,"installateur de pompe à chaleur air"
File	Stmts	Miss	Cover	Missing
postgres
insert_data.py	44	7	84%	36–38, 57–59, 64
insert_existing_data_example.py	19	3	84%	25–27
postgres/schemas
models.py	146	10	93%	120–127, 139–140, 198–199, 213–214
quotaclimat/data_ingestion
scrap_sitemap.py	134	17	87%	27–28, 33–34, 66–71, 95–97, 138–140, 202, 223–228
quotaclimat/data_ingestion/ingest_db
ingest_sitemap_in_db.py	55	37	33%	21–42, 45–58, 62–73
quotaclimat/data_ingestion/scrap_html
scrap_description_article.py	36	3	92%	19–20, 32
quotaclimat/data_processing/mediatree
api_import.py	204	127	38%	43–47, 52–67, 71–74, 80, 83–122, 128–143, 147–148, 161–173, 177–183, 196–207, 210–214, 220, 255–256, 260, 264–298, 301–303
channel_program.py	136	51	62%	30–32, 43–45, 59, 95, 104, 142–183
config.py	15	2	87%	7, 16
detect_keywords.py	213	8	96%	169–172, 216, 271–273
update_pg_keywords.py	52	37	29%	14–97, 120–121, 144–170, 176
utils.py	64	22	66%	26–50, 53, 62, 78–79
quotaclimat/utils
healthcheck_config.py	29	14	52%	22–24, 27–38
logger.py	24	11	54%	22–24, 28–37
sentry.py	10	2	80%	21–22
TOTAL	1207	351	71%