Skip to content

Commit

Permalink
Stop words linked to ads (#270)
Browse files Browse the repository at this point in the history
* wip stop words

* stop words
  • Loading branch information
polomarcus authored Oct 15, 2024
1 parent 0beaad0 commit 4f12479
Showing 1 changed file with 159 additions and 18 deletions.
177 changes: 159 additions & 18 deletions quotaclimat/data_processing/mediatree/keyword/stop_words.py
Original file line number Diff line number Diff line change
Expand Up @@ -12,13 +12,21 @@
,"verlaine photovoltaïques"
,"verlaine le climat"
,"photovoltaïque groupe"
,"groupe verlaine isolation photovoltaïques"
,"contrat d' entretien pour pompes à chaleur et photovoltaïque" # verlaine
,"groupe verlaine pro installations photovoltaïque"
,"groupe verlaine pro installation photovoltaïque"
,"installateur groupe de verlaine panneaux installateur photovoltaïques de garantie panneaux à photovoltaïques"
,"frigos on installe des panneaux photovoltaïques et des bornes de recharge"
,"groupe verlaine isolation centrale photovoltaïque pompes à chaleur"
,"groupe verlaine isolation photovoltaïques pompes à chaleur"
,"groupe verlaine isolation photovoltaïque"
,"groupe verlaine isolation"
,"photovoltaïques vie"
,"garanti photovoltaïques"
,"photovoltaïque verlaine"
,"installation photovoltaïque de trois kilowatt"
,"installation de panneaux photovoltaïques vous avez dit"
,"installation photovoltaïque de trois"
,"photovoltaïque de groupe verlaine"
,"installation photovoltaïque de trois kilos"
,"installation photovoltaïque peut vous faire économiser jusqu'"
,"installation photovoltaïque et garantis vingt-cinq ans"
,"centrale photovoltaïque et pompes à chaleur groupe verlaine"
Expand All @@ -36,16 +44,23 @@
,"verlaine isolation centrales photovoltaïques"
,"verlaine isolation photovoltaïque et pompe à chaleur"
,"verlaine isolation centrales photovoltaïques et pompes"
,"verlaine isolation photovoltaïque et pompes à chaleurs"
,"verlaine isolation photovoltaïques pompes à chaleur"
,"verlaine isolation photovoltaïque pompe à chaleur"
,"on refait son isolation change sans chauffage"
,"installe des panneaux photovoltaïques et des bornes de recharge"
,"le leader du photovoltaïque chez les particulier"
,"photovoltaïques et des bornes de recharge pour que ça profite"
,"photovoltaïques et des bornes de recharge et pour que ça profite"
,"bornes de recharge et d' un"
,"euros par mois bornes de recharge"
,"leader du photovoltaïque chez les particulier"
,"leader du photovoltaïque chez du photovoltaïque"
,"leader du photovoltaïque chez photovoltaïque "
,"panneaux solaires pour produire votre énergie"
,"installateur panneaux de photovoltaïques"
,"installateurs de panneaux photovoltaïques"
,"installateur de panneaux photovoltaïques"
,"installation des panneaux solaires c' est moi"
,"à la crème solaire c' est pour les panneaux solaires"
,"installateur panneaux de photovoltaïque"
,"installateurs de panneaux photovoltaïque"
,"installateur de panneaux photovoltaïque"
,"panneaux photovoltaïques et même sur les vêtements"
,"installateur de panneaux solaires"
,"installateurs de panneaux solaires"
Expand Down Expand Up @@ -85,7 +100,8 @@
,"panneaux photovoltaïques garanti à vie"
,"on installe des panneaux photovoltaïques borne de recharge"
,"on installe des panneaux photovoltaïques des bornes de recharge"
,"le leader du photovoltaïque"
,"mille bornes de recharge entre particuliers"
,"leader photovoltaïque du photovoltaïque"
,"leader photovoltaïque"
,"leader chez du les photovoltaïque"
,"chez les photovoltaïque particuliers"
Expand All @@ -105,6 +121,8 @@
,"énergie renouvelable au monde"
,"par des garanties d' origine renouvelable"
,"énergies renouvelables groupe verlaine"
,"spécialisée dans les énergies renouvelables"
,"spécialisée dans les énergies renouvelables"
,"borne de recharge offert"
,"plus de mille bornes de recharge"
,"localise une borne de recharge"
Expand All @@ -120,31 +138,41 @@
,"cent pour cent électriques bornes de recharge"
,"votre borne de recharge que vous habitez"
,"borne de recharge j' ai pas hésité"
,"edf installe votre bornes de recharge"
,"bornes de recharge et installation offerte"
,"bornes de recharge et d' un mois"
,"une borne de recharge bien installés c' est simple"
,"borne de recharge et deux mois"
,"une borne de recharge bien installé"
,"vous avez une borne de recharge"
,"en ce moment borne de recharge"
,"vous offre la borne de recharge"
,"profiter de la borne de recharge offert"
,"borne de recharge est offert"
,"borne de recharge offerte"
,"borne de recharge offert"
,"faire installer une borne de recharge"
,"en copropriété une borne de recharge"
,"pour les plus branchées la borne de recharge"
,"frigos on installe des panneaux photovoltaïques et des bornes de recharge"
,"frigo on installe des panneaux photovoltaïques et des bornes de recharge"
,"leasing électrique à"
,"dispositif mon leasing électrique"
,"gouvernemental mon leasing électrique"
,"éligibles au leasing électrique"
,"éligible au dispositif mon leasing électrique"
,"éligible au leasing électrique"
,"zéro euro bonus aide au leasing électrique"
,"leasing électrique avec renault"
,"ce leasing électrique ça rendait vraiment la voiture"
,"offre mon leasing électrique"
,"leasing électrique économise"
,"par mois seulement grâce à mon leasing électrique"
,"climatique c' est pour ça que je suis au crédit coopératif"
,"installateur de pompe à chaleur air"
,"pompe à chaleur atlantique"
,"pompe à chaleur je suis fait pour la chaleur"
,"isolation photovoltaïque et pompe à chaleur pour une réno"
,"centrale photovoltaïque du futur" # thompson
,"leader du photovoltaïque"
,"centrale la photovoltaïque scène du futur" # thompson
,"centrale photovoltaïque à partir"
,"et plus durable et avec spoticar"
,"l' éolien jeanjean"
Expand Down Expand Up @@ -203,15 +231,22 @@
,"trois usines exclusivement dédié au recyclage"
,"trois usines exclusivement dédiés au recyclage"
,"trois usines exclusivement dédiées au recyclage"
,"recyclage dès cette année cristallines est capable de recycler"
,"tout le travail de cristaline pour le recyclage"
,"vivement dédiées au recyclage"
,"un gouvernement de recyclage"
,"trier devient plus simple"
,"grâce à vous qui trier vos bouteilles"
,"nous les recycle pour en faire de nouvelles"
,"cristalline pour travail le de recyclage"
,"cristalline est capable de recycler"
,"cristallines est capable de recycler"
,"recycler les deux sont garantis"
,"avec mma chez soi pièce neuve ou recycler"
,"cristalline et capable de recycler"
,"cristallines et capable de recycler"
,"de recycler de recycler" # bug mediatree
,"eau cristalline"
,"trier vos bouteilles nous les recycler"
,"recycler des lunettes"
,"est capable de recycler recycler"
Expand All @@ -223,7 +258,8 @@
,"recycler et créer des contrats"
,"pour recycler votre épave"
,"la recycler la vieille"
,"ou les notices de panneaux photovoltaïques"
,"les notices de panneaux photovoltaïques"
,"photovoltaïque pour professionnels" # veraline
,'leader du photovoltaïque'
,"grâce aux dons à la réparation au recyclage"
,"renforcement de nos filières de recyclage"
Expand All @@ -245,14 +281,18 @@
,"transition énergétique c' est aux lumières"
,"vendez votre voiture point fr"
,"votre voiture obtenait un prix"
,"recharge ma brosse à dents"
,"recharge ma brosse"
,"tu sais l' autonomie la recharge rapide"
,"qui bossait dans l' eau" # maif
,"je croyais que dégât des eaux" # maif
,"un goût généreux et le respect de la nature sans résidu de pesticides" # tramier
,"sans résidu de pesticides tramier" # tramier
,"ingrédients peut transformer sans pesticides"
,"des pommes gala avec moins de pesticides"
,"écoresponsables offre valable" #aldi
,"écoresponsable offre valable" #aldi
,"vergers écoresponsables" #aldi
,"factures avec l' installation de panneaux solaires"
,"son panneau solaire apporteront"
,"panneaux solaires et faire des économies carrefour"
,"garantie carrefour énergie"
,"économies sur votre énergie"
Expand All @@ -277,6 +317,7 @@
,"offrez à vos clients un devis précis pour améliorer la performance énergétique"
,"augmenter la performance énergétique et la"
,"performance énergétique de votre logement groupe verlaine"
,"groupe verlaine au service du développement durable"
,"gaz très haute performance énergétique plus confortable"
,"pergola bioclimatique"
,"on imagine des murs végétalisé"
Expand All @@ -289,15 +330,29 @@
,"maprimerénov une offre comme ça même chez lapeyre"
,"aux aides maprimerénov et de faisabilité sous condition"
,"leroy merlin quand on refait son isolation"
,"météo avec parc saint-paul"
,"parc saint-paul"
,"parc strasbourgeois"
,"parc de la villette"
,"parc machines"
,"parc bordelais"
,"parc astérix"
,"parc automobile"
,"parc de la tête d' or"
,"parc lumineux"
,"parc d' attractions"
,"atmosphère cinéma"
,"économies d' énergie l' impact environnemental des vies"
,"économies d' énergie impact environnemental des vies"
,"compliqué d' économiser de l' énergie alors engie vous aide"
,"pour faire des économies d' énergie juliette"
,"elle voudrait faire des économies de chauffage"
,"total énergie"
,"option énergies vertes"
,"devenir franchisés dans les énergies renouvelables"
,"franchisés dans les énergies renouvelable" # verlaine
,"franchisé dans les énergies renouvelable" # verlaine
,"spécialiser dans les énergies renouvelable" # verlaine
,"énergies renouvelables renouvelables groupe verlaine"
,"franchisé dans les énergies les renouvelables énergies renouvelables"
,"écologiques pour remplacer votre"
,"accrochages c' est aussi plus écologique"
,"transition écologique avec le groupe tf1"
Expand All @@ -315,6 +370,8 @@
,"chaque responsable"
,"pas responsable"
,"responsable de"
,"responsables politiques"
,"responsable politique"
,"comme responsable"
,"du responsable"
,"verger écoresponsable"
Expand All @@ -325,6 +382,8 @@
,"barrage et affrontement"
,"barrage à des"
,"barrage filtrant"
,"présents sur ce barrage"
,"barrages d' agriculteurs"
,"par terre"
,"pieds sur terre"
,"tremblement de terre"
Expand All @@ -334,11 +393,15 @@
,"électrique ou hydrogène il existe"
,"électrique hydrogène il existe"
,"de l' ombre et de la lumière"
,"une ombre celle des violences"
,"vélo pour aller chercher le pain"
,"services auto moto camion vélo"
,"services autos motos camions vélos"
,"camion ou du vélo"
,"vélo liddell"
,"vélo électrique de décathlon"
,"vélo électrique nakamura"
,"ça marche aussi pour les vélos" # carglass
,"sofinco tu peux acheter un vélo électrique"
,"votre trajet à vélo un vrai"
,"c' est quoi un vélo électrique"
Expand All @@ -347,15 +410,93 @@
,"issu de l' agriculture biologique en boutique"
,"agriculture biologique pour les produits de beauté"
,"vous aimez les voitures électriques" # renault
,"vous aimiez les voitures électriques"
,"les voitures de demain électrique"
,"excellente voitures électriques ou hybrides"
,"rendre nos voitures cent pour cent électrique accessib"
,"renault fabrique et entretient des voitures électriques"
,"and roll des voitures électriques"
,"conduisiez une voiture électrique l' application"
,"engie pourquoi l' ordinaire devrait être la norme"
,"de plus en plus d' énergie éolien comme celui-ci" # amazon
,"l' eau filtrée britta"
,"brita l' eau filtrée"
,"britta l' eau filtrée"
,"bonne maman beaucoup de noisette huile de palme"
,"sans pesticides pour des recettes"
,"chez céréales bio"
,"agir pour la préserver découvrez comment" #gouv.fr
,"oasis de verdure au milieu"
]
,"se recharge charge jusqu'"
,"scènes reconstituées dans un flacon réutilisables sa recharge"
,"son empreinte carbone une formule d' origine naturelle"
,"act for food pour offrir une alimentation plus saine"
,"on optimise aussi la consommation d' eau on favorise la biodiversité"
,"c' est le métier abeille assurances"
,"face aux risques climatiques elles font" # pub assurance
,"mon épargne travaille aussi pour les générations futures"
,"cheveux là sans chaleur extrême"
,"ses cheveux la sans chaleur extrêm"
,"chaleur extrême chaque beauty"
,"rénovation gd mat"
,"pas trop le moment de décider l' eau froide"
,"écologique la redoute"
,"agence de la transition écologique avec le groupe tf1"
,"c' est aussi plus écologique avec moins de consommation de carburant"
,"moins de rejets de co deux sur une autoroute à péage en flux libre"
,"la consigne a été bien suivie"
,"les véhicules les plus polluants adrien"
,"byd le leader mondial du véhicule électrique"
,"chaque jour les changements climatiques envoyé vite vos vidéos" # rfi
,"changements environnementaux et climatiques dans leurs localités participer aux formations en ligne et envoyez vos vidéos de trois minutes" # rfi
,"redonner ou recycler"
,"cite toujours utile pour faire le tri"
,"crèmes abeille royale"
,"agit pour la protection des abeilles"
,"isolation photovoltaïques de pompe à chaleur pour une rénovation globale groupe verlaine"
,"isolation photovoltaïque et pompes à chaleur pour une rénovation"
,"verlaine photovoltaïque isolation pompes centrale à photovoltaïque"
,"on peut installer une pompe à chaleur un ballon thermodynamique ou des panneaux solaires plus respectueux de l' environnement"
,"des gaz renouvelables et de l' hydrogène vert et gaz nous transportons le gaz et connectons les énergies d' avenir"
,"des gaz renouvelables et de l' hydrogène gèrent gaz nous transportons le gaz et connectons les énergies d' avenir"
,"des gaz renouvelé renouvelables et de l' hydrogène"
,"connectons les énergies d' avenir"
,"senseo et produit de façon plus durable plus responsable"
,"durable plus responsable senseo"
,"surtout reconditionné pour être plus durable"
,"conseils adaptés à votre alimentation"
,"qui vous font économiser du carburant"
,"recharge nissan"
,"recharge ionity"
,"je suis super agiles et je me recharge rapidement"
,"qui se recharge pendant que vous vous"
,"électrique pour être plus responsable mais surtout reconditionné"
,"électriques pour être plus responsable mais surtout reconditionné"
,"entreprises engagées responsable sur le territoire caisse"
,"assurance vie responsable"
,"avec habitat et jardin"
,"spécialiste de la maison du jardin"
,"mobilier de jardin"
,"les moustiques profiter du jardin"
,"jardin gardena"
,"nous dépendons tous ce réseau c' est la biodiversité" #gouv
,"les valeurs plus écoresponsable au sein de la caisse d"
,"c' est pas du recyclage en faire du reconditionnement"
,"meilleures astuces antigaspillage"
,"mur végétalisé les tuiles se transforment en panneaux solaires"
,"vous aide à améliorer la performance énergétique"
,"quotidien prenez les transports en commun"
,"ce moment au pouvoir acheter une voiture électrique peut être"
,"pouvoir acheter une voiture électrique ça pouvait être une prise"
,"connaître la valeur de votre voiture simplement et rapidement"
,"la citroën c4 you c' est une voiture très familial"
,"ça rentre vraiment la voiture électrique accessible oui mais fiat"
,"ça rendait vraiment la voiture électrique accessible oui mais fiat"
,"étiez nombreux à l' attendre la voiture électrique accessible à tous"
,"ournisseur officiel d' électricité renouvelable de paris"
,"garanties d' origine renouvelable promotion valable sur l' abonne"
,"électricité de gaz cent pour cent renouvelable songez simplement"
,"bien se chauffer au bois point ademe point fr"
,"ceci est un message de l' ademe"
,"ceci est un message à l' ademe"
]

1 comment on commit 4f12479

@github-actions
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Coverage

Coverage Report
FileStmtsMissCoverMissing
postgres
   insert_data.py43784%36–38, 56–58, 63
   insert_existing_data_example.py19384%25–27
postgres/schemas
   models.py1571193%126–133, 146, 148–149, 214–215, 229–230
quotaclimat/data_ingestion
   scrap_sitemap.py1341787%27–28, 33–34, 66–71, 95–97, 138–140, 202, 223–228
quotaclimat/data_ingestion/ingest_db
   ingest_sitemap_in_db.py553733%21–42, 45–58, 62–73
quotaclimat/data_ingestion/scrap_html
   scrap_description_article.py36392%19–20, 32
quotaclimat/data_processing/mediatree
   api_import.py21113337%44–48, 53–74, 78–81, 87, 90–132, 138–153, 158, 171–183, 187–193, 206–218, 221–225, 231, 266–267, 270–301, 304–306
   channel_program.py1625765%21–23, 34–36, 53–54, 57–59, 98–99, 108, 124, 175–216
   config.py15287%7, 16
   detect_keywords.py223996%222, 280–287, 323
   update_pg_keywords.py674927%15–108, 132, 135, 142–157, 180–206, 213
   utils.py792568%29–53, 56, 65, 86–87, 117–120
quotaclimat/utils
   healthcheck_config.py291452%22–24, 27–38
   logger.py241154%22–24, 28–37
   sentry.py11282%22–23
TOTAL129238071% 

Tests Skipped Failures Errors Time
97 0 💤 0 ❌ 0 🔥 8m 0s ⏱️

Please sign in to comment.