[Bug]: Erreur EcoIndex Scraper sur certaines URLs

[yvesnicol]

What happened?

La librairie fonctionne correctement pour certains sites mais j’ai malheureusement rencontré un problème avec certaines URLs.

Exception message : "'charmap' codec can't decode byte 0x9d in position 766503: character maps to "

Code test utilisé pour appliquer EcoIndex Scraper :

import asyncio
from pprint import pprint
from ecoindex.scraper import EcoindexScraper

def main():
print('')
print("ECOINDEX ANALYSIS ")
print('')

url = https://www.orange.com/fr
try :
    pagenalysis = asyncio.run(EcoindexScraper(url=url).get_page_analysis())
    print(pagenalysis.score)
    print(pagenalysis.ges)
    print(pagenalysis.water)
except Exception as e :
    print('Error on execute EcoIndex scrapper')
    print(e)

if name == "main":
main()

Project

Ecoindex Scraper

What OS do you use?

Windows

urls

https://www.orange.com/fr
https://www.businessdecision.com/fr-fr

Relevant log output

*************************
ECOINDEX ANALYSIS
*************************
Error on execute EcoIndex scrapper
'charmap' codec can't decode byte 0x9d in position 766503: character maps to <undefined>

Code of Conduct

• I agree to follow this project's Code of Conduct

[vvatelot]

Bonjour @yvesnicol merci pour ce bug ! Je vais regarder ça ! Python 3.12 ?

[yvesnicol]

Python 3.12.

[github-actions]

This issue has been marked as inactive because it hasn't been updated for 30 days. If it's not updated within 7 days, it will be automatically closed. To prevent it from being closed, you can add the keep open label.

[github-actions]

This issue has been closed because it's been inactive for 37 days. If you think this is a mistake, you can reopen it.

[yvesnicol]

Bug toujours présent. Impossible de rouvrir le ticket qui a été automatiquement cloturé.

[vvatelot]

Bonjour @yvesnicol de mon côté, je n'ai pas de problème sur python 3.12 avec l'exemple donné... 🤔
J'ai essayé avec les 2 urls et ma version de python est 3.12.4 et je n'ai pas de problème.

Malheureusement, je n'ai pas windows pour tester... Je vais essayer de lancer une VM

[yvesnicol]

Bonjour Vincent,
J'ai refait des tests sur mon env de dev local et notre recette.
Le bug ne se reproduit en effet que sur un poste de dev local sous Windows avec Docker sur Windows.

Sur un environnement de recette où notre outil est déployé dans un Kube cela semble fonctionner.
Jai testé la même url sur les deux env.

Je te laisse voir s'il faut clôturer le sujet ou pas mais la librairie ne fonctionne pas correctement sur mon env de dev pour certaines urls seulement.
Le problème n'est plus bloquant pour nous en recette ou prod, le calcul des valeurs ecoindex est bien géré par scraper.

Cordialement,
Yves.

[vvatelot]

Je vais laisser le bug ouvert pour essayer de le traiter quand je trouve le temps !

Merci

[vvatelot]

Hello @yvesnicol à tout hasard, j'ai fait une nouvelle release du scraper... Je ne sais pas si ça corrige ce bug ?