Fix conda upload #2374

benoit-cty · 2024-10-23T09:51:24Z

Correction d'un crash.
Périodes concernées : aucune.
Zones impactées : workflow.yml.
Détails :
- La publication conda ne fonctionnait plus suite au passage à pyproject.toml : C:\hostedtoolcache\windows\Python\3.9.13\x64\python3.exe: can't open file 'D:\a\openfisca-france\openfisca-france\setup.py': [Errno 2] No such file or directory

Fait suite à #2369 dans laquelle il y avait des manques sur Conda. La CI a donc été mise à jour pour refléter openfisca/country-template#157

Ces changements :

Corrigent ou améliorent un calcul déjà existant.
Passage de build-conda-${{ hashFiles('.conda/recipe.yaml') }}-${{ github.sha }} à build-conda-${{ hashFiles('pyproject.toml') }}-${{ github.sha }} car c'est lui qui contient vraiment la version et les dépendances.
Passage de toutes les étapes conda sur un runner Windows pour valider que cela fonctionne correctement et éviter des problèmes de chemin, encoding, fin de ligne...
Retrait de l'artifact qui n'était plus utilisé
Ajout d'un commentaire dans check_path_length.py pour indiquer que le script est utilisé en CI.
J'ai modifié temporairement la CI pour livrer le package en dehors de master et ça a fonctionné : https://anaconda.org/openfisca/openfisca-france Voici les logs de la CI : log

Quelques conseils à prendre en compte :

Jetez un coup d'œil au guide de contribution.
Regardez s'il n'y a pas une proposition introduisant ces mêmes changements.
Documentez votre contribution avec des références législatives.
Mettez à jour ou ajoutez des tests correspondant à votre contribution.
Augmentez le numéro de version dans pyproject.toml.
Mettez à jour le CHANGELOG.md.
Assurez-vous de bien décrire votre contribution, comme indiqué ci-dessus

sandcha · 2024-10-31T12:24:48Z

.github/workflows/workflow.yml

-          restore-keys: |
-            build-conda-${{ hashFiles('.conda/recipe.yaml') }}
-            build-conda-
+          key: build-conda-${{ github.sha }}


La liste des dépendances n'est-elle pas encore utile à distinguer les caches ? Le fichier recipe.yaml existe encore (malgré le passage à pyproject.toml).

Vu ensemble : ici, on retirait également restore-keys pensant se prémunir de situations où on récupérerait un ancien cache sur des dépendances ayant évolué (cas déjà rencontré dans le passé hors conda). Mais, nous avions mal interprété cette fonction qui s'adresse à d'autres fichiers que ceux référencés dans key. Bilan : en le supprimant, on retire une configuration inutile mais on ne se prémunit pas de l'usage d'un vieux cache.

J'ai dû passer de build-conda-${{ hashFiles('.conda/recipe.yaml') }}-${{ github.sha }} à build-conda-${{ github.sha }} pour les clefs de cache car sinon il était impossible de récupérer le cache sous Windows : le hash n'était pas le même. Sûrement à cause d'un problème d'encoding ou fin de ligne.

Suite à discussion, j'ai passé toutes les étapes Conda sur des runners Windows pour mettre le hashFiles de pyproject.toml comme c'est lui qui connait la version et les dépendances.

.github/workflows/workflow.yml

sandcha · 2024-10-31T12:51:55Z

.github/workflows/workflow.yml

+          path: /tmp/conda-bld
+          key: build-conda-${{ github.sha }}
+          fail-on-cache-miss: true
+          enableCrossOsArchive: true  # To allow restore on windows


.github/workflows/workflow.yml

sandcha · 2024-10-31T13:20:16Z

.github/workflows/workflow.yml

-      - uses: actions/checkout@v4
+          activate-environment: openfisca
+          miniforge-version: latest
+          python-version: 3.9.12


Utiliser la version Python la plus récente testée ? 3.10.6 ? 🤔

Ceci dépasserait la résolution pure de l'issue visée par cette PR et aurait un impact ailleurs.

.github/workflows/workflow.yml

sandcha · 2024-10-31T13:38:29Z

.github/workflows/workflow.yml

+        run: mamba install --channel file:///tmp/conda-bld --channel openfisca openfisca-france
+      - name: Test conda package
+        shell: bash -l {0}
+        run: openfisca test tests/formulas/irpp.yaml


Pourquoi réduisons-nous à un seul test ? Dans le passé, les tests permettaient de relever les erreurs de chemins de paramètres trop longs sous Windows qui pouvaient survenir à n'importe quel endroit modifié par une PR. Considérons-nous que Test max path length suffit ?

C'est un problème de temps de CI : tout tester prend 1 heure. On pourrait aussi mettre des tests sous forme de matrice. Cependant vu que nous ne savons pas s'il y a des utilisateurs des paquets conda, il ne semble pas nécessaire de gêner les contributeurs avec des tests supplémentaires.

Bilan, pour détecter les erreurs sur Windows de :

paramètres : le script Test max path length (du jobtest-on-windows à ne pas confondre avec le job test-path-length exécuté sur ubuntu) vérifie le fait de ne pas dépasser la limite par défaut de longueur de path

variables, chargement du TaxBenefitSystem et bonne installation de la commande openfisca : l'exécution d'un seul test YAML suffit et est économe en temps de calcul ; ici on teste déjà tout ce qu'il y a dans irpp.yaml (pas d'erreur attendue/rencontrée spécifique à des syntaxes de règles python)

.github/workflows/workflow.yml

sandcha

Merci @benoit-cty pour tout de fix de configuration !
Validé avec 3 mini points à vérifier avant merge :

un slash en dernier commentaire qui devrait peut-être remplacer un backslash
aligner les versions de python sur windows à 3.10.6
et un commentaire de todo à retirer probablement

sandcha · 2024-10-31T18:04:22Z

.conda/recipe.yaml

@@ -19,7 +19,7 @@ source:
 build:
  noarch: python
  number: 0
-  script: "pip install . -v"
+  script: "pip install ."


Permet d'éviter un job rouge en sortie de CI pour log trop long.

sandcha · 2024-10-31T18:05:35Z

.github/workflows/workflow.yml

-            build-conda-${{ hashFiles('.conda/recipe.yaml') }}
-            build-conda-
+          path: ${{ runner.temp }}\conda-bld
+          key: build-conda-${{ hashFiles('pyproject.toml') }}-${{ github.sha }}


❤️ Pour la source unique qu'est pyproject.toml maniement pour l'information sur les dépendances.

sandcha · 2024-10-31T18:11:40Z

.github/workflows/workflow.yml

+        run: mamba install --channel file:///tmp/conda-bld --channel openfisca openfisca-france
+      - name: Test conda package
+        shell: bash -l {0}
+        run: openfisca test tests/formulas/irpp.yaml


Bilan, pour détecter les erreurs sur Windows de :

paramètres : le script Test max path length (du jobtest-on-windows à ne pas confondre avec le job test-path-length exécuté sur ubuntu) vérifie le fait de ne pas dépasser la limite par défaut de longueur de path

variables, chargement du TaxBenefitSystem et bonne installation de la commande openfisca : l'exécution d'un seul test YAML suffit et est économe en temps de calcul ; ici on teste déjà tout ce qu'il y a dans irpp.yaml (pas d'erreur attendue/rencontrée spécifique à des syntaxes de règles python)

.github/workflows/workflow.yml

sandcha · 2024-10-31T18:31:42Z

.github/workflows/workflow.yml

-          conda config --set anaconda_upload yes
-          conda build --channel conda-forge --channel openfisca --token ${{ secrets.ANACONDA_TOKEN }} --user openfisca .conda
+          conda install --yes anaconda-client
+          anaconda -t ${{ secrets.ANACONDA_TOKEN }} upload --user openfisca ${{ runner.temp }}\conda-bld/noarch/openfisca-france-*


Slash à vérifier ici ? : ${{ runner.temp }}\conda-bld/noarch/openfisca-france-*
À remplacer par ceci ? : ${{ runner.temp }}/conda-bld/noarch/openfisca-france-*

Merci, c'est changé. Ca fonctionnait quand même car Windows supporte maintenant les deux écritures.

openfisca_france/scripts/check_path_length.py

Checkout needed to get github.sha ci : use-mamba ci : use-mamba wip: try to understand why cache key changes use only github.sha enableCrossOsArchive remove ${{ hashFiles('.conda/recipe.yaml') Add mamba to publish Fix conda publish

Co-authored-by: sandcha <[email protected]>

…rge size"

Co-authored-by: sandcha <[email protected]>

benoit-cty marked this pull request as ready for review October 23, 2024 13:32

benoit-cty requested a review from bonjourmauko October 23, 2024 13:32

benoit-cty changed the title ~~Draft: fix conda upload~~ Fix conda upload Oct 23, 2024

benoit-cty requested a review from sandcha October 23, 2024 17:29

benoit-cty force-pushed the fix_conda_master_ci branch from 7a566e9 to fec7979 Compare October 31, 2024 10:08

sandcha reviewed Oct 31, 2024

View reviewed changes

sandcha approved these changes Oct 31, 2024

View reviewed changes

benoit-cty and others added 13 commits October 31, 2024 19:59

wip: fix conda upload

394a958

better conda workflow

ed4b047

Checkout needed to get github.sha ci : use-mamba ci : use-mamba wip: try to understand why cache key changes use only github.sha enableCrossOsArchive remove ${{ hashFiles('.conda/recipe.yaml') Add mamba to publish Fix conda publish

Suggested change

cfbf87a

Co-authored-by: sandcha <[email protected]>

Reduce verbosity to avoid "This step has been truncated due to its la…

ed93f12

…rge size"

Ajout d'un commentaire sur l'usage

b91d572

Conda uniquement sur Windows

09147e4

Passe à un chemin windows

5be45e8

Utilise ${{ runner.temp }}

a59a5ac

fix path

dc9ae44

try fix cache

2f645d1

Remet seulement sur master

426a3a1

Retire TODO

dd809e2

Co-authored-by: sandcha <[email protected]>

CI python version

b93e95f

Co-authored-by: sandcha <[email protected]>

benoit-cty force-pushed the fix_conda_master_ci branch from e25abf4 to b93e95f Compare October 31, 2024 18:59

benoit-cty added 2 commits October 31, 2024 19:59

anti-slash

c7edbb9

bump

998e14c

benoit-cty enabled auto-merge October 31, 2024 19:05

benoit-cty merged commit 0639cfa into master Oct 31, 2024
38 checks passed

benoit-cty deleted the fix_conda_master_ci branch October 31, 2024 19:13

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Fix conda upload #2374

Fix conda upload #2374

benoit-cty commented Oct 23, 2024 •

edited

Loading

sandcha Oct 31, 2024

sandcha Oct 31, 2024 •

edited

Loading

benoit-cty Oct 31, 2024

sandcha Oct 31, 2024

sandcha Oct 31, 2024

benoit-cty Oct 31, 2024

sandcha Oct 31, 2024

benoit-cty Oct 31, 2024

sandcha Oct 31, 2024

sandcha left a comment

sandcha Oct 31, 2024

sandcha Oct 31, 2024

sandcha Oct 31, 2024

sandcha Oct 31, 2024

benoit-cty Oct 31, 2024

Fix conda upload #2374

Fix conda upload #2374

Conversation

benoit-cty commented Oct 23, 2024 • edited Loading

Choose a reason for hiding this comment

sandcha Oct 31, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sandcha left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

benoit-cty commented Oct 23, 2024 •

edited

Loading

sandcha Oct 31, 2024 •

edited

Loading