Guide upload s3

[linogaliana]

Dernière version des recommandations pour base de départ

Bonjour,

Vous avez un espace de stockage sur le sspcloud qui est pratique pour ce type de fichiers lourds, git n’étant pas adapté.
Vous pouvez trouver plus d’éléments sur ce système de stockage [ici](https://pythonds.linogaliana.fr/content/modern-ds/s3.html#le-syst%C3%A8me-de-stockage-s3) et [ici](https://inseefrlab.github.io/docs.sspcloud.fr/docs/fr/storage.html). L’idée est que l’un de vous fera un upload du fichier sur son espace de stockage associé à son compte puis rendra disponible à tous ce fichier.

Supposons que votre nom d’utilisateur sur le sspcloud soit toto et que le fichier s’appelle bigfile.pkl. 

Pour pouvoir copier un fichier sur l’espace de stockage, la méthode la plus simple est depuis un terminal ouvert sur vscode (le service vscode doit avoir été ouvert il y a moins de 24h sinon les jetons auront expirés), en supposant que le dossier de travail du terminal soit dans le bon dossier (sinon faire des cd, cf. https://ensae-reproductibilite.github.io/website/chapters/linux-101.html ):

mc cp bigfile.pkl s3/toto/pythonds2A/bigfile.pkl #upload sur espace de stockage
mc anonymous set download s3/toto/pythonds2A #rendre disponible en téléchargement tous les fichiers dans ce dossier

La personne qui a fait l’upload peut vérifier que le fichier a bien été uploadé dans le chemin adéquat ici : https://datalab.sspcloud.fr/my-files/

Le fichier est téléchargeable en utilisant le modèle d’url suivant, à modifier en fonction de votre choix :
https://minio.lab.sspcloud.fr/toto/pythonds2A/bigfile.pkl 

Des exemples plus nombreux [ici](https://pythonds.linogaliana.fr/content/modern-ds/s3.html#le-syst%C3%A8me-de-stockage-s3) et [ici](https://inseefrlab.github.io/docs.sspcloud.fr/docs/fr/storage.html).

[linogaliana]

j'ai mis un truc dans d02515b, faudra juste parler du mc cp en plus