_ ,       
 ݁₊                            . ݁       ⊹₊         ,- -      ⊹ . ݁     ₊ 
 ____  ₊ ݁.._   ⟡ _____  ____      _     _   _    _||_    _    '             
/ ___|₊ ⊹ / \   |  ___||  _ \. ݁₊ / \ ⟡ | \ | |  ' ||    < \, \\ ,._-_ '\\/\\ 
\___ \   / _ \  | |_   | |_) |  / _ \  |  \| |    || ⊹  /-|| ||  || ₊. || ;' 
 ___) | / ___ \ |  _|  |  _ < ⊹/ ___ \ | |\  |    |,   (( || ||  ||    ||/   
|____/ /_/   \_\|_|  ݁ .|_| \_\/_/   \_\|_| \_|  _-/     \/\\ \\  \\,   |/  
SAFRAN Fairy                                     . ݁. ݁       ⊹ ₊.      (      
                                                                       -_-

Pipeline automatisé de téléchargement, traitement et publication des données SAFRAN-ISBA-MODCOU (SIM2) au format NetCDF pour chaque variable disponible pour l'ensemble de la période de réanalyse depuis meteo.data.gouv.fr vers un bucket S3 public avec catalogue STAC et vers Recherche Data Gouv.

Afin d'améliorer la réutilisabilité et en raison d'une accessibilité et d'une interopérabilité technique limitées des données dans leur format d'origine (CSV volumineux), ce projet automatise les étapes de :

1. Téléchargement des fichiers CSV depuis l'API Météo-France
2. Décompression des archives .csv.gz
3. Découpage par variable climatique
4. Conversion en NetCDF avec métadonnées
5. Reconstruction des séries temporelles (historical/previous/latest)
6. Publication sur un bucket S3 public avec génération d'un catalogue STAC pour la découvrabilité et l'interopérabilité des données
7. Publication sur un dépôt de données de l'entrepôt Recherche Data Gouv

in dev – Ce projet ajoute aux données d'origine l'évapotranspiration calculée selon la méthode de Hargreaves à partir des températures minimales et maximales de la réanalyse SAFRAN afin de continuer de répondre au besoin exprimé dans le cadre du projet Explore2.

Trois fichiers NetCDF par variable pour optimiser la performance et la fraîcheur des données :

26 variables climatiques quotidiennes sur grille Lambert II étendu (8 km) :

Voir resources/safran_variables.csv pour la liste complète.

• Python 3.10+
• NCO (NetCDF Operators) : sudo apt install nco

# Cloner le dépôt
git clone https://github.com/lou-heraut/safran-fairy.git
cd safran-fairy

# Installation
python -m venv .python_env
source .python_env/bin/activate
pip install -r requirements.txt

Voir INSTALL.md pour l'installation détaillée sur serveur Linux.

# Pipeline complet
make run-all

# Étapes individuelles
make run-download    # Télécharger les nouvelles données
make run-decompress  # Décompresser
make run-split       # Découper par variable
make run-convert     # Convertir en NetCDF
make run-merge       # Fusionner temporellement
make run-upload      # Publier sur S3
make run-ui          # Générer et uploader le catalogue STAC
make run-clean       # Nettoyer les anciennes versions

# Configuration du bucket S3 (une seule fois)
make run-setup

# Installation du service
sudo make install-service

# Vérifier le statut
make service-status

# Suivre les logs en temps réel
make service-logs

Le service s'exécute quotidiennement à 02:00 UTC.

# Logs en temps réel
make service-logs

# Statut du service
make service-status

# Logs de la dernière exécution
make service-logs-last-run

# Statistiques sur les données
make data-stats

safran_fairy/
├── download.py      # Téléchargement depuis meteo.data.gouv.fr
├── decompress.py    # Extraction des .csv.gz
├── split.py         # Découpage par variable
├── convert.py       # Conversion CSV → NetCDF
├── merge.py         # Fusion temporelle
├── upload.py        # Publication S3
├── catalog.py       # Génération catalogue STAC
└── clean.py         # Nettoyage des anciennes versions

00_data-download/     # Fichiers .csv.gz bruts téléchargés
01_data-raw/          # Fichiers .csv décompressés
02_data-split/        # Fichiers .parquet par variable
03_data-convert/      # Fichiers .nc individuels
04_data-output/       # Fichiers .nc fusionnés (historical/previous/latest)
05_catalog/           # Fichiers JSON du catalogue STAC

Les données sont accessibles via le catalogue STAC :

https://radiantearth.github.io/stac-browser/#/external/https://s3-data.meso.umontpellier.fr/safran-fairy-data/stac-data/catalog.json

Maintenu par Lou Heraut (INRAE, UR RiverLy, Villeurbanne, France)