Le Blog de la maîtrise opérationnelle et du management de l'énergie dans l'industrie


Parcourez nos articles, conseils d’experts et témoignages d’industriels : nos expériences vous font gagner du temps !
ETL-Extraire-Transformer-Charger-gestion-donnes

Wiki Blu.e : Extraire – Transformer – Charger, ou comment l’ETL est essentiel pour gérer les données

Les données accessibles sur un site industriel sont nombreuses. Provenant d’outils de production, d’alertes de maintenance et d’informations extérieures, ces données sont hétérogènes. Dans ces conditions, comment les agréger, les traiter, les exploiter pour optimiser les consommations énergétiques ? Un petit logiciel robot répond à la mission : un ETL.

1. Définition

2. Ce que Extract, Transform et Load couvrent

3. L’atout d’un ETL puissant

1. Définition

L’ETL est un petit logiciel d’intégration, qui permet d’extraire (Extract) des données brutes d’un système source, de les préparer et les nettoyer (Transform) pour les charger (Load) dans une base de données, pour une utilisation ultérieure. Les ETL sont largement utilisés dans l’industrie, du fait de la variété de sources de données.

2. Ce que Extract, Transform et Load couvrent

# Extract – La partie extracteur du logiciel recueille les données, toutes les données exploitables de l’usine : volume et variété des produits fabriqués, paramètres de température, de pression et de débit des systèmes, usure des machines, consommations d’énergie, et les données extérieures : météo, prix des matières premières…

# Transform – Le transformateur de l’ETL réalise des calculs qui permettent d’établir des liens entre les données hétérogènes de l’usine, comme la consommation énergétique d’une machine, les quantités produites pour chaque référence produit ou encore la facture du fournisseur d’énergie. Il met les données en correspondance, permettant d’obtenir une vue globale de la performance énergétique. Le transformateur effectue aussi du remplissage de données. Ainsi, si l’on veut tracer une courbe avec des points espacés toutes les 10 minutes, alors que le compteur communique ses data heure par heure, l’ETL calcule les points manquants, par régression linéaire ou marche d’escalier. Autre calcul par le transformateur : il peut « nettoyer » les données, en utilisant des règles d’apprentissage automatique, il identifie les dysfonctionnements et les erreurs de comptage appelés « points aberrants » et les remplace.

# Load – Une fois nettoyées, les data sont chargées et organisées via une interface de programmation dans une base de données – aussi appelée entrepôt de données ou « datawarehouse ». Elles sont ensuite utilisées par les logiciels SaaS d’analyse comme blu.e pilot®. L’hébergement est fait sur plusieurs serveurs.

3. L’atout d’un ETL puissant

Les données que les clients de Blu.e analysent et exploitent sont donc gérées par un système de chargement ETL. C’est un logiciel puissant et évolutif, conçu spécifiquement pour les besoins des industriels. Il gère des millions de lignes de données et des millions de variables. Ceci pour gagner en cohérence et optimiser la performance énergétique de leurs usines.