Structurer les usages Dataiku d'une direction supply chain

Les équipes supply chain pilotaient leur activité avec des données de la veille. Entre le moment où un incident survenait et celui où il devenait visible, il pouvait s'écouler une journée complète.

Fiabiliser avant d'accélérer

Les données venaient d'un ERP, de fichiers déposés manuellement et d'API REST. Avant de chercher à aller plus vite, il fallait que l'ingestion soit fiable : un fichier absent ou mal formé cassait toute la chaîne, sans moyen de le savoir avant que quelqu'un s'en plaigne.

J'ai construit un flow unifiant ces sources, avec des contrôles à chaque entrée et une gestion explicite des cas où une source manque.

Puis accélérer

Le pipeline initial était trop lent pour tourner plusieurs fois par jour. L'essentiel du gain est venu de deux choses simples : filtrer beaucoup plus tôt, et déporter les jointures lourdes en SQL. Une fois le pipeline assez rapide, les scénarios ont pris le relais avec des rafraîchissements réguliers et des alertes en cas d'échec.

Le centre de services

La partie la moins visible est celle qui a le plus d'effet à moyen terme. En lien avec l'éditeur, j'ai contribué à mettre en place un centre de services Dataiku : conventions de nommage, modèles de pipelines, bonnes pratiques et documentation.

L'objectif était double. Qu'un nouveau projet ne reparte pas d'une page blanche, et qu'un flow reste lisible par quelqu'un qui ne l'a pas écrit. J'ai accompagné cette mise en place par du support et des ateliers, parce qu'un standard que personne ne connaît n'existe pas.