« Mettre en production » : ce que ça veut vraiment dire

Dans beaucoup d'organisations, un projet data est considéré comme terminé quand il produit le bon résultat. Quelqu'un fait une démonstration, les chiffres sont justes, tout le monde valide. En réalité, on est à mi-parcours.

Ce que « ça marche » veut dire en démonstration

Une démonstration s'exécute dans des conditions très favorables : la personne qui l'a construite la lance elle-même, sur un jeu de données qu'elle connaît, à un moment qu'elle a choisi, et elle est là pour rattraper un imprévu.

La production, c'est l'inverse. Le traitement se lance seul, à une heure où personne ne regarde, sur des données que personne n'a inspectées. Et si quelque chose se passe mal, la personne qui découvre le problème n'est pas celle qui l'a construit.

Les quatre écarts habituels

• L'environnement. Une connexion nommée autrement, une bibliothèque absente, un droit manquant. Cause d'échec la plus banale et la plus fréquente.
• Le volume. Deux minutes sur un échantillon peuvent devenir six heures sur les données réelles. Un traitement qui déborde de sa fenêtre décale tout ce qui suit.
• Les cas particuliers. Les données de test sont propres parce qu'on les a choisies. Les vraies contiennent des valeurs manquantes et des formats inattendus.
• L'absence de supervision. L'écart le plus coûteux, parce qu'il ne se voit pas à la livraison.

Une question à poser avant de valider

Comment saurons-nous que ça n'a pas fonctionné ?

Si la réponse est « quelqu'un s'en apercevra », le projet n'est pas prêt. Si c'est « on reçoit une alerte quand le traitement échoue », c'est un début, mais ça ne couvre que le cas confortable. La bonne réponse décrit aussi ce qui se passe quand le traitement ne démarre pas du tout, ou quand il réussit en produisant des données aberrantes.

Ce que ça implique

Mettre en production, c'est décider qui est prévenu quand ça casse, ce qu'on fait des cas non prévus, comment on revient à l'état précédent, et à quoi on reconnaît un résultat plausible.

Ce travail représente souvent autant d'effort que la construction initiale. Le prévoir dès le départ change la façon de concevoir le traitement. Le découvrir à la fin, c'est ce qui explique qu'autant de projets restent à l'état de prototype prometteur.