Skip to content
This repository has been archived by the owner on Aug 31, 2023. It is now read-only.

Trop de responsabilités dans les jobs d'import #122

Open
brindu opened this issue Jun 14, 2019 · 0 comments
Open

Trop de responsabilités dans les jobs d'import #122

brindu opened this issue Jun 14, 2019 · 0 comments
Labels
better code Source code improvement

Comments

@brindu
Copy link
Contributor

brindu commented Jun 14, 2019

Le job d'import a aujourd'hui trop de responsabilités : il ne devrait qu'appeler l'opération d'import (Load), gérer l'orchestration de la suite de l'import en fonction du résultat et tout ce qui est job related (queue de retry, etc).

La transaction est aujourd'hui au tout début de la chaine d'import alors que l'opération Load fait "beaucoup" de chose avant de persister la donnée en base (lecture du disque, unzip, parsing des noms de fichier, ...). Elle doit être redescendue au moment de l'import des données en base

L'opération d'import devrait s'occuper des mises à jour de l'état de l'import : LOADING, COMPLETED, ERROR ce qui n'est pas possible tant que l'exécution de l'opération est entièrement encadrée par la transaction.

@brindu brindu added the better code Source code improvement label Jun 14, 2019
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
better code Source code improvement
Projects
None yet
Development

No branches or pull requests

1 participant