Production · Banque
Data Watchdog : une qualité de données qui apprend
Des règles codées en dur à la classification d’anomalies par ML — avec alertes en streaming et boucle de validation humaine — pour l’entité Data Governance d’une banque.
- Rules + MLdétection d’anomalies hybride
- Batch + streamPrefect & Kafka
- Human-in-the-loopvalidation métier
Architecture
- 01PostgreSQLdonnées sources
- 02Rulescontrôles connus
- 03ML classifierscikit-learn
- 04Kafkaalertes temps réel
- 05Business reviewaccepter / rejeter
↺ Les décisions de validation alimentent les modèles. Prefect orchestre le batch ; Atlas et Ranger gouvernent l’ensemble du flux.
Contexte
La Banque Centrale Populaire est l’institution centrale du Groupe Banque Populaire, l’un des plus grands groupes bancaires du Maroc. Son entité Data Governance garantit que les données sur lesquelles s’appuie la banque sont complètes, fraîches et correctes.
Le défi
Les contrôles qualité étaient des règles codées en dur. Une règle détecte ce qu’on a anticipé et rate le reste ; chaque nouvelle règle est du code en plus à maintenir, et une alerte sans contexte finit ignorée.
Ce que j’ai construit
- Une couche de règles pour les invariants connus — complétude, validité, fraîcheur — conservée comme première ligne de défense.
- Des modèles de classification scikit-learn qui détectent et catégorisent les anomalies complexes que les règles ratent.
- Une orchestration batch et streaming avec Prefect et Kafka, qui émet des alertes en temps réel.
- Une boucle de validation humaine : les métiers acceptent ou rejettent les corrections proposées, et leurs décisions alimentent l’amélioration continue.
- Gouvernance et sécurité : contrôle d’accès avec Apache Ranger, lineage et catalogage avec Apache Atlas.
- Un reporting qualité Power BI sur la complétude, la fraîcheur et les anomalies.
Résultats
- 01Une détection qui ne se limite plus aux règles écrites à la main.
- 02Des alertes en temps réel plutôt que des rapports a posteriori.
- 03Les métiers dans la boucle : le système s’améliore à l’usage.
- 04Gouverné de bout en bout : contrôle d’accès, lineage et catalogue.
Stack
- Python
- SQL
- Prefect
- Kafka
- PostgreSQL
- scikit-learn
- Apache Ranger
- Apache Atlas
- Power BI
- Docker
Un problème similaire ?
Parlons-en — que vous recrutiez ou que vous cherchiez un freelance.