Une administration publique belge met en place un registre partagé des entreprises afin de remplacer les enregistrements fragmentés, dupliqués et incohérents conservés dans différentes applications métier. En tant que Data Engineer medior, vous concevrez des processus d’intégration et de gestion de la qualité des données au moyen de pipelines ETL FME et de DataLift, en reliant des sources fédérales et wallonnes afin de créer une référence unique pour l’identification des entreprises.
La mission
Le registre est destiné à devenir la source commune d’identification des entreprises au sein de l’administration et à remplacer les enregistrements fragmentés présents dans de nombreuses applications métier. Il recevra des identifiants et certaines données de processus provenant des systèmes contributeurs, puis leur redistribuera des identifiants d’entreprise consolidés, notamment les identifiants BCE et ceux du registre interne, ainsi que les données d’identité, les classifications d’activités, les représentants et d’autres données issues des sources. Le déploiement reliera progressivement des sources wallonnes et fédérales au moyen d’échanges bidirectionnels. Cette démarche favorise la réutilisation des données, une plus grande cohérence des processus administratifs et le principe Only Once.
Vous rejoindrez une équipe projet composée d’un chef de projet, d’un coordinateur technique et d’un analyste, au sein de la direction de la gestion et de la valorisation des données. Votre périmètre couvre la conception, la mise en œuvre et les tests de processus d’ETL, de validation, de suivi des anomalies, de nettoyage et de supervision des données. Vous collaborerez avec les équipes de mise en œuvre numérique et le service de virtualisation des données afin d’évaluer chaque connexion applicative et de maintenir une vue consolidée cohérente. Le poste comprend également la documentation, le support en cas d’incident et l’amélioration continue, afin que les équipes opérationnelles puissent assurer la maintenance du registre après son déploiement.
Vos responsabilités
- Développer des pipelines ETL FME pour les données relatives aux entreprises, en mettant en œuvre des connecteurs, des transformations, la normalisation et des flux de données bidirectionnels traçables.
- Définir des validations automatisées de la qualité des données avec FME et DataLift, portant sur les formats, l’exhaustivité, la cohérence temporelle, la validation entre sources et l’unicité.
- Mettre en œuvre des mécanismes de consolidation des données de référence pour gérer les identifiants uniques, la déduplication, la priorisation des sources et la gestion des conflits.
- Détecter et résoudre les doublons, les valeurs aberrantes et les incohérences au moyen de la standardisation, de l’enrichissement, de la correction et de l’analyse des causes profondes.
- Mettre en place des tableaux de bord de suivi, des indicateurs de qualité et des rapports couvrant l’exactitude, l’exhaustivité, la cohérence, l’unicité, la fraîcheur et la conformité.
- Coordonner l’intégration des applications en analysant les impacts techniques, en soutenant les tests d’intégration, en résolvant les incidents liés aux données et en documentant les processus opérationnels.
Votre profil
Compétences essentielles
- Appliquer les principes de la gouvernance des données, notamment les approches fondées sur DAMA, aux données de référence et aux informations relatives aux entreprises.
- Utiliser concrètement des outils ETL, avec une expérience de FME et de Talend et la capacité à respecter les normes d’intégration du secteur public.
- Concevoir et analyser des systèmes de gestion de bases de données, en traduisant les exigences fonctionnelles en modèles de données et en processus cohérents.
- Mettre en œuvre des pratiques de Data Quality Management à toutes les étapes de l’ingestion, de l’intégration et de l’utilisation continue des données.
- Examiner les défauts de données de manière pragmatique, classer les anomalies selon leur criticité et proposer des actions correctives au niveau de la source appropriée.
- Communiquer avec clarté et assurance avec les parties prenantes du projet, des équipes techniques et de la gestion des données, tout en adoptant une approche orientée service.
Langues
- Français, niveau C1 ou supérieur, avec de solides compétences en communication écrite et orale.