Senior Data Engineer

CONTEXTE DU POSTE :

• Titre : Senior Data Engineer (K10003)
• Lieu : Bruxelles

Une initiative belge dans le domaine des données de santé publique rassemble les solutions de données existantes des institutions nationales de santé et des mutualités au sein d’une plateforme cloud commune. En tant que Senior Data Engineer, vous développerez des composants de qualité et d’intégration des données à l’aide d’Azure Databricks, Python, SQL Server et de services REST API, afin de contribuer à une source unique et fiable pour les informations relatives à la santé en Belgique.

La mission

Le programme met en place une plateforme de données commune pour les organisations belges de soins de santé, avec Azure Databricks comme technologie centrale. Elle comprend notamment un hub de données de référence connecté à plusieurs référentiels, un moteur de validation des données provenant de sources externes, ainsi que des services destinés à l’échange, à la configuration et à l’intégration des données. La mission combine le développement applicatif, l’ingénierie des données, le Master Data Management (MDM) et les pratiques DevOps, notamment la CI/CD.

Vous interviendrez sur l’ensemble du cycle de livraison, depuis l’analyse fonctionnelle et la conception de la solution jusqu’au développement, aux tests, au déploiement et à la maintenance. Votre travail fera le lien entre les équipes data, les analystes fonctionnels, l’architecte data et la direction de projet, afin de garantir que les données de santé partagées sont correctement intégrées, validées et documentées. Le poste comprend également la revue de prototypes, la démonstration des solutions et l’accompagnement des utilisateurs.

Vos responsabilités

• Concevoir et mettre en œuvre un hub de données reliant les données de référence et les sources de référentiels, y compris les opérations CRUD et les fonctionnalités de transformation des données.
• Développer et maintenir des interfaces REST API ainsi que des services de connexion pour l’échange et la validation des données, la configuration et l’intégration de la plateforme.
• Développer des solutions de validation des données permettant d’identifier les problèmes de qualité dans les données reçues de différentes sources externes.
• Analyser les besoins en matière de données et les traduire en solutions robustes d’ingénierie des données à l’aide d’Azure Databricks, Python et SQL Server.
• Tester, dépanner, déployer et maintenir les composants de la plateforme, tout en produisant une documentation technique claire.
• Examiner les prototypes, présenter les fonctionnalités livrées et fournir des conseils pratiques aux utilisateurs et aux parties prenantes du projet.

Votre profil

Compétences essentielles

• Vous disposez d’au moins 7 ans d’expérience en tant que Data Engineer, dans un environnement Microsoft BI, notamment avec SQL Server et des outils de développement tels que Visual Studio et SSIS.
• Vous appliquez de solides pratiques d’ingénierie et de qualité des données aux activités d’intégration, de validation et de développement de plateformes.
• Vous développez des solutions avec Azure Databricks et Python et comprenez comment les plateformes de données cloud soutiennent l’analytique et les services de données opérationnels.
• Vous analysez les besoins en matière de données et traduisez les besoins fonctionnels en conceptions techniques faciles à maintenir.
• Vous travaillez efficacement avec des services REST API et des interfaces d’intégration de données.
• Vous prenez la responsabilité de vos livrables, résolvez les problèmes de manière pragmatique et collaborez avec les parties prenantes techniques et fonctionnelles dans le cadre d’un projet agile.

Langues

• Néerlandais : niveau de langue maternelle ou niveau équivalent au niveau C2 du CECRL.
• Français : niveau de langue maternelle ou niveau équivalent au niveau C2 du CECRL.
• La connaissance passive de l’autre langue nationale est requise.

Formation

• Master en informatique ou expérience professionnelle équivalente.