Une organisation publique belge du secteur de la défense met en place une Data Exchange Platform on-premise afin de permettre une utilisation sécurisée et souveraine des données dans plusieurs domaines. En tant que Senior Data Engineer à Bruxelles, vous développerez des pipelines Python et SQL avec Dagster, dbt et Delta Lake, de l’ingestion de sources hétérogènes à la mise à disposition de produits de données gouvernés et à leur exploitation dans les outils de BI. Le programme est mis en œuvre par une petite équipe du secteur belge de la défense, en collaboration avec un Data Architect, un Solution Architect et un BI Developer.
La mission
La plateforme fonctionne on-premise, car l’organisation exige des contrôles stricts en matière de sécurité, de gouvernance et de souveraineté des données. Son architecture lakehouse repose sur des couches Bronze, Silver et Gold, des tables Delta Lake, des transactions ACID et le time travel, tandis que dbt et DuckDB prennent en charge les transformations analytiques. Les sources comprennent des fichiers, des API et des bases de données relationnelles, avec une ingestion incrémentale et en streaming dans plusieurs domaines.
Vous travaillerez au sein du volet data engineering, aux côtés du Data Architect, du Solution Architect et du BI Developer. Votre périmètre couvrira l’ingestion fiable, la transformation, l’orchestration, la gestion des métadonnées et la mise à disposition de la couche Gold dans les outils de reporting. Vous implémenterez des assets Dagster, surveillerez les runs de production, maintiendrez la lineage de bout en bout dans DataHub et accompagnerez la consommation BI via Power BI. La fonction fait le lien entre la qualité des pipelines en production, les documents de gouvernance, les décisions techniques et des jeux de données exploitables par des utilisateurs disposant d’un accès contrôlé.
Vos responsabilités
- Concevoir et mettre en œuvre des pipelines idempotents d’acquisition de données en suivant des approches ETL et ELT pour des fichiers, des API et des bases de données relationnelles, y compris des flux de streaming basés sur Kafka.
- Construire des transformations Bronze, Silver et Gold avec dbt, en appliquant les patterns SCD2, upsert et append-only pour garantir un historique fiable des données.
- Maintenir les tables et les exports Delta Lake, en préservant la cohérence ACID et un accès fiable aux produits de données gouvernés.
- Orchestrer les assets Dagster, surveiller les runs de production, gérer les erreurs et automatiser les alertes afin que les pipelines restent traçables.
- Publier les métadonnées techniques et métier dans DataHub, maintenir la lineage de bout en bout et mettre les jeux de données Gold à la disposition de Power BI pour le reporting.
Votre profil
Compétences essentielles
- Utiliser Python, SQL, Pandas et Apache Spark dans un contexte de data engineering pour construire et dépanner des pipelines de production.
- Démontrer une expérience pratique de dbt-core couvrant les models, snapshots, macros, tests et profiles.
- Comprendre l’architecture des données ainsi que les patterns lakehouse et datalake, notamment la conception des couches Bronze, Silver et Gold.
- Utiliser Kafka pour l’ingestion event-driven et travailler avec des plateformes relationnelles telles que MSSQL et PostgreSQL, notamment avec du SQL avancé et le CDC.
- Travailler avec les fonctionnalités de Delta Lake, notamment les transactions ACID, le time travel, OPTIMIZE et VACUUM.
- Utiliser Dagster ou des concepts d’orchestration équivalents et être à l’aise dans des environnements de développement Linux, OpenShift et PowerShell.
- Appliquer des pratiques de gouvernance des données et de gestion des métadonnées avec DataHub ou des outils équivalents, notamment en matière de lineage et de documentation technique.
- Communiquer clairement les décisions techniques, travailler de manière autonome sur des pipelines complexes couvrant plusieurs domaines et collaborer efficacement avec les collègues de l’architecture et de la BI.
- Être de nationalité belge, une condition requise pour ce programme.