Une organisation du secteur public qui fournit des services à Bruxelles, en Belgique, met en place une architecture de données Azure pour les services communaux, dont un Digital Twin consacré aux îlots de chaleur urbains. En tant que Data Architect medior, vous concevrez les flux d’ingestion de bout en bout, le traitement en temps réel et la gouvernance des données IoT, géospatiales et BIM, tout en contribuant à Azure DevOps et à l’Infrastructure as Code avec Terraform ou un outil équivalent.
La mission
La plateforme de données associe Azure Data Lake, Azure Data Factory, Azure Synapse Analytics et Azure Databricks à Microsoft Purview et Power BI. Elle prend en charge des pipelines ELT et ETL, une architecture lakehouse et medallion, des modèles dimensionnels ainsi que des échanges de données via des patterns ESB/API.
Le travail lié au Digital Twin rassemble des données de capteurs, géospatiales et BIM afin de modéliser les îlots de chaleur urbains et de permettre une meilleure analyse des services de la ville. L’architecture doit également intégrer advanced analytics, AI/ML et MLOps au sein d’une plateforme cloud gouvernée.
Vous traduirez les besoins métier et les besoins urbains en matière de données en une architecture de bout en bout couvrant l’ingestion, le traitement, le stockage, la mise à disposition et la visualisation. Votre périmètre couvre l’architecture des données de référence basée sur MDM/EDM, la conception de l’intégration, la modélisation des données et la définition de composants de plateforme réutilisables. Vous contribuerez de manière opérationnelle à la mise en place de CI/CD dans Azure DevOps et gérerez le cycle de vie des composants au moyen d’une IaC basée sur Terraform. Vous collaborerez avec les parties prenantes des équipes data, plateforme et projet afin que l’initiative Digital Twin puisse s’appuyer sur des données fiables, traçables et sécurisées.
Vos responsabilités
- Définir des patterns d’architecture de données pour les données de capteurs, géospatiales et BIM sur l’ensemble des étapes d’ingestion, de traitement en temps réel et de consommation analytique.
- Concevoir des référentiels MDM/EDM et des échanges ESB/API afin d’améliorer la cohérence et l’interopérabilité des données de référence et des données opérationnelles.
- Mettre en place des pipelines CI/CD dans Azure DevOps et décrire l’infrastructure de la plateforme sous forme de code avec Terraform ou une IaC équivalente.
- Mettre en place dans Purview des pratiques de catalogage, de lineage, de classification et de data quality afin de rendre les jeux de données faciles à découvrir et à tracer.
- Intégrer les workloads AI/ML, les pratiques MLOps et les parcours de consommation Power BI à des services analytiques gouvernés.
- Appliquer les contrôles de sécurité Azure, notamment RBAC, les private endpoints, le networking, Key Vault et les policies.
Votre profil
Compétences essentielles
- Concevoir des architectures de données de bout en bout pour les données IoT, géospatiales et BIM, de l’ingestion à la consommation.
- Exploiter les services Azure Data Platform, notamment Data Lake, Data Factory, Synapse Analytics et Databricks.
- Mettre en œuvre l’Infrastructure as Code et les pratiques Azure DevOps, avec Terraform ou un outil équivalent.
- Appliquer les principes de gouvernance des données avec Microsoft Purview, notamment le catalogage, le lineage, la classification et la qualité.
- Modéliser une architecture lakehouse et une medallion architecture, ainsi que des structures de données dimensionnelles, pour l’ELT et l’ETL.
- Comprendre la sécurité cloud au travers de RBAC, des private endpoints, du networking, de Key Vault et des policies.
- Travailler de manière autonome à un niveau medior et communiquer clairement les choix d’architecture aux parties prenantes techniques et non techniques.