Contexte du poste :
- Titre : Senior Data Engineer / Data Architect (Azure dataplatform VMM)
- Lieu : Alost
Une organisation du secteur public active dans la Région flamande de Belgique poursuit la mise en œuvre et l’exploitation de sa plateforme de données Azure pour ses programmes consacrés à la qualité de l’eau, à la qualité de l’air et à l’adaptation au changement climatique. En tant que senior data engineer et data architect, vous utiliserez Azure Databricks pour améliorer l’exploitation de la plateforme, mettre en place l’architecture des données et mener à bien de nouveaux projets de données au sein du service des solutions numériques.
La mission
L’organisation compte environ 750 collaborateurs et exerce ses activités dans toute la Flandre. Sa plateforme de données associe Azure Databricks à un environnement Power BI afin de soutenir les analyses et les activités liées aux données en lien avec la politique environnementale et les services publics. La mission couvre la maintenance de la plateforme, l’amélioration de ses performances et de son efficacité en matière de coûts, ainsi que la définition de pratiques d’ingénierie réutilisables. Les projets sont menés dans un contexte Agile, et un code de bonnes pratiques est en cours d’élaboration pour les futurs projets.
Vous interviendrez à la fois dans l’exploitation quotidienne de la plateforme et dans la réalisation de nouveaux projets. Votre périmètre couvre le suivi des traitements planifiés, l’analyse des problèmes techniques ou de performance et la transformation des constats en améliorations de la fiabilité, de la maintenabilité et de la maîtrise des coûts. Pour les nouvelles initiatives, vous donnerez forme à la stratégie et à l’architecture des données, définirez les modèles de données et réaliserez ou encadrerez les travaux de data engineering sur Azure. Le rôle fait le lien entre les enseignements tirés de l’exploitation et des décisions réutilisables dans l’ensemble de la plateforme de données.
Vos responsabilités
- Renforcer la fiabilité de la plateforme de données Azure et de l’environnement Power BI en surveillant les traitements quotidiens et en s’attaquant aux problèmes opérationnels récurrents.
- Définir et documenter un code de bonnes pratiques pour le développement et le déploiement sur Databricks, ainsi que pour l’utilisation de la plateforme.
- Concevoir une architecture de données et des modèles de données qui soutiennent les nouveaux projets et restent réutilisables à l’échelle de la plateforme.
- Réaliser ou encadrer les travaux de data engineering sur Azure, depuis les décisions architecturales jusqu’à la mise en œuvre et à la validation.
- Évaluer les performances de la plateforme et son efficacité en matière de coûts, puis recommander des améliorations sur la base de constats mesurables.
- Aligner la réalisation des projets sur la stratégie de données, les normes de données et des pratiques d’ingénierie maintenables dans un environnement Agile.
Votre profil
Compétences essentielles
- Vous disposez d’au moins 5 ans d’expérience en tant que data architect sur plusieurs projets impliquant une architecture de données complexe, ainsi que d’au moins 5 ans d’expérience avec Databricks.
- Vous avez de l’expérience sur Azure en tant que Data Architect, Solutions Architect ou Data Engineer, notamment une expérience pratique des modèles de données.
- Vous mettez en place et développez une stratégie et une architecture de données, en traduisant les décisions architecturales en approches de mise en œuvre concrètes.
- Vous détenez une certification Databricks Solutions Architect.
- Vous communiquez clairement avec les interlocuteurs techniques et les parties prenantes des projets et travaillez efficacement dans un contexte de mise en œuvre Agile.
Compétences souhaitées
- Traduire des modèles d’information conceptuels en modèles de données logiques.
- Travailler avec Azure Synapse et Azure Data Factory.
- Appliquer les principes de Data Management et utiliser des normes de données établies.
- Utiliser des langages de programmation et de scripting pour soutenir le data engineering et l’automatisation.
- Comprendre le secteur public flamand et ses normes techniques.
Langues
- Néerlandais : CEFR C2.