Une organisation belge active dans les domaines de la santé publique et de la recherche scientifique met en place une plateforme multi-utilisateurs de données et d’analytics pour les données de santé, animales et environnementales. En tant que Senior Solution Architect pour la plateforme de données lakehouse, vous définirez la couche de stockage, notamment les bases de données SQL et le stockage objet, et la relierez aux flux d’ingestion, aux systèmes centraux et aux environnements de data science.
La mission
La plateforme doit prendre en charge l’ingestion, le traitement, la gouvernance, l’analyse et la diffusion des données dans l’écosystème belge des données de santé, animales et environnementales. Vous définirez des technologies open-source et souveraines pour une architecture de stockage évolutive, couvrant les data lakes, les bases de données relationnelles et NoSQL, les data warehouses, la sauvegarde et l’archivage. L’architecture devra répondre aux exigences de GDPR, de NIS2, de sécurité de l’information et de l’European Health Data Space.
En collaboration avec le Data Office, les équipes techniques et les partenaires externes, vous assurerez le lien entre l’architecture organisationnelle et les décisions détaillées de mise en œuvre. Votre périmètre comprend l’architecture d’une plateforme de données de santé, des couches medallion allant de bronze à gold, ainsi que l’interopérabilité avec les data science workbenches, la business intelligence, les data service gateways et les environnements de traitement sécurisés.
Vos responsabilités
- Définir l’architecture cible du stockage et de la plateforme lakehouse, couvrant le stockage BLOB, le stockage objet compatible S3, les environnements SQL RDBMS, les data warehouses et les systèmes NoSQL.
- Concevoir la mise en œuvre des couches de données bronze, silver et gold, y compris les durées de conservation, l’archivage, la sauvegarde et la restauration pour différents flux de données.
- Évaluer et tester des technologies telles que PostgreSQL, MinIO, OpenStack, Apache Iceberg, Spark, dbt, Kubernetes et Docker en fonction de leur interopérabilité, de leur fonctionnement multi-utilisateur et de leur adéquation aux exigences de production.
- Veiller à ce que les architectures et les flux de données respectent les exigences de GDPR et de NIS2, ainsi que les exigences en matière de gouvernance des données, de confidentialité et celles du cadre European Health Data Space.
- Guider les équipes d’ingénierie dans les revues de conception, les évaluations de code, les décisions techniques et les pratiques de mise en œuvre, en résolvant proactivement les problèmes d’intégration.
- Documenter les décisions d’architecture et être le point de contact technique pour les services internes, la direction et les partenaires externes.
Votre profil
Compétences essentielles
- Justifier d’au moins 10 ans d’expérience en ingénierie de plateformes de données, en architecture de solutions, en stockage de données, en modélisation de données, en technologies de bases de données et sur des plateformes modernes d’analytics, notamment en tant que Data Platform Engineer.
- Faire preuve d’une solide expertise en architecture de plateformes de données, en ingestion de données, en data lakes, en data warehousing et en pipelines ETL/ELT.
- Gérer les environnements de bases de données SQL et conseiller sur leur gestion, notamment sur le plan applicatif et opérationnel en production.
- Concevoir une architecture de plateforme de données open-source sans dépendance à un fournisseur unique, avec une connaissance pratique de l’architecture lakehouse et des initiatives européennes en matière de souveraineté numérique.
- Sélectionner et mettre en œuvre des technologies telles que PostgreSQL, MinIO, NoSQL, Spark, Iceberg, dbt, Docker, Kubernetes, Helm, Keycloak, Vault, Terraform et OpenStack.
- Communiquer clairement sur des sujets complexes liés à l’architecture et à la gouvernance des données auprès de parties prenantes techniques et non techniques, tout en travaillant de manière autonome et en collaboration.
Langues
- Néerlandais ou français, niveau CEFR B2 ou supérieur.
- Anglais, niveau CEFR C1 ou supérieur.
Formation
- Diplôme de master en informatique, en ingénierie, en gestion des données ou dans un domaine connexe, ou expérience pertinente équivalente.