L’organisation exploite une plateforme Apache Kafka qui prend en charge des microservices event-driven et le change data capture (CDC). Dans le cadre d’une mission de consultance de trois mois, le consultant Kafka senior évaluera et optimisera l’infrastructure existante, formalisera la gouvernance de son exploitation et améliorera l’observabilité avec Grafana, tout en traitant des problèmes concrets de maintenance de la plateforme.
La mission
La plateforme constitue un socle de données pour les applications distribuées. Les travaux portent sur les brokers Kafka, KRaft, Schema Registry, Kafka Streams et Kafka Connect. La mission couvre les data pipelines, la configuration des topics, le partitionnement, les politiques de rétention, l’architecture des connecteurs et l’échange sécurisé de données au moyen de TLS, SASL et ACLs. Ce travail rendra la plateforme Kafka plus facile à exploiter et contribuera à garantir une disponibilité constante sur l’ensemble de ses clusters. Il permettra également d’établir des procédures documentées de monitoring, de troubleshooting et de gouvernance de la plateforme.
Vous évaluerez l’architecture Kafka actuelle et traduirez vos constats en améliorations concrètes pour les opérations de production. Votre quotidien comprendra l’optimisation des pipelines, la revue des intégrations Kafka Connect, la mise en place du monitoring Grafana pour les clusters Kafka et la création de procédures reproductibles de troubleshooting. Vous mettrez en relation les décisions d’architecture et les exigences opérationnelles liées aux microservices et aux cas d’usage CDC. La documentation et le transfert de connaissances permettront à l’équipe technique d’assurer la maintenance de la plateforme au terme de la mission.
Vos responsabilités
- Évaluer l’infrastructure Kafka existante et définir des améliorations de son architecture, de sa configuration et de son modèle opérationnel.
- Concevoir l’architecture Kafka pour les microservices event-driven et les flux de données CDC, notamment les topics, les partitions, la rétention et les exigences de déploiement.
- Optimiser les data pipelines et les intégrations Kafka Connect afin d’améliorer la fiabilité, la maintenabilité et la préparation à la production.
- Mettre en place le monitoring avec Grafana et définir des indicateurs opérationnels pour les brokers, les connecteurs, les topics et l’état de santé des clusters.
- Sécuriser les échanges de données au moyen de TLS, SASL et ACLs, tout en contribuant aux procédures de gouvernance Kafka adaptées.
- Documenter les procédures de troubleshooting et transférer les connaissances à l’équipe technique.
Votre profil
Compétences essentielles
- Apportez une expérience significative en tant que consultant Kafka ou ingénieur Kafka senior, notamment dans le déploiement en production et l’optimisation de plateformes Kafka.
- Possédez une connaissance avancée de l’écosystème Apache Kafka, notamment des brokers, de KRaft et de Schema Registry.
- Utilisez Kafka Streams et Kafka Connect pour créer et exploiter des flux de données event-driven.
- Comprenez les systèmes distribués, les microservices, le CDC et les principes d’architecture event-driven.
- Configurez et optimisez les topics, les partitions, les mécanismes de rétention et les data pipelines.
- Évaluez les architectures de connecteurs et améliorez leur monitoring ainsi que leur support opérationnel.
- Utilisez Grafana pour mettre en place un monitoring pertinent des plateformes et des clusters Kafka.
- Appliquez les principes d’architecture IT et contribuez à la gouvernance nécessaire à la mise en exploitation de la plateforme.
- Sécurisez les communications Kafka avec TLS, SASL et ACLs.
- Travaillez avec des technologies de conteneurisation telles que Strimzi ou Confluent et automatisez les procédures opérationnelles avec Ansible.
- Analysez méthodiquement les problèmes de production, développez des approches de troubleshooting et communiquez clairement les décisions techniques.
Compétences souhaitées
- Familiarité avec des plateformes de données en streaming telles que Apache Iceberg, Apache Spark ou Apache Flink.