De organisatie beheert een Apache Kafka-platform dat event-driven microservices en change data capture (CDC) ondersteunt. Tijdens een consultancyopdracht van drie maanden zal de senior Kafka-consultant de bestaande infrastructuur beoordelen en optimaliseren, de governance voor het beheer ervan formaliseren en de observability met Grafana verbeteren, en tegelijk concrete onderhoudsproblemen van het platform aanpakken.
De missie
Het platform fungeert als dataruggengraat voor gedistribueerde applicaties. De werkzaamheden omvatten Kafka-brokers, KRaft, Schema Registry, Kafka Streams en Kafka Connect. De opdracht omvat data pipelines, topicconfiguratie, partitionering, retentiebeleid, connectorarchitectuur en veilige data-uitwisseling via TLS, SASL en ACLs. Dit werk maakt het Kafka-platform eenvoudiger te beheren en helpt een consistente beschikbaarheid over alle clusters heen te garanderen. Daarnaast worden gedocumenteerde procedures opgesteld voor monitoring, troubleshooting en platformgovernance.
U beoordeelt de huidige Kafka-architectuur en vertaalt uw bevindingen naar praktische verbeteringen voor de productieomgeving. Uw dagelijkse taken omvatten het optimaliseren van pipelines, het beoordelen van Kafka Connect-integraties, het implementeren van Grafana-monitoring voor Kafka-clusters en het opstellen van reproduceerbare troubleshootingprocedures. U koppelt architectuurbeslissingen aan de operationele vereisten voor microservices en CDC-usecases. Documentatie en kennisoverdracht stellen het technische team in staat om het platform na de opdracht verder te onderhouden.
Uw verantwoordelijkheden
- Beoordeel de bestaande Kafka-infrastructuur en bepaal verbeteringen aan de architectuur, configuratie en het operationele model ervan.
- Ontwerp een Kafka-architectuur voor event-driven microservices en CDC-datastromen, met inbegrip van topics, partitions, retentie en deploymentvereisten.
- Optimaliseer data pipelines en Kafka Connect-integraties om betrouwbaarheid, onderhoudbaarheid en productierijpheid te verbeteren.
- Implementeer monitoring met Grafana en definieer operationele indicatoren voor brokers, connectors, topics en de gezondheid van de clusters.
- Beveilig data-uitwisselingen met TLS, SASL en ACLs en ondersteun tegelijk passende Kafka-governanceprocedures.
- Documenteer troubleshootingprocedures en draag kennis over aan het technische team.
Uw profiel
Essentiële vaardigheden
- Breng aanzienlijke ervaring mee als Kafka-consultant of senior Kafka-engineer, met inbegrip van de uitrol in productie en de optimalisatie van Kafka-platformen.
- Beschik over geavanceerde kennis van het Apache Kafka-ecosysteem, met inbegrip van brokers, KRaft en Schema Registry.
- Pas Kafka Streams en Kafka Connect toe om event-driven datastromen op te bouwen en te beheren.
- Heb inzicht in gedistribueerde systemen, microservices, CDC en de principes van event-driven architectuur.
- Configureer en optimaliseer topics, partitions, retentiemechanismen en data pipelines.
- Beoordeel connectorarchitecturen en verbeter de monitoring en operationele ondersteuning ervan.
- Gebruik Grafana om relevante monitoring voor Kafka-platformen en -clusters te implementeren.
- Pas IT-architectuurprincipes toe en draag bij aan governance voor de operationele ingebruikname van het platform.
- Beveilig Kafka-communicatie met TLS, SASL en ACLs.
- Werk met containerisatietechnologieën zoals Strimzi of Confluent en automatiseer operationele procedures met Ansible.
- Analyseer productieproblemen methodisch, ontwikkel troubleshootingaanpakken en communiceer technische beslissingen helder.
Gewenste vaardigheden
- Heb kennis van streamingdataplatformen zoals Apache Iceberg, Apache Spark of Apache Flink.