Een Belgische federale organisatie voor openbare veiligheid bouwt aan een eventgestuurde data-architectuur ter ondersteuning van gemoderniseerde processen en meer datagedreven operationele dienstverlening. In deze functie als Elastic Data Engineer ligt de focus op Apache Kafka als ingestie- en verwerkingslaag, Elasticsearch als data lake voor gestructureerde en ongestructureerde data, en de APIs en microservices die deze informatie beschikbaar maken voor andere systemen.
De missie
Het project zet een schaalbare architectuur op voor real-time data-integratie over meerdere operationele datastromen heen. Kafka wordt ingezet voor buffering en eventverwerking via Kafka Streams, Kafka Connect, Schema Registry, Avro en ksqlDB, terwijl Elasticsearch opslag-, zoek- en analysemogelijkheden biedt via Kibana, ingest pipelines en index lifecycle management. Gegevensconsistentie, indexeringsstrategieën, observability en betrouwbare foutafhandeling zijn belangrijk over de volledige keten, van ingestie tot gebruik.
U ontwerpt, implementeert, configureert en documenteert de componenten die deze technologieën met elkaar verbinden. Tot uw werkterrein behoren het uitbouwen van een datadienstenlaag met REST APIs en microservices, het uitrollen van services via Docker, Kubernetes en OpenShift, en het ondersteunen van de oplevering via GitLab CI-pipelines. U werkt in een multidisciplinair team van interne en externe specialisten. Uw werk ondersteunt analyse, monitoring en integratie met andere systemen binnen de publieke sector.
Uw verantwoordelijkheden
- Kafka- en Elasticsearch-datapipelines ontwerpen en onderhouden die consistent en schaalbaar blijven naarmate datavolumes en gebruiksscenario’s evolueren.
- Kafka topics, schemas, serialization en consumer- of producerflows configureren met Schema Registry, Avro, Kafka Streams, Kafka Connect en ksqlDB.
- De datadienstenlaag ontwikkelen met REST APIs en microservices die Elasticsearch-data ontsluiten voor analyse, monitoring en integratie met systemen.
- Elasticsearch-indexeringsstrategieën, ingest pipelines, Kibana-weergaven en index lifecycle management implementeren voor gestructureerde en ongestructureerde data.
- Pipelinecomponenten uitrollen en beheren in Docker-, Kubernetes- en OpenShift-omgevingen en GitLab CI gebruiken voor een herhaalbare oplevering.
- Storingen onderzoeken, de pipelineprestaties verbeteren, terugkerende taken met Python automatiseren en technische beslissingen, configuraties en datastromen documenteren.
Uw profiel
Essentiële vaardigheden
- Professionele ervaring als data engineer met eventgestuurde systemen en real-time data-integratie.
- Praktische expertise met Apache Kafka, waaronder Kafka Streams, Kafka Connect, Schema Registry, Avro, ksqlDB, schemabeheer en topicbeheer.
- Ervaring met het beheren van Elasticsearch met Kibana, ingest pipelines, index lifecycle management en robuuste indexeringsstrategieën.
- Vermogen om gegevensconsistentie, schaalbaarheid en observability over Kafka- en Elasticsearch-datapipelines heen te bewaken.
- Ervaring met het ontwikkelen van REST APIs en microservices als onderdeel van een datadienstenlaag.
- Praktische kennis van Docker, Kubernetes, OpenShift, GitLab CI, PostgreSQL en Python.
- Vermogen om pipelinefouten te analyseren, foutafhandeling te implementeren en de prestaties van dataverwerking te optimaliseren.
- Methodische en nauwkeurige aanpak van configuratie, testing, documentatie en technische analyse.
- Zelfstandig kunnen werken, helder kunnen communiceren met technische specialisten en vertegenwoordigers van gebruikers, en doeltreffend kunnen bijdragen binnen een multidisciplinair team.
- Een praktische, servicegerichte aanpak om werk over meerdere datapipelines en technische afhankelijkheden heen te prioriteren.
Opleiding
- Een diploma in informatica, data engineering, informatietechnologie of gelijkwaardige beroepservaring.