Data engineer

Opdrachtomschrijving

• 1. Het ontwerpen en uitwerken van workflow- en orchestratiearchitectuur, in samenwerking met relevante inhoudelijke en technische stakeholders.

• 2. Het inrichten, configureren en standaardiseren van de workflow manager (Apache Airflow) ten behoeve van geautomatiseerde dataflows, in samenwerking met relevante inhoudelijke en technische stakeholders.

• 3. Het ontwikkelen van referentie-workflows en standaardpatronen, inclusief het opstellen van herbruikbare templates en richtlijnen voor de verdere ontwikkeling van dataflows.

• 4. Het bouwen en testen van de eerste set geautomatiseerde workflows inclusief in Python, gericht op betrouwbare, schaalbare en reproduceerbare verwerking van data binnen de cloudomgeving.

• 5. Het documenteren van technische ontwerpbeslissingen, waaronder solution designs en architectonische keuzes en het communiceren hiervan naar betrokken stakeholders.

• 6. Het inrichten van logging, monitoring en auditability van workflows, zodanig dat beheer, foutafhandeling en traceerbaarheid geborgd zijn.

• 7. Het opstellen van beheerhandleidingen voor het operationeel gebruik en onderhoud van de workflow-omgeving, in samenwerking met cloud- en datateams

• 8. Het afstemmen van workflow- en data-requirements met inhoudelijke experts, en het vertalen hiervan naar robuuste geautomatiseerde processen.

• 9. Het bewaken van de kwaliteit, performance en betrouwbaarheid van workflows, onder meer door het uitvoeren van reviews, het toepassen van kwaliteitsstandaarden en het identificeren en oplossen van knelpunten.

• 10.Het voorbereiden van de workflow-omgeving op toekomstige uitbreidingen, zodat nieuwe datastromen en projecten efficiënt kunnen

 

Achtergrond opdracht
In 2026 lopen een aantal projecten ter vervanging van bestaande dataverwerkingstools en in de verbetering van ons standaard surveillance data platform. in dit jaar is de bedoeling dat in korte tijd een aantal onderdelen worden gerealiseerd zodat daarna geleidelijk verder aan de implementatie kan worden gewerkt. het grotere doel is het verder standaardiseren van datastromen die binnen de publieke gezondheidszorg door het RIVM worden gebouwd, zowel voor de eigen taken als om informatie te delen met de partners in de publieke gezondheidszorg. De data engineer met name werken binnen het team dat in 2026 deze veranderingen gaat realiseren. Onderdeel is kennisoverdracht, zodat aan het eind van de opdrachttijd alle relevante kennis is overgedragen.

Eisen

• Algemeen:
  1.    Het ontwerpen en uitwerken van workflow- en orchestratiearchitectuur, in samenwerking met relevante inhoudelijke en technische stakeholders.
  2.    Het inrichten, configureren en standaardiseren van de workflow manager (Apache Airflow) ten behoeve van geautomatiseerde dataflows, in samenwerking met relevante inhoudelijke en technische stakeholders.
  3.    Het ontwikkelen van referentie-workflows en standaardpatronen, inclusief het opstellen van herbruikbare templates en richtlijnen voor de verdere ontwikkeling van dataflows.
  4.    Het bouwen en testen van de eerste set geautomatiseerde workflows inclusief in Python, gericht op betrouwbare, schaalbare en reproduceerbare verwerking van data binnen de cloudomgeving.
  5.    Het documenteren van technische ontwerpbeslissingen, waaronder solution designs en architectonische keuzes en het communiceren hiervan naar betrokken stakeholders.
  6.    Het inrichten van logging, monitoring en auditability van workflows, zodanig dat beheer, foutafhandeling en traceerbaarheid geborgd zijn.
  7.    Het opstellen van beheerhandleidingen voor het operationeel gebruik en onderhoud van de workflow-omgeving, in samenwerking met cloud- en datateams.
  8.    Het afstemmen van workflow- en data-requirements met inhoudelijke experts, en het vertalen hiervan naar robuuste geautomatiseerde processen.
  9.    Het bewaken van de kwaliteit, performance en betrouwbaarheid van workflows, onder meer door het uitvoeren van reviews, het toepassen van kwaliteitsstandaarden en het identificeren en oplossen van knelpunten.
  10.    Het voorbereiden van de workflow-omgeving op toekomstige uitbreidingen, zodat nieuwe datastromen en projecten efficiënt kunnen worden aangesloten.
• Vereisten Profiel:
  1.    Minimaal een afgerond HBO-diploma op het gebied van informatievoorziening of ICT
  2.    Goede algemene kennis van Python
  3.    Goede kennis van data modellering
  4.    Goede kennis van data transformatie in Python
  5.    Goede kennis van het inrichten van dataflows inclusief schalen en fault tolerance
  6.    Goede kennis van workflow managers zoals Apache Airflow
  7.    Goede kennis en ervaring met Kubernetes/Docker
  8.    Goede kennis van git en code quality
  9.    Goede kennis van zorgdata, persoonsgegevens en data privacy

Competenties

• Competenties:
  1.    Plannen en organiseren: je bepaalt een gestructureerde en efficiënte werkaanpak voor het ontwerpen, bouwen en beheren van workflows en bewaakt de voortgang en prioriteiten.
  2.    Samenwerkingsgericht: je stemt effectief af met inhoudelijke experts, cloud engineers en andere stakeholders en zorgt voor een goede onderlinge aansluiting van werkzaamheden.
  3.    Communicatief vaardig: je kunt technische ontwerpkeuzes helder en begrijpelijk uitleggen aan zowel technische als niet-technische betrokkenen en je documenteert deze zorgvuldig.
  4.    Kwaliteitsgericht: je borgt betrouwbaarheid, consistentie en onderhoudbaarheid van workflows en werkt met standaarden, templates en best practices om kwaliteit te waarborgen.
  5.    Probleemoplossend vermogen: je analyseert knelpunten in workflows en systemen en komt met praktische en effectieve oplossingen voor verstoringen en inefficiënties.
  6.    Oordeelsvorming: je maakt weloverwogen keuzes in ontwerp, techniek en standaardisatie, weegt alternatieven af en onderbouwt je beslissingen op een transparante wijze.