Data engineer

Opdrachtomschrijving
Onderstaand is illustratief, het werkpakket is dynamisch.

• Het implementeren van ETL-processen die data van bron tot productielaag in het data-lake ten behoeve van verdere analyse en dashboarding.

• Het uitvoeren van ad hoc analyses om zo inzichten voor de andere teams te genereren en goede besluitvorming te ondersteunen.

• Gevonden inzichten/resultaten op een duidelijke manier communiceren aan de teams

• Verder verkennen waar kunstmatige intelligentie kan helpen om de werklast bij teams te verminderen.

• Het ontwerpen en onderhouden van dashboards met behulp van Power BI

• In samenwerking met een beheerpartij het opzetten en verbeteren van een nieuw (Azure) dataplatform
  

  Achtergrond opdracht
  Opdrachtgever Het ministerie van VWS staat regelmatig in de publieke en politieke schijnwerpers, zoals nu rondom de parlementaire enquête corona. De maatschappelijke relevantie van een snelle en accurate beantwoording van de Woo corona- of PECO-verzoeken is groot. De directie Openbaarheid (DOO) is een directie waar meer dan 100, veelal jonge, juristen en informatiespecialisten werken aan het openbaar maken van de informatie met betrekking tot Ministerie VWS. Het is een dynamische directie waar zowel mensen in dienst van VWS als mensen op basis van externe inhuur werken. De directie heeft diverse teams, waaronder de balie, die verantwoordelijk is voor de logistiek, juristenteams die het Woo proces uitvoeren, een team Informatieverzoeken en een team parlementaire enquête. Als Data Scientist kom je terecht in het Data Science & Automatisering team en doe je opdrachten voor DOO om te helpen bij optimalisatie en automatisering van processen.
  
  Project
  Betrouwbare informatievoorziening is essentieel in onze dienstverlening. De coronacrisis geeft extra druk en uitdaging op het organiseren van de informatievoorziening voor onder andere Woo- vragen en informatieverzoeken ten behoeve van onderzoek en verantwoording. Met behulp van data science en automatiseringstechnieken optimaliseren we de keten van openbaarmaking van COVID-19 gerelateerde documenteren. Ter ondersteuning van team Data Science & Automatisering zijn we op zoek naar een data engineer met aantoonbare ervaring met Python (specifiek Pyspark), kennis van Microsoft Azure en Power BI. Als data engineer werk je in een gedreven en gezellig team van vijf mede data scientists/engineers. Gezamenlijk ondersteun je directies zoals DOO door te helpen met optimaliseren en automatiseren van diverse processen binnen de openbaarmaking van COVID-19- gerelateerde documenten, waarbij jij het aanspreek punt bent voor de moeilijkste data transformaties, schema updates en data management. Je gaat met name werken op ons Azure
  Databricks platform. Inzichten worden bijvoorbeeld via Databricks of via geautomatiseerde Power BI dashboards zo helder mogelijk weergegeven en gedeeld. Daarnaast zal jij als data engineer het aanspreekt punt zijn van de beheerder van onze cloud omgeving. Gezamenlijk met de beheerder maak jij ons data platform op Azure beter, veiliger en klaar voor de toekomst.