Senior adviserend data engineer

Opdrachtomschrijving
De douane is op zoek naar een Senior Data Engineer met expertise in Microsoft Azure Synapse Analytics (Dedicated SQL Pool , Apache Spark met Python en Synapse Data Factory pipelines) die ervaring heeft met het ontwerpen en inrichten van metadata-gedreven oplossingen voor het verwerken van bronnen op schaal. Ook is de Data engineer verantwoordelijk voor het geven van advies voor beheer en ondersteuning aan Data Engineers in de keten. Je doet incidenten beheer en geeft advies voor teams in de keten.

Achtergrond opdrachtDe Douane wil meer data-gedreven werken. Door data uit eigen en externe bronnen te combineren en te analyseren, kan de Douane zijn kerntaken sneller, beter en efficiënter uitvoeren. Hierbij is het snel kunnen inspringen op nieuwe wet- en regelgeving en een breed scala aan klantvragen essentieel. Om deze wendbaarheid te realiseren loopt er op dit moment een traject om de werkmethode en technologie opnieuw in te richten. Je ontsluit, importeert, koppelt en upload data zodat jouw collega's deze optimaal kunnen gebruiken voor hun analyses en modelontwikkeling. Je zoekt voortdurend naar mogelijkheden om onze databronnen optimaal te gebruiken. Je gaat in gesprek met collega's en onderzoekt de huidige kaders en experimenteert om jouw werk en dat van je directe collega's efficiënter te maken. Je laat zien wat jouw technische oplossing toe kan voegen aan dataanalyses en -modellen.

 

• Je schrijft en optimaliseert SQL queries

• Je bouwt informatieoplossingen zoals datapipelines, datastreams en data-API's

• Je ontwerpt , bouwt en beheert metadata gedreven oplossingen om bronnen te ontsluiten op schaal.

• Je doet zelfstandig beheer- of projectwerkzaamheden

• Afstemming met diverse partijen zoals de product owner, afnemers, bron-beheerders en andere teams van de afdeling en leveranciers in de keten.