Data engineer

Opdrachtomschrijving
Een Extract-Transform-Load (ETL)-ontwikkelaar is een professional die data extract, transformeert en laadt om de resultaten in een stermodel in een nieuw op te zetten of bestaande database te verwerken (het opwerken, integreren en beschikbaar maken van gegevens). Jij bent dé expert op het terrein van ETL en data modellering die ervoor zorgt dat haar/zijn collega Business Intelligence- en Analytics-specialisten steeds kunnen rekenen op de juiste gegevens en gegevensdoorsnedes. Naast het bewaken van architectuur- en kwaliteits-principes, ben je in staat om ook buiten bestaande kaders creatieve oplossingen en inzichten aan te leveren op het gebied van data engineering. Om dit traject goed te kunnen ondersteunen is specifieke kennis van componenten van Azure vereist. Er wordt gewerkt met stermodelering en gewerkt met een dedicated SQL pool als datawarehouse. SQL kennis is een must,

Achtergrond opdracht

De Douane wil meer data-gedreven werken. Door data uit eigen en externe bronnen te combineren en te analyseren, kan de Douane zijn kerntaken sneller, beter en efficiënter uitvoeren. Hierbij is het snel kunnen inspringen op nieuwe wet- en regelgeving en een breed scala aan klantvragen essentieel. Om deze wendbaarheid te realiseren loopt er op dit moment een traject om de werkmethode en technologie opnieuw in te richten, de Datawerkorganisatie. Je ontsluit, importeert, koppelt en uploadt data zodat jouw collega's deze optimaal kunnen gebruiken voor hun analyses en modelontwikkeling. Je zoekt voortdurend naar mogelijkheden om onze databronnen optimaal te gebruiken. Je gaat in gesprek met collega's en onderzoekt de huidige kaders en experimenteert om jouw werk en dat van je directe collega's efficiënter te maken. Je laat zien wat jouw technische oplossing toe kan voegen aan data- analyses en -modellen.

• Je schrijft en optimaliseert SQL queries

• Je bouwt informatieoplossingen zoals datapipelines, datastreams en data-API's

• Je gebruikt passende tools of scripts en hiermee zet je gegevens om naar bruikbare informatiedashboards

• Je doet zelfstandig beheer- of projectwerkzaamheden

• Afstemming met diverse partijen zoals de product owner, afnemers, bron-beheerders en andere teams van de afdeling

• Python is een Pré

Eisen
Alleen Nederlandstalige CV’s aanbieden en kandidaten moeten perfect Nederlands kunnen spreken.
Opdracht is minder geschikt voor ZZP’ers ivm wet DBA

• Kennis van Azure (Synapse/ADF/Azure DevOps).
• Je hebt kennis van en ervaring met de Microsoft BI stack (Power BI/Power Apps).
• JJee heebbtt h k deienpngiasa vnadne a krecnhnitiesc vtuaunr, S dQaLta en w raerleahtioounseele co dnactaebpatesnes als stermodellering.
• Microsoft DP 203 DO900
• Kennis van ETL, Kinbal moduleren (stermodellen), dedicated SQL pool en synaps pipelines en PySpark voor notebooks
• Je bent in staat duidelijke documentatie te ontwikkelen
• Je hebt ervaring met het verbeteren van data kwaliteit, bijvoorbeeld door geautomatiseerde tests en visie op de rol van metadata hierbij.
• Je hebt ruime ervaring in een Agile/Scrum ontwikkelomgeving
• Je hebt een afgeronde hbo- of universitaire opleiding (richting informatica informatiemanagement) (3 jaar)

Wensen
Daarnaast ben je als ETL-ontwikkelaar een goede ondersteuner voor andere taken die nodig zijn voor ontwikkeling en/of verbetering van routines. Je combineert sterke data analysevaardigheden en probleemoplossingsvaardigheden met een solide kennis en ervaring op het gebied van ETL. Je bent een ervaren professional die kennis heeft opgedaan met standaard industrie ETL tools en technieken. Werkzaamheden:

• Je ontsluit, importeert, koppelt en uploadt data zodat jouw collega's deze optimaal kunnen gebruiken voor hun analyses en modelontwikkeling.
• Je zoekt voortdurend naar mogelijkheden om onze databronnen optimaal te gebruiken. Je gaat in gesprek met collega's en onderzoekt de huidige kaders en experimenteert om jouw werk en dat van je directe collega's efficiënter te maken. Je laat zien wat jouw technische oplossing toe kan voegen aan data- analyses en -modellen.
• Je schrijft en optimaliseert SQL queries
• Je bouwt informatieoplossingen zoals datapipelines en datastreams.
• Je hebt affiniteit met testen
• Je hebt affiniteit met data analyse
• Je hebt affiniteit met Power BI
• Je hebt affiniteit met datamodelleren
• Je hebt affiniteit met Azure DevOps

Competenties

• Je hebt een sterk analytisch vermogen
• werkt zelfstandig en bent gericht op resultaat
• Je kunt goed samenwerken en bent in staat draagvlak te creëren voor je wijze van werken
• Je bent creatief en vooruitstrevend in je denken en hebt een werkhouding die past bij het Agile werken
• Je kunt goed plannen en organiseren
• en je bent omgevings- en organisatiesensitief
• Je weet te overtuigen door jouw persoonlijkheid
• Je bent flexibel, proactief en beweegt je gemakkelijk tussen experts
• Je bent communicatief sterk en werkt het liefst in teamverband