Dataengineer (perceel 3)

Opdrachtomschrijving:

De Algemene Rekenkamer wil tabellen met ‘grootste beleidsmatige geldmutaties’ voor alle departementale verantwoordingsonderzoeken in het voorjaar van 2025. De hoofdopdracht is om de werkende code voor de Extract en Transform modules van de dataverwerking (ETL) aan te leveren.

De Extract module moet bestaan uit een configureerbare scraper voor data over beleidsmatige mutaties uit verschillende open bronnen van de rijksoverheid.

Het uit te voeren werk aan de Transform module bestaat uit het ontwerpen van een gestandaardiseerd formaat voor data over beleidsmatige mutaties en het transformeren van de data uit de scrapers naar dit formaat.

Tenslotte verwerk je de gestandaardiseerde data naar een tabellen per begrotingshoofdstuk met de ‘grootste beleidsmatige mutaties’.

Je bent gedurende je opdracht een sparringspartner voor het ontwikkelteam van een relationele database voor financiële overheidsdata. Doel is om voor het plannen van het verantwoordingonderzoek mee te denken over het geautomatiseerder aanleveren van data voor grote financiële mutaties voor het verantwoordingsonderzoek 2026 en verder.

Nadere toelichting
Producten en werkwijzen van de kandidaat voldoen aan de normen van de Algemene Rekenkamer. Kandidaat is gehouden aan geheimhouding en tekent daartoe een geheimhoudingsverklaring.

Resultaatgebied & Verantwoordelijkheden
Algemeen: Voor het programma doorontwikkeling begrotings- en verantwoordingscyclus (BV-cyclus) zoeken we een dataengineer die goed thuis is in het scrapen en opschonen van data. Kennis op het gebied van overheidsfinanciën is een pre. Vereisten: ervaring met Python, het bouwen en testen van ETLs, en scrapen van informatie.

Op te leveren resultaten:
1. Je levert voor alle departementale verantwoordingsonderzoeken (VO) een tabel met ‘grootste beleidsmatige mutaties’ op in het voorjaar van 2025. Deze stem je vanaf eind 2024 af met VO-teams en directeuren o.l.v. het programma doorontwikkeling BV-cyclus.

2. Je maakt hiervoor gebruik van de informatie uit departementale begrotingen en bij bijbehorende memories van toelichting, die je verwerft en verwerkt via de op te leveren Extract en Transform modules.

3. Je levert deze modules op. Deze zijn geschreven in op in Python, zijn inclusief unittests en integratietest, technische documentatie, functionele documentatie en maken gebruik van poetry, pytest, mypy, flake8 and black. Je combineert deze data met andere gescrapte informatie en de verwerkte data is herleidbaar tot de bron. Kortom beleidsmutatiedata waarop teams binnen de Algemene Rekenkamer kunnen vertrouwen.

Achtergrond opdracht:

Het programma doorontwikkeling begrotings- en verantwoordingscyclus wil meer inzicht bieden in de overheidsfinanciën in onze rapporten van het verantwoordingsonderzoek. Het gaat dan bijvoorbeeld om meerjarenoverzichten van de verandering van uitgaven aan verschillende beleidsonderwerpen (beleidsmatige mutaties) . Hiervoor zal informatie uit rijksbegrotingen geput (gescrapt) moeten worden en verwerkt tot betrouwbare overzichten.