Data engineer senior

Opdrachtomschrijving

Het Datateam Stedelijke Ontwikkeling en Beheer heeft verwerking van diverse informatieproducten in zijn beheer en daar komen steeds nieuwe datasets en informatieproducten bij vanuit de opdrachtgevers. Deze opdrachtgevers zijn intern vanuit de gemeente Amsterdam en bevinden zich in andere directies/clusters binnen de stad, zoals: het Ingenieursbureau, Verkeer & Openbare Ruimte, of Grond & Ontwikkeling. Je komt in aanraking met verschillende manieren van data ontsluiting, bijvoorbeeld webbased middels een API of juist rechtstreeks vanuit een database. Op basis van ETL generatie en het bouwen van orchestration jobs in Pentaho stel je data beschikbaar aan afnemers afgestemd op het type gebruik. Echter, het dataplatform in de Azure cloud is in ontwikkeling, hierdoor zal het ontsluiten en beschikbaar maken van data steeds sneller en efficiënter gaan in de toekomst. Daarnaast zal de migratie van de CloudVPS omgeving naar de Microsoft Azure cloud een groot deel van je werk in beslag gaan nemen in 2022, om ervoor te zorgen dat alle bestaande (geautomatiseerde) dataverwerkings jobs goed in productie genomen worden in de Azure cloud.

Werkzaamheden

• Zoeken, ontsluiten en beschikbaar maken van datasets;
• Datakwaliteit van externe bronnen beoordelen en issues terugkoppelen;
• Ontwerpen, ontwikkelen en testen, waaronder het modelleren van informatieproducten, schrijven van SQL scripts en inrichten van Pentaho jobs;
• Adviseren in en implementeren van oplossingen voor complexe datamodellen en data-analyses;
• Je bent continue op zoek naar verbeteringen en daarmee verantwoordelijk voor de innovatie het van het data platform;
• Analyseren en oplossen van bugs/issues op de beheerde omgeving (OTAP);
• Werken met open source tooling, verschillende data formats en script en programmeertalen waaronder: Linux, Docker, Pentaho, PostgreSQL, GIT, Javascript, XML, JSON, YML en Python;
• De migratie naar de cloud helpen realiseren;
• Adviseren en beantwoorden van vragen van klanten en gebruikers van onze data;
• Werken in een ervaren mulitdisciplinair Agile/Scrum team en het samenwerken met andere agile teams.

Gemeentelijke organisatie
Met ruim 18.000 collega's zorgen we ervoor dat Amsterdam een aantrekkelijke hoofdstad is en blijft. Waar het fijn is om te wonen, te werken en naar school te gaan. Met ruimte voor ondernemers en bezoekers. Werken voor Amsterdam betekent bijdragen aan iets groots. Aan groei, veiligheid, ontwikkeling, gezondheid. Van de stad, van Amsterdammers. Daarmee geven wij Amsterdam door; aan de toekomst, aan volgende generaties. We willen een goede werkgever zijn die ervoor zorgt dat alle collega's zich gezien en gewaardeerd voelen. We koesteren verschillen tussen
collega's, al die verschillen zorgen voor betere resultaten voor onze organisatie én onze stad.
Lees meer over de organisatiestructuur van de gemeente Amsterdam.