Senior Data Engineer (aktive Sicherheitsüberprüfung erforderlich)
Standort : Vereinigtes Königreich (Remote, gelegentliche Reisen nach London) | Festanstellung: 60–85 £
Rollenübersicht
Praxisorientierter Data Engineer, der mit Kunden aus dem öffentlichen Sektor zusammenarbeitet, um Produktionsdatenplattformen zu konzipieren, aufzubauen und zu betreiben. Technische Architektur in Cloud-Umgebungen leiten, Entwicklungsteams betreuen und Analyse-/KI-Funktionen in agile, kundenorientierte Projekte integrieren.
Key Responsibilities
* Komplexe geschäftliche Herausforderungen in skalierbare Datenpipelines, Modelle und Analyselösungen übersetzen
* Entwicklung und Betrieb von produktionsreifen Pipelines mit SQL/Python/Spark über Lakehouses und ereignisgesteuerte Systeme hinweg.
* Semantische Modelle und Datenvisualisierungen für Business-Intelligence-Plattformen entwerfen
* Bereitstellung von Cloud-Daten-/KI-Lösungen (AWS/Azure) mit robusten CI/CD-, Test- und Sicherheitspraktiken
* Integration von ML-Modellen, Experimentierframeworks und Governance-Workflows
* Liefern Sie kundenfertige Dashboards, aussagekräftige Analysen und Beratungsunterlagen.
* Zusammenarbeit in multidisziplinären Teams in agilen, iterativen Lieferzyklen.
Technisches Umfeld
Core Fortgeschrittene SQL/Python-, PySpark/Pandas- und Spark-Orchestrierungstools
Wolke AWS (entsprechende Databricks/Redshift-Lösungen), Azure-Analyseplattformen, Git/CI/CD
Architektur Data Lakehouses, Event-Streaming, semantische Modellierung für BI-Tools
AI / ML : Modell-APIs, Prompt-Engineering, Experimentierframeworks
Unternehmensführung Datenkataloge, Herkunftsnachverfolgung, Sicherheits-/Zugriffskontrollen, DSGVO
Essentielle Anforderungen
* Expertenkenntnisse in SQL/Python für Datenmodellierung, -transformation und -automatisierung
* Produktionsdatenverarbeitung: Spark/PySpark, Cloud-Plattformen (AWS oder Azure)
* Erfahrung in der Datenarchitektur: Lakehouse-Architekturen, ereignisgesteuerte Systeme, semantische BI-Modelle
* Softwareentwicklung: Git-Workflows, CI/CD-Pipelines, Testframeworks
* Analytik: Versuchsplanung, statistische Analyse, Storytelling von Erkenntnissen
* Beratungsorientierung: Einbindung der Stakeholder, kundenorientierte Ergebnisse, agile Umsetzung
* Aktive Sicherheitsfreigabe erforderlich
Wünschenswert
* Projektabwicklung im öffentlichen Sektor/Regierungsbereich
* Fortgeschrittene semantische Modellierung im Business Intelligence (entspricht Power BI/Tableau)
* Plattformen für operative Intelligenz oder Implementierungen von Datennetzen
* Rahmenwerke für die Daten-Governance (Herkunfts-/Katalog-/Zugriffsverwaltung)