Ihre Aufgaben
In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.
1. Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
2. Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
3. Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
4. Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
5. Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
6. Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
7. Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
8. Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
9. Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
10. Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
11. Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance
Das wünschen wir uns
12. Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
13. Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
14. Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
15. Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
16. Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
17. Analytische, strukturierte und lösungsorientierte Arbeitsweise
18. Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
19. Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
20. Verständnis von Data Governance, Compliance sowie Metadatenmanagement
Was wir Ihnen noch sagen möchten
• Attraktives Gehalt • Starke Gemeinschaft aus Teamplayern • Vertrauensarbeitszeit mit flexibler Einteilung und der Möglichkeit, bis zu 40% mobil zu arbeiten • Zahlreiche Weiterbildungsmöglichkeiten on- und offline • Rabatte auf 1&1 Produkte und für diverse Freizeitangebote • Betriebseigenes Restaurant • Kostenlose Getränke und frisches Obst • Jobrad-Zuschuss