Plattformexperte für Databricks (nur für SV-pflichtige)
(m/w/d)
Freiberuflich für ein Projekt Essen, Dortmund Startdatum: sofort Referenznummer: 839701/1
Diesen Job teilen oder drucken
Aufgaben
1. Der Schwerpunkt der Tätigkeit liegt zunächst auf Konzeption, Architektur und Governance – die Umsetzung einzelner Pipelines und Datenmodelle erfolgt in späteren Projektphasen
2. Entwicklung einer skalierbaren Zielarchitektur für die Databricks-Plattform
3. Definition von Designrichtlinien und Governance-Standards
4. Erarbeitung eines Berechtigungskonzepts
5. Konzeption von CI/CD-Strategien für Datenprodukte
6. Ausgestaltung der Layer-Architektur unter Bezugnahme auf das Medallion-Konzept
7. Beratung zu Staging-Konzepten (Deployment in Multi-Tier-Umgebungen, Quality Gates)
8. Einbringen von Best Practices aus bisherigen Projekten zur Effizienz- und Qualitätssteigerung
9. Abstimmung und Priorisierung von Anforderungen mit Fachbereichen und IT
10. Dokumentation von Architekturentscheidungen, Prozessen und Projektergebnissen
Profil
11. Erfahrung mit Databricks in Konzeption und Implementierung im Bereich Data Engineering (Datenmodellierung, ETL, Orchestrierung von Ladeprozessen)
12. Tiefgreifendes Verständnis von Layer-Datenmodellen ( Medallion)
13. Erfahrung in der Entwicklung von Berechtigungskonzepten /Kenntnisse in Continuous Ingestion / Continuous Development
14. Fundiertes Verständnis moderner Datenplattformen und lösungsorientierte, strukturierte Arbeitsweise
15. Sehr gute Kommunikations- und Moderationsfähigkeiten
16. Sicherer Umgang mit SQL und Python / Verständnis von IT Service Management Prozessen (ITIL)
17. Erfahrung in agilen Projekten, insbesondere Scrum
18. Kenntnisse in Microsoft Azure im Kontext von Databricks / Data Engineerin
19. Erfahrung mit Machine Learning und LLMs in Databricks
20. Sicherer Umgang mit Jira und Confluence sowie in Excel und PowerPoint / Sehr gute Deutschkenntnisse in Wort und Schrift
Benefits
21. Homeoffice-Möglichkeit
22. Aussicht auf Projektverlängerung