Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.
Für unseren Kunden suchen wir aktuell eine/n Data Architect – Azure Databricks (m/w/d) - Remote, Frankfurt am Main.
Ihre Aufgaben
1. Beratung zur Architekturdefinition und Entwicklung eines einheitlichen, skalierbaren Data Lakehouse auf Basis von Azure Databricks, Azure Data Lake Storage (ADLS), dbt und Microsoft Fabric
2. Durchführung der Datenintegration aus verschiedenen Quellsystemen (insb. Streaming/Event-Daten wie IoT, Kafka, MQTT; dateibasierte Quellen wie CSV, JSON, XML; API-gestützte und virtualisierte Da-tenquellen)
3. Implementierung von Datenpipelines für Batch- und Streamverarbeitung mit Databricks und dbt, inklusive Datenqualitätsprüfungen und Metadatenmanagement
4. Transformation und Modellierung von Daten entlang der Medaillon-Architektur (Bronze-, Silver-, Gold-Layer)
5. Migration bestehender Datenflüsse und Datenmodelle (z. B. von SSIS, Microsoft SQL Server, RDS Postgres SQL, AWS S3) in die neue Architektur
6. Aufbau und Pflege eines zentralen Metastores und Rechtekonzepts (Unity Catalog, AAD-Authentifizierung)
7. Entwicklung und Umsetzung von Data Governance-Prozessen, einschließlich Compliance, Datenschutz, Zugriffskontrolle und Qualitätssicherung
8. Bereitstellung von Datenprodukten und Self-Service Data Analytics für Fachbereiche über MS Fabric und Denodo
9. Durchführung von Datenanalysen und Advanced Analytics, inklusive Integration von Machine Learning-Modellen
10. Erstellung von System- und Betriebsdokumentationen sowie Schulungsunterlagen für die neue Plattform
11. Durchführung von Performance- und Kostenanalysen mit dem Ziel der Betriebsoptimierung
12. Beratung zur Einhaltung von Informationssicherheits- und Compliance-Anforderungen
13. Unterstützung bei der Automatisierung und Standardisierung der Betriebsprozesse (z. B. Self-Service Data Engineering, Data as a Service, Analytics as a Service)
Interessiert?
Sven Schäfer
Tel.:
Fax.:
Email:
Stellenanzeige teilen
Ihre Qualifikationen
14. (MUSS) 5 Jahre Erfahrung in relevanten Tech-nologien (z. B. Azure Databricks, Spark, Data Lakehouse-Architekturen, Data Engineering im Cloud-Umfeld, Datenmodellierung)
15. (MUSS) 5 Jahre Erfahrung in typischen Data Architect-Aufgaben (z. B. Entwicklung von Da-tenarchitekturen, Datenmodellierung, Datenbank-Designs, Überwachung der Datenintegrität, Migrationen, Einhal-tung von Datenschutz und Compliance)
16. (MUSS) Kenntnisse in der Integration und Verarbeitung von Streaming- und Batch-Datenquellen sowie Daten-modellierung und -transformation mit Databricks und dbt, einschließlich der Umsetzung von Bronze-, Silver- und Gold-Layer-Konzepten aus 5 Projekten
17. (MUSS) 5 Jahre Erfahrung in den im Technologiekatalog geforderten Bereichen (z. B. Spark, Azure Data Lake Storage, dbt, Scala, API-Entwicklung, Big Data Environments)
18. (MUSS) Confluent Certified Developer Zertifizierung
19. (SOLL) Azure Platform Architect Badge von Azure Databricks
20. (SOLL) 3 Jahre Erfahrung in der Implementierung von Data-Governance-Prozessen auf Basis von Azure Databricks (z. B. Richtlinien, Prozessdokumentationen oder Referenzprojekte)
21. (SOLL) Deutsch in Wort und Schrift – Level B2 / C1 / C2 etc. oder äquivalent.