Die Rolle des Technical Expert Databricks
Das Hauptziel besteht darin, die beste Data Management & Analytics Plattform auf Basis Azure Databricks zu etablieren.
* Aufgaben:
* Als Technical Expert Databricks verantwortest Du als Teil des Teams die technische Konzeption, Bereitstellung und Weiterentwicklung unserer Data Management & Plattform.
* Du automatisierst und verwaltest Azure Databricks-Infastrukturen unter Einsatz von Terraform und verantwortest die technische Bereitstellung der Azure Databricks Plattform mit Fokus auf Skalierbarkeit, Sicherheit, Stabilität und Wartbarkeit.
* Du verantwortest den Aufbau und die Wartung der benötigten Netzwerke um eine stabile und sichere Kommunikation zwischen Cloud-Ressourcen aber auch zwischen Cloud und OnPrem sicherzustellen.
* Du kümmerst Dich um die Umsetzung von Best Practices für CI/CD Pipelines in MS DevOps.
* Du erstellst Konzepte zur Erweiterung der Data Management & Plattform um Schnittstellen, technische Komponente und Features (z.B. Anbindung 3rd Party Analytics Werkzeuge) und setzt diese gemeinsam im Team um.
Vorausgesetzte Qualifikationen:
* Du hast ein abgeschlossenes Studium der Informatik, (Wirtschafts-)Informatik / Medieninformatik oder einer verwandten Fachrichtung.
* Du bist Experte auf Deinem Gebiet, hast mehrjährige praktische Erfahrung in Azure Databricks und verfügst über ein umfangreiches technisches und fachliches Wissen.
* Du hast sehr gute konzeptionelle und architektonische Fähigkeiten und Erfahrung in der Implementierung von Data Lakehouse- und Medallion-Architekturen sowie Delta Lake.
* Du verfügst über mehrjährige Erfahrung in der Terraform Entwicklung und in der Arbeit mit Azure DevOps.
* Du kennst Dich aus im Umgang mit Unity Catalog sowie dem Berechtigungsmanagement via Microsoft Entra ID.
* Du programmierst mit Python, Spark/PySpark sowie SQL und verfügst über Expertise im verteilten Rechnen mit Databricks.
* Du verfügst idealerweise über erste Erfahrungen in der technischen Anbindung von 3rd Party Analytics Werkzeugen an Azure Databricks.
* Du verfügst über mindestens 5 Jahre IT-Projekterfahrung und über eine hohe Umsetzungskompetenz.
Benefits:
* Hoher Arbeitsaufkommen verhältst Du bei.
* Strukturiert arbeitest Du und hältst Termine verbindlich ein.
* Dir liegt ein gutes Gespür für Humor zugrunde.