Datenwissenschaftler (Senior)
Wir suchen einen erfahrenen Datenwissenschaftler, der sich auf die Verarbeitung und Analyse von Daten für unser Business-Reporting-System spezialisiert hat. Zu seinen Aufgaben gehören die Entwicklung eines produktsorientierten Datenmodells und die Integration von Quellsystemen in Databricks.
Aufgaben:
* Datenintegration: Aktivitäten zur Integration in die bestehende iPEN-Plattform (Databricks, Unity Catalog) umfassen das Hinzufügen neuer Datenquellen, das Überprüfen von Datenqualität und das Optimieren von Leistung.
* Quellsystemanbindung: Der Prozess zur Anbindung der Quellsysteme und Transformation in das gemeinsame Datenmodell beinhaltet das Definieren von Transformationsregeln, das Validieren von Datenformaten und das Integrieren von Daten aus verschiedenen Quellen.
* Pipeline-Entwicklung: Die Implementierung von ETL-Pipelines zur Datenextraktion und Effizienzoptimierung beinhaltet das Design effizienter Pipelines, das Monitoring von Pipeline-Leistung und das Troubleshooting von Fehlern.
Anforderungen:
* Azure-Erfahrung: Fundierte Kenntnisse im Microsoft Azure Technologie-Stack (Azure Data Factory, Azure Databricks) sind erforderlich.
* Entwicklungskompetenz: Erfahrung mit Python, Scala, SQL, Spark und Databricks in cloud-nativen Projekten ist erforderlich.
* Pipeline-Know-how: Erfahrung im Management von Datenextraktionspipelines ist erforderlich.