Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.
Für unseren Kunden suchen wir aktuell eine/n Senior Data Engineer (m/w/d) - Remote/Berlin.
Ihre Aufgaben
1. Beratung bei der Weiterentwicklung des cloudnativen Backends, dazu gehören die Konzeptionierung, Umsetzung und Dokumentation von neuen Features
2. Erstellung von Datenvisualisierungen und -berichten Automatisierung von Datenprozessen
3. Analyse und Beurteilung von Daten und Entwicklung von Daten Pipelines basierend auf der bestehenden Architektur und dem aktuellen Zonen-Konzept (raw – trusted – refined)
4. Data Exploration von neuen Datenquellen sowie Implementierung von geeigneten Datenstrukturen
5. Fachliche Unterstützung im SCRUM Team, Teilnahme an Refinements, Plannings, Reviews, Retros
6. Erstellung von Daten-Pipelines auf Basis von Python, Apache Spark, PySpark, Pandas, SQL, Boto3 API, SNS, SQS und REST
7. Zur Pipeline Erstellung notwendige Implementierung, Konfiguration und Nutzung der serverless AWS-managed Infrastruktur, speziell Glue, Apache Airflow, Batch, S3, Athena und Glue Data Quality
Interessiert?
Elvin Cagi
Tel.:
Fax.:
Email:
Share posting
Ihre Qualifikationen
8. Muss-Kriterien (bitte nur bewerben, wenn ALLE Muss-Kriterien erfüllt sind!):
9. Mind. 2 Jahre Erfahrung im Bereich der Data Exploration, Analyse und Modellierung sowie in der Qualitätssicherung von Daten (Data Stewardship)
10. Mind. 5 Jahre Erfahrung mit der für die Pipeline-Entwicklung erforderlichen AWS Cloud Technologien und deren Managed Services
11. Mind. 1 Projekterfahrung bei der Dashboard Entwicklung mit z.B. PowerBi, QuickSight oder Tableau
12. Mind. 3 Jahre Projekterfahrung in der Softwareentwicklung (z.B. GIT, Continuous Integration/Continuous Deployment (CICD)
13. Mind. 5 Jahre Praxiserfahrung in der Entwicklung und Automatisierung von ETL Strecken und der Datenmodellierung mittels der für die geforderte PipelineEntwicklung erforderlichen Tools und Programmiersprachen (SQL, Python,...)
14. Soll-Kriterien:
15. Mind. 2 Projekte mit Architekturverständnis von vergleichbaren (serverless) Cloud-Datenplattformen
16. Mind. 1 Projekt im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen
17. Mind. 4 Jahre Kenntnisse mit agilen & skalierten Arbeitsmethoden
18. Mind. 2 Jahre praktische Erfahrung mit Docker Containern
19. Mind. 1 praktische Projekterfahrung mit AWS Sagemaker
20. Mind. 3 Jahre Projekterfahrung im Umgang mit typischen Projekten und Daten in der Branche Transport & Logistik, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen