Aufgaben:
Für ein spannendes Projekt bei einem unserer Bestandskunden sind wir auf der Suche nach einem Azure Data Platform Experte / Data Engineer.
Zu Ihren Aufgaben zählen:
-
Integrate, transform, and consolidate data from structured, unstructured, and streaming sources
-
Deliver analytics-ready data modes
-
Enable businessgroups to explore and understand data in a secure and reliableway
You will design and operate:
-
Secure, compliant, and high-performing datapipelines
-
Data platforms for modern data warehouse, big data, and lakehousearchitectures
You will continuously monitor, analyze, and optimize:
-
Platform stabiliy
-
System efficiency
-
Data qualiy
Responsibilities
- Design and implement data storage solutions
- Develop data processing solutions
- Scale and optimize resource usage
- Secure, monitor, and optimize data storage and data processing
- Implement file partitioning strategies in Azure Synapse Analytics
- Identify when partitioning is required in Azure Data Lake Storage Gen2
- Create and run queries using SQL Serverless and Spark clusters
- Design and implement incremental data loads
- Transform data using Apache Spark and/or T-SQL in Azure Synapse Analytics
- Ingest and transform data using Azure Synapse Pipelines
- Handle duplicate data and implement error handling
- Develop batch processing solutions using Azure Data Lake Storage Gen2
- Implement Azure Synapse Link and query replicated data
- Create, schedule, and manage data pipelines
- Integrate Python notebooks into data pipelines
- Trigger batch runs, validate batch loads, and handle failures
- Read from and write to a Delta Lake
- Monitor data pipeline and query performance
Anforderungen:
Must have:
+ Tiefe Kenntnisse in Azure Synapse Workspace (all areas)
+ Sehr gute Erfanrung in SQL und
Python
+ Umfassende Skills in:
- Pipelines
- Notebooks
-
ADLS Gen2 storagelayer
-
SQL endpoints
-
Lake Database
+ Englisch fließend
Nice-to-have:
+ Idealerweise Erfahrung in Airflow
+ Gute Kenntnisse in
Spark Delta Table librarieswünschenswert
+ Zertifikat "DP700: Implementing Data Engineering Solutions Using Microsoft Fabric" ist ein Plus
Zusätzliche Informationen:
Konnten wir Ihr Interesse wecken? Dann freuen wir uns auf die Zusendung Ihres aussagekräftigen Expertenprofils unter Angabe Ihrer Stundensatzvorstellung.