Keyvisual Header

Senior Data Engineer | Databricks, PySpark, Python, Data Lakehouse, IaC | bis 50% Home-Office (mwd)

Unser Klient ist ein mittelständisches Beratungshaus, das seine Kunden aus der Finanzbranche dabei unterstützt, die vielfältigen Herausforderungen, die im täglichen Handelsgeschäft oder etwa durch gesetzliche Änderungen und Regulierungen entstehen, zu bewältigen.

Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.

Location:

Frankfurt am Main (Home Office up to 50%)

Type of Contract:

Permanent position at our client; no staff leasing

Your Duties

  • Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.
  • Ihre Tätigkeit erbringen Sie im folgenden Umfeld:
  • Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake
  • Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement)
  • Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts)
  • API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs
  • Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts
  • Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP
  • Infrastructure as Code (IaC): Cloud-Technologien, MS Azure
  • CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git

Your profile

  • Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld:
  • Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog
  • API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker)
  • Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools
  • IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen
  • Sie haben gute Deutsch- und Englischkenntnisse

Make your next career move and apply right here or send us your application including the reference number 23680, your desired salary, your willingness to travel and relocate via email (no cover letter required). Your data will never be forwarded by us without your explicit consent for each individual case.

Share via Linkedinenvelope-Icon
Share via Xingenvelope-Icon
Info-Hexagon-Icon

Vesterling

With more than 25 years of experience, Vesterling is one of the leading international technology recruiting and human resources consulting firms. Our core services are recruiting of technical and functional experts up to technology executive search on board level, open training courses as well as tailor-made training programs for companies, career services and outplacement. Our consultants, themselves experts in IT and engineering, support you in all aspects of your career and help you select suitable positions.