Beschreibung

In dieser Rolle als Data Engineer gestaltest du moderne Datenlösungen auf der Google Cloud Platform und arbeitest eng mit Data Scientists zusammen, um komplexe Datenherausforderungen zu meistern und wertvolle Insights zu liefern.

Anforderungen

• •Mindestens 3 Jahre praktische Erfahrung als Data Engineer
• •Fundierte Erfahrung mit BigQuery (SQL, Partitionierung, Clustering, Optimierung) und Dataflow (Apache Beam)
• •Starke Programmierkenntnisse in Python mit Erfahrung in Datenmanipulationsbibliotheken wie PySpark und pandas
• •Starke Kenntnisse in SQL für komplexe Transformationen, Optimierung und Analyse
• •Versiert im Umgang mit Dataform für modulare SQL basierte Daten Transformationen und Pipeline-Management
• •Solides Verständnis von Data-Warehousing-Prinzipien, ETL-/ELT-Prozessen, dimensionalem Modellieren und Daten Governance
• •Erfahrung in der Integration von Daten aus unterschiedlichen APIs und Streaming-Systemen (Pub/Sub)
• •Erfahrung mit Cloud Composer zur Orchestrierung von Workflows
• •Hervorragende Kommunikations- und Kollaborationsfähigkeiten in Englisch
• •Fähigkeit, sowohl selbstständig als auch im agilen Team zu arbeiten
• •Google Professional Data Engineer-Zertifizierung
• •Kenntnisse in BigLake für den einheitlichen Zugriff auf und die Verwaltung von strukturierten und unstrukturierten Daten
• •Erfahrung mit Dataplex zur Verwaltung von Metadaten, Datenherkunft (Lineage) und Daten-Governance
• •Vertrautheit mit Infrastructure-as-Code (Terraform) zur Automatisierung der Bereitstellung von GCP-Ressourcen und CI/CD-Pipelines
• •Erfahrung mit Datenvisualisierungstools wie Looker, Looker Studio oder Power BI
• •Interesse an bzw. Erfahrung mit Machine-Learning-Workflows unter Verwendung von Vertex AI oder ähnlichen Plattformen

Aufgaben

• •Moderne, skalierbare Datenlösungen auf der Google Cloud Platform entwickeln
• •Effiziente ETL-/ELT-Prozesse zum Einlesen, Transformieren und Laden von Daten aufbauen
• •Daten-Ingestion und Echtzeitverarbeitung mit Dataflow und Pub/Sub implementieren
• •SQL-Transformations-Workflows mit Dataform entwickeln
• •Effiziente BigQuery Abfragen erstellen unter Berücksichtigung von Partitionierung und Clustering
• •Komplexe Workflows mit Cloud Composer und Cloud Functions orchestrieren
• •Zentrale Daten Governance und Metadatenverwaltung mit Dataplex implementieren
• •Datenpipelines hinsichtlich Leistung und Kosten überwachen und optimieren
• •Mit Data Scientists und Analysten zur Erfassung von Datenanforderungen zusammenarbeiten
• •Kontinuierliche Weiterbildung in GCP-Datenservices und Best Practices im Data Engineering

Tools & Technologien

Benefits