Senior Data Engineer– Snowflake & Iceberg

................
Für unseren Kunden in Bern , suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.
Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.
Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,
Deine Aufgaben:

- Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg

- Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake

- Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten

- Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen

- Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes

- Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation

- Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb

- Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake

- Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung

- Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team

Dein Profil:

- Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen

- Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake

- Nachweisbare Projekterfahrung mit Apache Iceberg

- Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren

- Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen

- Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Fehlerbehandlung

- Erfahrung mit der Integration unterschiedlicher Datenplattformen und dem Aufbau robuster End-to-End-Datenflüsse

- Fähigkeit, technische Lösungsansätze gemeinsam mit Softwareherstellern und internen Stakeholdern zu analysieren und voranzutreiben

- Selbstständige, strukturierte und lösungsorientierte Arbeitsweise

- Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen von Vorteil

- Erfahrung mit der Anbindung von Time-Series-Datenbanken oder entsprechenden Datenplattformen von Vorteil

- Fliessend in Deutsch und Englisch
Find Jobs in Switzerland on Arbeitnow