Data Engineer (Databricks / PySpark / AML)

Stawka: do 155 pln/h + VAT, B2BLokalizacja: zdalnieBranża: bankowośćSzukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark, integrujących dane z wielu źródeł oraz rozwój procesów ETL.Zakres obowiązkówRozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark.Projektowanie, rozwój i optymalizacja procesów ETL.Integracja danych z różnych źródeł (API, bazy danych, pliki, batch).Migracja istniejących procesów ETL do nowej architektury danych.Transformacja, czyszczenie i mapowanie danych.Tworzenie oraz optymalizacja zapytań SQL.Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.Must haveBardzo dobra znajomość Databricks.Bardzo dobra znajomość PySpark.Zaawansowana znajomość Python.Zaawansowana znajomość SQL / PL/SQL.Doświadczenie w projektowaniu i rozwijaniu procesów ETL.Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch).Mile widzianeDoświadczenie w projektach związanych z AML lub Data Warehouse.Znajomość architektury nowoczesnych platform danych.KompetencjeUmiejętność analitycznego myślenia i rozwiązywania problemów.Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.Dobra organizacja pracy i komunikacja.Umiejętność pracy zespołowej.Informacje o projekcieProjekt: rozwój i migracja warstwy danych AML.Lokalizacja: zdalnie