Azure Data Engineer with Databricks

Miejsce pracy: 100% zdalnie Start: ASAP (max. 30 dni wypowiedzenia) Współpraca: B2B z ITFS Wynagrodzenie: do 170 zł/h + VAT (bez płatnych urlopów) Proces rekrutacyjny: krótka rozmowa z ITFS (ok. 15 min) ➡ max. 2 rozmowy techniczne z Klientem ➡ decyzja ID: P3639
Requirements:
Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure , Praktyczne doświadczenie we wdrażaniu rozwiązań z obszaru data lake oraz pipelines ( Databricks , Azure Data Factory ), Znajomość zaawansowanych funkcji Databricks , takich jak Unity Catalog , MLflow oraz Jobs & Pipelines , Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure , Biegła znajomość SQL , PySpark , modelowania danych ( 3NF , star/snowflake schemas ) oraz wzorców ELT/ETL , Doświadczenie w pracy z językiem Python lub innymi językami skryptowymi do transformacji, orkiestracji i automatyzacji danych, Rozumienie zasad architektury danych w chmurze, w tym koncepcji Lakehouse , Medallion architecture , integracji API i architektury sterowanej zdarzeniami, Doświadczenie w zakresie CI/CD i praktyk DevOps dla procesów danych ( Git , Azure DevOps ) oraz integracji z Power BI , Bardzo dobre umiejętności komunikacyjne i doświadczenie w pracy z klientami oraz interesariuszami, Umiejętność efektywnej współpracy w zespołach interdyscyplinarnych, Biegła znajomość języka angielskiego . Mile widziane: Znajomość chmur AWS lub GCP .
Must have: Azure, Data Lake, Databricks, Azure Data Factory, SQL, PySpark, ETL, Python, API, Git, Azure DevOps, Power BI
Nice to have: AWS, GCP
Daily tasks: - Tworzenie i wdrażanie skalowalnych rozwiązań przetwarzania danych w chmurze Azure,
– Projektowanie, budowanie i utrzymanie pipelines integrujących dane z różnych źródeł, w tym baz danych, API oraz platform streamingowych,
– Współpraca z zespołami Data Engineer, Data Scientist oraz architektów chmurowych przy dostarczaniu rozwiązań end-to-end,
– Udział w kluczowych etapach rozwoju projektu we współpracy z analitykami biznesowymi, architektami danych oraz Product Ownerami,
– Tworzenie dokumentacji technicznej oraz dbanie o optymalizację wydajnościową i kosztową projektowanych rozwiązań.