Senior DataOps Engineer

Dołącz do zespołu odpowiedzialnego za rozwój i utrzymanie skalowalnej platformy data infrastructure, która każdego dnia przetwarza miliardy zdarzeń. Szukamy Senior Data Engineera, który nie tylko buduje pipeline’y, ale przede wszystkim potrafi samodzielnie operować produkcyjną infrastrukturą danych, od reliability i observability, przez performance tuning, aż po upgrade’y i rozwój platformy.
Requirements:
4+ lata doświadczenia w Data Engineering na podobnym stanowisku, bardzo dobra znajomość Spark + Scala + Python, doświadczenie w budowaniu i utrzymywaniu złożonych ETL pipelines, doświadczenie z dużymi zbiorami danych, praktyczna znajomość rozwiazań chmurowych, doświadczenie z narzędziami orkiestracji, np. Airflow, praktyczne doświadczenie z Kubernetes oraz GKE (Google Kubernetes Engine), doświadczenie w utrzymaniu i operowaniu produkcyjną infrastrukturą danych na GKE, doświadczenie z CI/CD, np. Jenkins + Git, bardzo dobre rozumienie praktyk i zasad Software Engineering, samodzielność, ownership i bardzo dobre umiejętności komunikacyjne, zaawansowana znajomość j. angielskiego.
Must have: Python, ETL, Kubernetes
Daily tasks: - utrzymanie i rozwój pipeline’ów ingestujących miliardy eventów dziennie w ramach określonego SLA,
– rozwój narzędzi i frameworków dla platformy danych,
– wsparcie zespołów budujących i optymalizujących złożone data pipelines,
– identyfikowanie i rozwiązywanie problemów platformowych wspólnie z innymi zespołami engineeringowymi,
– wsparcie Data Scientists i Data Analysts w workloadach produkcyjnych,
– udział w inicjatywach związanych z ML Platform i streamingiem,
– rozwój dobrych praktyk software engineeringu i data development.