Inżynier danych / programista Databricks

Lokalizacja: Zdalna na terenie Kanady Klient: Klient konsultingowy Czas trwania umowy: umowa na 6 miesięcy MUSI MIEĆ co najmniej ponad 3 lata praktycznego doświadczenia w tworzeniu Databricks. Przegląd Nasz klient konsultingowy poszukuje inżyniera/programisty danych Databricks do wsparcia strategicznej inicjatywy transformacji Enterprise Data Platform (EDP). Organizacja modernizuje środowisko danych przedsiębiorstwa i buduje platformę danych nowej generacji, wykorzystując Databricks i nowoczesną architekturę opartą na chmurze.

Ta rola będzie odgrywać kluczową rolę w projektowaniu, opracowywaniu i wdrażaniu skalowalnych rozwiązań w zakresie danych, które wspierają raportowanie przedsiębiorstwa, analizy, inicjatywy związane ze sztuczną inteligencją i przyszłe możliwości oparte na danych. Idealny kandydat będzie posiadał solidną wiedzę z zakresu inżynierii danych, praktyczne doświadczenie w tworzeniu Databricks oraz solidną wiedzę na temat procesów ETL/ELT, integracji danych i nowoczesnej architektury danych. Osoba ta będzie ściśle współpracować z architektami danych, kierownikami projektów, analitykami i interesariuszami biznesowymi, aby dostarczać wysokiej jakości rozwiązania w zakresie danych w szybko rozwijającym się środowisku.

Kluczowe obowiązki - Projektowanie, rozwijanie i utrzymywanie potoków danych w ramach Enterprise Data Platform (EDP). - Twórz i optymalizuj procesy ETL/ELT w celu obsługi wymagań związanych z pozyskiwaniem, transformacją i integracją danych. - Skorzystaj z agentycznego podejścia do rozwoju i upewnij się, że wyniki odpowiadają standardom rozwoju. - Twórz skalowalne rozwiązania w zakresie danych nadające się do ponownego wykorzystania, korzystając z Databricks i technologii danych w chmurze. - Wsparcie działań związanych z migracją i modernizacją ze środowisk HANA na nowoczesną platformę danych. - Współpraca z Data Architects w celu wdrożenia skalowalnych modeli danych i rozwiązań platformowych. - Opracuj logikę transformacji danych i przepływy pracy w celu obsługi wymagań biznesowych i analitycznych. - Zapewnij jakość, integralność, spójność i wydajność danych na wszystkich platformach. - Rozwiązywanie problemów związanych z danymi, wąskimi gardłami i wydajnością. - Uczestnictwo w przeglądach kodu, testowaniu, wdrażaniu i wypuszczaniu oprogramowania. - Ściśle współpracuj z zespołami biznesowymi i analitycznymi, aby zrozumieć wymagania dotyczące danych i dostarczać rozwiązania dostosowane do zamierzonych celów. - Udział w tworzeniu najlepszych praktyk, dokumentacji i inicjatyw ciągłego doskonalenia platformy. Wymagania MUSI MIEĆ co najmniej ponad 3 lata praktycznego doświadczenia w tworzeniu Databricks. Wymagane kwalifikacje - ponad 3 lata praktycznego doświadczenia w tworzeniu Databricks. - Ponad 4 lata ogólnego doświadczenia w inżynierii danych, ETL lub integracji danych. - Duże doświadczenie w budowaniu potoków danych ETL/ELT i procesów transformacji. - Udokumentowane doświadczenie w pracy z dużymi i złożonymi zbiorami danych. - Doświadczenie z frameworkami Agentic i kodowaniem wspomaganym sztuczną inteligencją będzie wartością dodaną. - Doświadczenie w opracowywaniu rozwiązań danych w ramach platform opartych na chmurze. - Solidne zrozumienie koncepcji hurtowni danych, jezior danych i jezior. - Doświadczenie w pracy w zwinnych środowiskach dostaw. - Silne umiejętności rozwiązywania problemów i zdolności analityczne. - Doskonałe umiejętności komunikacji i współpracy.

Preferowane kwalifikacje - doświadczenie we wspieraniu inicjatyw związanych z dużymi platformami danych. - Doświadczenie w znaczących działaniach związanych z migracją danych. - Doświadczenie z usługami Azure Data Services i architekturą Databricks Lakehouse. - Doświadczenie z nowoczesnymi frameworkami i najlepszymi praktykami inżynierii danych. - Ekspozycja na sztuczną inteligencję, GenAI, uczenie maszynowe lub zaawansowane inicjatywy analityczne. - Doświadczenie w pracy w dużych przedsiębiorstwach lub środowiskach konsultingowych. - Znajomość zarządzania danymi, zarządzania metadanymi i ram jakości danych. Wymagana wiedza techniczna - Databricks - Rozwój ETL / ELT - Inżynieria danych - Integracja danych - SQL - Python - Rozwój potoku danych - Transformacja danych - Koncepcje hurtowni danych - Preferowane elastyczne dostarczanie - Azure Data Factory - Delta Lake - Spark / PySpark - Azure Synapse - Architektura Data Lake - Platformy danych w chmurze - Zarządzanie danymi i jakość danych - CI/CD dla rozwiązań dotyczących danych Kluczowe umiejętności i doświadczenie - Rozwój Databricks - Inżynieria danych - Projektowanie i ETL/ELT Rozwój - Platformy danych dla przedsiębiorstw - Modernizacja danych - Migracja danych - Hurtownia danych - Platformy danych w chmurze - Rozwój SQL i Python - Jakość i walidacja danych - Sprawne dostarczanie - Współpraca z interesariuszami Profil idealnego kandydata Poszukujemy programisty, który: ✅ Ma praktyczne doświadczenie w Databricks i może wnieść natychmiastowy wkład ✅ Rozumie koncepcje danych korporacyjnych i inicjatywy dotyczące modernizacji platform ✅ Ma duże doświadczenie w zakresie ETL/ELT i inżynierii danych ✅ Potrafi skutecznie współpracować z architektami, kierownikami projektów i zespołami biznesowymi ✅ Czuje się komfortowo pracując w ramach szybko rozwijającego się, dobrze widocznego programu transformacji przedsiębiorstw ✅ Może pomóc w zbudowaniu skalowalnej architektury Lakehouse obsługującej raportowanie, analizy i przyszłe możliwości sztucznej inteligencji Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/databricks-data-engineer-developer-paralucent