Inżynier danych (Azure Data Factory)

Addepto to wiodąca firma zajmująca się doradztwem () w zakresie sztucznej inteligencji i inżynierią danych (), która tworzy skalowalne rozwiązania AI zorientowane na zwrot z inwestycji dla największych przedsiębiorstw na świecie i pionierskich start-upów, w tym Rolls Royce, Continental, Porsche, ABB i WGU. Koncentrując się wyłącznie na sztucznej inteligencji i Big Data, Addepto pomaga organizacjom uwolnić pełny potencjał ich danych poprzez systemy zaprojektowane z myślą o wymiernym wpływie na biznes i długoterminowym rozwoju. Działalność firmy wykracza poza kontakty z klientami.

Czerpiąc z rzeczywistych wyzwań i spostrzeżeń, Addepto opracowało własny produkt - ContextClue - i aktywnie dostarcza rozwiązania open source społeczności AI. Dzięki temu zaangażowaniu w przekształcanie praktycznego doświadczenia w skalowalne innowacje firma Addepto została uznana przez magazyn Forbes za jedną z 10 najlepszych firm konsultingowych zajmujących się sztuczną inteligencją na świecie. Jako część KMS Technology, globalnej grupy technologicznej z siedzibą w USA, Addepto łączy głęboką specjalizację w zakresie sztucznej inteligencji z możliwościami dostarczania na skalę przedsiębiorstwa, umożliwiając partnerstwu przeniesienie klientów od eksperymentów ze sztuczną inteligencją do wpływu na produkcję, bezpiecznie i na dużą skalę.

Jako inżynier danych będziesz mieć możliwość wspierania i dalszego rozwijania rozwiązania do integracji danych opartego na platformie Azure, zbudowanego głównie w oparciu o Azure Data Factory (ADF). Obecne środowisko obejmuje Azure Functions i składniki pozyskiwania, ale codzienne dostarczanie jest silnie skoncentrowane na projektowaniu potoku ADF, orkiestracji, monitorowaniu i ciągłym doskonaleniu. Projekt koncentruje się na rozbudowie i stabilizacji istniejącej platformy danych, w tym warstwy hurtowni (Azure SQL Database lub Synapse), opcjonalnych transformacjach opartych na dbt oraz okazjonalnej obsłudze raportowania Power BI.

Będziesz ściśle współpracować z właścicielem produktu i architektem po stronie klienta, aktywnie dostosowując potrzeby biznesowe do technicznych decyzji wdrożeniowych i zapewniając wysokiej jakości, skalowalne rozwiązania. Ponadto będziesz współtworzyć potoki CI/CD usługi Azure DevOps i procesy wydawania, aby zapewnić niezawodne wdrożenia w różnych środowiskach. 🚀 Twoje główne obowiązki: - Projektowanie, opracowywanie i utrzymywanie potoków Azure Data Factory, w tym orkiestracja, parametryzacja i zarządzanie wyzwalaczami. - Konfiguruj i zarządzaj połączonymi usługami i zbiorami danych w ramach ADF. - Monitoruj, rozwiązuj problemy i optymalizuj potoki ADF, aby zapewnić wydajność i niezawodność. - Rozwijać i utrzymywać procesy ETL/ELT oraz wspierać ewolucję warstwy hurtowni danych (Azure SQL Database lub Synapse). - Przekładanie wymagań biznesowych na rozwiązania techniczne w ścisłej współpracy z Właścicielem Produktu i Architektem. - Tworzenie i utrzymywanie komponentów opartych na języku Python (np. Azure Functions, integracje API, skrypty automatyzacji). - Weź udział w procesach CI/CD w Azure DevOps, w tym w potokach, wydaniach i promocji środowiska. - Obsługa sporadycznych potrzeb w zakresie raportowania i tworzenia pulpitów nawigacyjnych w usłudze Power BI. - Zapewnij proaktywną komunikację, dostosowanie interesariuszy oraz widoczność zagrożeń i skutków. - Przejmij odpowiedzialność za przydzielone zadania i aktywnie przyczyniaj się do ciągłego doskonalenia platformy.

Wymagania 🎯 Czego potrzebujesz, aby odnieść sukces na tym stanowisku: - Silne, praktyczne doświadczenie z Azure Data Factory (niezbędne), w tym: projektowanie potoków i orkiestracji, połączone usługi, zbiory danych, wyzwalacze i parametryzacja, monitorowanie operacyjne, rozwiązywanie problemów i dostrajanie wydajności oraz tworzenie ADF uwzględniające wdrożenie w środowiskach korporacyjnych. - Doskonała znajomość języka Python (Azure Functions, REST API, automatyzacja). - Dobra znajomość języka SQL i solidne zrozumienie modelowania danych dla obciążeń ETL/ELT i hurtowni. - Doświadczenie w procesach CI/CD w Azure DevOps (potoki, wydania, wdrożenia w wielu środowiskach). - Solidna znajomość usług Azure i rozwiązań danych w chmurze (np. Azure SQL Database, Azure Key Vault). - Doświadczenie z Power BI do sporadycznego tworzenia dashboardów i raportowania. - Doświadczenie w pracy z nowoczesnymi praktykami i narzędziami programistycznymi. - Nastawienie doradcze z proaktywną komunikacją i silnymi umiejętnościami dostosowania interesariuszy. - Umiejętność efektywnej współpracy z Właścicielem Produktu i Architektem podczas planowania i dostawy. - Niezależne i odpowiedzialne podejście do dostarczania wysokiej jakości rozwiązań. - Doskonała znajomość języka angielskiego (co najmniej poziom C1). ➕ Miło jest mieć: - Znajomość dbt. - Doświadczenie we wdrażaniu hurtowni danych na platformie Azure. 🎁 Odkryj nasze atuty i korzyści: - Pracuj we wspierającym zespole pasjonatów sztucznej inteligencji i Big Data. - Współpracuj z czołowymi światowymi przedsiębiorstwami i nowatorskimi start-upami w międzynarodowych projektach. - Korzystaj z elastycznych warunków pracy, dzięki którym możesz pracować zdalnie lub w nowoczesnych biurach i przestrzeniach coworkingowych. - Przyspiesz swój rozwój zawodowy poprzez ścieżki kariery, inicjatywy polegające na dzieleniu się wiedzą, zajęcia językowe i sponsorowane szkolenia lub konferencje, w tym partnerstwo z firmą Databricks, która oferuje wiodące w branży materiały szkoleniowe i certyfikaty. - Wybierz preferowaną formę współpracy: B2B lub umowa zlecenie i skorzystaj z 20 pełnopłatnych dni wolnych. - Weź udział w wydarzeniach integracyjnych i wykorzystaj budżet integracyjny. - Świętuj rocznice pracy, urodziny i kamienie milowe. - Uzyskaj dostęp do pakietów medycznych i sportowych, opieki okulistycznej i usług wsparcia dobrego samopoczucia, w tym psychoterapii i coachingu. - Uzyskaj pełny sprzęt do pracy zapewniający optymalną produktywność, w tym laptop i inne niezbędne urządzenia. - Dzięki naszemu wsparciu możesz wzmocnić swoją markę osobistą, występując na konferencjach, pisząc na naszym blogu lub uczestnicząc w spotkaniach. - Przeżyj płynne wdrożenie z oddanym przyjacielem i rozpocznij podróż w naszej przyjaznej, wspierającej i autonomicznej kulturze. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/data-engineer-azure-data-factory-addepto