Sr Data Engineer

Przegląd stanowiska - przywództwo w zakresie danych w przedsiębiorstwie: pomoc w definiowaniu i doskonaleniu integracji danych, konsolidacji danych, integracji MDM i wzorców projektowania platform danych w Integrichain. - Praktyczna inżynieria Snowflake: projektuj, buduj, optymalizuj i obsługuj modele danych Snowflake, potoki, procedury składowane i wzorce przetwarzania danych o dużej objętości. - Włączenie MDM/Reltio: nawiąż współpracę z zespołami MDM i ds. produktów, aby wspierać pozyskiwanie danych głównych HCO, ekstrakty wychodzące, dane powiązań, wykorzystanie złotych rekordów, wyniki dotyczące przetrwania i wzorce publikowania na dalszym etapie. - Partnerstwo międzyfunkcyjne: współpracuj z produktami, inżynierią, MDM, analizą danych, DevOps, bezpieczeństwem i interesariuszami biznesowymi, aby dostosować rozwiązania dotyczące danych do priorytetów przedsiębiorstwa. - Nowoczesne wykonanie ELT: Użyj dbt lub podobnego narzędzia ELT, aby opracować niezawodne, łatwe w utrzymaniu, testowalne i obserwowalne potoki danych. - Własność kosztów i wydajności: prowadź dostrajanie wydajności Snowflake, wielkość magazynu, zarządzanie obciążeniem pracą, śledzenie kosztów i praktyki optymalizacji kosztów. Kluczowe obowiązki Strategia, konsolidacja i integracja danych - nawiąż współpracę z kierownictwem Data Science w celu racjonalizacji i konsolidacji krajobrazu danych przedsiębiorstwa w ramach produktów, platform i nabytych możliwości. - Zdefiniuj wzorce integracji danych wielokrotnego użytku dla wymiany danych wsadowych, mikrowsadowych, w czasie zbliżonym do rzeczywistego i między aplikacjami. - Współpraca z zespołami interdyscyplinarnymi w celu zrozumienia potrzeb w zakresie danych biznesowych, realiów systemu źródłowego i wymagań dotyczących integracji aplikacji korporacyjnych. - Projektuj skalowalne wzorce pozyskiwania, przekształcania, masteringu i publikowania danych w różnych przypadkach użycia operacyjnego i analitycznego. - Pomóż w ustaleniu standardów dotyczących kontraktów dotyczących danych, ewolucji schematów, jakości danych, pochodzenia i własności danych. Możliwość inżynierii danych MDM / Reltio - projektuj i buduj potoki danych, które ładują dane źródłowe do Reltio MDM i wyodrębniają opracowane wyniki z Reltio na potrzeby dalszych zastosowań Snowflake, analiz, sztucznej inteligencji i zastosowań operacyjnych. - Współpracuj z zespołami zajmującymi się konfiguracją MDM i zarządzaniem produktami, aby przełożyć wymagania dotyczące masteringu HCO na potoki danych, mapowanie, walidację, uzgadnianie i wzorce publikowania. - Pracuj z interfejsami API Reltio, eksportami, przejściami dla pieszych/XREF-ami, wzorcami integracji opartymi na zdarzeniach oraz mechanizmami masowego ładowania/ekstraktowania, jeśli jest to potrzebne do obsługi przychodzących i wychodzących przepływów danych. - Wzorce integracji inżynierów dla danych głównych HCO, w tym strony/podmiotu, adresu, identyfikatora, hierarchii, relacji, dopasowania/łączenia, przeżycia i wyników złotej płyty. - Wsparcie pozyskiwania źródeł i integracji danych referencyjnych obejmujących zbiory danych, takie jak HIN, DEA, NPI, NCPDP, 340B/PHS, dane dotyczące kanałów sprzedaży, dane klientów/kont i inne źródła główne/referencyjne z zakresu nauk przyrodniczych. - Opracuj procesy walidacji i uzgadniania w celu porównania danych źródłowych, danych opracowanych przez Reltio, danych wyselekcjonowanych przez Snowflake i dalszych warstw zużycia. - Pomóż w operacjonalizacji wyników MDM dla produktów danych przeznaczonych dla firm, modeli semantycznych, tabel raportowania, interfejsów API i zestawów danych gotowych do sztucznej inteligencji.

Inżynieria i optymalizacja platformy Snowflake - zaprojektuj bazę danych Snowflake, schemat, tabelę, widok i wzorce warstwy semantycznej, które wspierają wydajność, zarządzanie i łatwość konserwacji. - Optymalizuj obciążenia Snowflake za pomocą klastrowania, świadomości mikropartycji, rozmiaru magazynu, profilowania zapytań, zachowania w pamięci podręcznej i izolacji obciążenia. - Wdrażaj praktyki śledzenia i optymalizacji kosztów Snowflake, w tym monitorowanie wykorzystania magazynu, nieefektywną identyfikację zapytań i alokację kosztów według obciążenia, zespołu lub przypadku użycia. - Twórz skalowalną logikę procedur składowanych SQL i Snowflake do przetwarzania dużych ilości danych i obciążeń analitycznych. - Zastosuj bezpieczne wzorce projektowe Snowflake, w tym RBAC, maskowanie, izolację dostępu, audyt i separację środowisk. ETL/ELT, dbt, Python i rozwój potoków danych - projektuj, buduj i utrzymuj niezawodne potoki ELT przy użyciu dbt lub porównywalnych nowoczesnych narzędzi do transformacji danych. - Opracuj automatyzację opartą na języku Python w celu integracji API, przetwarzania plików, zarządzania metadanymi, sprawdzania poprawności, wsparcia orkiestracji i narzędzi operacyjnych. - Opracuj modułowe, przetestowane i nadające się do ponownego wykorzystania modele transformacji dla surowych, wyselekcjonowanych, opanowanych i gotowych do użytku biznesowego warstw danych. - Wdrażaj zautomatyzowane kontrole jakości danych, kontrole świeżości źródeł, uzgadnianie, rejestrowanie i wzorce obsługi wyjątków. - Twórz potoki gotowe do orkiestracji, które obsługują zarządzanie zależnościami, możliwość ponownego uruchamiania, obciążenia przyrostowe i monitorowanie operacyjne. - Współpraca z zespołami DevOps/SRE w zakresie CI/CD, automatyzacji wdrażania, promocji środowiska i operacyjnych elementów Runbook dla potoków danych. Modelowanie danych i przetwarzanie dużych zbiorów danych - kieruj działaniami w zakresie logicznego i fizycznego modelowania danych na potrzeby korporacyjnych zbiorów danych analitycznych, operacyjnych, MDM i gotowych do stosowania sztucznej inteligencji. - Modele projektowe równoważące normalizację, modelowanie wymiarowe, koncepcje medalionów / jezior i potrzeby konsumpcyjne specyficzne dla aplikacji. - Twórz zdenormalizowane raportowanie i struktury gotowe do użycia modelu semantycznego, które upraszczają wykorzystanie biznesowe i zmniejszają niejednoznaczność w przypadkach użycia AI/LLM. - Przetwarzaj i optymalizuj duże ilości danych w Snowflake, korzystając z wydajnego języka SQL, logiki proceduralnej w stylu PL/SQL, skryptów Snowflake i projektowania uwzględniającego wydajność. - Twórz wzorce wielokrotnego użytku do śledzenia historii, migawek, kolumn audytu, wersjonowania danych i zarządzania cyklem życia. - Upewnij się, że modele danych obsługują dalsze BI, AI/ML, modele semantyczne, aplikacje do danych, przypadki użycia MDM Explorer/Entity 360 i raportowanie przedsiębiorstwa.

Wymagane umiejętności i doświadczenie - ponad 10 lat doświadczenia w inżynierii danych, inżynierii baz danych, inżynierii analitycznej lub tworzeniu platform danych w środowiskach produkcyjnych. - Duże, praktyczne doświadczenie z Snowflake, w tym architektura, dostrajanie wydajności, projektowanie zabezpieczeń, optymalizacja kosztów i śledzenie kosztów. - Dokładne zrozumienie wzorców projektowych Snowflake dla obciążeń analitycznych, przetwarzania dużych ilości danych, udostępniania danych i wdrożeń w wielu środowiskach. - Praktyczne doświadczenie z narzędziami ETL/ELT; doświadczenie dbt jest zdecydowanie preferowane. - Duże doświadczenie w programowaniu w stylu SQL i PL/SQL, w tym złożone transformacje, procedury składowane, dostrajanie wydajności i przetwarzanie danych na dużą skalę. - Doświadczenie w języku Python w zakresie automatyzacji danych, integracji API, obsługi plików, sprawdzania poprawności danych, przetwarzania metadanych lub narzędzi operacyjnych. - Doświadczenie w projektowaniu i wdrażaniu korporacyjnych modeli danych, wyselekcjonowanych warstw danych, warstw semantycznych i produktów danych wielokrotnego użytku. - Doświadczenie w zakresie wzorców integracji danych w aplikacjach korporacyjnych, interfejsach API, plikach, pamięci masowej w chmurze, systemach operacyjnych, platformach MDM i platformach analitycznych. - Praktyczne zrozumienie koncepcji zarządzania danymi podstawowymi, takich jak złote rekordy, przejścia dla pieszych/XREF, dopasowanie/łączenie, przeżywalność, hierarchie, relacje między jednostkami, zarządzanie i jakość danych. - Doświadczenie we współpracy z zespołami MDM, produktami lub zespołami biznesowymi w celu przełożenia wymagań masteringowych na mapowania od źródła do celu, logikę transformacji, walidacje i wzorce wykorzystania danych na dalszym etapie. - Możliwość bezpośredniej pracy z interesariuszami z różnych dziedzin w celu zebrania wymagań, wyjaśnienia kompromisów projektowych i zapewnienia dostosowania. - Doświadczenie we wdrażaniu jakości danych, pochodzenia, możliwości audytu, obserwowalności i monitorowania operacyjnego w potokach danych. - Komfortowa praca jako praktyczny starszy indywidualny specjalista, który może również wpływać na strategię i standardy inżynieryjne. Preferowane doświadczenie - doświadczenie z Reltio MDM, w tym ładowanie danych przychodzących, eksport wychodzący, interfejsy API Reltio, przejścia dla pieszych, wyniki dopasowania/scalenia, dane wyjściowe dotyczące przetrwania i rozwiązywanie problemów operacyjnych. - Doświadczenie w naukach przyrodniczych, opiece zdrowotnej, komercjalizacji produktów farmaceutycznych, masteringu HCO/HCP, danych pacjentów, danych kanałów, danych o kliencie lub platformach danych komercyjnych. - Doświadczenie w zakresie referencyjnych i komercyjnych zbiorów danych z zakresu nauk przyrodniczych, takich jak HIN, DEA, NPI, NCPDP, 340B/PHS, 844, 852, 867, obciążenia zwrotne, brutto-netto, ceny rządowe, PBR lub UBR. - Doświadczenie ze strukturami orkiestracji, takimi jak Airflow, Dagster, zadania dbt Cloud, harmonogramy natywne w chmurze lub podobnymi narzędziami. - Doświadczenie z platformami chmurowymi i wzorcami przechowywania, zwłaszcza obiektową pamięcią masową Azure lub AWS zintegrowaną z Snowflake. - Ekspozycja na architekturę danych gotową na sztuczną inteligencję, magazyny funkcji, zbiory danych ML, modele semantyczne lub umożliwienie potoku AI/ML. - Doświadczenie z Terraform, CI/CD, programowaniem opartym na Git i praktykami infrastruktury jako kodu. - Certyfikaty Snowflake SnowPro, Reltio, dbt lub równoważne certyfikaty w zakresie chmury/inżynierii danych. Co ma do zaoferowania IntegriChain? - Nastawiony na misję: Pracuj, aby pomóc poprawić życie pacjentów! - Doskonałe i niedrogie świadczenia medyczne + dodatki pozamedyczne, w tym elastyczny płatny czas wolny i wiele więcej! - Solidne możliwości uczenia się i rozwoju, w tym ponad 700 bezpłatnych kursów rozwojowych dla wszystkich pracowników IntegriChain zobowiązuje się do równego traktowania i szans we wszystkich aspektach rekrutacji, selekcji i zatrudnienia bez względu na rasę, kolor skóry, religię, pochodzenie etniczne, pochodzenie etniczne, wiek, płeć, stan cywilny, niepełnosprawność fizyczną lub umysłową, tożsamość płciową, orientację seksualną, weterana lub status wojskowy lub jakąkolwiek inną kategorię chronioną przez prawo.

IntegriChain jest pracodawcą zapewniającym równe szanse; zaangażowani w tworzenie społeczności włączającej i środowiska wolnego od dyskryminacji, molestowania i odwetu. Nasza polityka dotycząca sponsorowania wiz na stanowiska w USA: Osoby ubiegające się o zatrudnienie w USA muszą posiadać ważne zezwolenie na pracę, które nie wymaga obecnie i/lub w przyszłości sponsorowania wizy w celu uzyskania zezwolenia na zatrudnienie w USA przez IntegriChain. IntegriChain to szkielet danych i aplikacji dla działów dostępu do rynku producentów z branży Life Science.

Dostarczamy dane, aplikacje i infrastrukturę procesów biznesowych na potrzeby dostępu pacjentów i komercjalizacji terapii. Ponad 250 producentów korzysta z naszej platformy ICyte przy koordynowaniu kontraktów komercyjnych i rządowych, usług dla pacjentów i kanałów dystrybucji. ICyte to pierwsza i jedyna platforma, która łączy zbiory danych finansowych, operacyjnych i komercyjnych niezbędnych do wsparcia dostępu do terapii w dobie medycyny specjalistycznej i precyzyjnej.

Dzięki ICyte innowatorzy w dziedzinie nauk przyrodniczych mogą zdigitalizować swoje operacje związane z dostępem do rynku, uwalniając zasoby, aby skupić się na wsparciu podejmowania decyzji w większym stopniu opartym na danych. Dzięki ICyte innowatorzy z branży Life Science cyfryzują pracochłonne procesy, uwalniając swoje największe talenty do identyfikowania i rozwiązywania przeszkód w zakresie zasięgu i dostępności oraz do zarządzania złożonością cen i prognozowania. Nasza siedziba znajduje się w Filadelfii, PA (USA), a biura znajdują się w: Ambler, PA (USA); Pune, Indie; i Medellín w Kolumbii.

Aby uzyskać więcej informacji, odwiedź nas lub śledź nas na Twitterze @IntegriChain i LinkedIn. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/sr-data-engineer-integrichain