Główny inżynier danych

O roli W IT Labs poszukujemy doświadczonego głównego inżyniera danych, który będzie wspierał jedną z najbardziej innowacyjnych firm w cyfrowej przestrzeni zdrowia. Nasz klient przekształca opiekę zdrowotną za pomocą platformy opartej na technologii, która łączy pracodawców i pacjentów z wiodącymi dostawcami usług medycznych, pomagając obniżyć koszty i poprawić wyniki. W miarę dalszego rozwoju firmy inwestują znaczne środki w modernizację infrastruktury danych i możliwości analitycznych.

Jako główny inżynier danych będziesz kierować projektowaniem i ewolucją firmowej platformy danych, budując skalowalne potoki danych i niezawodne rozwiązania oparte na płatkach śniegu. Ściśle współpracując z zespołami interdyscyplinarnymi, pomożesz dostarczać wiarygodne, wysokiej jakości dane, które wspomagają decyzje biznesowe i wspierają rozwój firmy. Co będziesz robić - Kierować projektowaniem, rozwojem i optymalizacją skalowalnych platform i potoków danych. - Projektuj, buduj i utrzymuj produkcyjne przepływy pracy ETL/ELT do przetwarzania danych wsadowych i niemal w czasie rzeczywistym. - Przeprowadź migrację i modernizację zasobów danych z BigQuery i innych platform analitycznych do Snowflake. - Opracuj solidną integrację z aplikacjami korporacyjnymi, interfejsami API i zewnętrznymi dostawcami danych. - Twórz i optymalizuj modele danych, schematy, procesy pozyskiwania Snowpipe i wydajność zapytań w Snowflake. - Współpraca z interesariuszami biznesowymi, analitykami i zespołami inżynieryjnymi w celu przełożenia wymagań biznesowych na skalowalne rozwiązania w zakresie danych. - Wdrożyć ramy jakości, walidacji, monitorowania i obserwowalności danych. - Ustanawianie i promowanie najlepszych praktyk w zakresie zarządzania danymi, śledzenia pochodzenia, zarządzania metadanymi i bezpieczeństwa. - Obsługa architektur danych wsadowych i strumieniowych przy użyciu technologii takich jak Kafka, Event Hub lub równoważnych. - Bądź mentorem dla innych inżynierów i przyczyniaj się do podejmowania decyzji architektonicznych, standardów technicznych i najlepszych praktyk inżynieryjnych. Upewnij się, że platformy danych spełniają wymagania dotyczące wydajności, niezawodności, skalowalności i przepisów.

Wymagane umiejętności - ponad 7 lat doświadczenia w inżynierii danych w środowiskach chmurowych lub hybrydowych. - Duże doświadczenie w projektowaniu, budowie i utrzymaniu rurociągów ETL/ELT na skalę produkcyjną. - Zaawansowane umiejętności SQL i biegłość w technikach transformacji danych. - Dobra umiejętność programowania w języku Python w celu przetwarzania i automatyzacji danych. - Praktyczne doświadczenie z Snowflake, w tym: - Modelowanie danych - Snowpipe - Optymalizacja zapytań - Projektowanie schematów - Doświadczenie w migracji z BigQuery lub podobnych technologii kolumnowych hurtowni danych. - Doświadczenie z platformami przetwarzania danych wsadowych i strumieniowych, takimi jak Kafka, Event Hub lub równoważne. - Doświadczenie w budowaniu integracji API klasy korporacyjnej i integracji systemu źródłowego. - Doświadczenie we wdrażaniu ram jakości i walidacji danych. - Dobra znajomość: - Zarządzania danymi - Pochodzenia danych - Najlepszych praktyk w zakresie kontroli dostępu i bezpieczeństwa - Silnych umiejętności rozwiązywania problemów i komunikacji. - Umiejętność efektywnej pracy w środowisku opartym na współpracy i interdyscyplinarnym. Miło mieć - doświadczenie z Databricks, w tym: - Delta Lake - katalog Unity - potoki oparte na platformie Spark - doświadczenie z platformami Spark, Scala lub PySpark. - Znajomość Tableau. - Zrozumienie praktyk postępowania z danymi HIPAA i HITRUST. - Doświadczenie z dbt (narzędziem do budowania danych) do zarządzania warstwą transformacji. - Doświadczenie w pracy w branży opieki zdrowotnej, ubezpieczeń lub w branżach regulowanych. Warunki pracy - Pełny etat, 40h/tydz. - Siedziba w USA - Wymagane obywatelstwo amerykańskie - Zdalne - Umowa lub umowa B2B Nasze wartości Jesteśmy firmą, która szuka tego, co najlepsze zarówno dla naszych pracowników, jak i klientów, wykraczając poza oczekiwania w przekształcaniu marzeń w rzeczywistość.

Nasz sposób pracy opiera się na naszych podstawowych wartościach (uczciwość, doskonałość, proaktywność, innowacja i ludzie), przy czym oczekujemy, że nasi przyszli współpracownicy uczynią je drugą naturą w swojej codziennej pracy i życiu. Nie wymagamy doskonałości, ale doceniamy ludzi zmotywowanych do doskonalenia się pod każdym możliwym względem. O IT Labs Założona w 2005 roku firma IT Labs to międzynarodowa firma zajmująca się technologią oprogramowania, specjalizująca się w zespołach zorientowanych na cele i procesy w celu zapewnienia wysokiej wydajności, innowacyjności, transformacji i wydajności.

Nasza siedziba znajduje się w Palm Beach Gardens na Florydzie, a mamy zespoły na całym świecie - w Wielkiej Brytanii, Holandii, Brazylii, Argentynie, Serbii, Chorwacji, BIH, Czarnogórze, Macedonii Północnej i na Bliskim Wschodzie. Stale się rozwijamy i bardzo chcielibyśmy, abyś stał się częścią naszego zespołu! Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/lead-data-engineer-it-labs