Starszy inżynier/programista potoku danych

Nasz celNaszą misją jest budowanie zdrowszego i bardziej połączonego świata dzięki precyzyjnym usługom zdrowotnym i genealogicznym. Zapewniamy jednostkom praktyczny wgląd w ich strukturę genetyczną, wspierając głębsze zrozumienie ich pochodzenia, zdrowia i dobrego samopoczucia. Łącząc doświadczenie Gene by Gene Laboratory Services, genealogii FamilyTreeDNA i usług raportowania myDNA, staramy się dostarczać najnowocześniejsze badania genetyczne i spersonalizowane rozwiązania, które inspirują świadome decyzje i poprawiają jakość życia. Nasz zespół jest zaangażowany w rozwój dziedziny genomiki poprzez innowacje, badania i dążenie do doskonałości.

Nasze wartości Od wszystkich pracowników oczekuje się, że będą wykazywać nasze wartości, takie jak Innowacja, Jeden Zespół i Uczciwość, podczas wykonywania obowiązków wynikających ze swoich stanowisk. W ten sposób codziennie pokazujemy się dla siebie, naszych współpracowników, klientów i partnerów strategicznych, aby realizować naszą wizję i cele strategiczne. Przegląd stanowiska Poszukujemy starszego inżyniera/programisty ds. potoków danych, który będzie projektował, budował i był właścicielem potoków danych, które przenoszą dane genomiczne i operacyjne z instrumentów laboratoryjnych i LIMS do analiz, produktów i raportów klinicznych.

Na tym stanowisku starszego indywidualnego współpracownika będziesz wyznaczać kierunki techniczne dla naszej platformy danych, budować rurociągi produkcyjne, które są niezawodne i odtwarzalne na dużą skalę, a także zapewniać wskazówki dotyczące architektury i poziomu kodu istniejącym zespołom inżynieryjnym. Będziesz właścicielem jakości danych, pochodzenia i obserwowalności od początku do końca i będziesz działać w regulowanym środowisku, w którym odtwarzalność i możliwość kontroli nie podlegają negocjacjom. Jest to pierwsza rola inżynierska z pełnym stosem w języku Python.

Jest to stanowisko wykonawcy na okres 12 miesięcy. Obowiązki i obowiązkiInżynieria i integracja rurociągówBuduje i obsługuje produkcyjne ETL i ELT dla dużych ilości danych genomowych, a także danych operacyjnych i biznesowych.Integruje dane pomiędzy LIMS, instrumentami laboratoryjnymi, aplikacjami wewnętrznymi i źródłami stron trzecich za pomocą solidnych, dobrze przetestowanych interfejsów.Rozwija cały stos w Pythonie (usługi danych, wewnętrzne interfejsy API i pomocniczy kod aplikacji) oraz zapewnia zespołom inżynierskim wskazówki dotyczące architektury i kodu dotyczące integracji warstwy danych.Architektura i technika PrzywództwoWyznacza techniczne kierunki dla potoków danych wsadowych i strumieniowych poprzez ocenę frameworków, orkiestracji, przechowywania i wzorców przetwarzania, formułowanie rekomendacji i wiodące wdrażanie.Modeluje i dostraja magazyny danych (Microsoft SQL Server i PostgreSQL oraz hurtownia w chmurze lub jezioro) pod kątem wydajności i skali.Definiuje i egzekwuje standardy inżynieryjne w zakresie testowania, CI/CD, infrastruktury w postaci kodu, przeglądu kodu i zapisów decyzji dotyczących architektury.Jakość danych i obserwowalność potoku Posiada jakość danych, pochodzenie i obserwowalność, w tym świeżość, kompletność, wykrywanie dryfu schematu, koszt zadania i umowy SLA.Tworzy potoki zapewniające odtwarzalność i gotowość do audytu, włączając wersjonowane dane i kod, pochodzenie, rejestrowanie decyzji, kontrolę dostępu i gromadzenie dowodów.Partnerzy zajmujący się bezpieczeństwem i zgodnością w zakresie prywatności danych, obsługi PII i PHI oraz wymogami regulacyjnymi w całym cyklu życia danych.Zgodność z przepisami i zarządzanie bezpieczeństwemZastosuj głębokie zrozumienie CAP/CLIA, Przepisy HIPAA, RODO i GxP dotyczące architektury potoku danych. Nadzoruj obsługę chronionych informacji zdrowotnych (PHI), pochodzenie, przechowywanie i kompleksowe rejestrowanie danych.

Twórz i przechowuj najważniejsze dowody operacyjne wymagane do pomyślnego przeprowadzenia platformy danych przez audyty zgodności. Przestrzegaj rygorystycznych kontroli zarządzania danymi niezbędnych do bezpiecznego przetwarzania wrażliwych danych genomicznych w regionach świata. Egzekwuj dostęp o najniższych uprawnieniach i zapewniaj zerowy ruch danych do infrastruktury osobistej lub niezatwierdzonej.

Korzystaj wyłącznie z niezidentyfikowanych danych lub danych syntetycznych w środowiskach programistycznych. Utrzymuj ścisłą zgodność z międzynarodowymi wymaganiami dotyczącymi przechowywania danych i lokalizacji. Wymagania dotyczące stanowiska.

Umiejętności i wiedza. Dobra znajomość SQL na Microsoft SQL Server i PostgreSQL, w tym projektowanie schematów, dostrajanie zapytań i rozwiązywanie problemów z wydajnością. Dobra znajomość języka Python na całym stosie (potoki danych, usługi zaplecza i interfejsy API).

Jest to rola rozpoczynająca pracę w języku Python. Doświadczenie produkcyjne z koordynatorem przepływu pracy (Argo Workflows, Step Functions, Prefect, Dagster, Airflow lub podobne). Doświadczenie produkcyjne z kontenerami (Docker) i Kubernetes, na których działa główny orkiestrator (Argo Workflows).

Silna dyscyplina testowania, w tym testy jednostkowe, integracyjne oraz jakości danych lub kontraktowe. Doskonała komunikacja pisemna i werbalna, w tym umiejętność wyjaśniania kompromisów w zakresie danych interesariuszom technicznym i zajmującym się zgodnością. Genomika lub Formaty i obsługa danych NGS (FASTQ, BAM/CRAM, VCF).

Bioinformatyczne silniki przepływu pracy (Nextflow, WDL/Cromwell lub Snakemake). Znajomość stosu danych AWS (S3, Glue, EMR, Batch, Lambda, Redshift) i/lub AWS HealthOmics. Struktury przetwarzania rozproszonego i przesyłania strumieniowego (Spark, Kafka, Kinesis).

Narzędzia do hurtowni i transformacji danych (Snowflake, dbt).Infrastruktura jako praktyki kodowania (Terraform, CDK, CloudFormation lub Pulumi).Znajomość .NET (C#) i/lub C++ jako języków pomocniczych do integracji z istniejącymi usługami.Znajomość integracji LIMS i on-premise oraz hybrydowych architektur danych.Doświadczenie8+ lat doświadczenia w profesjonalnym oprogramowaniu lub inżynierii danych.Ponad 4 lata budowania i obsługi produkcyjnych potoków danych na dużą skalę.Ponad 3 lata doświadczenia w produkcyjnej chmurze (preferowany AWS). Udokumentowane doświadczenie w pracy w regulowanym środowisku. Zgodność z przepisami jest twardym wymogiem na tym stanowisku.Doświadczenie we wspieraniu audytów HIPAA lub GxP.Wykształcenie Licencjat z informatyki, bioinformatyki lub pokrewnej dziedziny lub równoważne doświadczenie zawodowe.Preferowany stopień zaawansowany w dziedzinie ilościowej.

Dlaczego warto do nas dołączyć W Gene by Gene dołączysz do zespołu zorientowanego na misję, rozwijającego naukę o genetyce i odkrycia. Będziesz mieć możliwość kształtowania znaczących kampanii, opowiadania fascynujących historii marki i współpracy z utalentowanymi profesjonalistami, którzy podzielają Twoją pasję do kreatywności, ciekawości i wpływu. Oryginalnie opublikowano w Himalajach