Inżynier danych

CTEC to wiodąca firma technologiczna świadcząca usługi modernizacji, transformacji cyfrowej i tworzenia aplikacji dla rządu federalnego USA. Firma CTEC z siedzibą w McLean w stanie Wirginia zatrudnia ponad 300 członków zespołu pracujących nad systemami i projektami o znaczeniu krytycznym dla takich agencji, jak Departament Bezpieczeństwa Wewnętrznego, Urząd Skarbowy i Biuro Zarządzania Personelem. Praca, którą wykonujemy, codziennie wpływa na miliony obywateli USA, którzy wchodzą w interakcję z budowanymi przez nas systemami.

Nasze najlepsze w swojej klasie rozwiązania komercyjne, zmodyfikowane pod kątem indywidualnych wymagań misji naszych klientów, umożliwiają taką przyszłość każdego dnia. W ciągu ostatnich 3 lat Spółka odnotowała szybki rozwój, a niedawno otrzymała strategiczną inwestycję od Main Street Capital Corporation (NYSE: MAIN). Oprócz niedawnego wzrostu liczby federalnych agencji cywilnych, pragniemy poszerzyć nasze możliwości w zakresie rozwoju rozwiązań chmurowych i zasięgu w agencjach zajmujących się bezpieczeństwem narodowym w ramach Departamentu Obrony i Wspólnoty Wywiadów USA.

Do naszego zespołu poszukujemy Inżyniera Danych! Klient: CTEC opracowuje i dostarcza innowacyjne technologie i rozwiązania zorientowane na klienta, które wspierają jednostkę biznesową ds. zdrowia i ubezpieczeń w Biurze Zarządzania Personelem (OPM) oraz Biuro Dyrektora ds. Informacji (OCIO).

Obowiązki i obowiązki: - Rozwój Data Pipeline i ETL: Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków ETL i przepływów pracy danych w celu pozyskiwania, przekształcania i integrowania danych ze starszych systemów i źródeł zewnętrznych z nowoczesnymi platformami danych opartymi na chmurze. - Wdrożenie platformy danych w chmurze i Datakostek: Twórz, optymalizuj i utrzymuj rozwiązania do przetwarzania danych przy użyciu Azure Databricks i architektur Lakehouse w celu obsługi przypadków użycia analitycznego, operacyjnego i raportowania. - Obsługa migracji danych: obsługa etapowej migracji danych ze starszych baz danych i narzędzi ETL do środowisk Azure Databricks, w tym dokumentacji transformacji i mapowania danych. - Projektowanie Lakehouse i warstw danych: wdrażaj warstwowe architektury danych Lakehouse (np. warstwy brązowe, srebrne, złote) w Databricks, aby wspierać jakość danych, wydajność i potrzeby w zakresie raportowania na późniejszym etapie. - Rozwój w Pythonie i PySpark: Twórz notatniki, przepływy pracy i rozproszone transformacje danych przy użyciu Pythona i PySpark w środowiskach Databricks. - Jakość i walidacja danych: Opracuj procesy walidacji, uzgadniania i testowania danych, aby zapewnić dokładność, kompletność i spójność danych we wszystkich domenach danych. - Integracja i interoperacyjność danych: Zintegruj platformy danych Databricks z narzędziami analitycznymi i raportowymi, aby umożliwić analizę biznesową i pulpity operacyjne. - Wdrożenie zarządzania danymi i bezpieczeństwa: wspieranie inicjatyw w zakresie zarządzania danymi, w tym zarządzania metadanymi, integracji katalogów danych, szyfrowania, kontroli dostępu i zgodności z federalnymi wymogami ochrony danych. - Wsparcie DevOps i CI/CD: Utrzymuj kontrolę źródła i potoki CI/CD dla przepływów pracy Databricks i inżynierii danych, wspierając automatyczną promocję w różnych środowiskach. - Współpraca techniczna: Ściśle współpracuj z architektami danych, architektami rozwiązań, analitykami biznesowymi i zespołami raportującymi w celu wdrożenia zatwierdzonych rozwiązań w zakresie danych. - Wsparcie operacyjne i rozwiązywanie problemów: zapewniaj ciągłe wsparcie dla przepływów pracy Databricks, rozwiązuj awarie potoków i rozwiązuj złożone problemy z przetwarzaniem danych. - Mentoring i dzielenie się wiedzą: zapewnianie wskazówek młodszym inżynierom danych oraz przyczynianie się do tworzenia dokumentacji i wspierania zespołu. - Pracuje pod minimalnym nadzorem i pod niewielkimi wskazówkami ze strony personelu wyższego szczebla. Umiejętności i doświadczenie zawodowe: - Doświadczenie zawodowe: ponad 7 lat doświadczenia w inżynierii danych, programowaniu ETL lub środowiskach integracji danych na dużą skalę. - Duże doświadczenie w projektowaniu i opracowywaniu potoków ETL i transformacji danych w środowiskach Azure Databricks. - Wysoka biegłość w SQL i Pythonie, z praktycznym doświadczeniem w używaniu PySpark do rozproszonego przetwarzania danych. - Doświadczenie w pracy z platformami danych opartymi na chmurze, jeziorami danych i środowiskami Lakehouse, najlepiej na platformie Microsoft Azure. - Doświadczenie we wdrażaniu warstwowych architektur danych Lakehouse (brązowa, srebrna, złota) na potrzeby analityki korporacyjnej. - Znajomość platform przetwarzania dużych zbiorów danych opartych na platformie Spark. - Doświadczenie we wspieraniu migracji danych ze starszych baz danych i narzędzi ETL na platformy oparte na Databricks. - Doświadczenie w integracji platform Databricks z narzędziami do analizy biznesowej i raportowania, takimi jak Power BI. - Znajomość najlepszych praktyk w zakresie zarządzania danymi, zarządzania metadanymi i bezpieczeństwa danych. - Doświadczenie w zakresie kontroli źródła i potoków CI/CD na potrzeby inżynierii danych i przepływów pracy Databricks. - Praktyczna znajomość metodologii SDLC i Agile. - Doskonałe umiejętności organizacyjne, komunikacyjne i współpracy. Preferowane: - Praktyczne doświadczenie z przepływami pracy Azure Databricks, tabelami Delta i orkiestracją zadań Databricks. - Doświadczenie z Azure Data Lake, Azure Data Factory lub podobnymi usługami danych Azure. - Doświadczenie we wspieraniu federalnych inicjatyw w zakresie modernizacji IT lub transformacji danych na dużą skalę w przedsiębiorstwie. - Znajomość środowisk danych związanych z opieką zdrowotną, ubezpieczeniami lub administracją świadczeniami. - Doświadczenie we wdrażaniu platform zarządzania danymi lub platform katalogów danych.

Wykształcenie: Licencjat w dziedzinie informatyki, inżynierii, systemów informatycznych lub pokrewnej dyscypliny technicznej. Zamiast dyplomu będzie brane pod uwagę równoważne wykształcenie lub doświadczenie zawodowe. Zezwolenie: Musisz być obywatelem USA i móc uzyskać zezwolenie zaufania publicznego.

Jeśli szukasz ciekawego i pełnego wyzwań środowiska pracy z utalentowanymi, zmotywowanymi ludźmi do pracy, CTEC jest właściwym miejscem dla Ciebie. Oprócz wynagrodzenia pracownika oferujemy szereg świadczeń pracowniczych, w tym: - Płatne urlopy i zwolnienia chorobowe - Ubezpieczenie zdrowotne - Szkolenia zawodowe - Programy premii za wyniki - Składka 401 tys. i dopasowanie pracodawcy - 11 dni świątecznych Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/data-engineer-cybermedia-technologies-inc