Programista rozwiązań Hadoop

Programista rozwiązań Hadoop - Remote Bright Vision Technologies to firma zajmująca się doradztwem technologicznym i tworzeniem oprogramowania, dostarczająca rozwiązania w zakresie chmury, sztucznej inteligencji, danych i rozwiązań dla przedsiębiorstw w całych Stanach Zjednoczonych. To fantastyczna okazja, aby dołączyć do uznanej i szanowanej organizacji oferującej ogromny potencjał rozwoju kariery. Stanowisko: Programista rozwiązań Hadoop Lokalizacja: W 100% zdalny (USA) Rodzaj stanowiska: Pełny etat, Bezpośrednie wynagrodzenie W2 Zakres wynagrodzeń: 100 000 - 150 000 USD Wymagane doświadczenie roczne: Ponad 6 lat Sponsoring: Obywatele USA, posiadacze zielonej karty, posiadacze EAD i kandydaci do przeniesienia H-1B zachęcamy do składania wniosków.

Nie możemy sponsorować nowych petycji wizowych H-1B na to stanowisko. Podsumowanie stanowiska Poszukujemy doświadczonego programisty Hadoop do projektowania, budowania i obsługi potoków przetwarzania danych na dużą skalę oraz platform analitycznych w Hadoop i powiązanych ekosystemach big data. Na tym stanowisku będziesz odpowiedzialny za pozyskiwanie, przekształcanie i analizowanie ogromnych ilości ustrukturyzowanych i nieustrukturyzowanych danych w celu wspierania analityki korporacyjnej, uczenia maszynowego i raportowania obciążeń.

Idealny kandydat będzie łączyć głęboką wiedzę techniczną w całym ekosystemie Hadoop z mocnymi podstawami inżynierii oprogramowania i jasnym zrozumieniem, w jaki sposób dostarczać niezawodne, wydajne i opłacalne platformy danych w środowiskach produkcyjnych. Kluczowe obowiązki - Projektowanie, rozwijanie i obsługa kompleksowych potoków dużych zbiorów danych w Hadoop, pozyskując dane z różnorodnej kombinacji źródeł relacyjnych, opartych na plikach, przesyłanych strumieniowo i opartych na API. - Twórz niezawodne przepływy pracy ETL/ELT przy użyciu Apache Spark, Hive, Pig i Sqoop, ze szczególnym uwzględnieniem jakości danych, idempotencji, obsługi błędów i możliwości odzyskiwania. - Twórz potoki danych strumieniowych o wysokiej przepustowości przy użyciu Kafki, Spark Streaming lub Flink i integruj je z późniejszymi systemami analitycznymi i operacyjnymi. - Optymalizuj zadania Spark i MapReduce poprzez dokładne dostrojenie partycjonowania, pamięci, serializacji i obsługi pochylenia, aby spełnić wymagające umowy SLA przy minimalnych kosztach. - Projektuj i utrzymuj modele danych i układy pamięci w HDFS, Hive, HBase i nowoczesnych formatach Lakehouse (Parquet, ORC, Delta, Iceberg, Hudi), aby zrównoważyć elastyczność i wydajność. - Wdrażaj zarządzanie danymi, pochodzenie i kontrolę jakości we współpracy z zespołami zajmującymi się zarządzaniem danymi i bezpieczeństwem. - Twórz niezawodne strategie monitorowania, ostrzegania i rejestrowania dla potoków dużych zbiorów danych, w tym umowy SLA na poziomie zadania i proaktywne wykrywanie awarii. - Współpracuj z badaczami danych i analitykami, aby dostarczać wyselekcjonowane, niezawodne i dobrze udokumentowane zbiory danych, które przyspieszają ich pracę. - Automatyzuj orkiestrację rurociągów za pomocą Airflow, Oozie lub podobnych silników przepływu pracy, z przejrzystym zarządzaniem zależnościami i jasnymi granicami własności. - Stale oceniaj i wdrażaj nowe technologie w ekosystemie dużych zbiorów danych i chmur (EMR, Databricks, Snowflake, BigQuery), gdzie oferują one znaczące ulepszenia. - Przeprowadzanie przeglądów wydajności i audytów architektury istniejących rurociągów, proponowanie konkretnych inicjatyw w zakresie refaktoryzacji i optymalizacji. - Dokumentuj architektury danych, schematy, zachowania potoków i operacyjne elementy Runbook w sposób zapewniający obsługę platformy w miarę skalowania zespołu. - Opiekuj się młodszymi inżynierami i przyczyniaj się do tworzenia standardów inżynieryjnych i najlepszych praktyk zespołu. Wymagane kwalifikacje - tytuł licencjata w dziedzinie informatyki, inżynierii lub pokrewnej dyscypliny technicznej. - Pięć lub więcej lat doświadczenia zawodowego w projektowaniu i obsłudze potoków dużych zbiorów danych w Hadoop. - Duża praktyczna wiedza z zakresu Apache Spark (Scala, Python lub Java) w środowiskach produkcyjnych. - Solidne doświadczenie z Hive, HDFS, Sqoop, HBase i szerszym ekosystemem Hadoop. - Praktyczne doświadczenie z platformami przesyłania strumieniowego danych, takimi jak Kafka, Spark Streaming lub Flink. - Dobra znajomość języka SQL i doświadczenie w pracy zarówno z relacyjnymi, jak i NoSQL magazynami danych. - Doświadczenie z narzędziami do orkiestracji przepływu pracy, takimi jak Airflow lub Oozie. - Solidne zrozumienie koncepcji systemów rozproszonych, w tym partycjonowania, replikacji i odporności na błędy. - Dobra umiejętność pisania skryptów w Pythonie lub Shell. - Doskonałe umiejętności rozwiązywania problemów, debugowania i dokumentowania.

Preferowane kwalifikacje - doświadczenie w obsłudze Hadoop na platformach chmurowych, takich jak AWS EMR, Azure HDInsight lub Databricks. - Znajomość nowoczesnych formatów domków nad jeziorem (Delta, Iceberg, Hudi). - Znajomość narzędzi do zarządzania danymi, takich jak Apache Atlas lub Collibra. - Doświadczenie z platformami danych opartymi na Kubernetes (Spark-on-K8s, Trino). - Praktyczne doświadczenie w zakresie CI/CD i infrastruktury jako kodu w przepływach pracy inżynierii danych. Jak aplikować Chcesz dowiedzieć się więcej o tej możliwości? W celu natychmiastowego rozpatrzenia oferty wyślij swoje CV na adres J***y@***.com lub skontaktuj się z nami pod numerem 90*** *** 544.

Dowiedz się więcej o technologiach Bright Vision na stronie www.bvteck.com. Firma Bright Vision Technologies jest pracodawcą zapewniającym równe szanse. Oświadczenie dotyczące równych szans w zatrudnieniu (EEO) Firma Bright Vision Technologies (BV Teck) zobowiązuje się do zapewnienia równych szans zatrudnienia (EEO) wszystkim pracownikom i kandydatom bez względu na rasę, kolor skóry, religię, płeć, orientację seksualną, tożsamość lub ekspresję płciową, pochodzenie narodowe, wiek, informacje genetyczne, niepełnosprawność, status weterana lub jakikolwiek inny status chroniony zgodnie z obowiązującymi przepisami federalnymi, stanowymi lub lokalnymi.

Zobowiązanie to rozciąga się na wszystkie aspekty zatrudnienia, w tym rekrutację, zatrudnianie, szkolenia, wynagrodzenia, awanse, przeniesienia, urlopy, rozwiązania stosunku pracy, zwolnienia i odwołania. BV Teck wyraźnie zabrania wszelkich form molestowania lub dyskryminacji w miejscu pracy. Jakakolwiek niewłaściwa ingerencja w zdolność pracowników do wykonywania obowiązków służbowych może skutkować wszczęciem postępowania dyscyplinarnego, aż do rozwiązania stosunku pracy włącznie.

Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/hadoop-solutions-developer-bright-vision-technologies