O tym stanowisku
auto_translated_note
Obszar działalności: Inżynieria Poziom starszeństwa: Poziom średniego szczebla Opis stanowiska: W Cloudera umożliwiamy ludziom przekształcanie złożonych danych w jasne i praktyczne spostrzeżenia. Zarządzając taką samą ilością danych, jak hiperskalery, jesteśmy preferowanym partnerem w zakresie danych dla najlepszych firm w niemal każdej branży. Dzięki nieustannym innowacjom społeczności open source Cloudera przyspiesza cyfrową transformację największych przedsiębiorstw na świecie.
Filar platformy danych stanowi podstawę technologii Cloudera, w ramach której projektujemy i budujemy podstawowe komponenty, które pozwalają naszym klientom przechowywać, zarządzać i przetwarzać dane z niezrównaną skalowalnością, bezpieczeństwem i wydajnością. Cloudera poszukuje starszego inżyniera oprogramowania Spark (Java) z dużą wiedzą na temat systemów rozproszonych do pracy nad dystrybucją Cloudera Apache Spark i Livy. Rola ta polega na budowaniu systemów klasy korporacyjnej dla klientów korzystających ze platformy Spark na tysiącach węzłów i przetwarzających petabajty danych.
Poszukujemy inżyniera z pasją, chcącego ulepszyć produkt już obsługujący główne systemy produkcyjne i rozwinąć doświadczenie inżynierii danych nowej generacji. Będziesz współpracować z rozproszonym zespołem w całych Stanach Zjednoczonych i na Węgrzech, w tym z wieloma osobami odpowiedzialnymi za wdrażanie Apache Spark. Ta rola nie kwalifikuje się do sponsorowania imigracji ani relokacji.
Jako starszy inżynier oprogramowania będziesz: - Projektować nowe funkcje na potrzeby inżynierii danych Cloudera i prowadzić je od prototypów po kierowanie zespołem, który dostarczy tę funkcję do produkcji na dużą skalę - Współtworzyć Apache Spark, Livy - Opracowywać nowe funkcje w Scala/Java/Python na nowoczesnych platformach - Zdobądź wiedzę specjalistyczną w zakresie rozproszonego przetwarzania danych, od planistów i optymalizatorów SQL, po układy danych i formaty tabel, takie jak Apache Parquet i Iceberg, po odporność na awarie w rozproszonych systemy. - Zdobądź solidną wiedzę i głęboką wiedzę techniczną na temat komponentów w całym stosie Cloudera Data Engineering Experience, ale koncentrując się na Iceberg i Spark, które możesz wykorzystać w swoich codziennych zadaniach - Zacznij pracować na systemach rozproszonych na dużą skalę, od 100 do 1000 węzłów, w klastrach produkcyjnych - Debuguj problemy z wdrożeniem na poziomie systemu, analizuj pierwotne przyczyny, przeprowadzaj analizę testów systemu i rozwiązuj awarie - Pracuj nad ulepszaniem infrastruktury wewnętrznej - Współpracuj z innymi członkami zespołu i interesariuszami Cieszymy się, jeśli masz (wymagane doświadczenie): - Bsc/Msc w pokrewnej dziedzinie lub równoważne doświadczenie - Ponad 6 lat profesjonalnego tworzenia oprogramowania. - Doświadczenie w prowadzeniu i dostarczaniu złożonych ulepszeń produktów. - W projektach używamy Java/Scala/Python, powinieneś dobrze znać przynajmniej jeden z następujących języków: Java, Scala, Python. I chcesz nauczyć się języków, których używamy. - Doświadczenie w projektowaniu i rozwijaniu systemów. - Pasja do programowania, nawyki czystego kodowania, dbałość o szczegóły i koncentracja na jakości. - Silne umiejętności komunikacji ustnej i pisemnej. - Silna umiejętność samodzielnego badania i rozwiązywania problemów bez stałego nadzoru. - (Co najważniejsze) Otwartość, chęć uczenia się nowych rzeczy i tworzenia świetnych produktów. - Doświadczenie z systemami rozproszonymi Możesz także posiadać: - Doświadczenie z planistami SQL - Doświadczenie w używaniu/rozwoju Apache Spark, Livy lub innych pokrewnych technologii. - Doświadczenie w projektowaniu i tworzeniu systemów rozproszonych na dużą skalę ze zrozumieniem skalowania, wydajności i planowania. - Solidne doświadczenie z co najmniej jedną chmurą. Dlaczego ta rola jest istotna: będziesz stawiać czoła złożonym wyzwaniom związanym z systemami rozproszonymi, tworząc podstawowe oprogramowanie dla płaszczyzn kontroli i danych, które napędza CDP i zapewnia jego działanie na masową skalę.
Pracując w czołówce technologii hybrydowych i wielochmurowych, zapewnisz analitykom danych, inżynierom i analitykom narzędzia i infrastrukturę, których potrzebują do zaawansowanych analiz i modelowania. Współpraca jest kluczowa. Będziesz współpracować z genialnymi umysłami zajmującymi się produktami, analizą danych i inżynierią, aby wprowadzać innowacje, standaryzować najlepsze praktyki i kształtować przyszłość sztucznej inteligencji i platform danych dla przedsiębiorstw.
To Twoja szansa na zbudowanie przyszłości opartej na danych i zobaczenie, jak Twoja praca będzie miała globalny wpływ. Czego możesz od nas oczekiwać: - Hojna polityka PTO - Wspieranie równowagi między życiem zawodowym a prywatnym dzięki dniom bez podłączenia do sieci - Elastyczna polityka WFH - Programy zdrowia psychicznego i fizycznego - Program zwrotu kosztów przez telefon i Internet - Dostęp do dalszego rozwoju kariery - Kompleksowe świadczenia i konkurencyjne pakiety - Płatny wolontariat - Grupy zasobów pracowniczych EEO/VEVRAA Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/technical-lead-spark-cloudera