Inżynier Bigdata -Spark

Kategoria: Technologia Lokalizacja: Obowiązki: - Jako programista posiadaj doskonałą wiedzę na temat architektury obliczeń rozproszonych, podstawowego komponentu hadoop (HDFS, Spark, Yarn, Map-Reduce, H base, HIVE, Impala) i powiązanych technologii. - Projektowanie techniczne i rozwój usług/komponentów ETL/Hadoop i Analytics - Udział w tworzeniu kompleksowej architektury i przepływu procesów - Zrozumienie wymagań biznesowych i publikowanie projektów nadających się do ponownego wykorzystania - Podejście zorientowane na wyniki z możliwością dostarczania trafnych rozwiązań. - Biegły w poprawianiu wydajności i dostrajaniu wdrożeń ETL i Hadoop. - Przeprowadzanie przeglądów kodu w projektach. Bierze odpowiedzialność za zapewnienie, że kompilacja i kod są zgodne ze standardami i zasadami architektury i jakości. - Potrafi pracować samodzielnie przy minimalnym nadzorze. - Silne umiejętności analityczne i rozwiązywania problemów - Doświadczenie/ekspozycja na SQL, zaawansowane umiejętności SQL Zestaw wymagań Umiejętności: - Dobra znajomość rozproszonej architektury obliczeniowej, podstawowego komponentu hadoop (HDFS, Spark, Yarn, Map-Reuduce, H base, HIVE, Impala) i powiązanych technologii. - Praktyczne doświadczenie z wsadowym pozyskiwaniem danych (Sqoop) - Znajomość na poziomie eksperckim relacyjnej struktury danych i RDBMS, a także baz danych NoSQL (Cassandra, MongoDB, Elasticsearch) - Doświadczenie w automatyzacji/harmonogramowaniu przepływów pracy/zadań (poprzez skrypty powłoki, Tivoli) - Solid Grasp formatów przechowywania danych (Parquet, Avro, HBase, Cassandra) - Zrozumienie metodologii Agile oraz Cykle życia i procesy SDLC. - Dobra znajomość hurtowni danych i jezior Szczegóły Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/bigdata-engineer-spark-marktine-technology-solutions-pvt-ltd