Inżynier danych

O firmie Fusemachines Fusemachines jest wiodącym dostawcą usług w zakresie strategii sztucznej inteligencji, talentów i usług edukacyjnych. Założona przez doktora Sameera Maskeya, adiunkta na Uniwersytecie Columbia, firma Fusemachines ma podstawową misję: demokratyzację sztucznej inteligencji. Dzięki obecności w 4 krajach (Nepal, Stany Zjednoczone, Kanada i Dominikana oraz ponad 400 pracowników pełnoetatowych) Fusemachines stara się wykorzystać swoją globalną wiedzę specjalistyczną w zakresie sztucznej inteligencji, danych, analityki i oprogramowania, aby przekształcać firmy na całym świecie.

Typ: Zdalny, Pełny etat O stanowisku: Poszukujemy wysoce analitycznego inżyniera danych, starszego/średniego szczebla, który dołączy do naszego zespołu jako pełnoetatowy wykonawca pracujący w indyjskiej strefie czasowej. Na tym stanowisku będziesz budować i skalować systemy danych dla wiodącej globalnej firmy zajmującej się pomiarami mediów i wywiadem konsumenckim. Ta rola jest dostosowana do potrzeb inżyniera analitycznego skupiającego się na ocenie jakości danych, potokach danych zaplecza i wzbogacaniu potoków, a nie na tworzeniu aplikacji front-end.

Będziesz odpowiedzialny za projektowanie, budowanie i utrzymywanie solidnych architektur danych w AWS. Chociaż nie będziesz tworzyć aplikacji front-end ani mobilnych zestawów SDK, z pewnością interesuje Cię logika pomiarów, w szczególności sposób, w jaki są śledzone urządzenia użytkowników i jak działają hybrydowe architektury serwer-serwer, ponieważ pomożesz analizować ważność danych i rozwiązywać problemy techniczne na całym stosie, aby zasilać systemy pomiarowe, które wpływają na skuteczność reklam, analizę odbiorców i podejmowanie rzeczywistych decyzji biznesowych na dużą skalę. Wymagania dotyczące kwalifikacji/umiejętności: - Doświadczenie: 4 - 8 lat doświadczenia inżynierskiego, z dużym doświadczeniem w opracowywaniu inżynierii danych w świecie rzeczywistym w AWS. - Wykształcenie: Licencjat z informatyki lub pokrewnej dziedziny (zaawansowane studia lub kontakt z AI/ML będzie plusem). - Core Tech Stack (AWS): udokumentowane doświadczenie w pracy ze stosem danych opartym na AWS, w szczególności przy użyciu S3 jako docelowego magazynu danych, Glue do przetwarzania, Athena do wysyłania zapytań (MPP) i Airflow do orkiestracji przepływu pracy. - Przetwarzanie dużych zbiorów danych: duże, praktyczne doświadczenie w budowaniu potoków wzbogacania danych przy użyciu Apache Spark / PySpark. - Analityczne nastawienie: Silne zaplecze analityczne ze zweryfikowaną zdolnością do oceny jakości danych, analizowania zbiorów danych w celu odkrywania trendów i sugerowania potencjalnych zastosowań rozwojowych w oparciu o ustalenia. - Programowanie i SQL: Biegłość w Pythonie lub Javie połączona z dobrą znajomością SQL, pisaniem zaawansowanych zapytań i optymalizacją zapytań. - Interfejsy API i integracja: Umiejętność integracji danych (ETL/ELT) z różnych źródeł, takich jak interfejsy API (REST/gRPC), pliki płaskie, bazy danych. i transmisje wydarzeń. - Pomiar mediów / Znajomość domeny: Znajomość ekosystemu reklamy cyfrowej (AdTech), segmentacji odbiorców, targetowania i koncepcji pomiaru mediów (zasięg, częstotliwość, atrybucja i skuteczność kampanii).

Ekspozycja na potoki danych o zdarzeniach (wyświetlenia, kliknięcia, konwersje) i systemy danych uwzględniające prywatność/oparte na tożsamości to plus. - Rozwiązywanie problemów technicznych: Możliwość zagłębiania się w architektury wielowarstwowe w celu rozwiązywania problemów z niedopasowaniem danych lub problemami ze śledzeniem technicznym, bez konieczności samodzielnego tworzenia front-endu. - Preferowane / Miło mieć: - Doświadczenie z systemami przesyłania strumieniowego (Kafka itp.). - Znajomość technologii frontendowych (React lub podobne). - Zrozumienie rozwoju mobilnego SDK. - Narażenie na rurociągi AI/ML lub ekosystemy LLM. - Zrozumienie platform programistycznych (SDK, API, narzędzia integracyjne). - Atrybuty zawodowe: Świetne umiejętności rozwiązywania problemów, duża dbałość o szczegóły oraz umiejętność definiowania i dokumentowania procesów inżynierii danych i przepływów danych. Obowiązki: - Potok i wzbogacanie: Projektowanie, budowanie i utrzymywanie solidnych, skalowalnych potoków wzbogacania danych przy użyciu Apache Spark w środowisku AWS. - Zarządzanie platformą danych: Wykorzystaj AWS S3 jako podstawowe docelowe miejsce przechowywania danych, wykorzystując AWS Glue i Athena do katalogowania danych i wykonywania zapytań. - Orkiestracja: Konfiguruj, zarządzaj i monitoruj zautomatyzowane przepływy pracy i potoki danych za pomocą Airflow. - Analityka jakości danych: przeprowadzaj głębokie oceny analityczne danych potokowych, aby ocenić jakość danych, zapewnić kompletność i utrzymać wysokie standardy bezpieczeństwa. Definiuj i egzekwuj kontrakty dotyczące danych, schematy i standardy jakości, wdrażaj kontrole walidacyjne i procesy monitorowania, aby zapewnić dokładność danych. - Wnikliwość i innowacje: analizuj podstawowe dane, aby zapewnić praktyczne spostrzeżenia i aktywnie proponuj ulepszenia rurociągów lub nowe zastosowania danych w oparciu o ustalenia. - Optymalizacja systemu: Popraw wydajność, skalowalność i efektywność kosztową potoków, zapytań i usług pamięci masowej, jednocześnie eliminując wąskie gardła. - Rozwiązywanie problemów z systemem: pełnij rolę detektywa technicznego w celu rozwiązywania problemów z dostarczaniem danych i śledzeniem urządzeń w hybrydowych systemach serwer-serwer. - Obserwowalność: wdrożenie mechanizmów monitorowania, obserwowalności i debugowania we wszystkich warstwach (dane → API → zestawy SDK klienta). - Współpraca międzyfunkcyjna: współpracuj z globalnymi zespołami ds. produktów, inżynierii i analityki danych, aby dokładnie zrozumieć wymagania logiczne i zapewnić wsparcie inżynieryjne zaplecza. - Strategia dotycząca danych: wdrażanie strategii zarządzania danymi obejmujących katalogowanie, śledzenie pochodzenia i projektowanie schematów w ścisłej współpracy z architektem danych.

Co zbudujesz: - Platformy zaplecza o dużej skali, które umożliwiają pomiar mediów, analizę odbiorców i wzbogacanie danych. - Solidne potoki oparte na platformie AWS, które niezawodnie i na dużą skalę przetwarzają dane dotyczące śledzenia użytkowników i ankiet. - Zautomatyzowane systemy jakości danych i systemy analityczne, które weryfikują zbiory danych wywiadowczych konsumentów na skalę globalną. Dlaczego warto dołączyć do tego projektu: - Skala globalna: Praca nad globalnymi procesami pomiaru mediów i konsumentów wykorzystywanymi przez wiodące marki na całym świecie. - Koncentracja analityczna: angażuj się w głębokie, oparte na logice problemy inżynieryjne, w których analiza i jakość danych są ważniejsze od dostarczania interfejsu użytkownika. - Nowoczesny ekosystem chmury: zdobądź praktyczną własność rozległej infrastruktury dużych zbiorów danych AWS zoptymalizowanej pod kątem wysokiej przepustowości. - Bogate zbiory danych: bezpośredni kontakt z wyjątkowo bogatymi zbiorami danych obejmującymi ekosystemy handlu detalicznego, zachowań konsumentów i reklam. - Innowacje i sztuczna inteligencja: możliwość rozwiązywania złożonych problemów o dużym wpływie na styku danych, pomiarów i sztucznej inteligencji. - Nowoczesne praktyki: współpraca z wielofunkcyjnymi, globalnymi zespołami w dużym stopniu opartymi na danych, ze szczególnym naciskiem na innowacje i nowoczesne praktyki inżynieryjne. - Wyraźny rozwój: Skorzystaj z jasnej ścieżki rozwoju w kierunku stanowisk personelu/głównego inżyniera i lidera platformy. - Elastyczna lokalizacja: Ciesz się pełną zdalną elastycznością dla wykonawców z Indii lub Nepalu (z dostępnymi opcjami hybrydowymi, jeśli lokalizacja znajduje się w pobliżu biura w Pune). Pracodawca zapewniający równe szanse: rasa, kolor skóry, religia, płeć, orientacja seksualna, tożsamość płciowa, pochodzenie narodowe, wiek, informacje genetyczne, niepełnosprawność, status weterana chronionego lub inny prawnie chroniony status grupowy Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/data-engineer-fusemachines