Starszy inżynier danych - ETL i potoki

O kliencieNasz klient obsługuje obszerną platformę dla twórców B2C w branży rozrywkowej, obsługującą ponad 200 000 aktywnych użytkowników i 30 000 twórców, a zdarzenia płatnicze przepływają przez platformę co sekundę. Dane to jedna z najcenniejszych przewag konkurencyjnych firmy. Na tym stanowisku będziesz ściśle współpracować z doświadczonym analitykiem danych, aby przekształcić ciągły przepływ zdarzeń w czyste, niezawodne i gotowe do zapytań dane, które wspierają decyzje dotyczące produktów, płatności i rozwoju.

Rola Poszukujemy inżyniera danych, który przejmie kompleksową odpowiedzialność za potoki ETL firmy - systemy odpowiedzialne za przenoszenie danych z platformy transakcyjnej, w tym MongoDB, strumieni płatności i zdarzeń behawioralnych, do środowiska analitycznego, w którym można je przekształcić w przydatne spostrzeżenia. to nie tylko rola polegająca na integracji pulpitu nawigacyjnego. Będziesz projektować i utrzymywać potoki, które pozostaną dokładne, niezawodne i terminowe podczas przetwarzania milionów zdarzeń i transakcji finansowych w każdej sekundzie. Integralność danych jest krytyczna.

Brakujące zdarzenie płatnicze lub zduplikowana transakcja to nie tylko problem techniczny - może mieć bezpośrednie skutki finansowe. Co będziesz robić Bądź właścicielem potoków: Projektuj, buduj i konserwuj potoki ETL i strumieniowe, które pobierają duże ilości danych o zdarzeniach i płatnościach oraz dostarczają je do magazynu analitycznego niezawodnie i dokładnie. Modeluj dane: Ściśle współpracuj z głównym analitykiem danych, aby tworzyć schematy hurtowni odpowiadające na podstawowe pytania biznesowe związane z zarobkami twórców, przepustowością płatności, utrzymaniem, wartością od początku istnienia i zachowaniem kohorty.

Inżynier na wypadek awarii: twórz idempotentne, odtwarzalne i obserwowalne zadania, które są w stanie wytrzymać skoki ruchu, ponowne próby i częściowe awarie bez narażania dalszych danych. Przetwarzaj zdarzenia o dużej objętości: przenoś dane przez infrastrukturę kolejek, w tym BullMQ i Redis, AWS SQS i RabbitMQ, jednocześnie oprzyrządowując potoki za pomocą OpenTelemetry. Chroń integralność danych: wdrażaj kontrole uzgadniania, deduplikację, uzupełnianie i niezawodną obsługę opóźnionych lub nietypowych zdarzeń.

Chroń transakcje finansowe: współpracuj z zespołami ds. płatności i platform, aby mieć pewność, że każda transakcja zostanie zarejestrowana raz, dokładnie i na czas. Języki stosu technologii: Node.js i TypeScript jako podstawowe technologie, z niektórymi magazynami danych .NET i C#: MongoDB jako główna transakcyjna baza danych oraz Redis Queues i streaming: BullMQ, AWS SQS i RabbitMQ Analityka i magazyn: PostHog, jego warstwa hurtowni danych i modelowanie danych SQL Platforma: AWS, w tym S3 i SNS, Docker, Kubernetes i GitHub Akcje Obserwowalność: Śledzenie OpenTelemetry w każdym potoku WymaganiaO TobieJesteś silnym inżynierem ze znacznym doświadczeniem w budowaniu potoków ETL o dużej objętości danych. Idealnie będziesz mieć ze sobą: Około 5 - 10 lat odpowiedniego doświadczenia inżynierskiego Duże doświadczenie z wsadowymi i/lub strumieniowymi potokami danych Głęboką wiedzę na temat architektur sterowanych zdarzeniami i kolejek komunikatów Silne zrozumienie idempotencji, przetwarzania co najmniej raz w porównaniu z przetwarzaniem dokładnie raz, ponownych prób i dostarczania zdarzeń poza kolejnością Profesjonalne doświadczenie z TypeScript i Node.js Solid SQL i możliwości modelowania danych Możliwość współpracy z analitykami i schematów projektowych, które sprawiają, że zapytania biznesowe są wydajne i intuicyjne Silny nacisk na integralność danych, szczególnie podczas pracy z płatnościami i transakcjami finansowymi Doświadczenie we wdrażaniu uzgadniania, audytu, monitorowania i kontroli jakości danych Wcześniejsze doświadczenie w masowym środowisku B2C, takim jak gry, hazard, fintech, płatności lub inna platforma obsługująca pieniądze prawdziwe Doświadczenie z .NET lub C# będzie uważane za zaletę.

Miło mieć Doświadczenie w pracy z danymi dotyczącymi płatności lub transakcji oraz uzgadnianiem finansowym Doświadczenie ze strumieniami zmian MongoDB lub przechwytywaniem danych Znajomość narzędzi hurtowni danych i modelowania w stylu dbt Doświadczenie w pracy z Kubernetes i infrastrukturą jako kod O 2am.techJesteśmy 2am.tech, zespołem konstruktorów i osób rozwiązujących problemy, których łączy wspólne zaangażowanie w dostarczanie doskonałości. To zaangażowanie ukształtowało kulturę firmy skupioną na tworzeniu rozwiązań i produktów, które konsekwentnie przekraczają oczekiwania. Nasza chęć uczenia się, rozwoju i rozwiązywania znaczących wyzwań biznesowych zabrała nas w podróż wykraczającą poza oprogramowanie.

W ramach tej podróży współpracujemy z ambitnymi firmami, aby pomóc im w identyfikowaniu i zatrudnianiu wyjątkowych specjalistów w dziedzinie technologii. Obecnie zarządzamy procesem rekrutacji dla klienta poszukującego doświadczonego inżyniera danych - ETL & Pipelines, który dołączy do jego zespołu. Jest to możliwość bezpośredniego zatrudnienia.

Wybrany kandydat zostanie zatrudniony lub zaangażowany bezpośrednio przez klienta, a 2am.tech będzie koordynować proces rekrutacji i selekcji. Oryginalnie opublikowano w Himalajach