Inżynier platformy danych

Informacje o Block Labs Block Labs to wiodące studio technologiczne działające w oparciu o najnowocześniejsze technologie Web3, sztucznej inteligencji i iGaming. Nie tylko dostarczamy funkcje; projektujemy platformy o dużej skali i jakości produkcyjnej, które zasilają nową generację produktów cyfrowych. Jesteśmy kolektywem starszych inżynierów, strategów produktów i konstruktorów, którzy nie godzą się na kompromisy w architekturze.

Niezależnie od tego, czy projektujemy autonomiczne, wieloagentowe systemy AI, budujemy zdecentralizowaną infrastrukturę finansową, czy projektujemy platformy iGaming o wysokiej częstotliwości, naszym standardem jest doskonałość. Działamy szybko, ale budujemy długofalowo. Jeśli szukasz pracy w zespole, który ceni głęboką wiedzę techniczną, przemyślany projekt systemu i własność produktu, Block Labs jest miejscem dla Ciebie.

Role Data & Intelligence znajduje się obecnie w centrum kilku opracowywanych przez nas produktów i potrzebujemy platformy, która będzie niezawodna i będzie w stanie z czasem obsługiwać bardziej zaawansowaną inteligencję. Ta rola odzwierciedla tę zmianę. Projektujemy nową platformę danych, która będzie stanowić szkielet wszystkiego, od podejmowania decyzji w czasie rzeczywistym po modelowanie predykcyjne.

Jako inżynier platformy danych w zespole danych będziesz właścicielem kompleksowego potoku w czasie rzeczywistym, obsługującego dane w ujednoliconej hurtowni analitycznej i warstwie udostępniania funkcji. Nie budujesz dashboardów. Projektujesz komercyjny system nerwowy platformy obsługującej wielu dzierżawców, zaprojektowanej z myślą o skalowaniu od jednego operatora do 10x przy marginalnych kosztach infrastruktury.

Kluczowe obowiązki: - Projektowanie, budowanie i utrzymywanie skalowalnych potoków danych przy użyciu AWS Glue (PySpark) lub równoważnych narzędzi do orkiestracji i transformacji. - Zaprojektuj i zoptymalizuj magazyn ClickHouse pod kątem wydajności zapytań w czasie krótszym niż sekunda we wszystkich biurach zaplecza. - Wdrażaj kontrakty dotyczące danych pomiędzy back-office a platformą. Wdrożenie nowego operatora to zmiana konfiguracji, a nie nowe tabele, tematy czy widoki funkcji. - Zbuduj warstwę obsługującą funkcje, zapewniającą wstępnie obliczone funkcje agentom AI z opóźnieniem rzędu milisekund. - Integruj z bazami danych stron trzecich, interfejsami API zaplecza i systemami zewnętrznymi (CRM, podmioty stowarzyszone, platformy przejęć). - Ustanów procedury monitorowania, ostrzegania i konserwacji, w tym kontrole stanu rurociągów, monitorowanie świeżości, wykrywanie anomalii i egzekwowanie umowy SLA dotyczącej danych. - Własna CI/CD i infrastruktura jako kod dla obciążeń danych. - Współpracuj z analitykami danych, inżynierami agentów, programistami BI i zespołami ds. infrastruktury, aby przełożyć wymagania dotyczące danych na niezawodne potoki klasy produkcyjnej. O Tobie: - Ponad 3 lata budowania i obsługi produkcyjnych potoków danych na dużą skalę, z praktycznym doświadczeniem zarówno w paradygmatach przesyłania strumieniowego, jak i wsadowego. - Znajomość Apache Kafka (lub Amazon MSK): projektowanie tematów, zarządzanie grupami klientów, obsługa offsetów, operacje na rejestrze schematów i rozwiązywanie problemów produkcyjnych związanych z opóźnieniami, ponownym równoważeniem i przepustowością. - Silne umiejętności SQL i inżynierii magazynowej: doświadczenie z kolumnowymi analitycznymi bazami danych (zdecydowanie preferowany ClickHouse lub podobny: Druid, BigQuery, Redshift). - Biegłość w PySpark / Spark Streaming: pisanie zadań transformacji, które normalizują, wzbogacają i egzekwują reguły biznesowe w strumieniach zdarzeń.

Doświadczenie z AWS Glue, Apache Airflow lub Apache NiFi będzie mocnym plusem. - Dyscyplina modelowania danych: umiejętność projektowania znormalizowanych schematów z wieloma dzierżawcami, w których izolacja dzierżawców jest filtrem, a nie rozwidleniem. Doświadczenie w zakresie kontraktów danych i zarządzania schematami. - Doświadczenie w zakresie CI/CD i infrastruktury jako kodu: automatyczne testowanie potoków danych, wdrożenia z kontrolą wersji (CloudFormation, Terraform lub CDK) oraz znajomość obciążeń kontenerowych (ECS Fargate lub Kubernetes). - Nastawienie na jakość danych i obserwowalność: doświadczenie we wdrażaniu monitorowania stanu rurociągów, automatycznej walidacji danych (Wielkie oczekiwania lub równoważne), kontroli świeżości i wykrywania anomalii. Miło mieć - doświadczenie w grach iGaming, kasynie online, pokerze lub platformach bukmacherskich. - Ekspozycja na przepływy transakcji oparte na technologii blockchain lub kryptowalutach, w tym pozyskiwanie zdarzeń w łańcuchu, księgowość denominowana w tokenach lub rozliczenia monet stabilnych. - Wygodna praca w środowisku natywnym AWS (MSK, Glue, S3, DynamoDB, ECS, IAM).

Rozumiesz kompromisy związane z bezserwerowością i potrafisz dobrać wielkość infrastruktury pod kątem efektywności kosztowej. - Doświadczenie w sklepie z funkcjami (SageMaker, Feast lub Tecton) w budowaniu potoków funkcji offline/online, które obsługują modele uczenia maszynowego w czasie wnioskowania. - Wcześniejsza praca w branżach regulowanych (usługi finansowe, hazard, fintech), gdzie pochodzenie danych, możliwość audytu i zgodność nie podlegają negocjacjom. - Doświadczenie w migracji starszych silników zapytań (Athena, Trino, Presto) do nowoczesnych hurtowni analitycznych ze strukturami uzgadniania w celu sprawdzenia poprawności. Jak pracujemy - w pełni zdalnie, z komunikacją asynchroniczną. Preferowane jest nakładanie się stref czasowych UE. - Mały zespół o dużej autonomii w ramach funkcji Data.

Podlegasz kierownikowi ds. danych i współpracujesz z zespołami ds. sztucznej inteligencji, BI i infrastruktury. - Decyzje dotyczące architektury są dokumentowane i omawiane. Będziesz brać udział w przeglądach projektów i podejmować własne decyzje dotyczące domeny. - Od pierwszego dnia budujemy na skalę wielu najemców. Każdy rurociąg, schemat i kontrakt, który wysyłasz, musi wchłonąć nowego operatora bez wysiłku inżynieryjnego. - Rotacja dyżurów zostanie ustalona w fazie uruchomieniowej.

Na etapie kompilacji nacisk kładziony jest na szybkość i jakość. Brak starszych systemów przeciwpożarowych. Jakiej kultury mogę się spodziewać?

Dojrzały, nastawiony na misję i o niskim ego. Cenimy przejrzystość ponad hałasem, wyniki ponad teatralność i tempo bez chaosu. Jeśli jesteś jednym z najmądrzejszych umysłów w swoim rzemiośle i chcesz budować z innymi ekspertami, poczujesz się tutaj jak w domu.

Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/data-platform-engineer-block-labs