Liderzy i inżynierowie platform danych - dane dotyczące reklam programowych i handlu elektronicznego

Nasz klient obsługuje zaawansowaną platformę konsumencką, docierającą do milionów użytkowników na całym świecie. Firma intensywnie inwestuje w swoje podstawy danych, aby zapewnić reklamy programowe, spersonalizowane rekomendacje i analizy rynkowe. Zespół ds. danych rozwija się, aby obsługiwać miliardy codziennych zdarzeń i zbiory danych w skali petabajtów w reklamie i handlu elektronicznym.

Otwarte role i zespoły Klient rekrutuje na kilku domenach i poziomach: - Platforma danych - Core Lakehouse, przesyłanie strumieniowe w czasie rzeczywistym, zarządzanie, optymalizacja kosztów - Programowe dane reklamowe - logi DSP/SSP, modelowanie konwersji, atrybucja, przyrost, jakość sygnału - Dane e-commerce i rynku - katalog produktów, ceny, zapasy, analityka sprzedawców/kupujących, wyszukiwanie i rekomendacje - Dane platformy ML - sklep z funkcjami, potoki funkcji online/offline, dane szkoleniowe, klucz do eksperymentów Zakres obowiązków inżyniera danych na poziomie średnim i wyższym - Projektowanie, budowanie i obsługa wsadowych i strumieniowych potoków ETL/ELT wykorzystujących dziennie ponad 100 TB z serwerów reklam, mobilnych zestawów SDK, systemów transakcyjnych i interfejsów API innych firm - Tworzenie zadań w czasie rzeczywistym przy użyciu Spark Streaming, Flink lub Kafka Streams w celu wykrywania oszustw, optymalizacji stawek, dynamicznych cen i personalizacji - Modelowanie i optymalizacja zbiorów danych w Data Lakehouse w celu obsługi BI, analiz, i przypadki użycia ML - Wdrażaj jakość danych, wykrywanie anomalii, obserwowalność i pochodzenie dla zestawów danych poziomu 0 zapewniających przychody i wygodę użytkownika - Współpracuj z analityką danych, produktami i inżynierią w celu dostarczania kompleksowych produktów danych Architekt danych / personel + inżynier danych - Zdefiniuj wizję techniczną i wieloletni plan działania dla ujednoliconej platformy wsadowej + przesyłania strumieniowego obsługującej ponad 10 mln QPS - Architektuj podstawowe modele domen: rozpoznawanie tożsamości, atrybucja wielodotykowa, taksonomia produktów i wykresy sprzedawcy/kupującego - Ustanawianie standardów zarządzania danymi, prywatności i zgodności, w tym RODO, CCPA i ramy dotyczące zgody na dane reklamowe - Główna ocena i przyjęcie kluczowych technologii: Apache Iceberg/Hudi/Delta Lake, Trino, Ray, DBT, Airflow - Własna niezawodność, wydajność i koszty SLO dla zbiorów danych krytycznych dla ustalania stawek w czasie rzeczywistym i raportowania wykonawczego - Zapewnianie przywództwa technicznego i mentorstwa; wywierania wpływu na architekturę w całej organizacji Wymagane kwalifikacje - Udokumentowane doświadczenie w budowaniu wielkoskalowych systemów danych dla reklamy programmatycznej, mediów cyfrowych, rynków lub platform internetowych dla konsumentów - Ekspert SQL i zaawansowane programowanie w Pythonie, Scali lub Javie - Praktyczne doświadczenie produkcyjne w przetwarzaniu rozproszonym: Spark, Kafka, Flink lub równoważne - Głęboka wiedza z platformami danych w chmurze: BigQuery, Snowflake, Databricks, Redshift, AWS/GCP/Azure - Silne modelowanie danych umiejętności: architektury wymiarowe, Data Vault lub Lakehouse na potrzeby analityki i uczenia maszynowego - Osiągnięcie obsługi dużych ilości, częściowo ustrukturyzowanych, późno docierających danych o zdarzeniach w skali TB-PB Preferowane doświadczenie w domenie - Reklama programowa: infrastruktura DSP/SSP, potoki wyświetleń/kliknięć/konwersji, SKAN, MMM/MTA, interfejsy API konwersji, rozpoznawanie tożsamości, łagodzenie utraty sygnału - E-commerce/rynek: katalog i taksonomia produktów, eksperymentowanie cenowe, inwentaryzacja prognozowanie, analityka wydajności sprzedawców, dane dotyczące wyszukiwania i rekomendacji - ML Data: sklepy z funkcjami, takie jak Feast/Tecton, parzystość funkcji online-offline, poprawność w momencie, infrastruktura danych szkoleniowych Dla architektów/głównych poziomów - Ponad 8 lat projektowania rozproszonych systemów danych z ponad 50 inżynierami/analitykami niższego szczebla jako klientami - Doświadczenie wiodącej architektury 01 dla krytycznych domen, takich jak reklamy w czasie rzeczywistym, atrybucja lub analityka rynkowa - Wykazano wpływ na optymalizację kosztów infrastruktury danych przy wydatkach na chmurę powyżej 1 miliona dolarów rocznie - Znajomość technologii zwiększających prywatność: zróżnicowana prywatność, czyste pokoje danych, bezpieczne obliczenia wielostronne Technologia Środowisko Chmura i infrastruktura: AWS/GCP, Kubernetes, Terraform Storage & Query: S3/GCS, Apache Iceberg/Delta Lake/Hudi, BigQuery, Snowflake, Trino Przetwarzanie i orkiestracja: Spark, Flink, Kafka, Airflow, DBT Analityka w czasie rzeczywistym: Druid, Pinot, ClickHouse ML Infra: sklepy z funkcjami, Ray, Kubeflow Obserwacja danych: DataDog, Monte Carlo, OpenLineage Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/data-platform-leaders-engineers-programmatic-advertising-ecommerce-data-newbridge