Starszy architekt baz danych

Jako starszy inżynier danych ds. architektury będziesz zarządzać infrastrukturą danych, która umożliwia podejmowanie decyzji w oparciu o dane, stosując nowoczesne praktyki inżynieryjne i systemy rozproszone. Będziesz ściśle współpracować z menedżerami produktów, analitykami danych, inżynierami oprogramowania i interesariuszami biznesowymi, aby dostarczać stabilne, wysokiej jakości potoki danych, raporty korporacyjne i zbiory danych wspierające przypadki użycia analityki i uczenia maszynowego. Podstawowym obowiązkiem na tym stanowisku jest optymalizacja i utrzymanie naszych baz danych OLTP, zapewniając niezawodność, wydajność i gotowość produkcyjną.

Obejmuje to audytowanie systemów, poprawę jakości danych, refaktoryzację starszych potoków i stosowanie najlepszych praktyk w zakresie projektowania schematów, indeksowania i wydajności zapytań. Równolegle będziesz budować i utrzymywać skalowalne systemy danych, które wspierają zaawansowaną analitykę w całej firmie. Będziesz projektować ramy testów wydajnościowych i walidacji, aby zapobiegać regresjom i zapewniać integralność danych, ustanawiając jednocześnie solidne procesy produkcyjne, takie jak monitorowanie, ostrzeganie, tworzenie kopii zapasowych i odzyskiwanie, kontrola dostępu i reagowanie na incydenty.

Czego potrzebujesz (wymagana wiedza, umiejętności i zdolności): Wykształcenie i doświadczenie Licencjat z matematyki, statystyki, informatyki lub dziedziny pokrewnej Ponad 5 lat doświadczenia jako inżynier baz danych, inżynier danych lub podobna rola. Core Data Engineering & Architecture. Doświadczenie w projektowaniu, wdrażaniu i utrzymywaniu wysokowydajnych, skalowalnych systemów OLTP.

Praktyczne doświadczenie i zaawansowana znajomość SQL (np. Postgres, Snowflake) Duże doświadczenie w modelowaniu danych, hurtowniach danych i architekturach Lakehouse Doświadczenie w projektowaniu i wdrażaniu skalowalnych architektur danych, w tym potoków wsadowych i strumieniowych Doświadczenie w budowaniu potoków ELT za pomocą dbt i Snowflake Średnio zaawansowany poziom umiejętności programowania w języku Python Optymalizacja i niezawodność baz danych Doświadczenie w ocenie i ulepszaniu istniejących systemów baz danych, w tym dostrajaniu wydajności (indeksowanie, optymalizacja zapytań, partycjonowanie) i naprawianiu jakości danych Dobra znajomość elementów wewnętrznych baz danych i systemów transakcyjnych Doświadczenie we wdrażaniu strategii tworzenia kopii zapasowych, przywracania i wysokiej dostępności Testowanie wydajności i walidacja wersji Doświadczenie w projektowaniu i wdrażaniu frameworków do testowania wydajności/obciążenia dla systemów danych Znajomość benchmarkingu, testów regresyjnych i procesów walidacji wersji Doświadczenie w budowaniu zautomatyzowanych potoków testowych w celu zapewnienia jakości danych i wydajności systemu w różnych wdrożeniach Operacje produkcyjne i niezawodność danych Doświadczenie w definiowaniu i utrzymywaniu procesów produkcyjnej bazy danych, w tym monitorowanie, ostrzeganie i reagowanie na incydenty Znajomość narzędzi i praktyk obserwowalności (logowanie, metryki, śledzenie) Dobra znajomość umów SLA, SLO i najlepszych praktyk dotyczących niezawodności danych Narzędzia i platformy Doświadczenie z technologiami danych AWS (Glue, Kinesis, Lambda) Doświadczenie z narzędziami do orkiestracji (Airflow) Doświadczenie z infrastrukturą jako kod (Terraform) Znajomość cyklu życia oprogramowania Preferowane umiejętności i doświadczenie: Doświadczenie z potokami CI/CD, szczególnie w przypadku systemów danych Doświadczenie w konteneryzacji (Docker, Kubernetes) Znajomość szyfrowania, anonimizacji i tokenizacja Doświadczenie z formatami otwartych tabel i katalogami danych Znajomość narzędzi umożliwiających obserwację danych (np. Monte Carlo, Datadog, Prometheus) Kim jesteś (umiejętności miękkie): Zorientowany na szczegóły, z silnym nastawieniem na jakość danych Silne umiejętności rozwiązywania problemów i rozwiązywania problemów z proaktywnym podejściem do niezawodności systemu Samodzielny start z nastawieniem na własność i ciągłe doskonalenie Wygodne przenoszenie struktury i najlepszych praktyk do niejednoznacznych lub starszych środowisk Prosperuje w szybkim tempie, kultura zorientowana na startupy i zespół Pozytywne, oparte na współpracy i energiczne nastawienie Doskonałe umiejętności komunikacji werbalnej i pisemnej Zdolność do jasnego wyjaśniania złożonych problemów technicznych zarówno odbiorcom technicznym, jak i nietechnicznym Pierwotnie opublikowane w Himalajach