Inżynier ds. platformy danych (102-08SENG-01)

Ta rola konwertuje dużą bazę danych Azure Data Factory na przepływy pracy Databricks w platformie AWS. Zakres na pierwszy rok: 2094 potoki ADF do migracji - zbudowane jako szablony do wielokrotnego użytku, a nie jeden po drugim - 9859 działań potoków do przetłumaczenia (niektóre mapy bezpośrednio, inne wymagają przepisania jako funkcje Lambda lub Step), 471 przepływów danych Spark do przeniesienia do Databricks na AWS oraz 4 obszary robocze Databricks (Dev, QA, Pre-prod, Prod) do ponownego hostowania, w tym ścieżki notatników i katalog Unity ponowne okablowanie. Jest to środowisko regulowane, więc uzgadnianie migrowanych danych z systemami źródłowymi jest częścią definicji wykonania, a nie refleksją.

WymaganiaCo będziesz robić Konwertuj potoki Azure Data Factory na przepływy pracy Databricks w AWS, budując szablony do wielokrotnego użytku, zamiast migrować pojedynczo. Ponownie hostuj obszary robocze Databricks na platformie AWS i migruj pamięć ADLS Gen2 do S3. Przepisz działania sieciowe ADF jako funkcje Lambda lub zadania funkcji krokowych i zastąp skalowanie specyficzne dla ADF natywnymi mechanizmami Databricks.

Twórz i dostosowuj transformacje PySpark dla woluminów danych produkcyjnych. Zamień usługę Azure Synapse Serverless na usługę Databricks SQL Warehouse. Uzgodnij migrowane dane z systemami źródłowymi w ramach definicji ukończenia.

Wymagane doświadczenie produkcyjne z Databricks: obszary robocze, zadania i przepływy pracy. Najważniejsza umiejętność w tej roli. Silne doświadczenie Spark i PySpark dla rzeczywistych ilości danych, w tym strojenie.

Python klasy produkcyjnej. Doświadczenie w tworzeniu lub migrowaniu potoków Azure Data Factory dzięki solidnej wiedzy na temat modelu działań ADF. Usługi danych AWS: funkcje S3, Glue, Athena, Lambda i Step.

Zaawansowany SQL, w tym czytanie i wyciąganie wniosków na temat procedur składowanych. Profesjonalny język angielski w mowie i piśmie. Miło mieć Delta Lake, Unity Catalog, Azure Synapse, Terraform, Airflow/MWAA, dbt, Kafka, certyfikaty Databricks, modelowanie danych, wielkie oczekiwania, integracja z platformą SAS/analytics, dane CRM.

Szczegóły zaangażowania Pełny etat, w 100% zdalny Otwarty dla kandydatów ze wszystkich LATAM HighlightsDatabricks, PySpark, Python, Azure Data Factory, AWS (S3, Glue, Athena, Lambda, Step Functions), SQL, Delta Lake, Unity Catalog, Azure Synapse, Terraform, Airflow/MWAA, dbt, Kafka Oryginalnie opublikowano w Himalajach