Inżynier danych - Web Scraping, potoki LLM i skalowalna infrastruktura danych

Rola: Pomożesz zbudować podstawę danych naszego produktu: systemy do zbierania danych o dużej objętości, ustrukturyzowane zbiory danych i potoki przetwarzania oparte na LLM. Stanowisko to łączy praktyczną inżynierię z myśleniem architektonicznym i jest odpowiednie dla kogoś, kto lubi przekształcać niechlujne dane internetowe w niezawodne, skalowalne wyniki. Kluczowe obowiązki: - Tworzenie nowych ustrukturyzowanych zbiorów danych, w tym akceleratorów skrobania, wypełniania formularzy D i dynamicznych źródeł internetowych. - Opracuj zautomatyzowane potoki ETL, które analizują, czyszczą i przekształcają treść za pomocą LLM. - Definiowanie i utrzymywanie schematów baz danych w Supabase lub PostgreSQL. - Twórz ramy oceny, aby mierzyć i porównywać wydajność LLM w różnych komponentach rurociągu. - Udział w projektowaniu skalowalnych architektur danych z wykorzystaniem usług GCP. - Popraw niezawodność, obserwowalność i przepływy pracy w zakresie wdrażania systemów skrobania i przetwarzania danych.

Wymagania: - Ponad 4 lata doświadczenia w budowaniu potoków danych, usług backendowych i systemów automatycznego przetwarzania danych. - Silne doświadczenie w scrapowaniu stron internetowych za pomocą narzędzi takich jak Scrapy, Playwright lub podobnych. - Doświadczenie we wdrażaniu potoków na platformach chmurowych, takich jak GCP lub AWS. - Solidna znajomość frameworków ETL, orkiestracji przepływu pracy (Airflow) i nowoczesnych magazynów danych (BigQuery, PostgreSQL). - Wygodna praca z Dockerem i frameworkami API, takimi jak FastAPI. - Jasna, płynna komunikacja w języku angielskim. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/data-engineer-web-scraping-llm-pipelines-and-scalable-data-infrastructure-niryu