Niezależny inżynier ds. skrobania danych (Python)

Mindrift poszukuje wysoko wykwalifikowanych specjalistów ds. skrobania sieci, którzy dołączą do projektu Tendem () i będą kierować specjalistycznymi przepływami pracy związanymi z gromadzeniem danych w rzeczywistych przypadkach użycia. Mindrift poszukuje wysoko wykwalifikowanych inżynierów ds. skrobania danych w języku Python, którzy dołączą do projektu Tendem i będą kierować specjalistycznymi przepływami pracy związanych ze skrobaniem danych dla rzeczywistych aplikacji. Na tym stanowisku wykorzystasz swoją wiedzę specjalistyczną w zakresie skrobania stron internetowych, ekstrakcji danych i przetwarzania danych, aby zapewnić dokładne, niezawodne i wysokiej jakości wyniki.

Ta zdalna oferta pracy w niepełnym wymiarze godzin jest idealna dla specjalistów technicznych z praktycznym doświadczeniem w przeglądaniu stron internetowych, ekstrakcji danych i przetwarzaniu. Czym się zajmujemy Platforma Mindrift łączy specjalistów z innowacyjnymi projektami technologicznymi. Naszą misją jest pomaganie w opracowywaniu wysokiej jakości technologii sztucznej inteligencji poprzez łączenie wiedzy specjalistycznej specjalistów z całego świata z rzeczywistymi działaniami na rzecz rozwoju sztucznej inteligencji.

Informacje o roli Jest to niezależna rola w projekcie Tendem. Jako inżynier ds. skrobania danych w języku Python będziesz zajmować się zadaniami skrobania danych wymagającymi technicznej precyzji przy wyodrębnianiu i przetwarzaniu sieci, wykorzystując narzędzia takie jak Apify, OpenRouter i inne technologie, a także własną wiedzę techniczną i podejścia. Kluczowe obowiązki - Własne, kompleksowe procesy ekstrakcji danych ze złożonych witryn internetowych, zapewniające pełne pokrycie, dokładność i niezawodne dostarczanie ustrukturyzowanych zbiorów danych. - Wykorzystaj dostępne narzędzia i niestandardowe przepływy pracy, aby przyspieszyć gromadzenie danych, sprawdzanie poprawności i wykonywanie zadań przy jednoczesnym spełnieniu określonych wymagań. - Zapewnij niezawodną ekstrakcję z dynamicznych i interaktywnych źródeł internetowych, dostosowując podejście w razie potrzeby do obsługi treści renderowanych w języku JavaScript i zmieniając zachowanie witryny. - Egzekwuj standardy jakości danych poprzez kontrole walidacyjne, kontrole spójności między źródłami, przestrzeganie specyfikacji formatowania i systematyczną weryfikację przed dostawą. - Skaluj operacje skrobania dla dużych zbiorów danych przy użyciu wydajnego przetwarzania wsadowego lub równoległości, monitoruj awarie i utrzymuj stabilność w przypadku drobnych zmian w strukturze witryny.

Kwalifikacje edukacyjne - co najmniej 3 lata odpowiedniego doświadczenia w inżynierii danych, scrapowaniu stron internetowych, automatyzacji lub tworzeniu oprogramowania (wymagane). - Tytuł licencjata lub magistra w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnych dziedzin technicznych będzie dodatkowym atutem. Doświadczenie akademickie i/lub zawodowe Kandydaci powinni posiadać solidne podstawy techniczne i praktyczne doświadczenie w zakresie skryptów, automatyzacji i procesów ekstrakcji danych. Poszukujemy specjalistów, którzy potrafią rozwiązywać nietrywialne problemy, pewnie pracują z nowoczesnymi technologiami sieciowymi i narzędziami do przetwarzania danych oraz systematycznie zbierają, strukturyzują i walidują dane z różnorodnych źródeł.

Niezbędne jest metodyczne, zorientowane na szczegóły podejście i umiejętność samodzielnej pracy. Umiejętności techniczne (niezbędne) - Duże doświadczenie w scrapowaniu stron internetowych w Pythonie (BeautifulSoup, Selenium lub podobne), w tym treści dynamicznej (JS, AJAX, nieskończone przewijanie) i interfejsach API za pośrednictwem serwerów proxy - Sprawdzona umiejętność wyodrębniania danych ze złożonych struktur (hierarchie, strony zarchiwizowane, niespójny HTML) - Solidne doświadczenie w czyszczeniu, normalizacji i walidacji danych, dostarczaniu ustrukturyzowanych zbiorów danych (CSV, JSON, Arkusze Google) Dodatkowe wymagania - Praktyczne doświadczenie z Frameworki LLM i AI w celu zwiększenia automatyzacji i rozwiązywania problemów - Duża dbałość o szczegóły i zaangażowanie w dokładność danych - Samodzielna etyka pracy z możliwością samodzielnego rozwiązywania problemów - Link do GitHub będzie dodatkowym atutem - Znajomość języka angielskiego: Wyższy średniozaawansowany (B2) lub wyższy (wymagany) Oczekiwany czas projektu W przypadku tego projektu szacuje się, że zadania będą wymagać około 10 - 20 godzin tygodniowo w aktywnych fazach, w oparciu o wymagania projektu. Jest to szacunkowy, a nie gwarantowany nakład pracy i ma zastosowanie tylko wtedy, gdy projekt jest aktywny.

Wynagrodzenie W ramach tego projektu współpracownicy mogą zarobić do 37 dolarów za godzinę, w zależności od poziomu i tempa wkładu. Wynagrodzenie różni się w zależności od projektu, w zależności od zakresu, złożoności i wymaganej wiedzy specjalistycznej. Należy pamiętać, że inne projekty na platformie mogą oferować różne poziomy zarobków w zależności od ich wymagań.

Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/freelance-data-scraping-engineer-python-mindrift-17*** *** 218