Niezależny inżynier ds. skrobania danych (Python)

Mindrift poszukuje wysoko wykwalifikowanych specjalistów ds. skrobania sieci, którzy dołączą do projektu Tendem () i będą kierować specjalistycznymi przepływami pracy związanymi z gromadzeniem danych w rzeczywistych przypadkach użycia. Mindrift poszukuje wysoko wykwalifikowanych inżynierów ds. skrobania danych w języku Python, którzy dołączą do projektu Tendem i będą kierować specjalistycznymi przepływami pracy związanych ze skrobaniem danych dla rzeczywistych aplikacji. Na tym stanowisku wykorzystasz swoją wiedzę specjalistyczną w zakresie skrobania stron internetowych, ekstrakcji danych i przetwarzania danych, aby zapewnić dokładne, niezawodne i wysokiej jakości wyniki.

Ta praca zdalna w niepełnym wymiarze godzin jest idealna dla specjalistów technicznych z praktycznym doświadczeniem w przeglądaniu stron internetowych, ekstrakcji danych i przetwarzaniu. Czym się zajmujemy Platforma Mindrift łączy specjalistów z innowacyjnymi projektami technologicznymi. Naszą misją jest pomaganie w opracowywaniu wysokiej jakości technologii sztucznej inteligencji poprzez łączenie wiedzy fachowej specjalistów z całego świata w świecie rzeczywistym z zaawansowanymi wysiłkami w zakresie rozwoju sztucznej inteligencji.

Informacje o roliJest to niezależna rola w projekcie Tendem. Jako inżynier ds. skrobania danych w języku Python będziesz zajmować się zadaniami skrobania danych wymagającymi technicznej precyzji przy wyodrębnianiu i przetwarzaniu sieci, wykorzystując narzędzia takie jak Apify, OpenRouter i inne technologie, a także własną wiedzę techniczną i podejścia. Kluczowe obowiązki Własne, kompleksowe procesy ekstrakcji danych ze złożonych witryn internetowych, zapewniające pełne pokrycie, dokładność i niezawodne dostarczanie ustrukturyzowanych zbiorów danych.

Wykorzystaj dostępne narzędzia i niestandardowe przepływy pracy, aby przyspieszyć gromadzenie danych, sprawdzanie poprawności i wykonywanie zadań przy jednoczesnym spełnieniu określonych wymagań. Zapewnij niezawodną ekstrakcję z dynamicznych i interaktywnych źródeł internetowych, dostosowując podejście w razie potrzeby do obsługi treści renderowanych w języku JavaScript i zmieniając zachowanie witryny. Egzekwuj standardy jakości danych poprzez kontrole walidacyjne, kontrole spójności między źródłami, przestrzeganie specyfikacji formatowania i systematyczną weryfikację przed dostarczeniem.

Skaluj operacje skrobania dla dużych zestawów danych, korzystając z wydajnego przetwarzania wsadowego lub równoległości, monitoruj awarie i utrzymuj stabilność w przypadku drobnych zmian w strukturze witryny. Kwalifikacje edukacyjne Co najmniej 3 lata odpowiedniego doświadczenia w inżynierii danych, scrapowaniu stron internetowych, automatyzacji lub tworzeniu oprogramowania (wymagane). Licencjat lub tytuł magistra w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnych dziedzin technicznych będzie dodatkowym atutem.

Doświadczenie akademickie i/lub zawodowe Kandydaci powinni posiadać solidne podstawy techniczne i praktyczne doświadczenie w zakresie skryptów, automatyzacji i procesów ekstrakcji danych. Poszukujemy specjalistów, którzy potrafią rozwiązywać nietrywialne problemy, pewnie pracują z nowoczesnymi technologiami sieciowymi i narzędziami do przetwarzania danych oraz systematycznie zbierają, strukturyzują i walidują dane z różnorodnych źródeł. Niezbędne jest metodyczne, zorientowane na szczegóły podejście i umiejętność samodzielnej pracy.

Umiejętności techniczne (niezbędne) Duże doświadczenie w scrapowaniu stron internetowych w Pythonie (BeautifulSoup, Selenium lub podobnym), w tym w treści dynamicznej (JS, AJAX, nieskończone przewijanie) i API za pośrednictwem serwerów proxy Sprawdzona umiejętność wyodrębniania danych ze złożonych struktur (hierarchie, zarchiwizowane strony, niespójny HTML) Solidne doświadczenie w czyszczeniu, normalizacji i walidacji danych, dostarczaniu ustrukturyzowanych zbiorów danych (CSV, JSON, Arkusze Google) Dodatkowe wymagania Praktyczne doświadczenie z LLM i frameworkami AI w celu zwiększenia automatyzacji i rozwiązywania problemów Duża dbałość o szczegóły i zaangażowanie w dokładność danych Samodzielna praca z możliwością samodzielnego rozwiązywania problemów Link do GitHub będzie dodatkowym atutem Znajomość języka angielskiego: Wyższy średniozaawansowany (B2) lub wyższy (wymagany) Oczekiwany czas trwania projektu W przypadku tego projektu szacuje się, że zadania będą wymagać około 10 - 20 godzin tygodniowo w aktywnych fazach, w oparciu o wymagania projektu. Jest to szacunkowy, a nie gwarantowany nakład pracy i ma zastosowanie tylko wtedy, gdy projekt jest aktywny. Wynagrodzenie W ramach tego projektu uczestnicy mogą zarobić do 37 dolarów za godzinę, w zależności od poziomu i tempa wkładu.

Wynagrodzenie różni się w zależności od projektu, w zależności od zakresu, złożoności i wymaganej wiedzy specjalistycznej. Należy pamiętać, że inne projekty na platformie mogą oferować różne poziomy zarobków w zależności od ich wymagań. Oryginalnie opublikowano w Himalajach