Niezależny inżynier ds. skrobania danych (Python)

Mindrift poszukuje wysoko wykwalifikowanych inżynierów ds. skrobania danych w języku Python, którzy dołączą do projektu Tendem i będą kierować specjalistycznymi przepływami pracy związanych ze skrobaniem danych w naszym hybrydowym systemie AI + człowiek. W tej roli, jako pilot AI - tak nazywamy tę rolę w Mindrift - będziesz współpracować z agentami Tendem, którzy zajmują się powtarzalnymi zadaniami, zapewniając jednocześnie krytyczne myślenie, wiedzę dziedzinową i kontrolę jakości, aby dostarczać dokładne i przydatne wyniki. Ta zdalna praca w niepełnym wymiarze godzin jest idealna dla specjalistów technicznych z praktycznym doświadczeniem w przeglądaniu stron internetowych, ekstrakcji i przetwarzaniu danych.

Czym się zajmujemy Platforma Mindrift łączy specjalistów z projektami AI prowadzonymi przez największych innowatorów technologicznych. Naszą misją jest uwolnienie potencjału generatywnej sztucznej inteligencji poprzez wykorzystanie wiedzy specjalistycznej z świata rzeczywistego z całego świata. Informacje o roliJest to niezależna rola w projekcie Tendem.

Jako inżynier ds. skrobania danych w języku Python będziesz zajmować się zadaniami skrobania danych wymagającymi technicznej precyzji przy wyodrębnianiu i przetwarzaniu sieci, wykorzystując różne narzędzia, takie jak dostarczane przez nas Apify i OpenRouter, a także własne, pomysłowe podejście. Kluczowe obowiązki Własne, kompleksowe procesy ekstrakcji danych ze złożonych witryn internetowych, zapewniające pełne pokrycie, dokładność i niezawodne dostarczanie ustrukturyzowanych zbiorów danych. Wykorzystaj narzędzia wewnętrzne (Apify, OpenRouter) wraz z niestandardowymi przepływami pracy, aby przyspieszyć gromadzenie danych, sprawdzanie poprawności i wykonywanie zadań przy jednoczesnym spełnieniu określonych wymagań.

Zapewnij niezawodną ekstrakcję z dynamicznych i interaktywnych źródeł internetowych, dostosowując podejście w razie potrzeby do obsługi treści renderowanych w języku JavaScript i zmieniając zachowanie witryny. Egzekwuj standardy jakości danych poprzez kontrole walidacyjne, kontrole spójności między źródłami, przestrzeganie specyfikacji formatowania i systematyczną weryfikację przed dostarczeniem. Skaluj operacje skrobania dla dużych zbiorów danych przy użyciu wydajnego przetwarzania wsadowego lub równoległości, monitoruj awarie i utrzymuj stabilność w przypadku drobnych zmian w strukturze witryny.

Wynagrodzenie W przypadku tego projektu współpracownicy mogą zarobić do 37 USD za godzinę, w zależności od poziomu i tempa wkładu. Wynagrodzenie różni się w zależności od projektu w zależności od zakresu, złożoności i wymaganej wiedzy specjalistycznej. Pamiętaj, że inne projekty na platformie mogą oferować różne poziomy zarobków w zależności od ich wymagań.

Jak zacząć Po prostu aplikuj na to stanowisko, zakwalifikuj się i zyskaj szansę na udział w projektach odpowiadających Twoim umiejętnościom technicznym, według własnego harmonogramu. Od kodowania i automatyzacji po dostrajanie wyników sztucznej inteligencji - odegrasz kluczową rolę w rozwijaniu możliwości sztucznej inteligencji i aplikacji w świecie rzeczywistym.WymaganiaCo najmniej 3 lata odpowiedniego doświadczenia w inżynierii danych, skrobaniu stron internetowych, automatyzacji lub tworzeniu oprogramowania (wymagane). Licencjat lub magister inżynier, matematyka stosowana, informatyka lub pokrewne dziedziny techniczne będą dodatkowym atutem.

Duże doświadczenie w scrapowaniu stron internetowych w Pythonie (BeautifulSoup, Selenium lub podobne), w tym w zawartości dynamicznej (JS, AJAX, nieskończone przewijanie) i interfejsach API za pośrednictwem serwerów proxy. Sprawdzona umiejętność wyodrębniania danych ze złożonych struktur (hierarchie, zarchiwizowane strony, niespójny HTML). Solidne doświadczenie w czyszczeniu, normalizacji i walidacji danych, dostarczaniu ustrukturyzowanych zbiorów danych (CSV, JSON, Arkusze Google).Praktyczne doświadczenie z LLM i frameworkami AI w celu zwiększenia automatyzacji i rozwiązywania problemów.Duża dbałość o szczegóły i zaangażowanie w dokładność danych.Etyka pracy samodzielnej z możliwością samodzielnego rozwiązywania problemów.Link do GitHub będzie dodatkowym atutem.Znajomość języka angielskiego: średniozaawansowany wyższy (B2) lub wyższy (wymagany).KorzyściDlaczego ta praca jako freelancer może być dla Ciebie idealna?

Pracuj całkowicie zdalnie, według własnego harmonogramu, korzystając jedynie z laptopa i stabilnego połączenia internetowego. Zdobądź praktyczne doświadczenie w wyjątkowym środowisku hybrydowym, w którym wiedza specjalistyczna i agenci AI płynnie współpracują - to wyjątkowa umiejętność w szybko rozwijającej się dziedzinie. Weź udział w programach premiowych opartych na wynikach, które nagradzają pracę wysokiej jakości i konsekwentne dostawy.

Oryginalnie opublikowano w Himalajach