Starszy inżynier ds. skrobania danych w języku Python (niezależny)

Mindrift poszukuje wysoko wykwalifikowanych starszych inżynierów ds. skrobania danych w języku Python, którzy dołączą do projektu Tendem i będą kierować specjalistycznymi przepływami pracy związanych ze skrobaniem danych w naszym hybrydowym systemie AI + człowiek. W tej roli, jako pilot AI - tak nazywamy tę rolę w Mindrift - będziesz współpracować z agentami Tendem, którzy zajmują się powtarzalnymi zadaniami, zapewniając jednocześnie krytyczne myślenie, wiedzę dziedzinową i kontrolę jakości, aby dostarczać dokładne i przydatne wyniki. Ta praca zdalna w niepełnym wymiarze godzin jest idealna dla specjalistów technicznych z praktycznym doświadczeniem w przeglądaniu stron internetowych, ekstrakcji i przetwarzaniu danych.Co robimy Platforma Mindrift łączy specjalistów z projektami AI prowadzonymi przez największych innowatorów technologicznych.

Naszą misją jest uwolnienie potencjału generatywnej sztucznej inteligencji poprzez wykorzystanie wiedzy specjalistycznej z świata rzeczywistego z całego świata. Jest to niezależna rola w projekcie Tendem. Jako starszy inżynier ds. skrobania danych w języku Python będziesz zajmować się zadaniami skrobania danych wymagającymi technicznej precyzji przy wyodrębnianiu i przetwarzaniu sieci, wykorzystując różne narzędzia, takie jak dostarczane przez nas Apify i OpenRouter, a także własne, pomysłowe podejście.

Kluczowe obowiązki:Własne, kompleksowe procesy ekstrakcji danych ze złożonych witryn internetowych, zapewniające pełny zasięg, dokładność i niezawodne dostarczanie ustrukturyzowanych zbiorów danych.Wykorzystywanie narzędzi wewnętrznych (Apify, OpenRouter) wraz z niestandardowymi przepływami pracy w celu przyspieszenia gromadzenia danych, sprawdzania poprawności i wykonywania zadań przy jednoczesnym spełnieniu określonych wymagań.Zapewnianie niezawodnej ekstrakcji danych z dynamicznych i interaktywnych źródeł internetowych, dostosowując podejście do obsługi treści renderowanych w języku JavaScript i zmieniając zachowanie witryny.Egzekwowanie standardów jakości danych poprzez kontrole walidacyjne, spójność między źródłami. kontroli, przestrzeganie specyfikacji formatowania i systematyczna weryfikacja przed dostawą. Skaluj operacje skrobania dla dużych zbiorów danych przy użyciu wydajnego przetwarzania wsadowego lub równoległości, monitoruj awarie i utrzymuj stabilność w przypadku drobnych zmian w strukturze witryny. Wymagania: co najmniej 5 lat odpowiedniego doświadczenia w inżynierii danych, skrobaniu stron internetowych, automatyzacji lub tworzeniu oprogramowania (wymagane).

Stopień licencjata lub magistra w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnych dziedzin technicznych będzie dodatkowym atutem. Kandydaci powinni mają solidne podstawy techniczne i praktyczne doświadczenie w zakresie skryptów, automatyzacji i przepływów pracy wspomaganych sztuczną inteligencją. Poszukujemy specjalistów, którzy potrafią rozwiązywać nietrywialne problemy, pewnie współpracować z LLM oraz systematycznie zbierać, strukturyzować i weryfikować dane z różnych źródeł.

Niezbędne jest metodyczne, zorientowane na szczegóły podejście i umiejętność samodzielnej pracy. Duże doświadczenie w scrapowaniu stron internetowych w Pythonie (BeautifulSoup, Selenium lub podobnym), w tym w zawartości dynamicznej (JS, AJAX, nieskończone przewijanie) i API poprzez proxy Sprawdzona umiejętność wyodrębniania danych ze złożonych struktur (hierarchie, strony zarchiwizowane, niespójny HTML) Solidne doświadczenie w czyszczeniu, normalizacji i walidacji danych, dostarczaniu ustrukturyzowanych zbiorów danych (CSV, JSON, Google) Arkusze) Udokumentowane doświadczenie w obsłudze mechanizmów antybotowych i dynamicznych struktur witryn na dużą skalę Doświadczenie z infrastrukturą chmurową (AWS lub równoważną) i konteneryzacją (Docker) w ramach rzeczywistych przepływów pracy Praktyczne doświadczenie z frameworkami LLM (LangChain, OpenRouter lub podobnymi) stosowanymi do zadań automatyzacji Duża dbałość o szczegóły i zaangażowanie w dokładność danych Samodzielna etyka pracy z możliwością samodzielnego rozwiązywania problemów Łącze do GitHub będzie dodatkowym atutem Znajomość języka angielskiego: średnio zaawansowany (B2) lub wyższy (wymagane) Oczekiwania dotyczące czasu projektu W przypadku tego projektu szacuje się, że zadania będą wymagały około 10 - 20 godzin tygodniowo w aktywnych fazach, w oparciu o wymagania projektu. Jest to szacunkowy, a nie gwarantowany nakład pracy i ma zastosowanie tylko wtedy, gdy projekt jest aktywny.

Wynagrodzenie W ramach tego projektu współautorzy mogą zarobić do 45 dolarów za godzinę, w zależności od poziomu i tempa wkładu. Wynagrodzenie różni się w zależności od projektu, w zależności od zakresu, złożoności i wymaganej wiedzy specjalistycznej. Należy pamiętać, że inne projekty na platformie mogą oferować różne poziomy zarobków w zależności od ich wymagań.

Oryginalnie opublikowano w Himalajach