Niezależny inżynier ds. oceny agentów

Prześlij swoje CV w języku angielskim i określ swój poziom znajomości języka angielskiego. Mindrift łączy specjalistów z możliwościami AI opartymi na projektach dla wiodących firm technologicznych, koncentrujących się na testowaniu, ocenie i ulepszaniu systemów AI. Uczestnictwo jest oparte na projektach, a nie na stałym zatrudnieniu.

Z czym wiąże się ta możliwość Budujemy zbiór danych do oceny agentów kodujących AI - jak dobrze model radzi sobie z zadaniami programistów w świecie rzeczywistym. Będziesz tworzyć wymagające zadania i kryteria oceny w realistycznie symulowanych środowiskach: Buduj realistyczne środowiska programistyczne - wirtualną firmę z bazą kodu, infrastrukturą i kontekstem (zgłoszenia, dokumenty, rozmowy), które tworzą wiarygodną historię rozwoju Projektuj zadania na podstawie pośrednich stanów tych środowisk - twórz podpowiedzi, zdefiniuj, co „rozwiązane” oznacza i upewnij się, że zadanie jest możliwe do rozwiązania przez agenta AI Napisz testy, które weryfikują rozwiązania agenta - zaakceptuj wszystkie prawidłowe podejścia i odrzuć nieprawidłowe, ani zbyt rygorystyczne, ani zbyt łagodne Iteruj po zadaniach i testach w oparciu o informacje zwrotne z kontroli jakości - przeglądaj rozwiązania agenta, analizuj awarie i udoskonalaj, aż ocena będzie rzetelna i solidnaCzego NIETo nie jest etykietowanie danych Nie szybka inżynieria Nie pisanie kodu od zera - agent pisze większość kodu; prowadzisz i oceniaszCzego szukamy5+ lat w tworzeniu oprogramowaniaCore stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, RedisDoświadczenie w pisaniu testów (funkcjonalnych, integracyjnych)Znajomość języka angielskiego - B2+Dlaczego to jest trudne Modele Frontier już dobrze radzą sobie z kodowaniem. Stworzenie zadania, które rzeczywiście rzuca wyzwanie najlepszym modelom, nie jest trywialne.

Musisz głęboko zrozumieć, gdzie modele zawodzą i jakie scenariusze ujawniają różnicę między dobrym a złym rozwiązaniem. Zadania mają wiele poprawnych rozwiązań - pisanie testów, które akceptują wszystkie poprawne rozwiązania i odrzucają nieprawidłowe, jest trudniejsze, niż się wydaje. Jak to działa Aplikuj → Zdaj kwalifikacje → Dołącz do projektu → Wykonaj zadania → Zarabiaj Szacowany wysiłek Ukończenie zadań w tym projekcie szacuje się na 20 godzin, w zależności od złożoności.

Jest to szacunek, a nie wymóg harmonogramu; Ty wybierasz, kiedy i jak pracujesz. Zadania muszą zostać przesłane w terminie i spełniać wymienione kryteria akceptacji, aby zostały zaakceptowane. Wynagrodzenie Do 50 USD za godzinę, w zależności od poziomu i tempa.

Zadania szacowane są na ~20 godzin każde; ustalasz swój własny harmonogram. Oryginalnie opublikowano w Himalajach