Starszy inżynier oprogramowania - ocena agenta AI

Siedziba: Kanada Adres URL: https://mindrift.ai/ Prosimy o przesłanie CV w języku angielskim i określenie poziomu znajomości języka angielskiego. Mindrift łączy specjalistów z możliwościami sztucznej inteligencji opartymi na projektach dla wiodących firm technologicznych, koncentrujących się na testowaniu, ocenie i ulepszaniu systemów AI. Uczestnictwo ma charakter projektowy, a nie stałe zatrudnienie.

Z czym wiąże się ta możliwość Tworzymy zbiór danych w celu oceny agentów kodujących AI - tego, jak dobrze model radzi sobie z zadaniami programistów w świecie rzeczywistym. Będziesz tworzyć wymagające zadania i kryteria oceny w realistycznie symulowanych środowiskach: Zbuduj realistyczne środowiska programistyczne - wirtualną firmę z bazą kodu, infrastrukturą i kontekstem (zgłoszenia, dokumenty, rozmowy), które tworzą wiarygodną historię rozwoju. Projektuj zadania na podstawie pośrednich stanów tych środowisk - twórz podpowiedzi, zdefiniuj, co oznacza „rozwiązane” i upewnij się, że zadanie jest możliwe do rozwiązania przez agenta AI.

Napisz testy weryfikujące rozwiązania agentów - akceptuj wszystkie prawidłowe podejścia i odrzucaj nieprawidłowe, ani zbyt rygorystyczne, ani zbyt łagodne. Iteruj dalej. zadania i testy oparte na informacjach zwrotnych dotyczących kontroli jakości - przeglądaj rozwiązania agenta, analizuj awarie i udoskonalaj, aż ocena będzie rzetelna i solidna. Czym to NIE jest Nie etykietowanie danych Nie szybka inżynieria Nie pisanie kodu od zera - agent pisze większość kodu; prowadzisz i oceniasz Czego szukamy Ponad 5 lat w tworzeniu oprogramowania Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis Doświadczenie w pisaniu testów (funkcjonalne, integracyjne) Znajomość języka angielskiego - B2+ Dlaczego to jest trudne Modele Frontier są już dobrzy w kodowaniu.

Stworzenie zadania, które rzeczywiście rzuca wyzwanie najlepszym modelom, nie jest trywialne. Musisz głęboko zrozumieć, gdzie modele zawodzą i jakie scenariusze ujawniają różnicę między dobrym a złym rozwiązaniem. Zadania mają wiele poprawnych rozwiązań - pisanie testów, które akceptują wszystkie poprawne rozwiązania i odrzucają błędne, jest trudniejsze niż się wydaje.

Jak to działa Złóż wniosek → Zdaj kwalifikacje → Dołącz do projektu → Wykonaj zadania → Zarabiaj Szacowany nakład pracy Szacuje się, że ukończenie zadań w tym projekcie zajmie 20 godzin, w zależności od złożoności. Jest to szacunek, a nie wymóg harmonogramu; Ty wybierasz, kiedy i jak pracujesz. Zadania muszą zostać przesłane w terminie i spełniać podane kryteria akceptacji, aby zostały przyjęte.

Wynagrodzenie Do 50 dolarów za godzinę, w zależności od poziomu i tempa. Zadania szacowane są na ~20 godzin każde; ustalasz swój własny harmonogram. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/senior-software-engineer-ai-agent-evaluation-mindrift