Starszy inżynier oprogramowania - testowanie agentów kodujących AI

Prosimy o przesłanie CV w języku angielskim oraz wskazanie poziomu znajomości języka angielskiego. Mindrift łączy specjalistów z możliwościami sztucznej inteligencji opartymi na projektach dla wiodących firm technologicznych, koncentrujących się na testowaniu, ocenie i ulepszaniu systemów AI. Udział ma charakter projektowy.

Z czym wiąże się ta możliwość Tworzymy zbiór danych w celu oceny agentów kodujących AI - tego, jak dobrze model radzi sobie z zadaniami programistów w świecie rzeczywistym. Będziesz tworzyć wymagające zadania i kryteria oceny w realistycznie symulowanych środowiskach: - Zbuduj realistyczne środowiska programistyczne - wirtualną firmę z bazą kodu, infrastrukturą i kontekstem (zgłoszenia, dokumenty, rozmowy), które tworzą wiarygodną historię rozwoju - Projektuj zadania na podstawie pośrednich stanów tych środowisk - twórz podpowiedzi, zdefiniuj, co oznacza „rozwiązane” i upewnij się, że zadanie jest możliwe do rozwiązania przez agenta AI - Napisz testy weryfikujące rozwiązania agentów - Akceptuj wszystkie prawidłowe podejścia i odrzucaj nieprawidłowe, ani zbyt rygorystyczne, ani zbyt łagodne - Wykonuj iteracje zadań i testów w oparciu o informacje zwrotne dotyczące kontroli jakości - przeglądaj rozwiązania agenta, analizuj awarie i udoskonalaj, aż ocena będzie uczciwa i solidna. Czego to NIE jest - Brak etykietowania danych - Brak szybkiej inżynierii - Nie pisanie kodu od zera - agent pisze większość kodu; prowadzisz i oceniasz Czego szukamy - Ponad 5 lat w tworzeniu oprogramowania - Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis - Doświadczenie w pisaniu testów (funkcjonalnych, integracyjnych) - Znajomość języka angielskiego - B2+ Dlaczego to jest trudne Modele Frontier są już dobrzy w kodowaniu.

Stworzenie zadania, które rzeczywiście rzuca wyzwanie najlepszym modelom, nie jest trywialne. Musisz głęboko zrozumieć, gdzie modele zawodzą i jakie scenariusze ujawniają różnicę między dobrym a złym rozwiązaniem. Zadania mają wiele poprawnych rozwiązań - pisanie testów, które akceptują wszystkie poprawne rozwiązania i odrzucają błędne, jest trudniejsze niż się wydaje.

Jak to działa Złóż wniosek → Zdaj kwalifikacje → Dołącz do projektu → Wykonaj zadania → Zarabiaj Szacowany nakład pracy Szacuje się, że ukończenie zadań w tym projekcie zajmie 20 godzin, w zależności od złożoności. Jest to szacunek, a nie wymóg harmonogramu; Ty wybierasz, kiedy i jak pracujesz. Zadania muszą zostać przesłane w terminie i spełniać podane kryteria akceptacji, aby zostały przyjęte.

Wynagrodzenie Do 50 dolarów za godzinę, w zależności od poziomu i tempa. Zadania szacowane są na ~20 godzin każde; ustalasz swój własny harmonogram. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/senior-software-engineer-testing-ai-coding-agents-mindrift