Starszy inżynier ds. badań (zachowanie agentyczne)

<p>W JetBrains kodowanie jest naszą pasją. Odkąd rozpoczęliśmy, czyli w 2000 roku, staramy się tworzyć najsilniejsze i najskuteczniejsze narzędzia programistyczne na świecie. Obecnie agenci kodujący wykorzystujący sztuczną inteligencję stają się kluczową częścią tego, jak programiści piszą Kotlin - i chcemy mieć pewność, że piszą go dobrze.</p> <p>Zespół Kotlin AI Value Stream jest odpowiedzialny za to, jak agenci AI rozumieją, generują i ulepszają kod Kotlin na wszystkich platformach: Android, Kotlin Multiplatform, po stronie serwera, w Internecie, na komputerach stacjonarnych i innych.

Budujemy infrastrukturę ewaluacyjną, narzędzia do analizy błędów i potoki poszkoleniowe, które mierzą i poprawiają zachowanie agentów w rzeczywistych zadaniach programisty Kotlin.</p> <p>Jako inżynier ds. badań w tym zespole będziesz właścicielem kompleksowej pętli: analizuj, w jaki sposób agenci zawodzą w Kotlinie → buduj ewaluacje, które wychwytują te awarie → badaj i wdrażaj metody ich naprawiania → mierz poprawę. Twoja praca bezpośrednio wpłynie na sposób, w jaki miliony programistów będzie korzystać z Kotlina za pośrednictwem agentów kodujących AI.</p> <h2><strong>Jako część naszego zespołu będziesz:</strong></h2> <p><strong>Tworzy narzędzia do agentycznej analizy błędów</strong></p> <ul> <li>Projektuj i wdrażaj narzędzia do systematycznego przechwytywania, klasyfikowania i analizowania błędów popełnianych przez agentów kodujących AI podczas generowania kodu Kotlin.</li> <li>Tworzenie potoków obserwowalności za pośrednictwem agentów ślady - eksplorowanie wzorców z sesji agentów w JetBrains IDE, Junie, Claude Code, Cursor i innych agentach kodujących.</li> </ul> <p><strong>Twórz potoki ewaluacyjne</strong></p> <ul> <li>Projektuj, wdrażaj i utrzymuj potoki ewaluacyjne, które mierzą jakość generowania kodu Kotlin we wszystkich wymiarach, w tym poprawność, idiomatyczność, powodzenie kompilacji, wykorzystanie frameworku i pokrycie testów.</li> <li>Buduj środowiska symulacyjne, w których kodowanie agentów można mierzyć na realistycznych zadaniach programistycznych Kotlin - od projektów KMP od podstaw i zarządzania zależnościami Gradle po migrację aplikacji Spring z Java do Kotlin.</li> <li>Własna infrastruktura ewaluacyjna: metryki, śledzenie eksperymentów, automatyczne kontrole regresji i powtarzalne testy porównawcze.</li> </ul> <p><strong>Badania metod poprawy zachowania agentów i modeli w Kotlinie</strong></p> <ul> <li>Eksperymentuj z technikami po szkoleniu (SFT, DPO, GRPO), aby ulepszyć sposób, w jaki modele radzą sobie ze wzorcami, idiomami i frameworkami specyficznymi dla Kotlina.</li> <li>Zbadaj podejścia do inżynierii kontekstu: pliki CLAUDE.md/AGENTS.md, pętle informacji zwrotnej kompilatora jako weryfikatora, integracja Kotlin LSP i narzędzia oparte na MCP.</li> <li>Przeprowadzaj eksperymenty, aby zmierzyć wpływ: porównania A/B, zestawy testów porównawczych i analizy przed/po na rzeczywistym bazy kodu.</li> <li>Współpracuj z dostawcami modeli (Anthropic, OpenAI i Google), aby przełożyć ustalenia specyficzne dla Kotlina na ulepszenia modeli.</li> </ul> <p><strong>Twórz publiczne testy porównawcze Kotlin</strong></p> <ul> <li>Projektuj i twórz testy porównawcze typu open source, które mierzą wydajność agentów kodujących AI w zadaniach Kotlin i ostatecznie stają się standardowym punktem odniesienia dla ekosystemu.</li> <li>Twórz zbiory danych zadań obejmujące szeroki zakres: Użycie Kotlina: po stronie serwera (Spring, Ktor), projekty wieloplatformowe (KMP), systemy kompilacji (Gradle), Android, tworzenie bibliotek i inne.</li> <li>Uwzględnij zarówno zadania wydobywane w świecie rzeczywistym, jak i starannie zaprojektowane zadania syntetyczne, które testują określone możliwości Kotlina.</li> <li>Utrzymuj i rozwijaj testy porównawcze w miarę ulepszania modeli, upewniając się, że pozostają one wymagające, istotne i odporne na zanieczyszczenia.</li> </ul> <h2><strong>Będzie miło mieć Cię na pokładzie, jeśli posiadać:</strong></h2> <ul> <li>Praktyczne doświadczenie w budowaniu potoków oceny lub analizy dla LLM lub agentów kodujących AI w środowisku badawczym lub produkcyjnym.</li> <li>Doskonałe umiejętności inżynieryjne w języku Python (co najmniej trzy lata) z umiejętnością pisania czystego, łatwego w utrzymaniu kodu w bazach kodu zawierających duże ilości danych i sąsiadujących z ML.</li> <li>Doświadczenie w analizie danych na dużą skalę: wykonywanie zapytań do dużych zbiorów danych (SQL/Athena), budowanie danych potoków i przeprowadzania analiz statystycznych wyników eksperymentów.</li> <li>Możliwość posiadania projektów od początku do końca - od zidentyfikowania problemu w śladach agenta po zaprojektowanie ewaluacji, przeprowadzenie eksperymentów i wysłanie poprawki.</li> <li>Nastawienie świadome produktu: zależy Ci na tym, jak agenci są faktycznie wykorzystywani przez programistów i potrafisz przełożyć rzeczywiste tryby awarii na pracę ewaluacyjną i szkoleniową.</li> <li>Znajomość Kotlina lub silna chęć rozwijania głębokiej wiedzy na temat Kotlina (będziesz mieszkać w Codziennie bazy kodu Kotlina).</li> </ul> <h2><strong>Nasz idealny kandydat miałby również doświadczenie z:</strong></h2> <ul> <li>Poszkoleniowe LLM: SFT, RLHF, DPO, GRPO - albo szkolenie praktyczne, albo projektowanie potoków danych i nagród, które wchodzą w skład szkolenia.</li> <li>Nowoczesne frameworki głębokiego uczenia się (PyTorch) i stosy szkoleniowe LLM (TRL, verl, Megatron, lub podobne).</li> <li>Tworzenie agentów AI: agenci korzystający z narzędzi, wieloetapowe przepływy pracy z kodowaniem, struktury agentyczne.</li> <li>Struktury i narzędzia ewaluacyjne: Inspect AI, Promptfoo, LM-evaluation-harness lub niestandardowe potoki ewaluacyjne.</li> <li>Śledzenie i obserwowalność eksperymentów: Weights & Biases, MLflow, Langfuse lub podobne.</li> <li>Ekosystem Kotlin: Android, Gradle, KMP, Spring, Ktor - ze zrozumieniem przepływów pracy programistów, które muszą wspierać agenci.</li> <li>Wspieranie lub utrzymywanie projektów open source, zwłaszcza testów porównawczych lub narzędzi ewaluacyjnych.</li> </ul> <p>Nie zaznaczaj każdego pola? Nie ma problemu - jeśli jesteś podekscytowany tą pracą i masz solidne podstawy, chętnie się z Tobą skontaktujemy.

Chętnie porozmawiamy i zapewnimy szkolenia potrzebne do awansu na to stanowisko.</p> <h2><strong>Dlaczego warto dołączyć do JetBrains? </strong></h2> <ul> <li>Wysokie wynagrodzenie podstawowe. Oferujemy konkurencyjne wynagrodzenie, które odzwierciedla Twoje umiejętności i doświadczenie.</li> <li>Elastyczne miejsce pracy. Ciesz się swobodą pracy w domu lub w biurze.</li> <li>Praca zdalna.

Spędź do 30 dni w roku pracując zdalnie za granicą.</li> <li>Dodatkowy czas wolny. Więcej dni na relaks, regenerację sił i robienie rzeczy, które kochasz.</li> <li>Zasiłek na ubezpieczenie zdrowotne. Ciesz się spokojem swoim i swojej rodziny.</li> <li>Możliwości nauki i rozwoju.

Dostęp do konferencji, kursów i zajęć językowych.</li> <li>Wsparcie w relokacji. Pomagamy, aby Twoja przeprowadzka była możliwie płynna i bezstresowa. </li> <li>Zajęcia językowe. Naucz się lokalnego języka lub doskonal swoją znajomość języka angielskiego.</li> <li>Napełnij swój dzień.

Zjedz gorący posiłek lub otrzymaj dodatek na lunch w dni robocze.</li> <li>Wsparcie w zakresie zdrowia psychicznego. Aby pomóc Ci poczuć się jak najlepiej, zapewniamy łatwy dostęp do profesjonalnych usług w zakresie zdrowia psychicznego.</li> <li>Korzyści sportowe. Korzystaj ze stypendium na siłowni lub klubu sportowego.</li> <li>Wydarzenia wewnętrzne.

Dołącz do uroczystości ogólnofirmowych i spotkań zespołów.</li> </ul> <p>*Niektóre świadczenia mogą się różnić w zależności od lokalizacji.</p> <p><br><span style="color: rgb(255, 255, 255);">#LI-KP1</span></p><div class="content-conclusion"><p><strong>Jesteśmy pracodawcą zapewniającym równe szanse</strong><br><br>Wiemy, że świetne pomysły mogą pochodzić od każdego i wszędzie. Dlatego dokładamy wszelkich starań, aby stworzyć otwarte i włączające miejsce pracy - takie, które wita każdego bez względu na pochodzenie, tożsamość, religię, wiek, potrzeby w zakresie dostępności czy orientację.</p> <p><em data-stringify-type="italic">Przetwarzamy dane podane w Twoim wniosku o pracę zgodnie z <a href="https://www.jetbrains.com/legal/docs/privacy/privacy-recruitment/">Prywatnością dotyczącą rekrutacji Polityka.</a></em></p></div>Znajdź więcej ofert pracy dla osób anglojęzycznych w Wielkiej Brytanii na Arbeitnow