Analityk danych - oceny agentów i jakość

O roliTa firma tworzy asystenta wykonawczego AI, który obsługuje pocztę e-mail, kalendarze, spotkania i oprogramowanie biznesowe. Jako analityk danych - oceny i jakość agentów będziesz właścicielem systemu pomiarowego, który określi, czy asystent rzeczywiście poprawia się w niejednoznacznych, rzeczywistych środowiskach. Będziesz współpracować bezpośrednio z inżynierami AI Agent Capabilities, aby generować dowody, które kształtują decyzje dotyczące produktów, wybory modeli i jakość wypuszczania.

Jest to rola o dużej wiedzy technicznej, wymagająca dużej wiedzy technicznej, na styku stosowanej nauki o danych, oceny LLM i jakości produktu - idealna dla kogoś, kto lubi zamieniać trudne, otwarte pytania dotyczące jakości w rygorystyczne, praktyczne odpowiedzi. Co zrobiszZaprojektuj i utrzymuj zautomatyzowane potoki oceny, które mierzą jakość agenta na powierzchni produktu. Przełóż możliwości agenta na jawne kryteria pozytywnego, częściowego zaliczenia i niepowodzenia dla złożonych, wieloetapowych zadań.Twórz reprezentatywne złote zbiory danych i zestawy regresji obejmujące rzeczywiste przepływy pracy, przypadki brzegowe i scenariusze kontradyktoryjne.Zdefiniuj znaczące metryki - powodzenie zadania, dokładność wyboru narzędzi, przestrzeganie instrukcji, spójność faktów, opóźnienia, koszty i niezawodność.Projektuj deterministyczne i oparte na modelach równiarki, kalibruj systemy LLM jako sędzia i śledź zgodność z oceniającymi.Porównuj modele, podpowiedzi i implementacje za pomocą rygorystycznych eksperymentów offline i dowody produkcyjne.Analizuj ślady i wyniki produkcji, aby zidentyfikować pierwotne przyczyny i zbudować praktyczną taksonomię błędów.Przekształcaj awarie produkcyjne w przypadki regresji i stale uzupełniaj luki w pokryciu ocen.Twórz dashboardy i sygnały jakości publikowania, które sprawiają, że wyniki mogą być przydatne dla inżynierów, produktów i kierownictwa.Rekomenduj ulepszenia inżynierom ds. zdolności i sprawdzaj, czy poprawki podnoszą jakość bez niedopuszczalnych regresji.Czego szukamyWymagane ponad 4 lata na stanowiskach związanych z nauką o danych stosowanych lub uczeniem maszynowym, ze ścieżką doświadczenie w tworzeniu i dostarczaniu systemów oceny, zautomatyzowanych potoków danych lub produkcyjnej infrastruktury ML.Doświadczenie w projektowaniu i wdrażaniu zautomatyzowanych ram oceny, kryteriów sukcesu i zestawów regresji dla złożonych systemów AI/ML lub agentycznych.

Biegłość na poziomie produkcyjnym w języku Python i SQL, z doświadczeniem w budowaniu i utrzymywaniu zautomatyzowanych potoków analitycznych na dużych zbiorach danych.Zastosowane umiejętności statystyczne i eksperymentalne: testowanie istotności, analiza wariancji i próbkowanie w celu oceny niedeterministycznych systemów AI/ML.Doświadczenie w opracowywaniu oznakowanych zbiorów danych, wytyczne dotyczące adnotacji i procesy kontroli jakości podstawowych danych w dynamicznych środowiskach produktów. Solidne zrozumienie zachowań agentów LLM: użycie narzędzi, wieloetapowe wykonywanie, pobieranie i praktyczne tryby awarii. Wykazana umiejętność analizowania śladów modelu, wywołań narzędzi i wyników w celu identyfikowania głównych przyczyn w modelu, podpowiedziach, narzędziach i warstwach danych.

Doświadczenie w korzystaniu z telemetrii produkcyjnej i danych dotyczących obserwowalności w celu monitorowania jakości systemu, tworzenia pulpitów nawigacyjnych i analizowania wyników użytkowników w świecie rzeczywistym. Mile widziana Masz praktyczne doświadczenie z systemami LLM jako sędzia, ocenianiem opartym na modelach lub platformami testów porównawczych AI. Doświadczenie w transporcie lub obsłudze produktów ML, systemów agentowych lub oprogramowania konsumenckiego skierowanego do klienta.

Doświadczenie w przeglądaniu i dostosowywaniu publicznych testów porównawczych lub metodologii oceny akademickiej do rzeczywistych problemów z produktami. Co sprawia, że świetnie pasujesz. Jesteś zorientowany na produkt - priorytetowo traktujesz wskaźniki powiązane z rzeczywistymi wynikami użytkowników, a nie tylko wygodnymi pomiarami.

Zapewniasz niejednoznaczną jakość pytania, od projektu ewaluacyjnego aż po decyzje dotyczące produktu. Piszesz łatwy w utrzymaniu kod o jakości produkcyjnej - a nie tylko doraźne notatniki. Naturalnie współpracujesz z inżynierami i swobodnie zagłębiasz się w ślady i elementy wewnętrzne systemu.

LokalizacjaTa rola odbywa się na miejscu. Sponsoring wizowy nie jest dostępny dla tego stanowiska. Wynagrodzenie i świadczeniaW przypadku tej oferty nie podano szczegółów dotyczących wynagrodzenia.

Na tym etapie rozwoju firmy oczekiwany jest konkurencyjny pakiet współmierny do doświadczenia. Znajdź więcej ofert pracy ze znajomością języka angielskiego w Wielkiej Brytanii na Arbeitnow