Starszy inżynier głębokiego uczenia się, ocena dokładności

Poszukujemy starszych inżynierów, którzy będą pionierami nowych metodologii dokładnej oceny wydajności i możliwości przełomowych modeli głębokiego uczenia się, w tym LLM, RAG, agentów i modeli wizyjnych. Będziesz współpracować w całej organizacji, aby ożywić najnowsze flagowe modele naszej społeczności i partnerów. Ta rola oferuje wyjątkową możliwość kształtowania przyszłości sztucznej inteligencji w szybko rozwijającej się firmie stojącej na czele rewolucji sztucznej inteligencji.

Dołącz do naszego zespołu światowej klasy inżynierów oprogramowania i partnerów, aby dostarczać najbardziej zaawansowane modele z błyskawicznym wnioskowaniem. Będziesz pracować na najpotężniejszych klastrach GPU klasy korporacyjnej, zdolnych obsłużyć setki PetaFLOPS i zyskać wcześniejszy dostęp do niepublikowanego jeszcze sprzętu, co będzie miało bezpośredni wpływ na plan działania NVIDIA i szerszy krajobraz sztucznej inteligencji! Czym będziesz się zajmował: - Projektuj i buduj środowiska ewaluacyjne umożliwiające podejmowanie decyzji dla pionierskich modeli firmy NVIDIA, obejmujące systemy wnioskowania, multimodalne, długokontekstowe i agentyczne, generujące możliwe do skontrolowania sygnały dokładności, które uwzględniają każdą większą premierę modelu. - Badania i rozwój nowatorskich metod oceny dla pojawiających się rodzin modeli i dziedzin możliwości (liczby o niskiej precyzji, wieloobrotowe zadania agentów, generowanie kodu), w przypadku których ustalone punkty odniesienia jeszcze nie istnieją lub nie ulegają uogólnieniu. - Twórz i obsługuj infrastrukturę i potoki oceny, w tym środowiska porównawcze, systemy CI regresji i narzędzia do analizy statystycznej, wykorzystywane przez zespoły zajmujące się modelami, produktami i badaniami stosowanymi w całej firmie NVIDIA. - Współpracuj z zespołami zajmującymi się badaniami modeli, szkoleniami i zespołami klientów, aby przełożyć sygnały oceny na konkretne decyzje: wydanie go/nie, kierunek iteracji szkolenia i konkurencyjne pozycjonowanie w stosunku do zewnętrznych modeli granicznych.

Co musimy zobaczyć: - licencjat, magisterium lub doktorat z informatyki, uczenia maszynowego, statystyki lub pokrewnej dziedziny - ponad 6 lat praktycznego doświadczenia w LLM, projektowaniu i przeprowadzaniu ocen dla dużych modeli językowych lub multimodalnych systemów AI, w tym doświadczenie z ustawieniami agentycznymi, wieloobrotowymi lub wymagającymi dużego wnioskowania. - Solidne podstawy statystyczne: projekt eksperymentalny, testowanie istotności, analiza regresji i umiejętność odróżniania sygnału od szumu w wynikach testów porównawczych w dużej skali. - Udowodnione doświadczenie w budowaniu infrastruktury ewaluacyjnej (potoki, zestawy testów porównawczych, powtarzalne systemy CI), a nie tylko wykorzystujące istniejące testy porównawcze. - Jasny i precyzyjny komunikator, który potrafi przełożyć wyniki oceny ilościowej na decyzje podejmowane przez badaczy, zespoły produktowe i kierownictwo wyższego szczebla. Sposoby wyróżnienia się z tłumu: - Głęboka znajomość frameworków ewaluacyjnych typu open source - Doświadczenie w projektowaniu ewaluacji dla systemów agentycznych: użycie narzędzi, rozumowanie wieloobrotowe, benchmarki oparte na środowisku (SWE-bench, GAIA, w stylu WebArena) lub interaktywne ustawienia ewaluacji. - Doświadczenie w publikowaniu lub wnoszeniu wkładu w badania ewaluacyjne, nowe projekty wzorcowe, artykuły metodologiczne lub analizy odtwarzalności, które ukształtowały sposób, w jaki dziedzina mierzy możliwości modelu. - Doświadczenie w pomiarze dokładności modelu w ramach wnioskowania o niskiej precyzji (FP8, INT4, ustawienia uwzględniające kwantyzację) i zrozumienie, w jaki sposób kalibracja i rzadkość oddziałują na wyniki testów porównawczych. - Komfort obsługi dużych obciążeń w klastrach HPC/Slum, w tym zarządzanie powtarzalnymi eksperymentami (MLflow, W&B) i optymalizacja kosztów obliczeń w setkach przebiegów porównawczych. NVIDIA angażuje się w wspieranie zróżnicowanego środowiska pracy i jest dumna, że ​​jest pracodawcą zapewniającym równe szanse.

Ponieważ bardzo cenimy różnorodność wśród naszych obecnych i przyszłych pracowników, nie stosujemy dyskryminacji (w tym podczas zatrudniania i awansowania) ze względu na rasę, religię, kolor skóry, pochodzenie narodowe, płeć, ekspresję płciową, orientację seksualną, wiek, stan cywilny, status weterana, niepełnosprawność lub jakąkolwiek inną cechę chronioną przez prawo. Twoje wynagrodzenie podstawowe zostanie ustalone na podstawie Twojej lokalizacji, doświadczenia i wynagrodzeń pracowników na podobnych stanowiskach. Dla Polski: Podstawowy przedział wynagrodzenia wynosi 375 000 zł - 650 000 zł.

Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/senior-deep-learning-engineer-accuracy-evaluation-nvidia