Badacz AI - optymalizacja wnioskowania

Opis roli Poszukujemy badacza sztucznej inteligencji z głębokim doświadczeniem w optymalizacji wnioskowania do projektowania, oceny i wdrażania wysokowydajnych systemów wnioskowania dla wielkoskalowych modeli uczenia maszynowego. Będziesz pracować na styku architektury modelu, inżynierii systemów i optymalizacji uwzględniającej sprzęt, poprawiając opóźnienia, przepustowość i efektywność kosztową w rzeczywistych środowiskach produkcyjnych. Kluczowe obowiązki - Badania i rozwój technik optymalizacji wydajności wnioskowania dla dużych sieci neuronowych. - Popraw opóźnienia, przepustowość, wydajność pamięci i koszt wnioskowania. - Projektuj i oceniaj optymalizacje na poziomie modelu (kwantyzacja, przycinanie, optymalizacja pamięci podręcznej KV, uproszczenia uwzględniające architekturę). - Wdrażaj optymalizacje na poziomie systemu (dynamiczne grupowanie, fuzja jądra, wnioskowanie dotyczące wielu procesorów graficznych, optymalizacja wstępnego wypełniania i dekodowania). - Testowanie obciążeń wnioskowania w ramach akceleratorów sprzętowych. - Współpraca z zespołami inżynieryjnymi w celu wdrożenia zoptymalizowanych potoków wnioskowania. - Przekładaj spostrzeżenia badawcze na ulepszenia gotowe do produkcji.

Wymagane kwalifikacje - silne doświadczenie w zakresie uczenia maszynowego, głębokiego uczenia się lub systemów sztucznej inteligencji. - Praktyczne doświadczenie w optymalizacji wnioskowania dla modeli wielkoskalowych. - Biegłość w Pythonie i nowoczesnych frameworkach ML (np. PyTorch). - Doświadczenie z narzędziami do wnioskowania (np. Triton, TensorRT, vLLM, ONNX Runtime). - Umiejętność projektowania eksperymentów i jasnego komunikowania wyników.

Preferowane / mile widziane kwalifikacje - doświadczenie we wdrażaniu systemów wnioskowania produkcyjnego na dużą skalę. - Znajomość wnioskowania rozproszonego i wielu procesorów graficznych. - Doświadczenie w tworzeniu systemów uczenia maszynowego typu open source lub platform wnioskowania. - Autorstwo lub współautorstwo recenzowanych artykułów naukowych z zakresu uczenia maszynowego, systemów lub dziedzin pokrewnych. - Doświadczenie w pracy blisko sprzętu (CUDA, ROCm, narzędzia do profilowania). Jak wygląda sukces - wymierne korzyści w zakresie opóźnień, przepustowości i efektywności kosztowej. - Zoptymalizowane systemy wnioskowania działające niezawodnie w środowisku produkcyjnym. - Pomysły badawcze zostały pomyślnie przełożone na możliwe do wdrożenia systemy. - Jasne wzorce i dokumentacja, które wpływają na decyzje dotyczące produktu. Odpowiednie obszary badawcze (Bonus) - Optymalizacja wnioskowania w długim kontekście - Dekodowanie spekulatywne - Kompresja i stronicowanie pamięci podręcznej KV - Wydajne strategie dekodowania - Projektowanie wnioskowania uwzględniającego sprzęt