Badacz AI - optymalizacja wnioskowania

Przegląd ról Poszukujemy badacza sztucznej inteligencji z głębokim doświadczeniem w optymalizacji wnioskowania do projektowania, oceny i wdrażania wysokowydajnych systemów wnioskowania dla wielkoskalowych modeli uczenia maszynowego. Będziesz pracować na styku architektury modelu, inżynierii systemów i optymalizacji uwzględniającej sprzęt, poprawiając opóźnienia, przepustowość i efektywność kosztową w rzeczywistych środowiskach produkcyjnych. Kluczowe obowiązki Badania i opracowywanie technik optymalizacji wydajności wnioskowania dla dużych sieci neuronowych.

Popraw opóźnienia, przepustowość, wydajność pamięci i koszt wnioskowania. Projektuj i oceniaj optymalizacje na poziomie modelu (kwantyzacja, przycinanie, optymalizacja pamięci podręcznej KV, uwzględniająca architekturę uproszczenia).Wdrażaj optymalizacje na poziomie systemów (dynamiczne przetwarzanie wsadowe, fuzja jądra, wnioskowanie z wieloma procesorami graficznymi, optymalizacja wstępnego wypełniania i dekodowania).Porównaj obciążenia wnioskowania w różnych akceleratorach sprzętowych.Współpracuj z zespołami inżynierskimi w celu wdrożenia zoptymalizowanych potoków wnioskowania.Przekształć spostrzeżenia badawcze w ulepszenia gotowe do produkcji.Wymagane kwalifikacjeDuże doświadczenie w uczeniu maszynowym, głębokim uczeniu się lub systemach AI.Praktyczne doświadczenie w optymalizacji wnioskowania na dużą skalę modele. Biegłość w języku Python i nowoczesnych frameworkach ML (np.

PyTorch). Doświadczenie w zakresie narzędzi wnioskowania (np. Triton, TensorRT, vLLM, ONNX Runtime).

Umiejętność projektowania eksperymentów i jasnego komunikowania wyników. Preferowane/miłe kwalifikacje Doświadczenie we wdrażaniu produkcyjnych systemów wnioskowania na dużą skalę. Znajomość wnioskowania rozproszonego i obejmującego wiele procesorów graficznych.

Doświadczenie w tworzeniu oprogramowania typu open source ML lub frameworki wnioskowania.Autor lub współautor recenzowanych artykułów naukowych z zakresu uczenia maszynowego, systemów lub dziedzin pokrewnych.Doświadczenie w pracy blisko sprzętu (CUDA, ROCm, narzędzia do profilowania).Jak wygląda sukcesWymierne zyski w zakresie opóźnień, przepustowości i efektywności kosztowej.Zoptymalizowane systemy wnioskowania działające niezawodnie w środowisku produkcyjnym.Pomysły badawcze z powodzeniem przełożyły się na systemy możliwe do wdrożenia.Przejrzyste testy porównawcze i dokumentacja, które wpływają na decyzje dotyczące produktów.Istotne obszary badawcze (Bonus) Optymalizacja wnioskowania w długim kontekście Dekodowanie spekulatywne Kompresja i stronicowanie pamięci podręcznej KV Wydajne strategie dekodowania Projektowanie wnioskowania uwzględniające sprzęt Oryginalnie opublikowano w Himalajach