Badacz AI - Optymalizacja szkoleń

O roli Poszukujemy badacza sztucznej inteligencji zajmującego się optymalizacją szkoleń, który pomoże nam zwiększyć wydajność, stabilność i skalowalność szkoleń z modeli na dużą skalę. Będziesz pracować na styku badań i systemów, opracowując nowatorskie techniki w celu zmniejszenia kosztów szkoleń, przyspieszenia konwergencji i poprawy jakości modeli, jednocześnie sprawdzając pomysły poprzez rygorystyczne eksperymenty i publikacje. Ta rola jest idealna dla osoby, która lubi przekształcać spostrzeżenia badawcze w praktyczne zwycięstwa w szkoleniach i która ma doświadczenie (lub duże ambicje) w publikowaniu badań stosowanych w zakresie uczenia maszynowego.

Nad czym będziesz pracować Projektowanie i ocena technik optymalizacji szkoleń dla dużych modeli (np. algorytmów optymalizacyjnych, harmonogramów, normalizacji, programów nauczania) strategie) Poprawa efektywności i stabilności szkolenia w długich seriach i dużych zbiorach danych. Badaj i wdrażaj metody, takie jak: Innowacje w zakresie optymalizatorów i harmonogramów. Trening o mieszanej precyzji, niskiej precyzji i oszczędzający pamięć.

Redukcja szumów gradientowych, prawa skalowania i analiza konwergencji. Regularyzacja czasu szkolenia i techniki wytrzymałości. Przeprowadzaj eksperymenty na dużą skalę, analizuj wyniki i przekładaj wnioski na praktyczne ulepszenia.

Autor lub współautor artykułów naukowych, raportów technicznych lub postów na blogu. Ściśle współpracuj z infrastrukturą. i zespoły wnioskowania zapewniające przełożenie decyzji szkoleniowych na wyniki w świecie rzeczywistym Czego szukamy Solidne doświadczenie w badaniach nad uczeniem maszynowym, z naciskiem na dynamikę i optymalizację szkolenia Doświadczenie w szkoleniu dużych sieci neuronowych (LLM, modele multimodalne lub modele o dużej sekwencji) Doświadczenie w zakresie publikacji w ośrodkach ML (np. NeurIPS, ICML, ICLR, ACL, EMNLP, COLM, arXiv) lub równoważne, wysokiej jakości otwarte badania Solidne zrozumienie of:Teoria i praktyka optymalizacjiPropagacja wsteczna, przepływ gradientu i stabilność szkoleniaRozproszone i duże partie szkoleń Biegłość w Pythonie i nowoczesnych frameworkach ML (preferowany PyTorch)Umiejętność samodzielnego projektowania eksperymentów i wyciągania wniosków na podstawie danychMiło jest miećDoświadczenie z niestandardowymi architekturami (np. wariantami RNN, modelami o długim kontekście, systemami hybrydowymi)Doświadczenie w szkoleniu optymalizacyjnym na procesorach graficznych na dużą skalę (FSDP, ZeRO, niestandardowe jądra) Wkład w systemy uczenia maszynowego typu open source lub bazy kodów badawczych Komfort działania w szybko zmieniających się, niejednoznacznych środowiskach startowych Dlaczego ta rola Prawdziwy wpływ na decyzje dotyczące szkolenia w zakresie modelu podstawowego Swoboda prowadzenia i publikowania nowatorskich badań Bezpośredni dostęp do eksperymentów na dużą skalę i rzeczywistych ograniczeń produkcyjnych Mały, starszy zespół, który ceni głębokie myślenie i przemyślaną wysyłkę Oryginalnie opublikowane w Himalajach