Badacz AI - Optymalizacja szkoleń

Informacje o roli Poszukujemy badacza sztucznej inteligencji zajmującego się optymalizacją szkoleń, który pomoże nam zwiększyć wydajność, stabilność i skalowalność szkoleń z modeli na dużą skalę. Będziesz pracować na styku badań i systemów, opracowując nowatorskie techniki w celu zmniejszenia kosztów szkolenia, przyspieszenia konwergencji i poprawy jakości modeli, jednocześnie sprawdzając pomysły poprzez rygorystyczne eksperymenty i publikacje. Ta rola jest idealna dla osoby, która lubi przekształcać spostrzeżenia badawcze w zwycięstwa w praktycznych szkoleniach i która ma doświadczenie (lub duże ambicje) w publikowaniu stosowanych badań w zakresie uczenia maszynowego.

Nad czym będziesz pracować - Projektowanie i ewaluacja technik optymalizacji szkolenia dla dużych modeli (np. algorytmy optymalizacyjne, harmonogramy, normalizacja, strategie programu nauczania) - Poprawa efektywności i stabilności szkolenia w długich seriach i dużych zbiorach danych - Zbadanie i wdrożenie metod takich jak: - Innowacje w optymalizatorach i planistach - Trening o mieszanej precyzji, niskiej precyzji i oszczędzający pamięć - Redukcja szumu gradientu, prawa skalowania i analiza zbieżności - Regularyzacja czasu szkolenia i techniki odporności - Przeprowadzanie eksperymentów na dużą skalę, analizować wyniki i przekładać wnioski na praktyczne ulepszenia - Autor lub współautor artykułów naukowych, raportów technicznych lub wpisów na blogu - Ścisła współpraca z zespołami zajmującymi się infrastrukturą i wnioskowaniem, aby mieć pewność, że decyzje szkoleniowe przełożą się na wyniki w świecie rzeczywistym Czego szukamy - Duże doświadczenie w badaniach nad uczeniem maszynowym, z naciskiem na dynamikę i optymalizację szkolenia - Doświadczenie w szkoleniu dużych sieci neuronowych (LLM, modele multimodalne lub modele o dużej sekwencji) - Doświadczenie w publikacjach w obiektach ML (np. NeurIPS, ICML, ICLR, ACL, EMNLP, COLM, arXiv) lub równoważne wysokiej jakości otwarte badania - Solidne zrozumienie: - Teorii i praktyki optymalizacji - Propagacji wstecznej, przepływu gradientów i stabilności szkolenia - Szkolenia rozproszone i duże - Biegłość w Pythonie i nowoczesnych frameworkach ML (preferowany PyTorch) - Umiejętność samodzielnego projektowania eksperymentów i wnioskowania na podstawie danych Miło mieć - Doświadczenie z niestandardowymi architekturami (np. wariantami RNN, modelami o długim kontekście, hybrydami) systemy) - Doświadczenie w szkoleniu optymalizującym na procesorach graficznych na dużą skalę (FSDP, ZeRO, niestandardowe jądra) - Wkład w systemy uczenia maszynowego typu open source lub bazy kodów badawczych - Komfort pracy w szybko zmieniających się, niejednoznacznych środowiskach startupowych Dlaczego ta rola - Prawdziwy wpływ na decyzje dotyczące szkolenia w zakresie podstawowych modeli - Swoboda prowadzenia i publikowania nowatorskich badań - Bezpośredni dostęp do eksperymentów na dużą skalę i rzeczywistych ograniczeń produkcyjnych - Mały zespół starszego szczebla, który ceni głębokie myślenie i przemyślaną wysyłkę Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/ai-researcher-training-optimization-featherless-ai