Inżynier oprogramowania, benchmarking

Epoch AI poszukuje inżyniera oprogramowania, który pomoże nam ocenić pionierskie modele sztucznej inteligencji, umożliwiając badaczom, programistom i decydentom lepsze zrozumienie rozwoju sztucznej inteligencji. Stanowisko będzie polegało na prowadzeniu i utrzymywaniu naszej infrastruktury benchmarkingowej, a także przyczynianiu się do rozwoju zupełnie nowych benchmarków. Informacje o stanowisku Prosimy nie dołączać listu motywacyjnego, zdjęcia ani zdjęcia głowy, ani żadnych danych osobowych, które nie są istotne dla stanowiska, na które aplikujesz (w tym stanu cywilnego, wieku, cech tożsamości itp.).

Poszukujemy inżyniera oprogramowania, który pomoże nam rozwijać i rozwijać nasze centrum testów porównawczych AI. Będziesz ściśle współpracować z resztą zespołu ds. testów porównawczych, aby przeprowadzać i utrzymywać testy porównawcze, integrować się z dostawcami sztucznej inteligencji, konfigurować istniejące testy porównawcze do działania w naszej infrastrukturze, pomagać w projektowaniu i opracowywaniu zupełnie nowych testów porównawczych oraz ułatwiać wewnętrzne eksperymenty. Ta rola jest w pełni zdalna, a my jesteśmy w stanie zatrudniać w wielu krajach.

Zapraszamy do aplikowania wszystkich zainteresowanych, niezależnie od pochodzenia, doświadczenia i referencji. Aplikacje się toczą. Kluczowe obowiązki - Wdrażanie testów porównawczych: Wdrażanie testów porównawczych AI w naszej infrastrukturze ewaluacyjnej (głównie przy użyciu biblioteki Inspect), aby rozszerzyć zestaw śledzonych przez nas możliwości.

Rozwijaj nasz istniejący zestaw testów porównawczych, abyśmy mogli szybko i bezboleśnie oceniać nowe wersje modeli. - Opracuj nowe standardy: Weź udział w opracowaniu zupełnie nowych standardów. Będziesz miał możliwość przedstawienia i prototypowania własnych pomysłów, a także pomagania przy istniejących projektach. - Współpraca: Ściśle współpracuj z badaczami, analitykami i innymi inżynierami w Epoch AI, aby zapewnić, że dane i wyniki oceny są dokładne, wnikliwe i skutecznie zintegrowane z naszymi produktami badawczymi i publikacjami. Czego szukamy - Solidne umiejętności inżynieryjne: Silne doświadczenie w inżynierii oprogramowania z ponad dwuletnim doświadczeniem zawodowym w budowaniu i utrzymywaniu złożonych systemów.

Oczekuje się, że będziesz regularnie tworzyć wysokiej jakości, solidny i łatwy w utrzymaniu kod oraz będziesz mógł swobodnie zagłębiać się w istniejące bazy kodu i infrastrukturę. - Pomysły i kreatywność: kandydaci powinni być w stanie generować własne pomysły na nowe punkty odniesienia, eksperymenty, nowatorskie rzeczy do wypróbowania i inne projekty. - Nastawiony na misję: motywuje Cię misja Epoch AI polegająca na zapewnianiu rygorystycznego, niezależnego wglądu w kluczowe trendy w sztucznej inteligencji. Chcesz przeprowadzać publiczne, wiarygodne oceny możliwości sztucznej inteligencji na podstawie trudnych testów porównawczych, umożliwiając badaczom, decydentom i szerszemu społeczeństwu podejmowanie świadomych decyzji dotyczących sztucznej inteligencji. Znajomość domeny AI lub doświadczenie w zakresie cyberbezpieczeństwa są mocnymi zaletami, ale nie są wymagane.

(Obejmuje to praktyczne doświadczenie w przeprowadzaniu ocen LLM, znajomość ram oceny, takich jak Inspect, a także solidne zrozumienie bieżących trendów w zakresie sztucznej inteligencji.) Solidne umiejętności inżynieryjne i umiejętność szybkiego uczenia się są ważniejsze niż bezpośrednie doświadczenie w tych obszarach. Wynagrodzenie i świadczenia - Roczne wynagrodzenie od 125 000 do 200 000 USD. - Wynagrodzenia nie są ograniczone do USD, a umowy i płatności są zwykle dokonywane w walutach lokalnych. Przeliczenia opierają się na średnich kursach wymiany z jednego roku. - W pełni zdalne środowisko, obejmujące elastyczne godziny pracy i harmonogramy dla większości stanowisk. - Konkurencyjny globalny program świadczeń, obejmujący kompleksowy program ubezpieczenia zdrowotnego - w tym dodatkowe świadczenia specyficzne dla danego kraju, jeśli są dostępne i wymagane przez lokalne prawo - oraz ubezpieczenie na życie i plan emerytalny, jeśli ma to zastosowanie w Twoim kraju. - Obfity płatny czas wolny (PTO), w tym brak określonego limitu PTO z 30 dniami ochrony w roku, nieograniczonym urlopem osobistym i chorobowym oraz do 6 miesięcy (połączenie płatnego i bezpłatnego) urlopu rodzicielskiego dla personelu stałego. - Elastyczną i hojną politykę wydatków, którą możesz przeznaczyć na sprzęt i szeroką gamę narzędzi zwiększających produktywność lub możliwości uczenia się/rozwoju, które mogą okazać się wartościowe, pod warunkiem przestrzegania przepisów i zgody przełożonego. - Płatne wyjazdy służbowe, w tym 3 rekolekcje dla pracowników rocznie i odpowiednie konferencje. - Dostęp do naszych bardzo dobrze wyposażonych biur w Berkeley w Kalifornii, w tym płatnych posiłków, przekąsek, siłowni i nie tylko.

Wszyscy pracownicy, niezależnie od miejsca zamieszkania, mają dostęp do biura przez co najmniej 20 dni w roku. Informacje dodatkowe Chociaż przyjmujemy kandydatów ze wszystkich stref czasowych, preferujemy kandydatów, którzy mogą pokrywać się z UTC - 8 (czas pacyficzny) i UTC (średni czas Greenwich), ponieważ większość naszych pracowników pracuje w tym zakresie stref czasowych. Preferujemy także kandydatów, którzy mogą podróżować: organizujemy trzy rekolekcje w roku, podczas których nagrywamy odcinki podcastów i inne działania komunikacyjne.

Prosimy o przesłanie wszystkich materiałów aplikacyjnych w języku angielskim i pamiętać, że wymagamy profesjonalnej znajomości języka angielskiego. Epoch angażuje się w budowanie włączającej, sprawiedliwej i wspierającej społeczności, abyś mógł prosperować i wykonywać swoją najlepszą pracę. Zależy nam na znalezieniu najlepszych ludzi do naszego zespołu, dlatego nie wahaj się aplikować na stanowisko niezależnie od wieku, tożsamości/ekspresji płciowej, tożsamości politycznej, osobistych preferencji, zdolności fizycznych, statusu weterana, różnorodności neurologicznej lub innych czynników.

Jeśli masz jakiekolwiek pytania dotyczące tej roli, prośby o ułatwienia dostępu lub jeśli chcesz poprosić o przedłużenie terminu składania wniosków, wyślij e-mail na adrescareers@epoch.ai. Nie będziemy jednak rozpatrywać wniosków przesłanych na ten adres e-mail; prosimy o przesłanie aplikacji poprzez link na tej stronie. O Epoch AI Epoch AI to instytut badawczy, który bada trendy w uczeniu maszynowym i ekonomiczne konsekwencje sztucznej inteligencji.

Naszą misją jest opracowanie kompleksowej, publicznie dostępnej bazy wiedzy na temat sztucznej inteligencji, która będzie informować decydentów, liderów branży i całe społeczeństwo. Staramy się zapewnić zarówno rygorystyczność, jak i dostępność naszej pracy, czego przykładem są niektóre z naszych najbardziej udanych projektów, w tym nasza baza danych modeli AI i nasz pulpit nawigacyjny trendów AI. Nasze badania obejmują prace nad trendami obliczeniowymi (IJCN 2022), niedoborem danych (ICML 2024) i postępem algorytmicznym (NeurIPS 2024).

Więcej o naszej pracy i misji możesz przeczytać na naszej stronie internetowej oraz w tym profilu Time. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/software-engineer-benchmarking-epoch-ai