Research Engineer, Evals - Member of Technical Staff

O nas Żyjemy w czasach kambryjskiej eksplozji inteligencji: nowe modele i nowe chipy, każdy wyspecjalizowany do innych zadań, pojawiają się jednocześnie. Rezultatem jest nowa era sztucznej inteligencji, charakteryzująca się radykalną heterogenicznością. Callosum to firma zajmująca się inteligentnymi systemami.

Wierzymy, że następnej generacji sztucznej inteligencji nie będzie definiować żaden pojedynczy model czy chip, ale inteligentne systemy, w których sprzęt i inteligencja będą wspólnie ewoluować. Budujemy infrastrukturę, która ujednolica heterogeniczne obliczenia w całym stosie. Otwiera to nową oś inteligencji skalowania: dynamiczny system, który dostosowuje się do rzeczywistych potrzeb każdego obciążenia, niezależnie od tego, czy jest to szybkość, koszt, precyzja czy jakakolwiek inna jednostka.

Ostatnia era skalowana była w oparciu o inny zakład: jeden większy model, więcej tego samego chipa, więcej danych. Zakład ten przekracza granice strukturalne. Modele pionierskie oferują niezwykłe możliwości przy niezrównoważonych kosztach, do obsługi których dzisiejsza monolityczna infrastruktura nigdy nie została zaprojektowana.

Naszą podstawową zasadą jest to, że inteligencja pochodzi z wielu wyspecjalizowanych systemów współpracujących ze sobą, a nie z żadnego pojedynczego komponentu. Budujemy warstwę orkiestracji oprogramowania, która łączy modele, przepływy pracy i krzem w jeden system, dostarczając wnioskowanie dostosowane do każdego obciążenia i wykazując skoki wielkości o rząd wielkości w zakresie możliwości i kosztów. Ponieważ nasze oprogramowanie obejmuje cały stos, nasz zespół inżynierów współpracuje bezpośrednio z heterogenicznymi akceleratorami i pionierskimi krzemami, w tym Cerebras, d-Matrix, Intel, NVIDIA, AMD, Normal Computing, Tenstorrent, GreatSky i Mixx.

Nie poprzestajemy na dzisiejszych chipach: każda nowa generacja krzemu odblokowuje algorytmy, które wcześniej nie mogły działać, i za każdym razem zamierzamy być w tym pierwsi. Jeśli dobrze to zrobimy, będzie on należał do wszystkich, którzy na nim bazują, a nie do żadnego pojedynczego dostawcy. W naszej ostatniej rundzie finansowania zebraliśmy 100 mln dolarów pod przewodnictwem Atomico przy udziale firm Plural, DCVC i pierwszej inwestycji brytyjskiego funduszu Sovereign AI Fund.

Dzięki temu budujemy infrastrukturę na następną erę inteligencji. Jesteśmy inżynierami i naukowcami z Londynu, pracującymi na całej głębokości stosu. Jesteśmy ciekawi, uczciwi intelektualnie i budujemy to, czego jeszcze nie ma.

Jeśli odnajdujesz się na niezbadanym terytorium i czerpiesz energię ze skali wyzwania, z przyjemnością usłyszymy od Ciebie. Informacje o programie RoleCallosum wierzy, że ulepszenia o rząd wielkości w systemach sztucznej inteligencji zostaną osiągnięte dzięki orkiestracji uwzględniającej aplikacje w heterogenicznych modelach i sprzęcie. Nasz zespół opracowuje naukę, która to umożliwia: opartą na zasadach, opartą na dowodach metodę automatycznego budowania systemów agentowych na niespotykaną dotychczas skalę.

Zespół zajmuje się tymi problemami na dwóch frontach. Tworzymy narzędzia do analizy i oceny systemów agentowych na tyle rygorystycznie, aby stwierdzić, gdzie i dlaczego występują błędy, a następnie wykorzystujemy zdobytą wiedzę do projektowania lepszych. Nie tylko budujemy lepszą uprząż; najlepsza uprząż będzie się zmieniać z każdym nowym modelem, zadaniem i generacją krzemu.

Budujemy warstwę pod nią, tak aby decyzje projektowe wynikały z dowodów, a nie ze gustu. Ta rola posiada pierwszy z tych frontów. Dzisiejsza ocena agentowa nie spełnia swojego zadania: testy się nasycają, wyniki zmieniają się z powodów niezwiązanych z możliwościami, wyniki nie są odtwarzane w różnych seriach, a pojedyncza liczba nie mówi nic o tym, który krok poszedł źle.

Każda decyzja projektowa podejmowana przez resztę zespołu opiera się na jakości tego instrumentu. Zbudujesz miary, których konstrukcji będziemy w stanie bronić, których wariancje rozumiemy i które lokalizują awarię, a nie tylko ją oceniają. Mandat jest szeroki, a większość zawartych w nim pytań wciąż pozostaje bez odpowiedzi.

Będziesz mieć dużą swobodę wyboru problemów, a Twoje wyniki będą miały wpływ na to, co firma zbuduje w przyszłości. Co zbudujesz Zaprojektuj testy porównawcze i zestawy ewaluacyjne dla zachowań agentycznych - wieloobrotowych, długoterminowych, z użyciem narzędzi, działających w środowiskach niestacjonarnych - w tym właściwości, które są trudne do oceny, takie jak niezawodność i odzyskiwanie po błędach. Zbuduj metodologię, a także okablowanie: moc statystyczną, wariancję między seriami, zanieczyszczenie i ważność konstrukcji.

Bądź niezależnym głosem w sprawie jakości naszych własnych wyników. Połącz nasze oceny z zespołem czerwonych, zaprojektuj kontrole poprawności, które wyłapią pochlebną liczbę, zanim zostanie podjęta decyzja. Zamień surowe ślady w ustrukturyzowany dowód.

Taksonomie błędów, sygnatury behawioralne i przypisanie wyniku decyzji, która je spowodowała. Przejdź od pomiaru do przewidywania: wnioskowaj, co system może zrobić na podstawie częściowych dowodów i oszacuj wydajność zadania przed jego uruchomieniem. Opiera się to na zdefiniowaniu, w czym każdy model jest naprawdę dobry, jakie testy porównawcze naprawdę mierzą i jakiego profilu możliwości wymaga rzeczywiste złożone zadanie.

Zbuduj infrastrukturę oceny i obserwowalności jako trwałe instrumenty, na których pracuje cała firma. Co przyniesiesz. Dowody, że możesz samodzielnie przeprowadzić badania: zadajesz otwarte pytanie, projektujesz eksperymenty, które je rozstrzygają, i przynoszą wyniki, na których mogą bazować inni ludzie.

Głębokie praktyczne doświadczenie z LLM w warunkach agentowych: zadania wieloetapowe, użycie narzędzi, długie horyzonty i specyficzne sposoby wszystkich działań. z tego pękaDyscyplina statystyczna. Hipotezy postawione z góry, niepewność określona ilościowo i przeprowadzane porównania, które wyodrębniają jedną zmienną. Silna inżynieria.

Piszesz kod, który uruchamia Twoje eksperymenty i czujesz się komfortowo pracując w dużej, współdzielonej bazie kodu. Silne umiejętności komunikacyjne. Potrafisz zamienić wyniki badań w jasne, priorytetowe wytyczne dla zespołów, które będą na nich działać, i napisać je dla szerszej publiczności.

Co Cię wyróżnia? Oceny lub punkty odniesienia, które zbudowałeś, z których korzystały inne osoby. Szerokie szkolenie w zakresie metod empirycznych, potencjalnie z dziedziny spoza uczenia maszynowego - projektowanie eksperymentów, wnioskowanie bayesowskie, wybór modelu, testowanie istotności, kwantyfikacja niepewności.

Doświadczenie w zakresie automatycznego oceniania i oceniania na podstawie modeli oraz rygorystycznego opisu trybów niepowodzenia i zgodności z człowiekiem. oceniającyOpublikowane osiągnięcia w odpowiedniej dziedzinie - prace pierwszego autora w miejscach takich jak NeurIPS, ICML, ICLR lub ACL, w tym zbiory danych i ścieżki porównawczeCo oferujemyKonkurencyjne wynagrodzenie zależne od umiejętności i doświadczeniaPrywatna opieka zdrowotnaOferujemy sponsoring Visa i korzyści z relokacji, aby zatrudniać najlepszych na świeciePracujemy osobiście w naszym biurze w Londynie. Będziesz mieć narzędzia, przestrzeń i konfigurację, aby wykonywać swoją najlepszą pracę, a jeśli masz konkretne potrzeby, po prostu nam powiedz. Zależy nam na budowaniu włączającego miejsca pracy, w którym każdy czuje się mile widziany i wierzymy w równe szanse dla wszystkich.

Wynagrodzenie: 101 tys. GBP - 192 tys. GBP • Oferty kapitału • 101 tys.

GBP - 192 tys. GBP • Oferty EquityFind Jobs w Wielkiej Brytanii w serwisie Arbeitnow