Członek personelu technicznego, North Modeling (Evals)

Kim jesteśmy? Cohere jest wiodącą firmą zajmującą się sztuczną inteligencją dla przedsiębiorstw, stawiającą na bezpieczeństwo. Budujemy najnowocześniejsze podstawowe modele AI i kompleksowe produkty zaprojektowane z myślą o rozwiązywaniu rzeczywistych problemów biznesowych.

Szkolimy i wdrażamy pionierskie modele dla przedsiębiorstw budujących systemy AI. Wierzymy, że nasza praca odgrywa kluczową rolę w powszechnym przyjęciu sztucznej inteligencji i szukamy ludzi, którzy chcą być tego częścią. Mamy obsesję na punkcie tego, co budujemy.

Każdy z nas jest odpowiedzialny za przyczynianie się do zwiększania możliwości naszych modeli i wartości, jaką wnoszą dla naszych klientów. Cohere to zespół badaczy, inżynierów, projektantów i nie tylko, których pasją jest swoje rzemiosło. Jesteśmy globalną firmą technologiczną z siedzibą w Toronto i kluczowymi biurami w Londynie, Nowym Jorku, San Francisco, Montrealu, Paryżu, Berlinie i Seulu.

Dołącz do nas! Dlaczego ta rola? North to platforma przestrzeni roboczej Cohere AI dla przedsiębiorstw: bezpieczne, konfigurowalne środowisko, w którym firmy mogą korzystać ze sztucznej inteligencji w swoich rzeczywistych przepływach pracy, zachowując jednocześnie kontrolę nad wrażliwymi danymi.

North łączy agentów AI z narzędziami, aplikacjami i kontekstem biznesowym w miejscu pracy, pomagając użytkownikom delegować złożone prace, tworzyć automatyzacje, sprawdzać wyniki i współpracować ze sztuczną inteligencją w środowiskach produkcyjnych. W miarę zwiększania się wydajności firmy North jedno z najważniejszych pytań staje się jednocześnie jednym z najtrudniejszych: skąd wiemy, czy model faktycznie poprawia się w zakresie przepływów pracy, na których zależy klientom? Ta rola polega na byciu głosem North w modelowaniu.

Zbudujesz systemy oceny, pętle informacji zwrotnej i stosowane przepływy pracy w zakresie modelowania, które zapewnią, że postęp modelu przełoży się na lepsze wyniki produktów dla użytkowników North. Będziesz ściśle współpracować z zespołami ds. produktów North, zespołami zajmującymi się kontaktem z klientami i zespołami zajmującymi się modelowaniem, aby zdefiniować, co oznacza „dobry” na całej powierzchni produktu, przekształcić rzeczywiste użytkowanie i kierunek produktu w wysokiej jakości oceny, a następnie wykorzystywać te oceny do kierowania wyborem modelu, wprowadzaniem poprawek i regularnymi aktualizacjami modeli. Nie jest to ani rola czysto badawcza, ani konwencjonalna rola inżyniera produktu.

Jest to rygorystycznie stosowana rola MLE dla kogoś, kto bardzo troszczy się o pomiary, zachowanie modelu i rzeczywistą jakość produktu. Powinieneś być podekscytowany umiejętnością tworzenia dokładnych ewaluacji: ewaluacji, które wychwytują chaotyczny przepływ pracy agentów, odzwierciedlają rzeczywiste potrzeby klientów, są odporne na powierzchowne hackowanie testów porównawczych i dostarczają przydatnych sygnałów wskazujących, gdzie produkt i modele muszą zostać dalej skierowane. Jako członek personelu technicznego w firmie North Modeling (Evals) będziesz: posiadać strategię ewaluacji dla North: zdefiniować, co musimy mierzyć w przepływach pracy agentów, użyciu narzędzi, pracy nad wiedzą korporacyjną, np. dogłębnych badaniach, tworzeniu lub edytowaniu dokumentów oraz innych działaniach związanych ze sztuczną inteligencją człowieka interakcje.Twórz wysokiej jakości oceny na podstawie realiów produktu: opinie użytkowników, awarie produkcyjne, dzienniki użytkowania chroniące prywatność, wewnętrzne testowanie, potrzeby klientów i wybiegające w przyszłość cele produktu.Twórz systemy, które stale przekształcają to, czego North uczy się od użytkowników, klientów i zespołów funkcjonalnych, w oceny, dzięki czemu pomiar dotrzymuje kroku produktowi, a nie staje się statycznym punktem odniesienia.Bądź głosem North w modelowaniu wewnętrznym: wydobądź jasny wgląd w wyniki oceny, dane uzyskane od klientów i kontekst produktu, a następnie zamień błędy modeli, luki w możliwościach i potrzeby specyficzne dla Północy w praktyczne rekomendacje dla centralnych zespołów modelujących.

Możesz być dobrym kandydatem, jeśli: Ulepszyłeś systemy oparte na LLM, agentach lub systemy produktów oparte na sztucznej inteligencji poprzez ewaluację, pętle informacji zwrotnej, sprawdzanie danych, podpowiedzi, adaptację modelu lub wybór modelu. Bardzo zależy Ci na ewaluacji jako rzemiośle: reprezentatywne zadania, precyzyjne rubryki, czyste dane, analiza błędów, śledzenie regresji i wiedza, kiedy metryka daje fałszywą pewność. Mocno zastosowałeś Potrafisz jasno oceniać zachowanie modelu, jego ważność, wyniki produktu i kompromisy w produkcji.

Czujesz się komfortowo pracując blisko użytkowników i zespołów produktowych, jednocześnie przekształcając niechlujne sygnały jakościowe na pomiary, na podstawie których inne zespoły modelujące mogą podjąć działania. Jesteś samokierujący, praktyczny i motywowany otwartymi problemami, w przypadku których właściwa odpowiedź wymaga zarówno głębi technicznej, jak i zrozumienia produktu. Zależy Ci na tym, aby systemy AI były naprawdę przydatne w rzeczywistych warunkach przedsiębiorstwa, a nie tylko lepsze w abstrakcyjnych testach porównawczych.

Jeśli niektóre z powyższych nie pasują idealnie do Twoich doświadczenia, nadal zachęcamy do aplikowania. LokalizacjaTen zespół ściśle współpracuje w strefach czasowych Europy i wschodniego wybrzeża Ameryki Północnej. Jesteśmy otwarci na kandydatów, którzy mogą efektywnie współpracować w tych godzinach.

Pracownicy zatrudnieni na pełen etat w Cohere mogą korzystać z następujących korzyści: Cotygodniowe stypendium obiadowe w wysokości 75 USD/75 GBP lub równowartość tej kwoty w lokalnej walucie w porze lunchu. Pełne świadczenia zdrowotne i stomatologiczne, w tym oddzielny budżet na zdrowie psychiczne. Dopasowanie RRSP, 401 tys., program emerytalny.

Doładowanie w wysokości 100% urlopu rodzicielskiego przez okres do 6 miesięcy dla któregokolwiek z rodziców. Roczne świadczenia wzbogacające: Sztuka i kultura, fitness/wellness, czas spędzony na jakości i kredyt na poprawę przestrzeni pracy. Stypendium na edukację i naukę na konferencje, kursy i coaching.

6 tygodni płatnego urlopu (30 dni roboczych!) Budżet na podróże do innych biur, jeśli jesteś zdalny, plus coroczna firma poza siedzibą. Jak i gdzie pracujemy: Cohere umożliwia pracę zdalną, ale mamy także biura w Toronto, Londynie, Nowym Jorku, San Francisco, Montrealu, Paryżu, Berlinie i Seulu, a więcej wkrótce zostanie otwartych. Dla osób w biurze: codziennie program lunchowy, mnóstwo przekąsek oraz regularne wydarzenia społeczne i towarzyskie.

Dla osób, które nie znajdują się w pobliżu biura: benefit w postaci coworkingu, dzięki któremu możesz współpracować z innymi w swoim mieście. Każdy otrzymuje stypendium w wysokości 500 dolarów na biuro w domu, aby odpowiednio przygotować miejsce do pracy. Jeśli którekolwiek z powyższych nie odpowiada dokładnie Twojemu doświadczeniu, nadal zachęcamy do złożenia wniosku.

Staramy się tworzyć włączające środowisko pracy dla wszystkich; witamy kandydatów ze wszystkich środowisk i staramy się zapewniać równe szanse. Jeśli w trakcie procesu rekrutacji będziesz potrzebować jakichkolwiek udogodnień, prześlij formularz wniosku o zakwaterowanie, a wspólnie będziemy pracować, aby spełnić Twoje potrzeby. Możemy używać narzędzi obsługujących sztuczną inteligencję do sprawdzania i oceniania kandydatów pod kątem kryteriów dotyczących tego stanowiska.

Pomaga to naszym rekruterom w identyfikacji potencjalnie wykwalifikowanych kandydatów, ale nie ogranicza liczby aplikacji, które nasi rekruterzy mogą przeglądać lub rozważać. Uważaj na oszustwa: Cohere nigdy nie poprosi o płatność ani usługi stron trzecich (np. pisanie CV) w ramach naszego procesu rekrutacji. Wszystkie uzasadnione role są wymienione na stronie kariery Cohere i tylko na LinkedIn, a cała komunikacja od pracowników Cohere pochodzi z aliasów e-mailowych ----- lub -----.

Jeśli oferty pracy są wyświetlane na innych stronach, sprawdź je na naszej oficjalnej stronie karier. Więcej ofert pracy anglojęzycznych w Wielkiej Brytanii znajdziesz na Arbeitnow