Starszy menedżer ds. inżynierii uczenia maszynowego - jakość i zarządzanie sztuczną inteligencją

Dołącz do Workiva jako menedżer ds. inżynierii uczenia maszynowego aSr - jakość i zarządzanie sztuczną inteligencją i pomóż ustalić, w jaki sposób budujemy, oceniamy, wypuszczamy i obsługujemy godne zaufania produkty AI na dużą skalę. Będziesz kierować multidyscyplinarnym zespołem inżynierów zajmujących się oprogramowaniem, uczeniem maszynowym i jakością, odpowiedzialnym za dwie połączone misje: doskonalenie kompleksowej jakości platformy i produktów AI Workiva oraz budowanie wspólnych możliwości oceny i zarządzania, dzięki którym nasze systemy AI będą mierzalne, obserwowalne, niezawodne i gotowe do użytku w przedsiębiorstwie. Zakres Twojego zespołu obejmuje generatywną sztuczną inteligencję i produkty agentowe, w tym usługi platformy AI, platformy i środowiska wykonawcze agentów, doświadczenia konwersacyjne oraz systemy RAG/wiedzy.

Będziesz współpracować w obszarach produktów, inżynierii, analityki danych, bezpieczeństwa, ryzyka i prawa, aby ustanowić praktyczne standardy jakości oraz wdrożyć ocenę i zarządzanie w całym cyklu życia rozwoju sztucznej inteligencji. Co będziesz robić Przywództwo i rozwój zespołu - Kierowanie, mentorowanie i rozwijanie multidyscyplinarnego zespołu oprogramowania, uczenia maszynowego i inżynierów jakości - Zbuduj kulturę doskonałości technicznej, własności jakości, eksperymentowania i ciągłego doskonalenia - Ustal jasne priorytety zespołu, równoważąc inwestycje w platformę, potrzeby produktów i ryzyko przedsiębiorstwa - Rekrutuj inżynierów z uzupełniającą się wiedzą specjalistyczną w zakresie jakości oprogramowania, oceny ML, inżynierii platformy i automatyzacji zarządzania Jakość produktu AI - Zdefiniuj i prowadź kompleksową strategię jakości dla platformy i produktów AI Workiva, obejmującej jednostkę, integrację, kompleksowe testy wydajności, odporności, bezpieczeństwa i produkcji - ustalenie mierzalnych słupków jakości, kryteriów gotowości do wydania i zautomatyzowanych bramek jakości dla sztucznej inteligencji i możliwości agentów - zaawansowane podejścia do testowania systemów niedeterministycznych, w tym potoków RAG, agentów, podpowiedzi, modeli, narzędzi i wieloetapowych przepływów pracy - wykrywanie regresji, dryfowania modelu lub danych, niebezpiecznych zachowań i pogorszenia jakości doświadczeń klientów przed i po wydaniu platformy oceny sztucznej inteligencji - wiodąca architektura i dostarczanie skalowalna, samoobsługowa platforma ewaluacyjna dla generatywnej sztucznej inteligencji, RAG i systemów agentycznych - Umożliwia zespołom tworzenie, zarządzanie, wersjonowanie i ponowne wykorzystywanie ewaluacyjnych zestawów danych, złotych zestawów testowych, metryk, oceniaczy i testów porównawczych - Obsługa kontroli deterministycznych, metryk statystycznych, klasyfikatorów opartych na modelach, ocen ludzkich, testów kontradyktoryjnych i przeglądu ekspertów w danej dziedzinie - Twórz możliwości do oceny offline, testów regresyjnych przed wydaniem, eksperymentów online, próbkowania produkcyjnego i ciągłej oceny - Zapewnij, że wyniki oceny są powtarzalne, zrozumiałe, wykonalne i zintegrowane z przepływami pracy programistów, procesami CI/CD i pulpitami operacyjnymi Zarządzanie i zapewnienie sztucznej inteligencji - Przełóż zasady odpowiedzialnej sztucznej inteligencji Workiva na praktyczne kontrole inżynieryjne i możliwości platformy - Wbuduj zarządzanie w cykl życia sztucznej inteligencji poprzez identyfikowalność, pochodzenie, wersjonowanie, dokumentację, klasyfikację ryzyka, przepływy pracy zatwierdzania i podlegające audytowi dowody - Współpracuj z zespołami ds. i identyfikowalność modeli, podpowiedzi, zbiorów danych, ocen, narzędzi, źródeł wiedzy i wdrożonych funkcji sztucznej inteligencji. Przywództwo międzyfunkcyjne - Współpraca z liderami ds. produktu, zarządzania programami, UX, UXR, analityką danych, bezpieczeństwem, prawem, ryzykiem i inżynierią w celu zdefiniowania oczekiwań jakościowych i planów działania. odbiorców nietechnicznych Doskonałość operacyjna - Zapewnienie, że platforma oceny i zarządzania jest bezpieczna, skalowalna, niezawodna, obserwowalna i opłacalna - Zdefiniowanie celów poziomu usług oraz znaczących wskaźników operacyjnych i jakościowych - Gotowość produkcyjna mistrza, reagowanie na incydenty, analiza przyczyn źródłowych i ciągłe doskonalenie operacyjne Czego będziesz potrzebować Minimalne kwalifikacje - Licencjat z informatyki, inżynierii, nauki o danych lub dziedziny pokrewnej (lub równoważne doświadczenie) - Ponad 10 lat inżynierii oprogramowania, inżynierii ML, jakości inżynierii lub pokrewnych ról, w tym ponad 4 lata kierowania zespołem inżynierów - Solidne podstawy inżynierii oprogramowania i projektowania systemów, z doświadczeniem w dostarczaniu i obsłudze produkcyjnego SaaS lub możliwości platformy - Udokumentowane doświadczenie w ustanawianiu zautomatyzowanych praktyk jakości dla rozproszonych produktów opartych na chmurze - Praktyczne zrozumienie cyklu życia generatywnej sztucznej inteligencji i wyzwań związanych z oceną systemów niedeterministycznych - Doświadczenie z koncepcjami generatywnej sztucznej inteligencji: LLM, RAG, osadzanie, wyszukiwanie wektorowe/hybrydowe, agenci, użycie narzędzi i szybka orkiestracja - Doświadczenie w definiowaniu mierzalnych kryteriów jakości przy użyciu danych, eksperymentów, telemetrii i sygnałów produkcyjnych - doświadczenie z architekturami natywnymi dla chmury na AWS, Azure lub GCP. - Udokumentowana umiejętność przewodzenia indywidualnym pracownikom wyższego szczebla, przezwyciężania nieporozumień technicznych i budowania kultury wysokiej wydajności - Dobra komunikacja i umiejętności przywódcze międzyfunkcyjne.

Preferowane kwalifikacje - Tytuł magistra w dziedzinie informatyki, inżynierii, uczenia maszynowego, nauki o danych lub dziedziny pokrewnej. - Doświadczenie w budowaniu lub obsłudze AI/ML w zakresie oceny, eksperymentowania, obserwowalności, zarządzania modelami lub możliwościami platformy ML - Doświadczenie w ocenie RAG i systemów agentycznych, w tym jakości wyszukiwania, uziemienia, realizacji zadań, użycia narzędzi i bezpieczeństwa - Znajomość technik oceny: złote zbiory danych, metryki statystyczne, oceniacze oparte na modelach, ocena ludzka, red teaming, testowanie A/B i wykrywanie dryfu/regresji - Praktyczna znajomość praktyk cyklu życia ML/AI: zarządzanie zestawami danych, wersjonowanie modeli/podpowiedzi, śledzenie eksperymentów, wdrażanie, monitorowanie i pętle informacji zwrotnych - Doświadczenie w przekładaniu odpowiedzialnej sztucznej inteligencji, ryzyka modelu, prywatności, bezpieczeństwa lub wymagań regulacyjnych na skalowalne kontrole inżynieryjne - Znajomość ram zarządzania ryzykiem/zarządzaniem AI (NIST AI RMF, ISO/IEC 42001 lub porównywalna) - Doświadczenie z Kubernetes, mikrousługami, CI/CD, infrastrukturą w postaci kodu i nowoczesnymi praktykami DevOps/MLOps - Doświadczenie we wsparciu oprogramowanie dla przedsiębiorstw w środowiskach regulowanych lub o wysokim poziomie pewności Warunki pracy - Gotowość do wyjazdów do 15% na spotkania zespołowe i korporacyjne - Niezawodny dostęp do Internetu do pracy zdalnej Jak zostaniesz nagrodzony ✅ Przedział wynagrodzeń w USA: 193 000,00 - 308 000,00 USD ✅ Premia uznaniowa wypłacana zwykle co roku ✅ Ograniczone jednostki magazynowe przyznawane w momencie zatrudnienia ✅ Dopasowanie 401(k) i kompleksowe świadczenia pracownicze pakiet Przedział wynagrodzeń reprezentuje dolną i górną granicę zakresu wynagrodzeń na tym stanowisku w USA. Wartości minimalne i maksymalne mogą się różnić w zależności od lokalizacji. Rzeczywista oferta wynagrodzeń będzie dokładnie uwzględniać szeroki zakres czynników, w tym Twoje umiejętności, kwalifikacje, doświadczenie i inne istotne czynniki.

Dlaczego warto dołączyć do Workiva Workiva to platforma zaprojektowana, aby zapewnić pewność, kontrolę i przewagę konkurencyjną najbardziej złożonym organizacjom na świecie. Nasza platforma oparta na sztucznej inteligencji jednoczy finanse, ryzyko i zrównoważony rozwój w jednym, bezpiecznym fundamencie, zapewniając, że dane są wiarygodne, identyfikowalne i gotowe do działania. Dzięki nieprzerwanej ścieżce od źródła do produktu liderzy zyskują pewność co do swoich liczebności, wgląd w bieżące i pojawiające się zagrożenia oraz zdolność szybkiego i precyzyjnego poruszania się w stale zmieniającym się świecie.

W Workiva wprowadzisz na rynek technologię, na której polegają kadra kierownicza, zarządy i organy regulacyjne. Praca, którą tu wykonujesz, pomaga organizacjom radzić sobie z niepewnością, utrzymywać zaufanie i podejmować decyzje, które wytrzymują krytykę. Jeśli czerpiesz energię z znaczących wyzwań, inspirujesz się współpracującymi zespołami i masz motywację do pomagania organizacjom w przekształcaniu niepewności w korzyść, chętnie Cię poznamy.

Decyzje o zatrudnieniu podejmowane są bez względu na wiek, rasę, wyznanie, kolor skóry, religię, płeć, pochodzenie narodowe, pochodzenie, stopień niepełnosprawności, status weterana, orientację seksualną, tożsamość lub ekspresję płciową, informacje genetyczne, stan cywilny, obywatelstwo lub jakąkolwiek inną cechę chronioną. Workiva angażuje się we współpracę z wnioskodawcami niepełnosprawnymi i zapewnia im rozsądne udogodnienia. Aby poprosić o pomoc w procesie składania wniosku, wyślij e-mail na adres .

Pracownicy Workiva muszą przejść kompleksowe szkolenia w zakresie bezpieczeństwa i prywatności dostosowane do ich ról, zapewniające zgodność z polityką firmy i standardami regulacyjnymi. Workiva wspiera pracowników w pracy tam, gdzie najlepiej im się pracuje - w biurze lub zdalnie z dowolnego miejsca na terenie kraju, w którym są zatrudnieni. Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/sr-machine-learning-engineering-manager-ai-quality-and-governance-workiva