Starszy AI DevOps / LLMOps

W TechBiz Global świadczymy usługi rekrutacyjne dla naszych TOP klientów z naszego portfolio. Obecnie poszukujemy starszego specjalisty AI DevOps / LLMOps, który dołączy do jednego z zespołów naszych klientów. Jeśli szukasz ekscytującej możliwości rozwoju w innowacyjnym środowisku, może to być idealna oferta dla Ciebie.Kluczowe obowiązkiAutomatyzacja produkcji na etapie projektowania i wdrażania solidnych potoków CI/CD dostosowanych do sztucznej inteligencji, obejmujących wagi modeli, wersjonowanie zbiorów danych i kod aplikacji.Tworzyj wyspecjalizowane przepływy pracy dla PromptOps, upewniając się, że podpowiedzi systemowe są kontrolowane pod kątem wersji, testowane pod kątem regresji i wdrażane z taką samą rygorystycznością jak tradycyjny kod.Automatyzuj wdrażanie Agentyczne przepływy pracy, zarządzanie złożonością stanowych interakcji AI i przekazywaniem wielu agentów.2.

Infrastruktura AI jako kod (IaC)Udostępnianie i zarządzanie wysokowydajnymi środowiskami obliczeniowymi (klasterami GPU, modułami TPU) przy użyciu Terraform, Pulumi lub Ansible.Definiuj i egzekwuj zasady jako kod dla punktów końcowych AI, aby zapewnić zgodność z bezpieczeństwem, limitami wykorzystania kosztów i wymaganiami dotyczącymi przechowywania danych.Utrzymuj spójne środowisko w całej infrastrukturze hybrydowej, zapewniając płynną parzystość pomiędzy rozwojem lokalnym i produkcją w chmurze.3. Bezpieczne eksperymentowanie i kontrolowane wydania Strategie projektowania progresywnego dostarczania sztucznej inteligencji, w tym wydania Canary, wdrożenia Blue-Green i Shadowing (gdzie nowe modele działają równolegle z produkcją w celu porównania wyników). Twórz w potoku bramki „oceny w pętli”, aby automatycznie testować pod kątem stronniczości, halucynacji i pogorszenia wydajności przed wydaniem.

Wdróż ramy testów A/B zaprojektowane specjalnie dla wyników LLM i zachowań agentów.4. Monitorowanie i obserwowalnośćUstanawiaj głęboką obserwowalność punktów końcowych wnioskowania, śledząc metryki, takie jak liczba tokenów na sekundę, opóźnienia i dryf w dokładności modelu. Zintegruj pętle informacji zwrotnej, które wychwytują „przypadki brzegowe” produkcji, aby przekazać je z powrotem do potoków szkoleniowych i dostrajających.

Wymagania Niezbędne umiejętności techniczne: Orkiestracja: Zaawansowane umiejętności Kubernetes (K8s), w szczególności z KubeFlow, Ray lub NVIDIA Triton.CI/CD i IaC: Doświadczenie w GitHub Actions/GitLab CI oraz Terraform lub Pulumi. Narzędzia AI: Doświadczenie z Weights & Biases, MLflow, LangSmith lub Arize Phoenix. Sprzęt: Znajomość wirtualizacji GPU, sterowników CUDA i lokalnego zarządzania sprzętem.

Bezpieczeństwo: Znajomość Open Policy Agent (OPA) i zarządzania sekretami (Vault). Doświadczenie: ponad 10 lat w DevOps, SRE lub Cloud Engineering. Ponad 2 lata praktycznego doświadczenia w MLOps lub LLMOps, w szczególności w przenoszeniu LLM z notebooków do produkcji.Udokumentowane doświadczenie w zarządzaniu środowiskami Hybrid Cloud (np.

AWS/Azure + Private Data Center).NajważniejszePraca na pełny etat i praca zdalna - wymagana jest biegła znajomość języka angielskiego.Oryginalnie opublikowano w Himalaje