O tym stanowisku
auto_translated_note
Jako światowy lider w dziedzinie cyberbezpieczeństwa CrowdStrike chroni ludzi, procesy i technologie, które napędzają nowoczesne organizacje. Od 2011 roku nasza misja się nie zmieniła - jesteśmy tutaj, aby powstrzymywać naruszenia i na nowo zdefiniowaliśmy nowoczesne bezpieczeństwo dzięki najbardziej zaawansowanej na świecie platformie natywnej AI. Nasi klienci reprezentują wszystkie branże i liczą, że CrowdStrike zapewni funkcjonowanie ich firm, bezpieczeństwo społeczności i dalszy rozwój ich życia.
Jesteśmy także firmą z misją. Kultywujemy kulturę, która zapewnia każdemu CrowdStrikerowi zarówno elastyczność, jak i autonomię w zakresie własnej kariery. Zawsze staramy się dodać do zespołu utalentowanych CrowdStrikerów, których cechuje nieograniczona pasja, nieustające skupienie na innowacjach i fanatyczne zaangażowanie na rzecz naszych klientów, naszej społeczności i siebie nawzajem.
Gotowy, aby dołączyć do ważnej misji? Przyszłość cyberbezpieczeństwa zaczyna się od Ciebie. Informacje o roli: ta rola należy do zespołu Core Tech, Go To Market IT Apps firmy CrowdStrike - zespołu architektów, inżynierów, specjalistów ds. kontroli jakości, BSA i właścicieli produktów zapewniających wysoce niezawodną, skalowalną i bezpieczną infrastrukturę oraz usługi automatyzacji w aplikacjach GTM w celu przyspieszenia szybkości działania i doskonałości operacyjnej.
Oczekuje się, że każdy członek GTM AI Pod będzie korzystał z technologii Agentic AI, będzie działał w oparciu o podejście inżynierskie oparte na sztucznej inteligencji typu open source i będzie aktywnie przyczyniał się do tworzenia nowej generacji inteligentnych przepływów pracy GTM. Jako inżynier ds. kontroli jakości modułu AI GTM jesteś strażnikiem jakości strumienia pracy, który buduje niedeterministyczne systemy AI - i to rozróżnienie ma znaczenie. Tradycyjne podręczniki kontroli jakości zostały zaprojektowane dla oprogramowania deterministycznego; psują się w momencie wprowadzenia LLM, agentów autonomicznych i probabilistycznych potoków wyszukiwania.
Ta rola wymaga przemyślenia jakości od pierwszych zasad: projektowania ram oceny uwzględniających zmienne wyniki, zdefiniowania, co oznacza „poprawny” dla agentycznego przepływu pracy i budowania powtarzalnych zestawów testów, które dają inżynierom i interesariuszom prawdziwą pewność w przypadku każdej wersji. Będziesz częścią zespołu dostaw od wymagań po produkcję, będziesz posiadać strategię testów, platformę automatyzacji i pasek jakości dla wszystkich produktów dostarczanych w ramach strumienia pracy - obejmujących integracje Salesforce, aplikacje Slack, potoki RAG, przepływy pracy agentów i infrastrukturę chmurową, która je łączy. Co będziesz robić: - Zdefiniuj i opracuj kompleksową strategię testowania dla agentycznych strumieni pracy AI, ustanawiając standardy jakości uwzględniające probabilistyczny, niedeterministyczny charakter systemów opartych na LLM. - Projektuj i wdrażaj ramy oceny specyficzne dla sztucznej inteligencji, obejmujące wykrywanie halucynacji, szybką punktację jakości, wskaźniki ukończenia zadań agentów i wierność wyników w stosunku do odniesień do prawdy. - Twórz i utrzymuj zautomatyzowane zestawy testów w Pythonie, używając frameworków (pytest, framework robot itp.) obejmujących scenariusze jednostkowe, integracyjne i systemowe we wszystkich komponentach strumienia pracy. - Opracuj zakres testów potoku RAG, w tym precyzję wyszukiwania i przypominanie, ocenę trafności semantycznej, wierność kontekstu i kompleksową dokładność od zapytania do odpowiedzi, korzystając z narzędzi takich jak RAGAS. - Projektuj i buduj automatyczne testy kontroli jakości, wykorzystując standardowe narzędzia i technologie branżowe, obejmujące testy funkcjonalne, regresyjne i kompleksowe testy integracyjne w połączonych systemach i platformach. - Twórz i wykonuj zestawy testów integracyjnych Slack sprawdzające poprawność odpowiedzi bota, wierność wyzwalaczy Workflow Builder, agentyczne zarządzanie stanem bota Slack i obsługę błędów w przypadku danych wejściowych Edge. - Zintegruj automatyczne testy z potokami CI/CD (GitHub Actions, Copado, Jenkins), aby każde żądanie ściągnięcia było bramkowane przez zdefiniowany pasek jakości przed połączeniem. - Projektuj i wykonuj testy wydajności i obciążenia dla interfejsów API opartych na LLM, mierząc percentyle opóźnień, przepustowość tokena i wzorce degradacji przy jednoczesnym obciążeniu. - Przeprowadzaj testy bezpieczeństwa i testy kontradyktoryjne, w tym szybkie próby wstrzyknięcia, weryfikację wyników pod kątem wycieku wrażliwych danych oraz współpracę z zespołem DevSecOps w zakresie ustaleń potoku SAST/DAST. - Opracuj strategię regresji dla wyników niedeterministycznych, definiując akceptowalne progi wariancji, porównania oparte na migawkach i metody punktacji statystycznej, które oznaczają rzeczywiste regresje bez fałszywych alarmów. - Sprawdź kompletność stosu obserwowalności - potwierdź, że śledzenie rozproszone, rejestrowanie strukturalne, SLO i metryki specyficzne dla sztucznej inteligencji (opóźnienie, przepustowość tokena, wskaźniki halucynacji) są prawidłowo oprzyrządowane i alarmują zgodnie z oczekiwaniami. - Współpraca z inżynierami i właścicielem produktu AI od opracowywania wymagań, poprzez przegląd sprintów, dostarczanie wymagań dotyczących testowalności, kryteriów akceptacji i list kontrolnych definicji wykonania. - Własne testowanie kontraktów API w ramach integracji wewnętrznych i zewnętrznych (Salesforce, Marketo, Snowflake, Gong, Clari, G-Suite) przy użyciu narzędzi takich jak Postman lub z gwarancją REST. - Własność cyklu życia defektów: segregacja, klasyfikacja ważności, analiza przyczyn źródłowych, zapobieganie regresji i retrospektywy jakości po wydaniu, które wpływają na strategię testowania. - Promuj kulturę jakości z przesunięciem w lewo, instruuj inżynierów, jak piszą testowalny kod, opracowują własne testy jednostkowe i traktują jakość jako wspólną odpowiedzialność zespołu, a nie bramkę na koniec sprintu.
Co będziesz potrzebować: - Licencjat z informatyki, inżynierii, systemów informatycznych lub pokrewnej dziedziny. - Ponad 6 lat doświadczenia w kontroli jakości lub SDET, z doświadczeniem w budowaniu i utrzymywaniu zautomatyzowanych platform testowych w środowiskach produkcyjnych. - Praktyczne doświadczenie w testowaniu systemów AI lub ML, z solidnym zrozumieniem, dlaczego niedeterministyczne wyniki wymagają innych strategii oceny niż konwencjonalne oprogramowanie. - Wysoka biegłość w języku Python do automatyzacji testów, w tym projektowanie narzędzi testowych wielokrotnego użytku, osprzętu, makiet i fabryk danych. - Doświadczenie z frameworkami testowymi i narzędziami, takimi jak pytest, Selenium, Playwright, REST-assured, Postman lub równoważne. - Praktyczne zrozumienie zachowania LLM, w tym wpływu temperatury, limitów tokenów, czułości podpowiedzi i trybów awarii, które wpływają na powtarzalność testów. - Praktyczne doświadczenie w testowaniu jakości Salesforce obejmujące weryfikację zachowań Lightning Web Component (LWC), przepływów zdarzeń na platformie i integracji API. - Biegłość w testowaniu API na punktach końcowych REST, w tym weryfikacja kontraktu, zgodność schematu, weryfikacja ładunku i pokrycie ścieżki błędów. - Doświadczenie w integracji testów automatycznych z potokami CI/CD, aby bramki jakości były wymuszane automatycznie przy każdej zmianie kodu. - Znajomość wskaźników oceny RAG - wierności, trafności odpowiedzi, przypominania kontekstu - oraz narzędzi takich jak RAGAS lub LangSmith do ustrukturyzowanej oceny wyników AI. - Doświadczenie z narzędziami do testowania wydajności i obciążenia (Locust, k6, JMeter lub podobne) w celu sprawdzenia zachowania API opartego na LLM przy realistycznym i szczytowym obciążeniu. - Praktyczna znajomość podstaw testowania bezpieczeństwa: szybkie wstrzykiwanie, oczyszczanie wyników, świadomość 10 najlepszych testów OWASP i koordynacja z narzędziami DevSecOps. Punkty dodatkowe: - Certyfikat ISTQB Advanced Test Analyst lub równoważny, uznany certyfikat QA. - Certyfikaty Salesforce, takie jak Platform App Builder, Platform Developer I lub Salesforce Administrator, które wspierają projektowanie testów głębszej integracji. - Doświadczenie z platformami oceny AI i platformami obserwowalności, takimi jak RAGAS, LangSmith, Datadog LLM Observability lub OpenTelemetry dla obciążeń AI. - Praktyczne doświadczenie w testowaniu aplikacji Slack, w tym testowanie webhooka sterowanego zdarzeniami, sprawdzanie poprawności poleceń ukośnika i pokrycie przepływu konwersacji agenta Slack bota. - Wkład w narzędzia testowe typu open source, biblioteki ewaluacyjne lub ramy kontroli jakości istotne dla systemów sztucznej inteligencji lub integracji przedsiębiorstw. - Ekspozycja na inżynierię chaosu lub kontradyktoryjne metodologie testowania ML, w tym wstrzykiwanie błędów, testowanie granic i łączenie agentów wykorzystujących LLM w trybie red-team. - Znajomość narzędzi obserwowalności i APM (Datadog, Grafana, OpenTelemetry) oraz umiejętność sprawdzenia, czy instrumentacja jest poprawnie zaimplementowana. - Wcześniejsze doświadczenie w środowisku cyberbezpieczeństwa, fintech lub środowisku oprogramowania o wysokiej zgodności, gdzie standardy jakości mają znaczenie regulacyjne lub umowne. Korzyści z pracy w CrowdStrike: - Lider rynku w zakresie wynagrodzeń i nagród kapitałowych - Kompleksowe programy dobrego samopoczucia fizycznego i psychicznego - Konkurencyjne wakacje i urlopy umożliwiające doładowanie baterii - Płatne urlopy rodzicielskie i adopcyjne - Możliwości rozwoju zawodowego dla wszystkich pracowników niezależnie od poziomu i roli - Sieci pracowników, geograficzne sąsiedzkie grupy i możliwości wolontariatu w budowaniu kontaktów - Tętniąca życiem kultura biurowa ze światowej klasy udogodnieniami - Certyfikat Great Place to Work™ na całym świecie CrowdStrike jest dumny z tego, że jest pracodawcą zapewniającym równe szanse.
Zależy nam na wspieraniu kultury przynależności, w której każdy jest ceniony za to, kim jest i ma siłę, aby odnieść sukces. Wspieramy weteranów i osoby niepełnosprawne poprzez nasz program akcji afirmatywnej. CrowdStrike stara się zapewnić równe szanse zatrudnienia wszystkim pracownikom i osobom ubiegającym się o pracę.
Firma nie dyskryminuje w zakresie możliwości zatrudnienia ani praktyk ze względu na rasę, kolor skóry, wyznanie, pochodzenie etniczne, religię, płeć (w tym ciążę lub schorzenia związane z ciążą), orientację seksualną, tożsamość płciową, stan cywilny lub rodzinny, status weterana, wiek, pochodzenie narodowe, pochodzenie, niepełnosprawność fizyczną (w tym HIV i AIDS), niepełnosprawność umysłową, stan zdrowia, informacje genetyczne, członkostwo lub działalność w lokalnej komisji ds. praw człowieka, status w zakresie pomocy publicznej lub jakąkolwiek inną cechę chronioną przez prawo. Wszystkie decyzje dotyczące zatrudnienia - w tym rekrutację, selekcję, szkolenia, wynagrodzenia, świadczenia, dyscyplinę, awanse, przeniesienia, zwolnienia, powrót po zwolnieniu, rozwiązania stosunku pracy oraz programy socjalne/rekreacyjne - opieramy na obowiązujących wymaganiach zawodowych. Jeśli potrzebujesz pomocy w uzyskaniu dostępu do informacji na tej stronie internetowej lub przejrzeniu jej, bądź potrzebujesz pomocy w złożeniu wniosku o zatrudnienie lub prośbie o zakwaterowanie, skontaktuj się z nami pod adresem rekrutacja@crowdstrike.com w celu uzyskania dalszej pomocy.
Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/qa-engineer-gtm-applications-remote-ind-crowdstrike