Inżynier ds. kontroli jakości (SDET) - jakość sztucznej inteligencji, danych i platformy

Programmatic QA • Testowanie dla LLM i agentów • Jakość danych • Niezawodność platformy O Finalytics.ai Finalytics.ai jest wiodącym dostawcą personalizacji dla branży finansowej. Nasza platforma łączy integrację danych, uczenie maszynowe i technologię czasu rzeczywistego, aby doświadczenia cyfrowe były bardziej przydatne i bardziej konwertujące dla spółdzielczych kas oszczędnościowo-kredytowych i banków. Jesteśmy rozwijającym się start-upem prowadzonym przez weteranów branży, tworzącym nową generację personalizacji opartej na sztucznej inteligencji.

Dlaczego ta rola jest inna? Kontrola jakości w Finalytics wykracza daleko poza kliknięcie interfejsu użytkownika. Nasza platforma podejmuje decyzje w oparciu o modele, obsługuje LLM i agentów, którzy generują treści i odpowiadają na pytania, a także polega na potokach danych, które codziennie zasilają te modele - a wszystko to musi zostać przetestowane programowo.

Poszukujemy inżynierskiego współpracownika do zespołu kontroli jakości, który pomoże w budowaniu jakości w trzech obszarach: naszych podstawowych funkcji personalizacji, naszych możliwościach LLM i agentów oraz danych, które je napędzają. Jest to rola programisty osadzona w tym samym przepływie repozytoriów i wydań, co nasi inżynierowie, którzy będą raportować bezpośrednio do CTO. Nie tylko znajdziesz błędy - zbudujesz automatyczne testy, oceny i kontrole danych, które pozwolą małemu zespołowi dostarczać godną zaufania sztuczną inteligencję w każdym sprincie.

Nasz stos to Python/Django ze znacznikiem personalizacji JavaScript, wspierany przez MySQL, Celery, BigQuery i AWS. Co będziesz robić 1. Programowa kontrola jakości podstawowych funkcji - rozszerzenie naszego narzędzia do testów scenariuszy - zastrzeżonej wiązki, która przechwytuje rzeczywiste żądania personalizacji produkcji i odtwarza je w różnych środowiskach, potwierdzając oczekiwane algorytmy i wybór treści.

Rozwiń go do automatycznej regresji dla każdego klienta. - Napisz automatyczne testy w Pythonie za pomocą pytest na wszystkich naszych poziomach - jednostkowe, integracyjne, HTTP i kompleksowe. - Twórz bezgłowe, kompleksowe testy Playwright, aby sprawdzić, jak spersonalizowana treść i śledzenie są renderowane na rzeczywistych stronach klientów. - Wzmocnij bramę jakości przed wdrożeniem i kontrole przed zatwierdzeniem, które automatycznie blokują złe zmiany. 2. Testowanie i standaryzacja LLM i agentów - oceny projektów niedeterministycznych funkcji AI - nasz asystent analityki konwersacyjnej, narzędzia do tworzenia treści AI i generatywne SEO - mierzące poprawność, podstawy i regresję w wersjach podpowiedzi i modeli. - Przetestuj warstwy wywoływania narzędzi i warstwy agenta - pętle wywoływania funkcji wybierają właściwe narzędzia, a poręcze utrzymują się na wejściu przeciwnika. - Sprawdź interfejs naszego agenta/MCP - zgodność z umową, ograniczenie szybkości, autoryzacja i bezpieczna awaria. - Pomóż w ustaleniu naszych standardów w zakresie wysyłki sztucznej inteligencji - wychwytuj halucynacje i dryfowanie oraz porównywaj zmiany podpowiedzi/modeli, zanim klienci je zobaczą.

3. Inżynieria jakości danych - twórz zautomatyzowane kontrole kondycji danych, które wykrywają nieaktualne zestawienia, niekompletne pokrycie i uszkodzone agregacje, zanim trafią one na pulpit klienta. - Kompleksowa weryfikacja potoków danych - pakietów zbiorczych, ścieżek/stawek/przetwarzania finansowego i BigQuery - z wykrywaniem dryftu między środowiskami. - Wejścia modelu strzeż, aby sygnały, od których zależy nasz ML, pozostały dokładne i kompletne. 4.

Niezawodność i wydajność - śledź wydajność platformy - czas reakcji, ładowanie JS i szybkość strony - i pomóż ją utrzymać. - Wysokiej jakości pulpity nawigacyjne - czas pracy, zasięg, stan danych i wyniki ewaluacji. 5. Współpraca i cykl życia błędów - pracuj nad bazą kodu wraz z inżynierami, aby diagnozować problemy podczas programowania, wydawania i wdrażania. - Kieruj cyklem życia błędu - odtwarzaj, przechwytuj w przypadku testu zakończonego niepowodzeniem i weryfikuj poprawkę.

Czego szukamy - ponad 3 lata doświadczenia w QA/SDET lub automatyzacji testów z podejściem „kodowym”. - Silny Python - piszesz czysty kod testowy i potrafisz czytać testowaną aplikację. - pytest (preferowany) i automatyzacja przeglądarki (Playwright lub Selenium). - Doświadczenie w testowaniu API i kontraktów. - Prawdziwe zainteresowanie testowaniem sztucznej inteligencji - umiejętność radzenia sobie z niedeterminizmem, ewaluacją i podpowiedziami. - Znajomość danych - silny SQL i instynkt sprawdzania potoków i uzgadniania danych. - Wbudowanie automatycznych bramek jakości w proces wdrażania i wydawania. Miło mieć - testowanie lub ocena aplikacji LLM - ewaluacje, regresja natychmiastowa, agenci wywołujący narzędzia lub MCP. - Kontrola jakości danych lub analiz - weryfikacja BigQuery lub ETL/rollup. - Doświadczenie w Django, MySQL lub Seler. - Testowanie bezpieczeństwa za pomocą narzędzi SAST/DAST. - Znajomość uczenia maszynowego. - Doświadczenie w branży finansowej, personalizacji lub CMS/platformie marketingowej. - Znajomość AWS'a. - Doświadczenie w zakresie uruchamiania SaaS na szybko zmieniającej się platformie dla wielu dzierżawców. Dlaczego Finalytics - praca pionierska - pomóż zdefiniować, co oznacza zapewnienie jakości dla sztucznej inteligencji, agentów i personalizacji opartej na danych w finansach. - Bezpośredni wpływ - pomóż kształtować działanie jakości na całej platformie, raportując bezpośrednio do CTO. - Kultura stawiająca na automatyzację - Twoja praca to kod w tym samym repozytorium i przepływie wydań, co inżynieria. - Zdalny, współpracujący zespół o niskim ego rozwijający się dzięki skalowalnej technologii fintech.

Aplikuj bezpośrednio na RemoteJobs.org: https://remotejobs.org/remote-jobs/qa-engineer-sdet-ai-data-platform-quality-extractable