Starszy inżynier AI

Informacje o Discovered Labs W Discovered Labs współpracujemy z firmami ARR o wartości 10 - 50 mln USD, aby pomóc im pozyskać więcej potencjalnych klientów, użytkowników i klientów z Google, Bing i asystentów AI, takich jak ChatGPT, Claude i Perplexity. Podchodzimy do marketingu w taki sam sposób, w jaki inżynierowie podchodzą do systemów: wprowadzanie danych, wyciąganie wniosków, pętle opinii wszędzie. Każda decyzja przekłada się na wymierne rezultaty.

Każdy przepływ pracy ma na celu wyeliminowanie ręcznych wąskich gardeł i złożoności w czasie. Ogólny przegląd naszego podejścia: Automatyzacja oparta na danych: Programy marketingowe traktujemy jak produkty. Oprzyrządowujemy wszystko, automatyzujemy to, co powtarzalne i koncentrujemy wysiłki ludzkie na problemach o dużym wpływie.

Myślenie według pierwszych zasad: nie kopiujemy tego, co robią inni. Rozumiemy podstawową mechanikę działania systemów wyszukiwania i sztucznej inteligencji, a następnie budujemy rozwiązania na tej podstawie. Pełna własność: SEO i AEO rzadko działają jako izolowane zadania.

Pracujemy na całym ścieżce i na wielu obszarach, aby mieć pewność, że wynik będzie należał do nas, a klienci wygrają. System operacyjny dla agencji Budujemy pierwszy system operacyjny dla agencji: system, w którym pracą agencji jest oprogramowanie, umożliwiające klientom uzyskanie nieuczciwej przewagi. Jak to ujął Karpathy, Oprogramowanie 3.0 automatyzuje to, co ludzie mogą zweryfikować.

Sprawdzalność, a nie zdolność, decyduje o tym, które prace można bezpiecznie przekazać. Zatem każda ewaluacja, którą piszemy, poszerza zakres pracy, w której możemy powierzyć agentowi, a uprząż nie jest narzucana wokół produktu, tylko sprawia, że ​​produkt jest możliwy. Dex Horthy zajmuje się częścią operacyjną: agenci, którzy przetrwali kontakt z klientami, to dobrze zaprojektowane oprogramowanie, w którym dokonano celowej oceny przez człowieka, a zdyscyplinowane pętle pokonują wibracje.

Tak to wygląda w tym przypadku: doświadczeni orkiestratorzy, a nie operatorzy. Jeden specjalista ds. strategii nadzoruje flotę agentów realizujących na dużą skalę przepływy pracy prawdziwych klientów, przy czym system ujawnia to, co naprawdę wymaga ludzkiej decyzji, i milczy, jeśli chodzi o to, co nie. Wszędzie krążą informacje zwrotne.

Każda poprawka dokonana przez eksperta staje się przypadkiem ewaluacyjnym, a rój będzie lepszy w następnym cyklu. ZespółYou dołączy do zespołu ds. automatyzacji w Discovered Labs. Tworzymy rój agentów: rosnącą flotę agentów i przepływy pracy, które od początku do końca realizują pracę z prawdziwym klientem, a także inżynierię, która sprawia, że ​​są oni na tyle godni zaufania, że ​​mogą się na tym wzorować.

Twoje zadania to połowa tego wszystkiego. Rozwiń możliwości roju i udowodnij, że to, co robi, jest słuszne. Oznacza to zastosowanie zaawansowanej inżynierii do słynnego niepewnego problemu: uczynienia systemów niedeterministycznych niezawodnymi, mierzalnymi i możliwymi do udowodnienia.

Evals, które kończą się niepowodzeniem w kompilacji. Ślady wyjaśniające decyzję. Poręcze, które trzymają się, gdy model tego nie robi. Agenci, którzy wiedzą, czego nie wiedzą i to mówią.

Będziesz współpracować z liderem ds. automatyzacji oraz z naszym zespołem ds. sztucznej inteligencji i danych, który jest właścicielem platformy i narzędzi pod Tobą. Nie będziesz budować orkiestracji od zera ani walczyć o infrastrukturę. Jest tam i jest dobrze.

Twoim zadaniem jest dotarcie do ostatniej mili. Każdy agent, którego udowodnisz, jest agentem, którego możemy przedstawić klientowi. To cała gra i górny pułap tempa rozwoju tej firmy.

Jesteśmy zespołem o dogłębnej wiedzy technicznej budującym SpaceX przestrzeni AEO i SEO. Będziesz współpracować z inżynierami, którzy zbudowali silniki oszustwa obsługujące Stripe, przeprowadzili przegląd kodu AI w CodeRabbit, zbudowali w Amazon, opracowali systemy samochodów autonomicznych w Aurora i przeprowadzili badania nad sztuczną inteligencją w Stanford. Nie mamy warstw zarządzania.

Będziesz współpracować bezpośrednio z założycielami, którzy mogą zgłębić architekturę, kod i produkt. Na tym stanowisku dołączysz do zespołu Automations, a Twoim zadaniem będzie produkcja tego, co zbudowaliśmy. Mamy agentów działających 24 godziny na dobę, 7 dni w tygodniu, potoki danych i infrastrukturę przepływu pracy.

Twoim zadaniem będzie pomóc nam w zapewnieniu solidnego, niezawodnego i skalowalnego działania stosu. Oznacza to ewaluację wychwytującą regresje przed wysyłką, obserwowalność wyjaśniającą, dlaczego agent zrobił to, co zrobił, pochodzenie pozwalające śledzić każde roszczenie aż do jego źródła oraz interfejsy, które pozwalają strategowi SEO niebędącemu inżynierem na uruchomienie i sprawdzenie pracy. Zbudujesz wiązki przewodów i zestawy ewaluacyjne, które bramują zmiany agentów w CI, narzędzia do śledzenia pochodzenia i śledzenia kroków, które umożliwiają kontrolę rozumowania agenta, oraz powierzchnie, z których faktycznie korzysta zespół.

Następnie zamkniesz pętlę: oprzyrządujesz wyjście, przekażesz sygnał z powrotem i sprawisz, że agenci będą wymiernie lepsi w każdym cyklu. Poszerzysz także zasięg agentów. Dziś pracują nad API i naszymi własnymi danymi.

Następnie obsługują prawdziwe strony internetowe wraz z obsługą sesji i interfejsami nawigacyjnymi, które nigdy nie były projektowane dla maszyn. Trudnym problemem jest niezawodność i czytelność. Agent, który ma rację w 80% przypadków i nie potrafi powiedzieć, które 80% jest bezwartościowe.

Agent, który ma rację w 95% przypadków, pokazuje, że działa i sygnalizuje własną niepewność, to produkt. Zgłaszasz się do CTO i współpracujesz z liderem ds. automatyzacji, a nasz zespół ds. sztucznej inteligencji i danych jest właścicielem platformy pod Tobą. Jesteś właścicielem swoich ewaluacji, CI i swojego monitorowania.

Co będziesz robić Uprzęże ewaluacyjne agenta. Złote zestawy, kontrole deterministyczne i punktacja online, które umożliwiają każdą zmianę agenta w CI. Regresja powinna zakończyć się niepowodzeniem w kompilacji, a nie w raporcie klienta.

Obserwowalność agenta. Ślady kroków, księgowanie tokenów i kosztów, SLO na poziomie działania i taksonomie błędów. Poznasz różnicę między „agent uciekł” a „agent miał rację”. Pochodzenie i pochodzenie danych.

Każde twierdzenie złożone przez agenta powinno umożliwiać prześledzenie jego źródła. Jakie dane wejściowe, jakie narzędzia wywołują, które etapy rozumowania dały taki wynik. Kompleksowi agenci z weryfikacją manualną.

Agenci, którzy wykonują prawdziwą pracę, zaczynają ją kończyć, z wyselekcjonowaną powierzchnią przeglądu, dzięki której ekspert może zatwierdzić, poprawić lub odrzucić, a korekta staje się sygnałem szkoleniowym. Interfejsy dla osób niebędących inżynierami. Pulpity nawigacyjne i elementy sterujące, które pozwalają zespołowi SEO uruchamiać, sprawdzać i ufać agentom bez pytania inżyniera.

Rozszerzanie możliwości agentów. Agenci, którzy otwierają żądania ściągnięcia względem prawdziwych repozytoriów, uwierzytelniają się za pomocą protokołu OAuth i obsługują prawdziwe witryny i systemy CMS za pośrednictwem przeglądarki. Każda nowa zdolność to nowy rodzaj pracy, której może się podjąć rój.

Zamknięcie pętli. Zamień sygnały, które już zbieramy, takie jak dane dotyczące percepcji AI i cytowań, w konkretną wartość dla klienta: rekomendacje dotyczące strategii, priorytetowe działania i mierzalne wyniki. Algorytmy i modele scoringowe.

Nie wszystko powinno być podpowiedzią. Zbudujesz i dostroisz systemy punktacji oparte na tym, co zalecamy: linkowanie wewnętrzne i ocena trafności semantycznej, możliwości Reddit i punktacja wątków, jakość treści i cytowań. Są to problemy z rankingiem i klasyfikacją, za którymi stoją rzeczywiste dane zwrotne, a tam, gdzie model nie jest zgodny z podpowiedzią, buduje się model.

Udostępniane, komponowalne moduły. Bloki możliwości wielokrotnego użytku, które tworzą zarówno agenci, jak i przepływy pracy, dzięki czemu ulepszenia pojawiają się wszędzie na raz, zamiast być ponownie wdrażane dla każdego agenta. Skalowanie między klientami.

Wybierz przepływ pracy, który działa dla jednego klienta i spraw, aby działał niezawodnie dla wielu, z konfiguracją dla każdego klienta, izolacją i awariami, które pozostają ograniczone. Idealna osoba do tej roli Konstruktor, który dostarcza. Zależy Ci na wprowadzeniu działających systemów do produkcji, a nie na niekończącym się planowaniu i dopracowaniu.

Stworzyłeś systemy AI, na których ludzie naprawdę polegają. Operator, a nie tylko architekt. Nie tylko projektujesz systemy, ale także je uruchamiasz.

Czerpiesz satysfakcję z zapewniania niezawodności rzeczy, a nie tylko z tego, że działają raz w wersji demonstracyjnej. Właściciel. Bierzesz odpowiedzialność za wyniki, a nie tylko za zadania.

Kiedy agent po cichu generuje złe wyniki, wyłapujesz je, naprawiasz i budujesz ocenę, która zapobiegnie ich powtarzaniu. Maniak na punkcie szczegółów. To właśnie ono ma tutaj największe znaczenie.

Sztuczna inteligencja sprawiła, że ​​wytwarzanie dużej liczby wiarygodnie wyglądających prac jest banalnie tanie, a większość tej pracy jest niechlujna. Budujemy coś odwrotnego: dane wyjściowe, które podtrzymują się, gdy klient czyta je wiersz po wierszu. Jeśli wolisz wysłać jedną rzecz, która jest w sposób możliwy do udowodnienia, niż dziesięć, które prawdopodobnie są w porządku, to jest Twój zespół.

Jeśli nie możesz zmienić głośności i pozwolić recenzentowi to rozwiązać, tak nie jest. Sceptyczny wobec własnych wyników. Zakładasz, że model jest błędny, dopóki nie zostanie zmierzony.

Spaliło Cię demo, które zadziałało, i wersja produkcyjna, która nie, więc budujesz zgodnie z tym. Pokorny i ciekawy. Przyznajesz się do tego, czego nie wiesz, zadajesz dobre pytania i naprawdę chcesz się uczyć.

Traktujesz informację zwrotną jako prezent, a nie zagrożenie. Osoba myśląca według pierwszych zasad. Rozumiesz, dlaczego wszystko działa, a nie tylko jak.

Możesz przejść pięć poziomów wnikliwie w zakresie projektowania ewaluacyjnego, szybkiej architektury i tego, gdzie włączyć człowieka w pętlę. Zawsze się doskonalimy. Nie zadowala Cię słowo „wystarczająco dobre”.

Aktywnie szukasz sposobów na doskonalenie swojego rzemiosła i ulepszanie systemów z biegiem czasu.WymaganiaPonad 5 lat w inżynierii oprogramowania, z znaczącym stażem pracy na systemach produkcyjnych wspieranych przez LLM lub ML, w tym 2+ posiadających kompleksowy system produkcyjny.Python, React, TypeScript i solidne podstawy systemów. Piszesz usługi produkcyjne, a nie notatniki. Inżynieria aplikacji LLM w produkcji.

Agenci, użycie narzędzi, wyniki strukturalne, wyszukiwanie, architektura podpowiedzi. Wysłałeś coś prawdziwego, co z nich korzystało i pozostało niezmienione. Systemy oceny.

Zbudowałeś zestawy ewaluacyjne dla systemów niedeterministycznych: złote zbiory danych, bramki regresji, punktacja offline i online. Długo zastanawiałeś się, co oznacza „poprawny”, gdy istnieje wiele poprawnych odpowiedzi. Obserwowalność w przypadku systemów AI. Śledzenie, przeprowadzanie inspekcji, księgowanie kosztów i tokenów.

Langfuse, LangSmith, Braintrust, Open

Telemetry lub odpowiednik. Debugowanie niedeterminizmu. Możesz zdiagnozować przyczynę niepowodzenia agenta w 47 ze 100 uruchomieniach i przekształcić to w stałą kontrolę.

Orkiestracja potoku. Przepływ powietrza, Dagster, Temporal lub podobny. Ponowne próby, idempotencja, częściowa awaria, wznowienie.

Integracja z API innych firm. Przepływy uwierzytelniania, limity szybkości, paginacja, istotne zmiany. Nie tylko wywoływanie punktów końcowych, ale obsługa pełnej rzeczywistości operacyjnej.

Posiadaj swoją infrastrukturę. Kontenery, CI/CD, wdrażanie, monitorowanie, zarządzanie danymi uwierzytelniającymi. Brak zespołu ds. platformy, któremu można by to przekazać.

Wyczucie produktu dla doświadczonych użytkowników. Stworzyłeś narzędzia, z których na co dzień korzystają eksperci dziedzinowi, a nie inżynierowie. Wiesz, że niewyjaśniony wynik AI jest bezużyteczny.

Współpraca. Zdefiniujesz umowy z inżynierami, którzy są właścicielami infrastruktury pod tobą. Dokumentujesz decyzje, piszesz jasne specyfikacje i przekazujesz kompromisy na piśmie.

Preferowane kwalifikacje Automatyzacja przeglądarki lub uwierzytelnieni agenci sieciowi (dramaturg, lalkarz, modele obsługi komputera) Stosowane ML: systemy rankingowe, scoringowe, klasyfikacyjne lub rekomendacyjne w produkcyjnych systemach Python, React, Typescript Terraform, Kubernetes Wcześniejsze doświadczenie w szybko rozwijającym się startupie Co Ci to daje W pełni zdalne stanowisko Pracuj bezpośrednio z CTO przy projektach o dużym wpływie Wysoka własność i autonomia. Żadnego mikrozarządzania. Bezpośredni kontakt z najnowocześniejszą sztuczną inteligencją i technologią wyszukiwania Twoja praca będzie miała bezpośredni wpływ na wyniki dobrze znanych (ponad 10 mln ARR) firm Dołącz do szybko rozwijającej się firmy na skrzyżowaniu sztucznej inteligencji i marketingu Nasz proces rekrutacji Sprawdzone referencje techniczne Pierwotnie opublikowane w Himalajach