Starszy inżynier wyszukiwania, zespół indeksujący

Starszy inżynier zespołu ds. indeksowania Informacje o KagiKagi jest Twoim towarzyszem w tworzeniu lepszej sieci. Tworzymy przyjazny Internet, w którym możesz bezpiecznie eksplorować, uczyć się i wchodzić w interakcje - bez reklam, śledzenia i zakłóceń. Kagi tworzy zaawansowaną technologię skupioną na użytkowniku, aby wzmocnić Cię, a nie zastąpić.

Nasze produkty obejmują Kagi Search, przeglądarkę Orion, Kagi Assistant, Kagi News, Kagi Summarizer i Kagi Translate. Każdy produkt odzwierciedla nasze zaangażowanie w Internet wolny od nadzoru, zaprojektowany z myślą o użytkowniku. Informacje o zespole Index Zespół Index tworzy i utrzymuje własny indeks wyszukiwania Kagi - warstwę, która sprawia, że ​​nasze wyniki znacząco różnią się od wyników wszystkich innych osób.

Podczas gdy większość wyszukiwarek poprzestaje na agregowaniu wyników z tych samych źródeł, my idziemy dalej: budujemy, utrzymujemy i stale ulepszamy nasz własny indeks, aby zapewnić użytkownikom Kagi wyniki, których nikt inny nie jest w stanie zaoferować. Jest to trudny problem techniczny obejmujący rozproszone planowanie zadań, potoki danych na dużą skalę, inżynierię jakości indeksów i monitorowanie w czasie rzeczywistym - a praca ta bezpośrednio wpływa na to, co zwracają miliony wyszukiwań. Rola Poszukujemy starszego inżyniera do pracy nad systemami obsługującymi własny indeks Kagi.

Będziesz właścicielem fragmentów całego potoku - od granicy adresów URL i planowania zadań, poprzez pozyskiwanie, przetwarzanie i indeksowane pobieranie dokumentów - i pomożesz nam uczynić ten potok szybszym, świeższym i bardziej niezawodnym. Będziesz także pracować nad jakością indeksu: rozumieć, co jest w indeksie, co powinno, a czego nie powinno być. To rola dla kogoś, kto czerpie głęboką satysfakcję z nieciekawej pracy, która sprawia, że indeks wyszukiwania jest naprawdę dobry: logika planowania, która jest błędna w 0,1% przypadków, deduplikacja, która utrzymuje czysty zasięg, monitorowanie, które wychwytuje regresje jakości, zanim zrobią to użytkownicy.

Co zrobisz Umieść w zespole wyszukiwania, aby mieć pewność, że ulepszenia indeksu przełożą się na lepsze wyniki dla użytkownik. Zaprojektuj i udoskonal system planowania granic adresów URL i zadań indeksowania - w jaki sposób decydujemy, co indeksować, kiedy i w jakiej kolejności. Posiadaj i rozwijaj strategię indeksowania (co indeksujemy po indeksowaniu) oraz wdrażanie rankingu.

Zbadaj i napraw problemy z jakością indeksu - spam, nieaktualne treści, deduplikacja, luki w zasięgu Niezbędne wymagania Ponad 5 lat doświadczenia w inżynierii zaplecza w systemach wyszukiwania/wyszukiwania informacji produkcyjnych Wcześniejsze doświadczenie z infrastrukturą indeksów wyszukiwania, systemami granicznymi adresów URL lub harmonogramem indeksowania Głęboka wiedza specjalistyczna w zakresie wyszukiwania informacji: projektowanie indeksów, punktacja trafności i optymalizacja rankingów, wykrywanie niemal duplikatów, architektury silników zapytań i ekstrakcja sygnałów w oparciu o wykresy. Dobre umiejętności obsługi baz danych - swobodnie projektujesz i optymalizujesz złożone schematy i zapytania PostgreSQL, w tym duże tabele zadań/zadań, które wymagają skalowania Biegłość w Pythonie i/lub Rust - naszych głównych językach do tej pracy Umiejętność wnioskowania o wielkoskalowych potokach danych: przepustowość, poprawność, idempotencja i niezawodność operacyjna Mile widziane: doświadczenie z narzędziami do obserwowania (Prometheus, Grafana lub podobnymi) Komfort dzięki Redis do zarządzania stanem rozproszonym i kolejkami Doświadczenie w pracy rozproszonej planowanie lub systemy kolejek roboczych - rozumiesz tryby awarii i przypadki brzegowe. Doświadczenie z systemami operacyjnymi, w których poprawność i jakość danych są głównymi ograniczeniami.

Jeśli kiedykolwiek spędziłeś tydzień na śledzeniu subtelnego błędu w rozproszonym harmonogramie zadań i na koniec czułeś się raczej dumny niż pokonany, to jest ta rola. Oryginalnie opublikowano w Himalayas