Starszy inżynier ds. danych i oprogramowania w języku Python

W Ceartas jesteśmy liderem w zakresie ochrony marki opartej na sztucznej inteligencji, prawa autorskiego i bezpieczeństwa cyfrowego, chroniąc integralność twórców treści, marek i przedsiębiorstw na całym świecie. Ponieważ dynamicznie się skalujemy, poszukujemy inżyniera oprogramowania Data & Python, który będzie wprowadzał innowacje w naszych potokach danych i technologiach indeksowania. Na tym kluczowym stanowisku będziesz współpracować z naszym dyrektorem technicznym i dyrektorem ds. inżynierii, kierując naszym zespołem inżynierii danych w kierunku opracowywania przełomowych rozwiązań dla wyzwań związanych z bezpieczeństwem cyfrowym.Tworzenie skalowalnych potoków ekstrakcji danych internetowych: Projektowanie i rozwijanie systemów skrobania sieci, które obsługują ekstrakcję danych internetowych na dużą skalę i przepływy pracy związane z ochroną marki.

Upewnij się, że dane przechodzą niezawodnie od gromadzenia, przez przetwarzanie, do przechowywania, zachowując jednocześnie wydajność, odporność i stabilność operacyjną na dużą skalę. Zapewnij jakość i zarządzanie danymi: Własna weryfikacja, spójność i zarządzanie danymi w warstwach pozyskiwania, przechowywania i obsługi. Ustanów jasne standardy projektowania schematów, logiki transformacji i monitorowania, aby zagwarantować godne zaufania zbiory danych klasy produkcyjnej, które można niezawodnie wykorzystywać w całej organizacji.

Optymalizuj wydajność i niezawodność: Stale poprawiaj wydajność systemu skrobania poprzez dostrajanie wydajności, optymalizacja kosztów i ulepszenia architektury. Wdrażaj rejestrowanie, metryki i śledzenie w celu monitorowania systemów produkcyjnych, szybkiego diagnozowania problemów i utrzymywania wysokiej niezawodności przy rosnącym obciążeniu. Obowiązki: Projektowanie, budowanie i utrzymywanie wysokowydajnych systemów skrobania sieciowego, a także usług zaplecza i potoków danych wspierających ekstrakcję danych internetowych i przypadki użycia ochrony marki.

Wdrażanie i utrzymywanie interfejsów API skupionych na skrobaniu i innych usług danych, które zasilają produkty wewnętrzne i integracje zewnętrzne. Tworzenie niezawodnych przepływów pracy związanych z pozyskiwaniem, przetwarzaniem i przechowywaniem wielkoskalowych danych internetowych. Obsługa czyszczenia danych internetowych. i zapewniaj jakość danych, sprawdzanie poprawności i zarządzanie w warstwach pozyskiwania, przechowywania i obsługiOptymalizuj systemy skrobania pod kątem wydajności, skalowalności, niezawodności i efektywności kosztowejMonitoruj, debuguj i poprawiaj niezawodność systemu skrobania za pomocą narzędzi obserwowalności (logowanie, metryki, śledzenie)Ścisła współpraca z zespołami ds. produktów i inżynierów w celu dostarczania funkcji od projektu po pełne, kompleksowe wdrożenie produkcyjnePrzejmij niezależną własność systemów produkcyjnych, w tym konserwację, iterację i zarządzanie wydajnością Podstawowe wymagania techniczne:Doświadczenie z siecią scrapingDoskonała znajomość SQLDoświadczenie w PythonieDoświadczenie z PostgreSQL lub podobnymi relacyjnymi bazami danychDoświadczenie w projektowaniu i budowaniu skalowalnych API i usług backendowych (np.

FastAPI, Django lub podobnych frameworków)Doświadczenie w projektowaniu wydajnych, skalowalnych modeli danych i schematów baz danychPraktyczne doświadczenie we wdrażaniu i systemach operacyjnych w chmurze (AWS, GCP lub Azure)Doświadczenie w pracy z Dockerem i środowiskami kontenerowymiPreferowane techniczne Wymagania:Doświadczenie z narzędziami do orkiestracji przepływu pracy, takimi jak AirflowDoświadczenie z narzędziami do automatyzacji opartymi na przeglądarce (Playwright, Selenium lub podobnymi)Doświadczenie z DBT lub przepływami pracy transformacji danych skoncentrowanymi na analizieDoświadczenie w budowaniu lub obsłudze systemów i kolejek zadań o wysokiej współbieżnościDoświadczenie w projektowaniu i wdrażaniu natywnych przepływów pracy w chmurze w AWSFZnajomość potoków CI/CD i praktyk wdrażania produkcyjnegoDoświadczenie w pracy w szybko rozwijającym się, wczesnym etapie środowisko startupoweDoświadczenie - Wykształcenie wyższe w kierunku technicznym, takim jak informatyka, inżynieria lub pokrewnym. Preferowany poziom magisterski. Ponad 4 lata (lub ponad 2 lata w startupie na wczesnym etapie) Znajdź pracę w Wielkiej Brytanii na Arbeitnow