Amazon Data / Trends
Pozyskiwanie danych Amazon na dużą skalę i analiza trendów
Architektura backendu i przetwarzanie danych
Rosnący zbiór danych zmienia wymagania wobec odczytu, zapisu i przetwarzania. Pracuję nad backendem Python i przepływami danych: od modeli relacyjnych po workery zbierające dane i indeksy wyszukiwania. Amazon Data i Liqsale obejmują pozyskiwanie, normalizację i przetwarzanie wsadowe; szczegóły i historyczna skala są opisane w realizacjach.
Jak podchodzę do pracy
Zacząć od obciążenia
Zidentyfikować kosztowną ścieżkę, zbadać plany zapytań, wzorce dostępu i wielkości partii. Opracować relacje i granice transakcji w PostgreSQL przed wyborem dodatkowego magazynu.
Nadać warstwom jasne role
Używać Redis do odpowiedniego stanu tymczasowego lub cache z jawnym TTL i unieważnianiem. Elasticsearch stosować, gdy wyszukiwanie i analiza uzasadniają osobny indeks. Jasno określić źródło prawdy i koszt nieaktualnych odczytów.
Przetwarzać ograniczonymi partiami
Workery zbierania i wzbogacania potrzebują limitów współbieżności, ponowień i zapisu wsadowego. Oddzielić HTTP, reguły domeny, trwałość i adaptery dostawców, aby rozwój przepływu nie sprzęgał wszystkich warstw.
Decyzja na początek
Dodatkowy cache lub indeks przyspiesza niektóre operacje, ale zwiększa koszt unieważniania, synchronizacji i utrzymania. Wybór opieram na zmierzonych wąskich gardłach i wymaganiach spójności, nie na wielkości stosu technologicznego.
Powiązane realizacje
Liqsale / Daily Snipes
Od arkuszy dostawców do marketplace’u
Onlihub
Odpowiedzialność techniczna za platformę commerce
Opowiedz o swoim zadaniu
Opisz wolną lub zawodną operację, obecny stos i przybliżony wolumen danych. Pomiary pomogą; jeśli ich nie ma, pierwszym krokiem jest ustalenie, co mierzyć.
Omówmy zadanie