Масштабний парсинг Amazon та аналіз тенденцій
Ширина каталогу вимагала паралельного збору й стратегії зберігання для мільйонів оголошень, без окремого читання чи запису для кожної позиції.
Паралельні парсери поєднували керування обліковими записами й proxy, обмеження частоти та повторні спроби під час сканування категорій. Я організував нормалізацію й роботу з Elasticsearch навколо пакетних записів і читань, зберігаючи пакетний підхід зі зростанням даних. Результат використовувався для аналізу змін і тенденцій.
Зібрати
Нормалізувати
Індексувати пакетами
Аналізувати зміни
Проєкт сканував категорії Amazon по каталогу, свідомо виключаючи книги. Історичний обсяг даних був порядку мільйонів оголошень. Такий охват поєднував збір, нормалізацію та зберігання в одне завдання: дані категорій мали стати узгодженим набором для пакетного аналізу.
Парсери мали враховувати блокування, кілька облікових записів, proxy та невдалі запити. Паралельна обробка, обмеження частоти й повтори були частиною архітектури збору. Нормалізація давала індексації та аналізу узгоджене подання попри відмінності зібраних даних.
Elasticsearch використовувався і для пакетного запису, і для пакетного читання. Пакети були важливі з обох боків: зібрані записи індексувалися разом, а аналіз отримував групи записів, щоб навантаження не складалося переважно з поодиноких запитів. Це рішення визначало шлях даних нарівні з вибором пошукового рушія.
Метою збору було виявлення змін і тенденцій у товарних даних. Сервіс працював приблизно п’ять місяців, після чого пріоритети змістилися на іншу роботу. Архівний проєкт поєднує повний інженерний ланцюжок: паралельний збір, нормалізацію, пакетний доступ до сховища та аналіз великого історичного набору даних.
Сервіс працював близько п’яти місяців в історичному масштабі порядку мільйонів оголошень. Він підтримував аналіз тенденцій за категоріями, після чого команда змінила фокус, а проєкт було архівовано.
Архітектура, технічне лідерство або продукт, якому потрібна міцна основа.
Роль, продукт чи технічна задача. Розкажіть трохи про контекст.
Щоб скористатися формою, увімкніть JavaScript. Також можна написати мені напряму в Telegram.
Написати в Telegram