Масштабный парсинг Amazon и анализ тенденций
Ширина каталога требовала параллельного сбора и стратегии хранения для миллионов объявлений, без отдельного чтения или записи для каждой позиции.
Параллельные парсеры объединяли управление аккаунтами и proxy, ограничение частоты и повторные попытки при сканировании категорий. Я организовал нормализацию и работу с Elasticsearch вокруг пакетных записей и чтений, сохраняя пакетный подход при росте данных. Результат использовался для анализа изменений и тенденций.
Собрать
Нормализовать
Индексировать пакетами
Анализировать изменения
Проект сканировал категории Amazon по каталогу, сознательно исключая книги. Исторический объём данных был порядка миллионов объявлений. Такой охват объединял сбор, нормализацию и хранение в одну задачу: данные категорий должны были стать согласованным набором для пакетного анализа.
Парсеры должны были учитывать блокировки, несколько аккаунтов, proxy и неудачные запросы. Параллельная обработка, ограничение частоты и повторы были частью архитектуры сбора. Нормализация давала индексации и анализу согласованное представление несмотря на различия собранных данных.
Elasticsearch использовался и для пакетной записи, и для пакетного чтения. Пакеты были важны с обеих сторон: собранные записи индексировались вместе, а анализ получал группы записей, чтобы нагрузка не состояла преимущественно из одиночных запросов. Это решение определяло путь данных наравне с выбором поискового движка.
Целью сбора было выявление изменений и тенденций в товарных данных. Сервис работал примерно пять месяцев, затем приоритеты сместились на другую работу. Архивный проект объединяет полную инженерную цепочку: параллельный сбор, нормализацию, пакетный доступ к хранилищу и анализ большого исторического набора данных.
Сервис работал около пяти месяцев в историческом масштабе порядка миллионов объявлений. Он поддерживал анализ тенденций по категориям, затем команда сменила фокус, а проект был архивирован.
Архитектура, техническое лидерство или продукт, которому нужна прочная основа.
Роль, продукт или техническая задача. Расскажите немного о контексте.
Чтобы воспользоваться формой, включите JavaScript. Также можно написать мне напрямую в Telegram.
Написать в Telegram