Сценарий использования
Какие прокси лучше всего подходят для парсинга Shopee и Lazada?
Короткий ответДля парсинга Shopee и Lazada лучше всего подходят ротируемые резидентные IP в стране самой витрины, например тайский IP для shopee.co.th или lazada.co.th, со sticky-сессиями для пагинации поиска. Jade Proxies продаёт резидентные IP во всех 7 азиатских странах, где работает витрина Shopee или Lazada, по $0.66/ГБ на тарифе 10 ГБ.
Какой тип прокси лучше всего подходит для парсинга Shopee и Lazada?
Для парсинга Shopee и Lazada и мониторинга цен лучше всего подходят ротируемые резидентные прокси, потому что они выходят в сеть через тех же домашних интернет-провайдеров, что и реальные покупатели. Маркетплейсы рано начинают проверять трафик из облачных и хостинговых диапазонов, поэтому датацентровый IP тратит больше трафика на страницы проверки, чем на данные о товарах.
| Тип прокси | Подходит ли для Shopee и Lazada | Цена в Jade Proxies | Главное ограничение |
|---|---|---|---|
| Датацентровые | Плохо: хостинговые диапазоны проверяются рано | Не продаются | — |
| Ротируемые резидентные | Стандартный выбор для страниц товаров, поиска и категорий | От $0.50/ГБ до $1.50/ГБ | Скорость зависит от каждого домашнего подключения |
| Ротируемые мобильные (за ГБ) | Данные, которые отличаются в мобильном приложении | $0.90/ГБ | Таргетинг только на уровне страны |
| Выделенный 4G/5G-порт | Проверки приложения у одного конкретного мобильного оператора | От $3/день | Один IP в каждый момент времени |
IP какой страны нужен для каждого маркетплейса?
Для каждого маркетплейса нужен IP в стране витрины, потому что Shopee и Lazada ведут отдельный сайт для каждой страны со своим доменом, валютой, каталогом, ваучерами и стоимостью доставки. Цена, полученная из другой страны, относится к другому товарному предложению, а не к более дешёвому.
| Страна | Маркетплейсы | Домены | Параметр в имени пользователя |
|---|---|---|---|
| Индонезия | Shopee, Lazada, Tokopedia | shopee.co.id, lazada.co.id, tokopedia.com | country-id |
| Таиланд | Shopee, Lazada | shopee.co.th, lazada.co.th | country-th |
| Вьетнам | Shopee, Lazada | shopee.vn, lazada.vn | country-vn |
| Филиппины | Shopee, Lazada | shopee.ph, lazada.com.ph | country-ph |
| Малайзия | Shopee, Lazada | shopee.com.my, lazada.com.my | country-my |
| Сингапур | Shopee, Lazada | shopee.sg, lazada.sg | country-sg |
| Тайвань | Shopee | shopee.tw | country-tw |
| Япония | Rakuten Ichiba | rakuten.co.jp | country-jp |
| Южная Корея | Coupang | coupang.com | country-kr |
Tokopedia — индонезийский маркетплейс, Rakuten Ichiba — японский, Coupang — корейский; к ним применяется то же правило страны. Один баланс Jade Proxies покрывает все строки таблицы, а цена за ГБ одинакова во всех 13 странах. Если стоимость доставки или наличие товара различаются между городами, добавьте город в имя пользователя, например city-jakarta или city-bangkok: Jade Proxies предлагает таргетинг по стране и городу на всех тарифах; таргетинг по ASN без доплаты; доступность городов различается. В руководстве по прокси для Индонезии перечислены доступные там интернет-провайдеры и города.
Что выбрать для парсинга маркетплейсов: sticky-сессии или ротацию IP?
Используйте sticky-сессии для пагинации поиска и категорий, а ротацию IP — для страниц товаров. Поиск на Shopee или Lazada охватывает много страниц результатов, привязанных к одному набору cookies; смена IP посередине может сбросить порядок сортировки или вызвать проверку. Страницы товаров независимы, поэтому каждую можно запрашивать с другого IP.
В Jade Proxies sticky-сессии длятся до 30 минут (IP может смениться раньше), а при ротации каждое новое соединение получает IP из пула, как правило другой; чтобы получать новый IP при каждом запросе, отправляйте один запрос на соединение (отключите keep-alive). Шлюз — gw.jadeproxies.com, порт 7777 (HTTP) или 7778 (SOCKS5); все настройки задаются в имени пользователя:
| Задача | Режим сессии | Пример имени пользователя |
|---|---|---|
| Результаты поиска, страницы с 1 по 20 | Sticky, 10 минут | USERNAME-country-th-session-s101-ttl-10 |
| Список категории, полный обход | Sticky, 30 минут | USERNAME-country-my-session-c7-ttl-30 |
| Страницы товаров | Ротация | USERNAME-country-th |
| Ежедневная перепроверка цен и наличия | Ротация | USERNAME-country-vn |
В руководстве по ротируемым и sticky-прокси объясняется, как выбрать длительность сессии, когда сайт ожидает одного и того же посетителя на разных страницах.
Сколько трафика расходует парсинг Shopee и Lazada?
Трафик равен числу загруженных страниц, умноженному на средний вес страницы. Ни один из маркетплейсов не публикует вес страниц, а он зависит от способа загрузки, поэтому две цифры ниже — допущения для планирования, а не измерения:
- Допущение A: 100 КБ на страницу. Ваш парсер запрашивает HTML или JSON, который загружает страница, без изображений, видео и шрифтов.
- Допущение B: 1 МБ на страницу. Headless-браузер рендерит каждую страницу с заблокированными изображениями.
Расчёт: 10 000 страниц товаров × 100 КБ = 1 000 000 КБ = 1 ГБ при допущении A и 10 ГБ при допущении B. В Jade Proxies учитываются все данные, отправленные и полученные через прокси (исходящий и входящий трафик, включая заголовки); 1 ГБ = 1 000 000 000 байт; попытки соединения, завершившиеся неудачей до обращения к целевому ресурсу, не учитываются. Повторные запросы и страницы проверки, дошедшие до сайта, тоже учитываются, поэтому парсер с высокой долей повторов расходует больше, чем следует из числа страниц.
Чтобы заменить допущение собственной цифрой, загрузите 1 000 страниц через тестовый тариф 1 ГБ, посмотрите израсходованный трафик в своём аккаунте и разделите его на 1 000.
Сколько стоит мониторинг цен на Shopee и Lazada?
Ежедневный мониторинг 10 000 товаров стоит около $15.60 в месяц при допущении A и $150 при допущении B по ставке за ГБ того тарифа, который покрывает этот объём. Поскольку резидентный трафик не сгорает, тариф больше месячной потребности просто расходуется дольше.
| Нагрузка за 30 дней | Страниц | Трафик (A: 100 КБ) | Стоимость (A) | Трафик (B: 1 МБ) | Стоимость (B) |
|---|---|---|---|---|---|
| 1 000 товаров, раз в день | 30 000 | 3 ГБ | $1.98 | 30 ГБ | $15.60 |
| 10 000 товаров, раз в день | 300 000 | 30 ГБ | $15.60 | 300 ГБ | $150 |
| 10 000 товаров в 6 странах Lazada, ежедневно | 1 800 000 | 180 ГБ | $90 | 1 800 ГБ | $900 |
Использованные ставки: 3 ГБ по $0.66/ГБ = $1.98; 30 ГБ по $0.52/ГБ = $15.60; 180 ГБ и больше по $0.50/ГБ. По нашей сетке цен тариф 10 ГБ стоит за ГБ на 56% дешевле тестового тарифа 1 ГБ: 0.66 ÷ 1.50 = 0.44 от тестовой цены. Ставку определяет объём, а не страна, поэтому Тайвань стоит за ГБ столько же, сколько Филиппины.
На странице цен перечислены все тарифы, включая мобильные варианты.
Как парсить маркетплейсы, не нарушая правил?
Собирайте только публичные данные, держите частоту запросов близкой к темпу обычного покупателя и используйте официальные API для своего магазина. Конкретно:
- Только публичные данные. Цены, наличие, рейтинги и названия продавцов, которые видит любой посетитель. Никаких страниц после входа в аккаунт, данных покупателей и личных профилей.
- Свой магазин — через официальные API. Продавцы получают заказы и карточки товаров через Shopee Open Platform и Lazada Open Platform; прокси нужны для публичных данных о конкурентах.
- Начинайте примерно с одного запроса в секунду на витрину. Увеличивайте параллельность, только пока доля ошибок и страниц проверки не растёт, и снижайте нагрузку при HTTP 429.
- Кэшируйте и планируйте. Пропускайте страницы, цена на которых не изменилась, и назначайте тяжёлые обходы вне пиковых минут распродаж 9.9, 11.11 и 12.12.
Jade Proxies продаёт только прокси: сервис не решает CAPTCHA и не обходит авторизацию. Мошенничество, спам и злоупотребление аккаунтами запрещены правилами допустимого использования.
Каковы ограничения резидентных прокси при парсинге маркетплейсов?
Резидентные прокси определяют, откуда приходят запросы, но не то, как ведёт себя парсер. Домашнее подключение медленнее датацентра, устройство может уйти офлайн и досрочно завершить sticky-сессию, а парсер, отправляющий 50 запросов в секунду с множества IP, всё равно выглядит как бот. Доступность городов различается по странам, поэтому протестируйте нужный город, прежде чем строить отчёт на уровне города.
Частые вопросы
Нужны ли отдельные прокси для каждой страны Shopee?
Нет. Один резидентный баланс Jade Proxies покрывает все страны Shopee и Lazada; достаточно заменить country-th на country-vn в имени пользователя. Цена за ГБ одинакова во всех странах.
Сколько ГБ нужно, чтобы протестировать парсинг Shopee?
Достаточно 1 ГБ. При допущении 100 КБ его хватает примерно на 10 000 страниц, и он позволяет измерить реальный вес страницы до покупки объёма. Тариф 1 ГБ стоит $1.50 и оплачивается с баланса при минимальном пополнении баланса $25.
Стоит ли использовать мобильные прокси для Shopee?
Используйте их только для данных, которые отличаются в приложении Shopee или Lazada. Ротируемый мобильный трафик стоит $0.90/ГБ с таргетингом на уровне страны, тогда как резидентный дешевеет до $0.66/ГБ при 10 ГБ и добавляет таргетинг по городу.
Есть ли у Jade Proxies API для парсинга Shopee?
Нет. Jade Proxies продаёт резидентные и мобильные прокси; парсер вы используете свой, например Scrapy, Playwright или Python requests. Прокси работают с любым инструментом, который поддерживает HTTP, HTTPS и SOCKS5.
Разрешён ли парсинг Shopee и Lazada?
Сбор публично доступных цен для исследования рынка — стандартная деловая практика, но условия обоих маркетплейсов ограничивают автоматизированный доступ, а персональные данные защищены законом. Не собирайте персональные данные, держите частоту запросов низкой, используйте официальные API для своего магазина и сверьте условия с вашим юристом.