使用场景
抓取 Shopee 和 Lazada 数据,用什么代理最好?
简短回答抓取 Shopee 和 Lazada 最好使用店铺所在国家的轮换住宅代理 IP,例如抓取 shopee.co.th 或 lazada.co.th 时使用泰国 IP,搜索翻页时使用粘性会话。Jade Proxies 在 Shopee 或 Lazada 设有站点的全部 7 个亚洲国家均提供住宅代理 IP,10 GB 套餐价格为 $0.66/GB。
哪种代理类型最适合 Shopee 和 Lazada 数据抓取?
轮换住宅代理最适合 Shopee 和 Lazada 的数据抓取和价格监控,因为它们与真实购物者一样,通过家庭宽带运营商(ISP)出口。电商平台会很早就对来自云服务和托管网段的流量发起验证,因此数据中心 IP 的流量更多消耗在验证页面上,而不是商品数据上。
| 代理类型 | 对 Shopee 和 Lazada 的适用性 | Jade Proxies 价格 | 主要限制 |
|---|---|---|---|
| 数据中心 | 较弱:托管网段很早就会被验证 | 不出售 | — |
| 轮换住宅代理 | 商品页、搜索页和类目页的默认选择 | $0.50/GB 至 $1.50/GB | 速度随每条家庭网络连接而变化 |
| 轮换移动代理(按 GB) | 移动 App 中显示不同的页面 | $0.90/GB | 仅支持国家级定位 |
| 独享 4G/5G 端口 | 在指定移动运营商上检查 App | $3/天 起 | 同一时间仅一个 IP |
每个电商平台需要哪个国家的 IP?
每个平台都需要店铺所在国家的 IP,因为 Shopee 和 Lazada 在每个国家运营独立站点,拥有各自的域名、货币、商品目录、优惠券和运费。从错误国家读取的价格对应的是另一个商品页面,而不是更便宜的同一商品。
| 国家 | 电商平台 | 域名 | 用户名参数 |
|---|---|---|---|
| 印度尼西亚 | Shopee、Lazada、Tokopedia | shopee.co.id, lazada.co.id, tokopedia.com | country-id |
| 泰国 | Shopee、Lazada | shopee.co.th, lazada.co.th | country-th |
| 越南 | Shopee、Lazada | shopee.vn, lazada.vn | country-vn |
| 菲律宾 | Shopee、Lazada | shopee.ph, lazada.com.ph | country-ph |
| 马来西亚 | Shopee、Lazada | shopee.com.my, lazada.com.my | country-my |
| 新加坡 | Shopee、Lazada | shopee.sg, lazada.sg | country-sg |
| 台湾 | Shopee | shopee.tw | country-tw |
| 日本 | Rakuten Ichiba | rakuten.co.jp | country-jp |
| 韩国 | Coupang | coupang.com | country-kr |
Tokopedia 是印度尼西亚平台,Rakuten Ichiba 是日本平台,Coupang 是韩国平台,同样适用按国家选 IP 的规则。一个 Jade Proxies 余额即可覆盖表中所有国家,且在全部 13 个国家每 GB 价格相同。如果不同城市的运费或库存不同,可在用户名中加入城市,例如 city-jakarta 或 city-bangkok:Jade Proxies 提供所有套餐均支持国家和城市定位;ASN 定位不额外收费;可用城市因地而异。印度尼西亚代理指南列出了当地可用的宽带运营商(ISP)和城市。
电商平台数据抓取应使用粘性会话还是轮换?
搜索和类目翻页使用粘性会话(固定 IP),商品页使用轮换。在 Shopee 或 Lazada 上的一次搜索会跨越许多结果页,并绑定同一组 Cookie;中途更换 IP 可能会重置排序或触发验证。商品页彼此独立,因此每个页面都可以从不同的 IP 发出。
使用 Jade Proxies 时,粘性会话时长为最长 30 分钟(IP 可能提前变更);轮换模式下,每个新连接都会从 IP 池中获取一个 IP,通常与上一个不同;如需每个请求都更换 IP,请每个连接只发送一个请求(关闭 keep-alive)。网关为 gw.jadeproxies.com,端口 7777(HTTP)或 7778(SOCKS5),所有设置都写在用户名中:
| 任务 | 会话模式 | 用户名示例 |
|---|---|---|
| 搜索结果第 1 至 20 页 | 粘性,10 分钟 | USERNAME-country-th-session-s101-ttl-10 |
| 类目列表完整抓取 | 粘性,30 分钟 | USERNAME-country-my-session-c7-ttl-30 |
| 商品详情页 | 轮换 | USERNAME-country-th |
| 每日价格和库存复查 | 轮换 | USERNAME-country-vn |
轮换与粘性代理指南介绍了当网站期望跨页面为同一访客时,如何选择会话时长。
Shopee 和 Lazada 数据抓取会消耗多少流量?
流量等于抓取的页面数乘以平均页面大小。两个平台都不公布页面大小,而且页面大小取决于抓取方式,因此下面两个数字是用于规划的假设,并非实测值:
- 假设 A:每页 100 KB。 抓取程序只请求 HTML 或页面加载的 JSON,不含图片、视频或字体。
- 假设 B:每页 1 MB。 使用无头浏览器渲染每个页面,并屏蔽图片。
计算方法:10,000 个商品页 × 100 KB = 1,000,000 KB,按假设 A 为 1 GB,按假设 B 为 10 GB。在 Jade Proxies,用量统计通过代理发送和接收的全部数据(上传和下载,含请求头);1 GB = 1,000,000,000 字节;在到达目标之前失败的连接尝试不计入。到达网站的重试请求和验证页面同样计入流量,因此重试率高的抓取程序实际消耗会高于按页面数估算的值。
如需用自己的数据替代假设,可通过 1 GB 测试套餐抓取 1,000 个页面,查看账户中已用流量后除以 1,000。
监控 Shopee 和 Lazada 价格需要多少费用?
每日监控 10,000 个商品,按假设 A 每月约 $15.60,按假设 B 约 $150,采用覆盖该用量的套餐的每 GB 价格计算。由于住宅代理流量永不过期,购买超过一个月需求的套餐只是可以用得更久。
| 30 天工作量 | 页面数 | 流量(A:100 KB) | 费用(A) | 流量(B:1 MB) | 费用(B) |
|---|---|---|---|---|---|
| 1,000 个商品,每天一次 | 30,000 | 3 GB | $1.98 | 30 GB | $15.60 |
| 10,000 个商品,每天一次 | 300,000 | 30 GB | $15.60 | 300 GB | $150 |
| 6 个 Lazada 国家各 10,000 个商品,每天 | 1,800,000 | 180 GB | $90 | 1,800 GB | $900 |
所用费率:3 GB 按 $0.66/GB = $1.98;30 GB 按 $0.52/GB = $15.60;180 GB 及以上按 $0.50/GB。根据我们的价格表,10 GB 套餐每 GB 价格比 1 GB 测试套餐低 56%:0.66 ÷ 1.50 = 测试价格的 0.44。费率由用量决定,与国家无关,因此台湾与菲律宾每 GB 价格相同。
价格页面列出了所有套餐,包括移动代理选项。
如何让电商平台数据抓取保持合规?
只采集公开数据,请求频率接近真人购物者的节奏,自己店铺的数据使用官方 API。具体来说:
- 只采集公开数据。 任何访客都能看到的价格、库存、评分和卖家名称。不抓取登录后页面、买家数据或个人资料。
- 自己的店铺使用官方 API。 卖家可通过 Shopee Open Platform 和 Lazada Open Platform 获取订单和商品信息;代理用于采集公开的竞争对手数据。
- 每个站点从每秒约一个请求开始。 只有在错误和验证页面占比保持稳定时才增加并发,遇到 HTTP 429 时降低频率。
- 缓存与排程。 跳过价格未变化的页面,大规模抓取避开 9.9、11.11 和 12.12 大促的高峰时段。
Jade Proxies 只出售代理:不提供 CAPTCHA 破解,也不绕过登录。可接受使用政策禁止欺诈、垃圾信息和账户滥用。
住宅代理用于电商平台数据抓取有哪些局限?
住宅代理解决的是请求从哪里发出,而不是抓取程序的行为方式。家庭网络比数据中心慢,设备可能下线导致粘性会话提前结束,而从众多 IP 每秒发送 50 个请求的抓取程序依然像机器人。各国可用城市不同,因此在制作城市级报告前,请先测试具体城市。
常见问题
每个 Shopee 国家都需要不同的代理吗?
不需要。一个 Jade Proxies 住宅代理余额即可覆盖所有 Shopee 和 Lazada 国家;只需在用户名中将 country-th 改为 country-vn。每个国家每 GB 价格相同。
测试 Shopee 数据抓取需要多少 GB?
1 GB 就够了。按 100 KB 的假设,可覆盖约 10,000 个页面,并让您在购买更大用量前测出实际页面大小。1 GB 套餐价格为 $1.50,从余额扣费,最低充值 $25。
Shopee 需要用移动代理吗?
仅在 Shopee 或 Lazada App 中显示不同的页面时使用。轮换移动代理流量价格为 $0.90/GB,仅支持国家级定位;而住宅代理在 10 GB 时降至 $0.66/GB,并支持城市定位。
Jade Proxies 提供 Shopee 抓取 API 吗?
不提供。Jade Proxies 出售住宅代理和移动代理,抓取程序需自备,例如 Scrapy、Playwright 或 Python requests。代理可与任何支持 HTTP、HTTPS 和 SOCKS5 的工具配合使用。
抓取 Shopee 和 Lazada 数据是否被允许?
为市场调研采集公开可见的价格是常见的商业用途,但两个平台的条款都限制自动化访问,个人数据也受法律保护。请勿采集个人数据,保持较低的请求频率,自己的店铺使用官方 API,并请法律顾问核查相关条款。