天猫超市数据抓取实战
文章目录
目前能看到天猫超市数据的地方总共有三个:淘宝APP、天猫超市Web和天猫超市H5。应该从哪里入手抓取数据呢?
1. 首先排除淘宝APP
首先排除 APP,抓都抓不到数。https 证书花样获取/信任 + 双向加密基本是 APP 标配。很难搞的。(不是说就搞不了,成本划不来)
2. 如何获取列表页
首先找入口。天猫超市应该是有商品分类的,但实际操作都是走的搜索结果。所以导致最终单个商品可能会有重复。
这里有两个方案:h5 和 web,我最终使用的是 h5 方案。(5页限制的问题未解决)
天猫超市H5
地址
实验情况
h5 没有登录校验,但是接口请求有一定概率发生 302 跳转(回主页),此时延时重试即可。但是似乎发生 302 的概率和分页页数有一定关联。实验表明,在分页到达第5页时,必定失败。多次触发后会发生暂时封禁。该情况不区分用户、ip、脚本。怀疑是产品策略考虑:h5 使用量很低,后面页面干脆不返回了。
应对策略
无解。如果数据量要求不高(前4页就够了),那么可以用,还挺好用的。
天猫超市Web
地址
https://chaoshi.tmall.com/?sp...
实验情况
web 有登录校验,接口不会 302,但是分页时会出现滑动校验,同样也发生在后置页面。多次触发后会发生暂时封禁。由于是有登录状态,所以该情况会针对用户。
应对策略
降低请求频率,理论上是可以避免触发防御机制的。或者通过分散账号请求的方式。
3. 如何获取详情页
获取详情页也有两个方案:抓接口(jsonp)和抓页面(html):
JSONP接口
地址
https://h5api.m.taobao.com/h5...
实验情况
无登录校验。由于是 api 接口,受天猫 x5 防抓系统防御保护,在短时间数量达到一定数量之后,不再返回。
应对策略
降低请求频率,理论上是可以避免触发防御机制的。
SSR页面
得益于天猫预渲染的商品详情页,我们可以直接抓住 html,而 html 应该做了 cdn 缓存,所以基本没有防御限制。并发开到最大跑。舒服。
地址
https://detail.m.tmall.com/it...
实验情况
非常顺利。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论