工商数据爬取总结

采集工商信息已经有一年了,现有些心得分享出来,不喜勿喷

一、尽量不要登录账号
假如你做过反爬,可以很容易根据账号做风控。例如:流控/ip访问频次/一小时内切换的ip数量/当前ip一共使用了多少账号等等方式去做账号控制。
很不幸的是,天眼查采用了其中的某一个,你登录账号就完全被限制了,失去了爬虫的乐趣(个人理解)。
不登录的时候解决个字体反爬即可,挂上代理疯狂抓,写个程序后处理(替换真实字体)即可。
二、迫不得已登录账号需要注意事项
假如你不登录账号就不能翻页,那就尴尬了。
登录账号需要面对第一条列出的事项,那么用注册机分批注册几千个账号,然后搭建自己公司的代理池。控制好频次,ip切换别太频繁,几十分钟切换一次。
三、个人小思路
全球最大同性社区上可以看看,前几天看到一个天眼查app爬虫。作者死活联系不上,估计被抓了或者避风头?不过利用app拿数据很丝滑,简直不要太爽。可惜我不会安卓逆向,公司也没钱养一个逆向。
记得,触发反爬会有垃圾数据/账号被封/ip黑名单。垃圾数据脏了你的库就很尴尬,只能批量删除数据。

评论

暂无评论