Data-爬虫-05 反爬虫问题
文章目录
Data-爬虫-05 反爬虫问题
The only way to do great work is to love what you do. If you haven't found it yet, keep looking. Don't settle. As with all matters of the heart, you'll know when you find it. --Steve Jobs
- Data系列:目录 | 配置 | 上文
- 反爬虫问题对应Python 网络爬虫从入门到实践第8章的内容,静态网页和动态网页的抓取学习之后,其实大致爬虫的知识已经了解了,另外关于存储、解析、并行、分布等内容,等之后碰到了再学习吧。在暂时中断爬虫学习之前,我们来了解一下反爬虫和反反爬虫。
1. 反爬虫
- 何为反爬虫? -- 使用技术手段阻止批量获取网络信息的一种方式。
-
为何要反爬虫?
- 爬虫频繁访问网页,占用资源流量(这里有个很有趣的事,很多资料都显示由于学生写论文需要,三月份爬虫会进入高峰区);
- 数据是公司的重要资源,被随意爬取会降低公司竞争力。
-
反爬虫方法
-
识别爬虫:根据爬虫的一些特征来识别爬虫
- IP访问量:若某个IP访问量特别大,则考虑封杀此IP
-
user-agent:爬虫请求头出现
python-requests/2.18.4 - cookies次数:类似于IP方法,查看单个cookies次数
-
增加爬取难度
- ajax异步传输:在动态网页的抓取中我们已经发现,难度增加
- 更多header字段:要求header携带更多字段
- 延时操作:增加点击、进度条事件
- 验证:增加验证码等验证方法
-
其他
- 加水印
- DDOS防护
-
2. 反反爬虫
- 何为反反爬虫? -- 当然是对反爬虫的应对措施。
-
常见反爬虫方法
- 修改请求头:前面的文章中我们已经用到了;
- 修改爬虫间隔时间:模拟真实的请求发送;
- 使用代理:用代理IP。
3. 还是要说
- 我们练习爬虫不是为了违法,不是为了什么商业机密,大家在爬虫、反爬虫和反反爬虫的路上一定不要走进狱中了。
- 另外,爬虫学习可能在此就稍微停止了,更多的内容大家可以根据更多的教材来学习。之后会在有需要的时候,再针对性地学习。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论