Data-爬虫-01 爬虫简介
文章目录
Data-爬虫-01 爬虫简介
Be a yardstick of quality. Some people aren't used to an environment where excellence is expected. -- Steve Jobs
- Data系列,虽然我们很多时候的数据都是来自已有的数据集,但如果要进行一个个人的小程序开发,有时又不得不自己爬取数据,而且爬虫也无比有趣的事,所以,就此我们研究学习一下爬虫。
1. 爬虫简介
- 网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或脚本。(来自百度百科)
- 简言之,爬虫就是用自动的脚本、程序来实现互联网上信息的爬取。
2. 爬虫相关知识
- 计算机网络:在互联网上爬取信息,自然与计算机网络的请求、响应、URL、HTTP等知识相关。
- Web前后端:前端HTML、CSS、JS等知识,与后端交互的方式,这些也与构建爬虫有着密切关系。
- 数据库与安全:一些网站信息的获取首先需要登陆才能获取,或者有数据库的安全认证,这些知识也是很为重要的(当然,不是为了违法啦)。另外一些加密、解密的知识也需要一定的了解。
- 数据存储格式:有时需要从网页获取各种格式的文件,对于这些文件类型自然是需要一定的认知的。
- Python基础:这个就不用再多说了。
- 其他知识:正则表达式
3. 爬虫的基本流程
-
爬虫的基本流程,主要可以分为三部分:
- 获取网页
- 解析网页(提取数据)
- 存储数据
4. 爬虫相关的包与工具
- 一些爬虫工具:Octoparse、Cyotek WebCopy、HTTrack、Getleft、Scraper等;
- 获取网页:request、urllib、selenium | 多进程多线程抓取、登陆抓取、突破IP封锁、服务器抓取;
- 解析网页:re正则表达式、BeautifulSoup、Ixml | 解决中文乱码
- 存储数据:存入txt文件、存入csv文件 | 存入数据库
- 此部分内容来自Python 网络爬虫从入门到实践一书。
5. 爬虫相关的法律问题
- 虽然自己也不怎么了解,但仍是有必要在所有学习开始之前提及法律问题,这里列出几篇网络文章,希望大家能自己查看,不要触犯法律问题。
-
另外,Python 网络爬虫从入门到实践一书有两段话也是很有参考意义的,
就目前的情况来看,如果抓取的数据属于个人使用或科研范畴,基本不存在问题;而如果数据属于商业盈利翻凑,就要就事而论,有可能属于违法行为,也有可能不违法。
你需要约束自己的网络爬虫行为,将请求的速度限定在一个合理的范围之内。
-
此外需要了解的一点是Robots协议(爬虫协议,全称“网络爬虫排除标准”,Robots Exclusion Protocol),网站通过该协议说明搜索引擎哪些页面可以抓取,哪些页面不可以抓取。
- 大家可以通过Robots检测来查看自己关心的网站的Robots协议,淘宝似乎删除了robots.txt,怎么回事呢?
- 关于其中Allow、Disallow等的说明大家应该也清楚了。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论