Data-爬虫-01 爬虫简介

Data-爬虫-01 爬虫简介

Be a yardstick of quality. Some people aren't used to an environment where excellence is expected. -- Steve Jobs
  • Data系列,虽然我们很多时候的数据都是来自已有的数据集,但如果要进行一个个人的小程序开发,有时又不得不自己爬取数据,而且爬虫也无比有趣的事,所以,就此我们研究学习一下爬虫。

1. 爬虫简介

  • 网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或脚本。(来自百度百科)
  • 简言之,爬虫就是用自动的脚本、程序来实现互联网上信息的爬取。

2. 爬虫相关知识

  • 计算机网络:在互联网上爬取信息,自然与计算机网络的请求、响应、URL、HTTP等知识相关。
  • Web前后端:前端HTML、CSS、JS等知识,与后端交互的方式,这些也与构建爬虫有着密切关系。
  • 数据库与安全:一些网站信息的获取首先需要登陆才能获取,或者有数据库的安全认证,这些知识也是很为重要的(当然,不是为了违法啦)。另外一些加密、解密的知识也需要一定的了解。
  • 数据存储格式:有时需要从网页获取各种格式的文件,对于这些文件类型自然是需要一定的认知的。
  • Python基础:这个就不用再多说了。
  • 其他知识:正则表达式

3. 爬虫的基本流程

  • 爬虫的基本流程,主要可以分为三部分:

    • 获取网页
    • 解析网页(提取数据)
    • 存储数据

4. 爬虫相关的包与工具

  • 一些爬虫工具:Octoparse、Cyotek WebCopy、HTTrack、Getleft、Scraper等;
  • 获取网页:request、urllib、selenium | 多进程多线程抓取、登陆抓取、突破IP封锁、服务器抓取;
  • 解析网页:re正则表达式、BeautifulSoup、Ixml | 解决中文乱码
  • 存储数据:存入txt文件、存入csv文件 | 存入数据库
  • 此部分内容来自Python 网络爬虫从入门到实践一书。

5. 爬虫相关的法律问题

  • 虽然自己也不怎么了解,但仍是有必要在所有学习开始之前提及法律问题,这里列出几篇网络文章,希望大家能自己查看,不要触犯法律问题。
  1. 你的爬虫会送你进监狱吗?
  2. “来我公司写爬虫吗?会坐牢的那种!”
  • 另外,Python 网络爬虫从入门到实践一书有两段话也是很有参考意义的,

    就目前的情况来看,如果抓取的数据属于个人使用或科研范畴,基本不存在问题;而如果数据属于商业盈利翻凑,就要就事而论,有可能属于违法行为,也有可能不违法。

    你需要约束自己的网络爬虫行为,将请求的速度限定在一个合理的范围之内。

  • 此外需要了解的一点是Robots协议(爬虫协议,全称“网络爬虫排除标准”,Robots Exclusion Protocol),网站通过该协议说明搜索引擎哪些页面可以抓取,哪些页面不可以抓取。

    • 大家可以通过Robots检测来查看自己关心的网站的Robots协议,淘宝似乎删除了robots.txt,怎么回事呢?
    • 关于其中Allow、Disallow等的说明大家应该也清楚了。

参考资料

评论

暂无评论