17、Python快速开发分布式搜索引擎Scrapy精讲—深度优先与广度优先原理
文章目录
【百度云搜索,搜各种资料:http://www.bdyss.cn】
【搜网盘,搜各种资料:http://www.swpan.cn】

网站树形结构

深度优先
是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的


广度优先
是以层级来执行的,(列队方式实现)


【转载自:http://www.lqkweb.com】

网站树形结构

深度优先
是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的


广度优先
是以层级来执行的,(列队方式实现)


【转载自:http://www.lqkweb.com】
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论