博客 / python爬虫的分层结构反射蝉翼2019年7月24日1943 阅读文章目录 抓取层 主要作用是获取原始网页的HTML数据或者JSON数据 调度层 负责准备即将爬取的URL与分配爬取任务 解析层 将原始数据解析为结构化数据,保存至数据库 存储层 负责将数据保存到数据库 # python
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论