HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

WebMagic之Spider进阶

Webmagic源码分析系列文章,请看这里(https://segmentfault.com/a/1190000008850257)从解决问题开始吧。问题描述:由于数据库的数据量特别大,而且公司没有搞主从读写分离,导致从数据库读取数据比较慢,而我需要从数据库查询出特定标识来拼url去抓。

爬虫框架WebMagic源码分析之Selector

1、Selector部分:接口:Selector:定义了根据字符串选择单个元素和选择多个元素的方法。ElementSelector:定义了根据jsoupelement选择单个、多个元素的方法。主要用于CSS、Xpath选择器.抽象类:BaseElementSelector,实现类前面说的两个接

爬虫框架WebMagic源码分析之Downloader

Downloader是负责请求url获取返回值(html、json、jsonp等)的一个组件。当然会同时处理POST重定向、Https验证、ip代理、判断失败重试等。接口:Downloader定义了download方法返回Page,定义了setThread方法来请求的设置线程数。抽象类:Abs

爬虫框架WebMagic源码分析之Scheduler

Scheduler是Webmagic中的url调度器,负责从Spider处理收集(push)需要抓取的url(Page的targetRequests)、并poll出将要被处理的url给Spider,同时还负责对url判断是否进行错误重试、及去重处理、以及总页面数、剩余页面数统计等。主要接口:

已经看完全部文章

已加载文章中没有匹配内容,可继续加载更多。