文章

WebMagic之Spider进阶

Webmagic源码分析系列文章,请看这里(https://segmentfault.com/a/1190000008850257)从解决问题开始吧。问题描述:由于数据库的数据量特别大,而且公司没有搞主从读写分离,导致从数据库读取数据比较慢,而我需要从数据库查询出特定标识来拼url去抓。

爬虫框架WebMagic源码分析之Selector

1、Selector部分:接口:Selector:定义了根据字符串选择单个元素和选择多个元素的方法。ElementSelector:定义了根据jsoupelement选择单个、多个元素的方法。主要用于CSS、Xpath选择器.抽象类:BaseElementSelector,实现类前面说的两个接

爬虫框架WebMagic源码分析之Scheduler

Scheduler是Webmagic中的url调度器,负责从Spider处理收集(push)需要抓取的url(Page的targetRequests)、并poll出将要被处理的url给Spider,同时还负责对url判断是否进行错误重试、及去重处理、以及总页面数、剩余页面数统计等。主要接口:

已加载文章中没有匹配内容,试试其他关键词或清空搜索。

已显示全部内容