HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
【Sasila】一个简单易用的爬虫框架
现在有很多爬虫框架,比如scrapy(https://link.segmentfault.com/?enchz%2FIFNWDvT%2FiRjTb9ZrWbA%3D%3D.bpx3t1osOlClaucN3Jg%2BNrjc%2BOwRISuYpFcHx0b8leBdXp%2BYW
WebMagic之Spider进阶
Webmagic源码分析系列文章,请看这里(https://segmentfault.com/a/1190000008850257)从解决问题开始吧。问题描述:由于数据库的数据量特别大,而且公司没有搞主从读写分离,导致从数据库读取数据比较慢,而我需要从数据库查询出特定标识来拼url去抓。
爬虫框架WebMagic源码分析系列目录
爬虫框架Webmagic源码分析之Spider(https://segmentfault.com/a/1190000008820033)爬虫框架WebMagic源码分析之Scheduler(https://segmentfault.com/a/1190000008832840)爬虫框架We
爬虫框架WebMagic源码分析之Selenium
webmagic有一个selenium模块,其中实现了一个SeleniumDownloader。但是感觉灵活性不大。所以我就自己参考实现了一个。首先是WebDriverPool用来管理WebDriver池:<pre<codeimportjava.util.ArrayList;imp
爬虫框架WebMagic源码分析之Selector
1、Selector部分:接口:Selector:定义了根据字符串选择单个元素和选择多个元素的方法。ElementSelector:定义了根据jsoupelement选择单个、多个元素的方法。主要用于CSS、Xpath选择器.抽象类:BaseElementSelector,实现类前面说的两个接
爬虫框架WebMagic源码分析之Downloader
Downloader是负责请求url获取返回值(html、json、jsonp等)的一个组件。当然会同时处理POST重定向、Https验证、ip代理、判断失败重试等。接口:Downloader定义了download方法返回Page,定义了setThread方法来请求的设置线程数。抽象类:Abs
爬虫框架WebMagic源码分析之Scheduler
Scheduler是Webmagic中的url调度器,负责从Spider处理收集(push)需要抓取的url(Page的targetRequests)、并poll出将要被处理的url给Spider,同时还负责对url判断是否进行错误重试、及去重处理、以及总页面数、剩余页面数统计等。主要接口:
爬虫框架Webmagic源码分析之Spider
本系列文章,针对Webmagic0.6.1版本一个普通爬虫启动代码<pre<codepublicstaticvoidmain(Stringargs){Spider.create(newGithubRepoPageProcessor())
Webmagic+Selenium+PhantomJS实战
还是直接贴代码说明比较实在。感觉webmagicselenium这个模块有点鸡肋,但还是有可借鉴之处。借鉴它写了一个SeleniumDownloader,如下:<pre<codeimportorg.openqa.selenium.By;importorg.openqa.seleni
已经看完全部文章
已加载文章中没有匹配内容,可继续加载更多。