HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

JAVA 爬虫框架webmagic 初步使用Demo

一想到做爬虫大家第一个想到的语言一定是python,毕竟python比方便,而且最近也非常的火爆,但是python有一个全局锁的概念新能有瓶颈,所以用java还是比较牛逼的,webmagic官网<codehttps://webmagic.io/</code讲的非常详细,当然java比较

学 Java 网络爬虫,需要哪些基础知识?

说起网络爬虫,大家想起的估计都是Python,诚然爬虫已经是Python的代名词之一,相比Java来说就要逊色不少。有不少人都不知道Java可以做网络爬虫,其实Java也能做网络爬虫而且还能做的非常好,在开源社区中有不少优秀的Java网络爬虫框架,例如webmagic。我

webmagic源码分析

前言在文章《webmagic核心设计和运行机制分析》(https://segmentfault.com/a/1190000020511746)中已经提到WebMagic内部是通过生产者/消费者模式来实现的,本篇我们就分析一下WebMagic的源代码,先从爬虫入口类main方

webmagic核心设计和运行机制分析

爬虫通过程序代码将网页中我们需要的文本信息批量、自动保存下来。自己如何实现如果不用框架,完全我们自己手写实现爬虫的功能,思路流程应该是怎样的?使用http类库下载一个起始url得到html字符串解析html字符串得到我们需要的文

我的爬虫技术经历

1.前言爬虫,这个词很多朋友第一次听到,第一感觉应该是各种小虫子,应该不会和某种计算机技术联系在一起。我第一次听到这个词,就是这样一个感觉。但是当这个这个词前面加了网络二字时,瞬间勾起了我的兴趣,当然也带来了疑问。比如,网络爬虫是什么?有什么用?后来带着强烈的兴趣和疑问,查询了很多资料

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。