Node.js爬虫实战

Stella981
• 阅读 1032

前言

今天没有什么前言,就是想分享些关于爬虫的技术,任性。来吧,各位客官,里边请...

开篇第一问:爬虫是什么嘞?

首先咱们说哈,爬虫不是“虫子”,姑凉们不要害怕。

爬虫 - 一种通过一定方式按照一定规则抓取数据的操作或方法。

开篇第二问:爬虫能做什么嘞?

来来来,谈谈需求

产品MM:

  1. 爱豆的新电影上架了,整体电影评价如何呢?

  2. 暗恋的妹子最近又失恋了,如何在她发微博的时候第一时间知道发了什么,好去呵护呢?

  3. 总是在看小说的时候点到广告?总是在看那啥的时候点出来,澳xx场又上线啦?

  4. 做个新闻类网站没有数据源咋办?

研发GG:

爬虫随时准备为您服务!

  1. 使用爬虫,拉取爱豆视频所有的评价,导入表格,进而分析评价

  2. 使用爬虫,加上定时任务,拉取妹子的微博,只要数据有变化,接入短信或邮件服务,第一时间通知

  3. 使用爬虫,拉取小说内容或xxx的视频,自己再设计个展示页,perfect!

  4. 使用爬虫,定时任务,拉取多个新闻源的新闻,存储到数据库

开篇第三问:爬虫如何实现嘞?

实现爬虫的技术有很多,如python、Node等,今天胡哥给大家分享使用Node做爬虫:爬取小说网站-首页推荐小说

爬取第一步-确定目标

目标网站:https://www.23us.so

Node.js爬虫实战

目标网站

我们要获取排行榜中六部小说的:书名、封面、以及小说书籍信息对应的地址(后续获取小说完整信息)

爬取第二步-分析目标特点

网页的内容是由HTML生成的,抓取内容就相当找到特定的HTML结构,获取该元素的值。

打开网页调试控制台,查看元素HTML结构。

Node.js爬虫实战

HTML数据结构

注意观察页面HTML的结构,排行榜推荐的小说的HTML结构是

bdo#s-dd 元素    dd 子元素 - 每一部小说        a 目录信息            img 封面        a 小说名称

爬取第三步-弄丫的

工具善其事必先利其器,准备好趁手的兵器!

superagent

模拟客户端发送网络请求,可设置请求参数、header头信息

npm install superagent -D

cheerio

类jQuery库,可将字符串导入,创建对象,用于快速抓取字符串中的符合条件的数据

npm install cheerio -D

项目目录:

node-pachong/  - index.js  - package.json  - node_modules/

上代码:

// node-pachong/index.js/** * 使用Node.js做爬虫实战 * author: justbecoder <justbecoder@aliyun.com> */// 引入需要的工具包const sp = require('superagent');const cheerio = require('cheerio');// 定义请求的URL地址const BASE_URL = 'http://www.23us.so';// 1. 发送请求,获取HTML字符串(async () => {  let html = await sp.get(BASE_URL);    // 2. 将字符串导入,使用cheerio获取元素  let $ = cheerio.load(html.text);    // 3. 获取指定的元素  let books = []  $('#s_dd dd').each(function () {    let info = {      link: $(this).find('a').eq(0).attr('href'),      name: $(this).find('a').eq(1).text(),      image: $(this).find('img').attr('src')    }    books.push(info)  })  console.log(books)})()

友情提醒:每个网站的HTML结构是不一样,在抓取不同网站的数据时,要分析不同的解构,才能百发百中。

效果图:

Node.js爬虫实战

打印获取的小说信息

获取到信息之后,做接口数据返回、存储数据库,你想干啥都行...

源码获取

关注胡哥有话说公众号,回复“爬虫”,即可获取源码地址。

后记


以上就是胡哥今天给大家分享的内容,喜欢的小伙伴记得收藏转发、点击右下角按钮在看,推荐给更多小伙伴呦,欢迎多多留言交流...

胡哥有话说,一个有技术,有情怀的胡哥!京东开放平台首席前端攻城狮。与你一起聊聊大前端,分享前端系统架构,框架实现原理,最新最高效的技术实践!

长按扫码关注,更帅更漂亮呦!关注胡哥有话说公众号,可与胡哥继续深入交流呦!

Node.js爬虫实战

胡哥有话说

本文分享自微信公众号 - 胡哥有话说(hugeyouhuashuo)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
胡哥有话说 胡哥有话说
3年前
Node.js爬虫实战 - 爬你喜欢的
前言今天没有什么前言,就是想分享些关于爬虫的技术,任性。来吧,各位客官,里边请...开篇第一问:爬虫是什么嘞?首先咱们说哈,爬虫不是“虫子”,姑凉们不要害怕。爬虫一种通过一定方式按照一定规则抓取数据的操作或方法。开篇第二问:爬虫能做什么嘞?来来来,谈谈需求产品MM:1.爱豆的新电影上架了,整体电影评价如何呢?2.暗
Irene181 Irene181
2年前
详解4种类型的爬虫技术
导读:网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型进行介绍。作者:赵国生王健来源:大数据DT(ID:hzdashuju)聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内
Aimerl0 Aimerl0
2年前
Python网络爬虫与信息提取
title:Python网络爬虫与信息提取date:2020121001:00:23tags:Pythoncategories:学习笔记写在前面不知道写啥其实说实话TOC网络爬虫之规则安装requests库cmd命令行打开输入pip3installrequests,等待即可简单测试,爬一下bkjwpythonimportrequ
京东云开发者 京东云开发者
11个月前
Python网络爬虫原理及实践 | 京东云技术团队
网络爬虫:是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫相关技术和框架繁多,针对场景的不同可以选择不同的网络爬虫技术。
Wesley13 Wesley13
2年前
Java爬虫之JSoup使用教程
title:Java爬虫之JSoup使用教程date:201812248:00:000800update:201812248:00:000800author:mecover:https://imgblog.csdnimg.cn/20181224144920712(https://www.oschin
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
2个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
秦朗 秦朗
2个月前
零基础一站式爬虫高级教学2022
//下仔のke:https://yeziit.cn/14944/爬虫(网络爬虫)是一种按照一定规则从互联网上抓取信息的程序。与用户正常访问信息的区别在于,爬虫是大量、持续地获取信息,而用户通常是少量、随机地访问信息。爬虫可以抓取各种类型的信息,例如网页上的