手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

技术栈杂食者
• 阅读 622

/1 前言/

平时我们要下载图片,要要一个一个点击下载是不是觉得很麻烦?那有没有更加简便的方法呢?答案是肯定的,这里我们以天堂网为例,批量下载天堂网的图片。

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

/2 项目准备工作/

首先 我们第一步我们要安装一个pycham的软件。可以参考这篇文章:Python环境搭建—安利Python小白的Python和Pycharm安装详细教程

天堂网的网址:

https://www.ivsky.com/bizhi/1920x1080/

我们需要下载几个库,怎么下载呢?打开pycharm,依次点击File,再点开Settings,如下图所示。

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

打开后会出现这个界面点击你的项目名字(project:(你的项目名字)),之后在project  interpreter下,点击加号,而后下载我们需要的库,如下图所示。

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

本项目需要用到的是库是requests、lxml、fake_useragent,如下图所示。fake_useragent一般是没有的,需要通过下面的命令进行安装:

pip install fake_useragent

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

/3 项目实现/

1、导入需要的库(requests,lxml, fake_useragent)。

2、我用了封装方法去实现各个部分的功能。首先要写一个框架:构造一个类TianTangWebsite ,然后定义一个__init__方法里继承(self),再定义一个主方法(main)。最后实现这个main方法,依次一步一步进行实现。

3、我们把天堂网的网址拿过来,构造请求头。这里说一下这个UserAgent的获取方法。在打开天堂网的网站后,按下键盘上的F12键,之后会进入到开发者模式,之后点开network,如下图所示。

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

4、而后随便点击一个name,复制header里边的UserAgent就可以了。 

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

5、我们点击下一页的地址观察网址的变化,如下所示:

https://www.ivsky.com/bizhi/1920x1080/index_2.html
https://www.ivsky.com/bizhi/1920x1080/index_3.html
https://www.ivsky.com/bizhi/1920x1080/index_4.html

很明显的发现,这个网址的网页数字一直在变化。我们可以用格式化{}去代替变化的值,类似这样:

https://www.ivsky.com/bizhi/1920x1080/index_{}.html

6、然后我们用for循环去遍历这些网址,代码如下所示:

def main(self):
    for i in range(1,2):#页数随机客户随便 设置
      url=self.url.format(i)
      print(url)

7、我们定义这个get_home()方法去请求到这个网址。

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

9、我们需要解析得到的数据,接下来定义一个xiap的方法,拿到我们请求的网址。接下来就是该项目的关键了。

10、至此,针对反爬虫的措施我们已经提前做好了准备,下一步将进行网页结构的分析以及网页图片地址数据的提取,并针对解析出来的图片地址予以批量下载,具体实现咱们下篇文章进行详解。

/4 小结/

本文主要内容为对图片网站进行了基本简介,基于 Python 中的爬虫库 requestslxmlfake_useragent,提前部署了请求头,模拟浏览器,针对反爬虫的措施我们已经提前做好了准备。

下篇文章将带大家进行网页结构的分析以及网页图片地址数据的提取,并针对解析出来的图片地址予以批量下载,敬请期待~~

往期精彩文章推荐:

想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/

点赞
收藏
评论区
推荐文章
Python进阶者 Python进阶者
3年前
手把手教你利用JavaScript 获取任意网站图片链接
前言大家好,我是IT共享者,人称皮皮。妹纸图这个网站想必大家都非常熟悉了,老司机的天堂。小编第一次进表示身体逐渐变得空虚,表示一定要克制自己,远离这种正能量的网站。话不多说,今天带大家获取妹纸图上的图片链接。然后大家都懂得。一、项目准备360浏览器,仅此而已二、项目目的获取页面所有美女图片三、项目步骤1.打开浏览器,搜索图片,我们以美女图片为例:画面
java一生之敌 java一生之敌
2年前
JVM的内存模型和优化方式
一、JVM的内存模型1.!图片(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/52b2220f04010eb329efbef966f9fa40.png)其中s0,s1为幸
Karen110 Karen110
3年前
一篇文章教会你利用Python网络爬虫获取电影天堂视频下载链接
【一、项目背景】相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知道最近电影更新的状态。今天小编以电影天堂为例,带大家更直观的去看自己喜欢的电影,并且下载下来。【二、项目准备】首先我们第一步我们要安装一个Pycharm的软件。Pycharm软件安装可以看这篇教程:。电影天堂网的网址:https://ww
Stella981 Stella981
3年前
AndroidUniversalImageLoader图片异步加载类库的使用
开发App过程中,免不了要进行网络请求操作进行数据交换,比如下载图片,如果自己写一个下载图片的类进行操作的话,要考虑太多太多内容,必须线程池,内存溢出,图片磁盘缓存操作,图片内存缓存操作等等,相当麻烦。好在伟大的开源者们已经写好了一个比较完美的开源类库供大家使用Android(https://www.oschina.net/action/GoTo
马尚 马尚
1年前
用Python实现简单的验证码识别
验证码是用于验证用户身份或防止机器人访问的常见安全措施之一。本文将介绍如何使用Python对简单的数字验证码进行识别,以及完整的代码示例。1.下载验证码图片首先,我们需要从网站上下载验证码图片。假设验证码图片的URL为https://example.com
马尚 马尚
1年前
用Python实现简单的验证码识别
验证码是用于验证用户身份或防止机器人访问的常见安全措施之一。本文将介绍如何使用Python对简单的数字验证码进行识别,以及完整的代码示例。1.下载验证码图片首先,我们需要从网站上下载验证码图片。假设验证码图片的URL为https://example.com
马尚 马尚
1年前
用Python实现简单的验证码识别
验证码是用于验证用户身份或防止机器人访问的常见安全措施之一。本文将介绍如何使用Python对简单的数字验证码进行识别,以及完整的代码示例。1.下载验证码图片首先,我们需要从网站上下载验证码图片。假设验证码图片的URL为https://example.com
PuppeteerSharp库在C#中的应用案例
引言PuppeteerSharp是一个针对GoogleChrome浏览器的高级API库,它允许我们使用C来控制Chrome浏览器的,比如模拟用户行为操作、爬取网页内容等。本文将介绍如何使用PuppeteerSharp库在C中实现下载千图网图片并保存为PDF
马尚 马尚
1年前
用Python实现简单的验证码识别
验证码是用于验证用户身份或防止机器人访问的常见安全措施之一。本文将介绍如何使用Python对简单的数字验证码进行识别,以及完整的代码示例。1.下载验证码图片首先,我们需要从网站上下载验证码图片。假设验证码图片的URL为https://example.com
马尚 马尚
1年前
用Python实现简单的验证码识别
验证码是用于验证用户身份或防止机器人访问的常见安全措施之一。本文将介绍如何使用Python对简单的数字验证码进行识别,以及完整的代码示例。1.下载验证码图片首先,我们需要从网站上下载验证码图片。假设验证码图片的URL为https://example.com