Python爬虫 | 批量爬取今日头条街拍美图

Karen110
• 阅读 1912

Python爬虫 | 批量爬取今日头条街拍美图

Python爬虫 | 批量爬取今日头条街拍美图

专栏作者:霖hero,在职爬虫工程师,熟悉JS逆向与分布式爬虫。喜欢钻研,热爱学习,乐于分享。公众号后台回复入群,拉你进技术群与大佬们近距离交流。

01

前言

Python爬虫 | 批量爬取今日头条街拍美图

大家好,我是J哥🚀

在以前的文章中我们学了Ajax数据爬取,这篇文章我们以今日头条为例,通过分析Ajax请求来抓取今日头条的街拍美图,并将图片下载到本地保存下来。准备好没,我们现在开始!

02

网页分析

Python爬虫 | 批量爬取今日头条街拍美图

在抓取之前,首先分析抓取的逻辑。打开今日头条的街拍美图https://so.toutiao.com/search?dvpf=pc&source=input&keyword=%E8%A1%97%E6%8B%8D,如下图:

Python爬虫 | 批量爬取今日头条街拍美图

我们点击第一个,这个请求的URL是:

Python爬虫 | 批量爬取今日头条街拍美图

随后我们打开开发者工具,切换到Network选项卡,重新刷新页面并下滑,可以发现这里出现了很多的条目,点击‘search?keyword=%’开头的条目,可以发现里面有很多图片信息的数据,其中img_small_url、img_url是图片链接,如下图:

Python爬虫 | 批量爬取今日头条街拍美图

我们只需要用Python来模拟这个Ajax请求,然后提取相关美图链接并下载下来就可以了,但是在这之前,我们还需要分析一下URL的规律。

切换回Headers选项卡,观察一下它的请求URL和Headers信息,如下图:

Python爬虫 | 批量爬取今日头条街拍美图

可以看到,这是一个GET请求,请求URL的参数有keyword、pd、dvpf、aid、page_num、search_json、rawJSON、search_id。我们需要找到这些参数的规律,这样才可以方便地用程序构造出来。

接下来,滑动页面,多加载一些新结果。在加载的同时可以发现,Network中又出现了许多Ajax请求。如下图:

Python爬虫 | 批量爬取今日头条街拍美图

观察后续链接的参数,可以发现发生变化的参数只有page_num,其他参数都没有变化,而且page_num的偏移量为1,因此我们可以用page_num参数来控制数据分页,这样一来,我们就可以通过接口批量获取数据了,然后将数据解析,将图片下载下来即可。

03

爬虫实战

Python爬虫 | 批量爬取今日头条街拍美图

定义一个get_page()方法,实现加载单个Ajax请求的结果。其中唯一变化的参数就是page_num,所以我们将它当作参数传递,实现代码如下:

def get_page(page_num):
    global headers
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
    }
    params = {
        'keyword':urllib.parse.unquote('%E8%A1%97%E6%8B%8D'),
        'pd':'atlas',
        'dvpf':'pc',
        'aid':4916,
        'page_num':page_num,
                        'search_json':'%7B%22from_search_id%22%3A%22202106100003510102121720341003A4ED%22%2C%22origin_keyword%22%3A%22%E8%A1%97%E6%8B%8D%22%2C%22image_keyword%22%3A%22%E8%A1%97%E6%8B%8D%22%7D',
        'rawJSON': 1,
        'search_id':'202106100004290101500200495C05B763'
    }
    url='https://so.toutiao.com/search?'+urlencode(params)
    try:
        response=requests.get(url,headers=headers,params=params)
        if response.status_code==200:
            return response.json()
    except requests.ConnectionError:
        return None

这里我们用urlencode()方法构造请求的GET参数,然后用requests请求这个链接,如果返回状态码为200,则调用response的json()方法将结果转为JSON格式,然后返回。

接下来,再实现一个解析方法:提取每条数据的img_url字段的图片链接,将图片链接返回,此时我们通过构造器来实现,实现代码如下:

def get_images(json):
    images=json.get('rawData').get('data')
    for image in images:
        link = image.get('img_url')
        yield link

接下来,实现一个保存图片的方法saving_images(),其中link是前面get_images()方法返回的图片链接,实现代码如下:

def saving_img(link):
    global name
    print(f'-------正在打印第{name}张图片')
    data=requests.get(link,headers=headers).content
    with open(f'image1/{name}.jpg','wb')as f:
            f.write(data)
            name+=1

最后,只需要构造一个page_num数组,遍历page_num,提取图片链接,并将其下载即可,具体代码如下:

def main(paga_num):
    json=get_page(paga_num)
    for link in get_images(json):
        saving_img(link)
if __name__ == '__main__':
    for i in range(0,2):
        main(i)

这样整个程序就完成了,运行之后可以发现街拍美图保存下载下来了,这里我们只遍历了两个page_num,爬取了80张图片,如下图:

Python爬虫 | 批量爬取今日头条街拍美图

04

小结

Python爬虫 | 批量爬取今日头条街拍美图

好了,Python爬虫——今日头条街拍美图的爬取就讲解到这里,感谢观看!当然,该程序仍有很多可以完善的地方,例如:使用多进程的进程池来实现多进程下载。

**-----**------**-----**---**** End **-----**--------**-----**-****

往期精彩文章推荐:

Python爬虫 | 批量爬取今日头条街拍美图

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/hFd-2_0OzaWFuxLlVok4mg,如有侵权,请联系删除。

点赞
收藏
评论区
推荐文章
浅梦一笑 浅梦一笑
1个月前
初学 Python 需要安装哪些软件?超级实用,小白必看!
编程这个东西是真的奇妙。对于懂得的人来说,会觉得这个工具是多么的好用、有趣,而对于小白来说,就如同大山一样。其实这个都可以理解,大家都是这样过来的。那么接下来就说一下python相关的东西吧,并说一下我对编程的理解。本人也是小白一名,如有不对的地方,还请各位大神指出01名词解释:如果在编程方面接触的比较少,那么对于软件这一块,有几个名词一定要了解,比如开发环
Irene181 Irene181
1年前
Python精美地理可视化绘制——以中国历年GDP数据为例
专栏作者:zch,经管专业研一在读,Python数据分析及可视化爱好者。公众号后台回复入群,拉你进技术群与大佬们近距离交流。有的时候,我们需要对不同国家或地区的某项指标进行比较,可简单通过直方图加以比较。但直方图在视觉上并不能很好突出地区间的差异,因此考虑地理可视化,通过地图上位置(地理位置)和颜色(颜色深浅代表数值差异)两个元素加以体现。在本文案例中,基于
blmius blmius
1年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录 问题 用navicat导入数据时,报错: 原因这是因为当前的MySQL不支持datetime为0的情况。 解决修改sql\mode: sql\mode:SQL Mode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。 全局s
Aimerl0 Aimerl0
1年前
Python网络爬虫与信息提取
title: Python网络爬虫与信息提取date: 20201210 01:00:23tags: Pythoncategories: 学习笔记 写在前面 不知道写啥其实说实话[TOC] 网络爬虫之规则 安装requests库cmd 命令行打开输入pip3 install requests,等待即可简单测试,爬一下bkjwpythonimport requ
Wesley13 Wesley13
1年前
Java爬虫之JSoup使用教程
title: Java爬虫之JSoup使用教程 date: 2018-12-24 8:00:00 +0800 update: 2018-12-24 8:00:00 +0800 author: me cover: [https://img-blog.csdnimg.cn/20181224144920712](https://www.oschin
Stella981 Stella981
1年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有`time`,和`datetime`两个,本文先说`time`模块。 ### 关于时间戳的几个概念 * 时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。 * 时间元组(`struct_time`),包含9个元素。  `time.struct_time(tm_y
Easter79 Easter79
1年前
TurnipBit开发板DIY呼吸的吃豆人教程实例
  转载请以链接形式注明文章来源(MicroPythonQQ技术交流群:157816561,公众号:MicroPython玩家汇)   **0x00前言**   吃豆人是耳熟能详的可爱形象,如今我们的TurnipBit也集成了这可爱的图形,我们这就让他来呼吸了~。   **0x01效果展示**   先一起看下最终的成品演示视频:   [http:/
Wesley13 Wesley13
1年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表: **时辰** **时间** **24时制** 子时 深夜 11:00 - 凌晨 01:00 23:00 - 01 :00 丑时 上午 01:00 - 上午 03:00 01:00 - 03 :00 寅时 上午 03:00 - 上午 0
Stella981 Stella981
1年前
Docker 部署SpringBoot项目不香吗?
  公众号改版后文章乱序推荐,希望你可以点击上方“**Java进阶架构师**”,点击右上角,将我们设为**★**“**星标**”!这样才不会错过每日进阶架构文章呀。   ![](http://dingyue.ws.126.net/2020/0920/b00fbfc7j00qgy5xy002kd200qo00hsg00it00cj.jpg)   **2
Wesley13 Wesley13
1年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
#### 背景描述 # Time: 2019-01-24T00:08:14.705724+08:00 # User@Host: **[**] @ [**] Id: ** # Schema: sentrymeta Last_errno: 0 Killed: 0 # Query_time: 0.315758 Lock_
helloworld_34035044 helloworld_34035044
4个月前
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。 uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid() 或 uuid(sep)参数说明:sep 布尔值,生成的uuid中是否包含分隔符'',缺省为