Scrapy框架中如何更改下载中间件里的headers?

Python进阶者
• 阅读 329

大家好,我是我是皮皮。

一、前言

前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个关于Scrapy框架中如何更改下载中间件里的headers问题,这里拿出来给大家分享下,一起学习。

Scrapy框架中如何更改下载中间件里的headers?

二、解决过程

如果只是单纯的一次性添加,那么可以使用下面这个方式,直接在settings.py文件中设置:

Scrapy框架中如何更改下载中间件里的headers?

但是他想动态的修改,这样的话,单纯的修改就有点力不从心了。

Scrapy框架中如何更改下载中间件里的headers?

不过不慌,这个这里给出【小王】大佬的解答,一起来看看吧,下面是他给的一个示例代码,下面这个代码写在middleware.py文件。

from fake_useragent import UserAgent

class RandomUserAgentMiddleware:
    def process_request(self, request, spider):
        request.headers.setdefault("User-Agent", UserAgent().chrome)

下面这个代码写在settings.py文件里边,如下所示:

settings.py
DOWNLOADER_MIDDLEWARES = {
   # 'anjuke.middlewares.RandomProxyMiddleware': 543,
   'anjuke.middlewares.RandomUserAgentMiddleware': 400,
}

Scrapy框架中如何更改下载中间件里的headers?

三、总结

大家好,我是皮皮。这篇文章基于粉丝提问,针对Scrapy框架中如何更改下载中间件里的headers问题,给出了具体说明和演示,顺利的帮助粉丝解决了问题。

最后感谢粉丝【麦当】提问,感谢【dcpeng】和【小王】大佬给出的示例和代码支持。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Python进阶者 Python进阶者
2年前
Python匿名函数lambda x: x-0 and x-1代表的意思是什么...
大家好,我是我是皮皮。一、前言前几天在Python最强王者交流群有个叫【ChloéP.】的粉丝问了一个关于Python匿名函数的问题,讨论十分火热,这里拿出来给大家分享下,一起学习。题目如下图所示:下面是给出的答案,乍看有点难懂。二、解决过程这个这里给出【杰】大佬的答案,一起来看看吧。下面是fliter这个函数的含义:不过看上去还是有点晦涩难懂,后来【德善
Python进阶者 Python进阶者
2年前
分享一场Python正则表达式中的特殊序列问答交流
大家好,我是我是皮皮。一、前言前几天在Python最强王者交流群有个叫【杰】的粉丝问了一个关于Python正则表达式的问题,讨论十分火热,这里拿出来给大家分享下,一起学习。下图是原始题目:下面是给出的答案,乍看有点难懂,不过有正则狂魔【小王】大佬在,问题不大。二、解决过程这个这里给出【小王】大佬的解答,一起来看看吧,下面是他给的一个示例代码。import
Python进阶者 Python进阶者
2年前
Python中的and和or,结果让人出乎意料之外
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【Chloe】的粉丝问了一个Python基础的问题,关于and和or,这里拿出来给大家分享下,一起学习下。二、解决过程这里【杰】给出了解答,其实Python中,除括号外,and优先级较高,那么这里的话【瑜亮老师】也给出了解答,确实没有括号,表达式从左往右运算,and比or优先级高,先算an
Python进阶者 Python进阶者
2年前
盘点Python正则表达式中的贪婪模式和非贪婪模式
大家好,我是我是皮皮。一、前言前几天在Python最强王者交流群有个叫【杰】的粉丝问了一个关于Python正则表达式的问题,其中涉及到Python正则表达式中的贪婪模式和非贪婪模式,讨论十分火热,这里拿出来给大家分享下,一起学习。二、解决过程这里分享【小王】大佬的解答,一起来看看吧,下面是他给的一个示例代码。importretxt"Thisis
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Python进阶者 Python进阶者
2年前
Python面向对象中的类变量,实例变量怎么来理解?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【Chloe】的粉丝问了一个类变量和实例变量的问题,这里拿出来给大家分享下,一起学习下。二、解决过程在PythonTutorial中对于类变量和实例变量是这样描述的:Generallyspeaking,instancevariablesarefordatauniquet
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
Python进阶者 Python进阶者
1年前
使用Python编程打造一款游戏
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【Chloe】的粉丝问了一个Python小游戏的问题,这里拿出来给大家分享下,一起学习下。二、解决过程看上去代码有报错,截图如下。这个错误倒是很常见,因为数据类型不同,直接相加肯定报错,如果需要更改的话,那么需要转一下数据类型,这里【沈复】大佬给出了答案,如下图所示。当然了,粉丝的代码残缺的太
Python进阶者 Python进阶者
1年前
盘点一道字典转换基础题目
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个Python基础问题,这里拿出来给大家分享下,一起学习下。二、解决过程这个问题挺基础的,看上去确实也不难。这里【瑜亮老师】直接给了一个代码d'a':1,'b':2reslist(tuple(d.items()))print(res)后来【月神】发现,其实