Python网络爬虫中重新请求,请问有什么比较好的解决方法?

Python进阶者
• 阅读 885

大家好,我是皮皮。

一、前言

前几天在Python钻石群有个叫【某嘟】的粉丝问了一个关于Python网络爬虫中重新请求的问题,这里拿出来给大家分享下,一起学习。

Python网络爬虫中重新请求,请问有什么比较好的解决方法?

二、解决过程

这里【D I Y】大佬给了一个思路,确实可行。

Python网络爬虫中重新请求,请问有什么比较好的解决方法?

不过后来她自己又找到了一个更好的方法,找到一个HTTPAdapter可以实现超时重试,大概用法如下:

from requests.adapters import HTTPAdapter
req = requests.Session()
req.mount('https://', HTTPAdapter(max_retries=3))
response = req.get("https://weibo.com/ajax/statuses/hot_band", timeout=10)
最后判断数据 len(hot_dict.get("content")) == 50
大概是可以的。

Python网络爬虫中重新请求,请问有什么比较好的解决方法?

当时看到这里,也想起来前几天【瑜亮老师】分享的那个题目,关于Python网络爬虫请求的时候,大文件的抓取判断。之前也写过文章分享,这里就不再赘述了,感兴趣的小伙伴,可以前往:

Python网络爬虫中重新请求,请问有什么比较好的解决方法?

三、总结

大家好,我是皮皮。这篇文章基于粉丝提问,针对Python网络爬虫中重新请求的问题,给出了具体说明和演示,文章提出了两个解决思路,顺利地帮助粉丝解决了问题!

最后感谢粉丝【某嘟】提问,感谢【某嘟】、【D I Y】大佬给出的代码和思路支持,感谢粉丝【PI】、【德善堂小儿推拿-瑜亮老师】等人积极参与学习交流。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

点赞
收藏
评论区
推荐文章
Python进阶者 Python进阶者
2年前
Python网络爬虫过程中,构建网络请求的时候,参数`stream=True`的使用
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【德善堂小儿推拿瑜亮老师】分享了一个关于Python网络爬虫的问题,这里拿出来给大家分享下,一起学习。二、解决过程这里【PI】大佬提出了思路,的确可行。【皮皮】给了一份代码,取巧,这里就不展示了。后来【月神】给了一份可行的代码,如下所示:forurlinallurl:respr
Python进阶者 Python进阶者
2年前
selenium如何添加代理IP?
大家好,我是皮皮。一、前言前几天在Python钻石群有个叫【进击的python】的粉丝问了一个关于Python中selenium如何添加代理IP的问题,这里拿出来给大家分享下,一起学习。二、解决过程这里给出【PI】吴老板大佬的解答,一起来看看吧!直接上图了,如下图所示:他写这个已经是3年前的时候。当年还是个实习生呢,现在是吴老板了。三、总结大家好,我是
Python进阶者 Python进阶者
1年前
为啥chrome查看到网页,只有5000多行,应该有1万多行才对
大家好,我是皮皮。一、前言前几天在Python白银交流群【磐奚鸟】问了一个Python网络爬虫处理的问题,这里拿出来给大家分享下。二、实现过程这里【惜君】给了一个指导,可能网站有限制数据量。这里【瑜亮老师】发现了问题所在,如下图所示:数据方面确实存在,顺利
Python进阶者 Python进阶者
1年前
盘点一个使用playwright实现网络爬虫的实战案例
大家好,我是皮皮。一、前言前几天在Python白银交流群【空翼】问了一个Pyhton网络爬虫的问题,这里拿出来给大家分享下。二、实现过程【喜靓仔】提出用playwright实现,后来他自己给出了代码,如下图所示:代码如下:fromplaywright.sy
Python进阶者 Python进阶者
9个月前
盘点一个Python网络爬虫抓取股票代码问题(上篇)
大家好,我是皮皮。一、前言前几天在Python白银群【厚德载物】问了一个Python网络爬虫的问题,这里拿出来给大家分享下。二、实现过程这个问题其实for循环就可以搞定了,看上去粉丝的代码没有带请求头那些,导致获取不到数据。后来【瑜亮老师】、【小王子】给了
Python进阶者 Python进阶者
9个月前
盘点一个Python网络爬虫抓取股票代码问题(下篇)
大家好,我是皮皮。一、前言前几天在Python白银群【厚德载物】问了一个Python网络爬虫的问题,这里拿出来给大家分享下。二、实现过程这个问题其实for循环就可以搞定了,看上去粉丝的代码没有带请求头那些,导致获取不到数据。后来【瑜亮老师】、【小王子】给了
Python进阶者 Python进阶者
2年前
盘点一个Python网络爬虫过程中中文乱码的问题
大家好,我是皮皮。一、前言前几天在Python黄金交流群有个叫【Mt.Everest】的粉丝问了一个关于Python网络爬虫过程中中文乱码的问题,这里拿出来给大家分享下,一起学习。二、解决过程这个问题其实很早之前,我就写过相关文章,而且屡试不爽。【Python进阶者】解答这里给出了两个思路,照着这个思路去的话,问题不大。事实上并不巧,还是翻车了。【黑
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
Python进阶者 Python进阶者
1年前
盘点一道字典转换基础题目
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个Python基础问题,这里拿出来给大家分享下,一起学习下。二、解决过程这个问题挺基础的,看上去确实也不难。这里【瑜亮老师】直接给了一个代码d'a':1,'b':2reslist(tuple(d.items()))print(res)后来【月神】发现,其实
Python进阶者 Python进阶者
1年前
练习爬虫,我想问一下这个xpath语句为啥找不到元素,感谢大佬!
大家好,我是皮皮。一、前言前几天在Python钻石交流群【萤火】问了一个Python网络爬虫的问题,下图是截图:下图是报错截图:二、实现过程这里【error】给了一个代码,如下所示,满足粉丝的需求:用selenium没找到的话,大概率是网页还没渲染出来,代码就运行到了抓取规则,所以抓不到。其实他的匹配规则是可以拿到数据的,只不过用jupyter运行sel