盘点一个Python网络爬虫过程中中文乱码的问题

Python进阶者
• 阅读 204

大家好,我是皮皮。

一、前言

前几天在Python黄金交流群有个叫【Mt.Everest】的粉丝问了一个关于Python网络爬虫过程中中文乱码的问题,这里拿出来给大家分享下,一起学习。

盘点一个Python网络爬虫过程中中文乱码的问题

二、解决过程

这个问题其实很早之前,我就写过相关文章,而且屡试不爽。

盘点一个Python网络爬虫过程中中文乱码的问题

【Python进阶者】解答

这里给出了两个思路,照着这个思路去的话,问题不大。

盘点一个Python网络爬虫过程中中文乱码的问题

事实上并不巧,还是翻车了。

【黑脸怪】解答

许多群友也尝试去运行代码解决,但是还是翻车了,好在有【黑脸怪】大佬。

盘点一个Python网络爬虫过程中中文乱码的问题

【黑脸怪】大佬一出手,就知道有没有。

盘点一个Python网络爬虫过程中中文乱码的问题

看上去确实是搞定了,真是太强了。

盘点一个Python网络爬虫过程中中文乱码的问题

其实这里【黑脸怪】大佬把params这个参数去掉了,其他的就没做了。

盘点一个Python网络爬虫过程中中文乱码的问题

后来【Mt.Everest】亲测,确实可以了!

盘点一个Python网络爬虫过程中中文乱码的问题

后来仔细看了下response数据,发现确实是不需要加params参数。

盘点一个Python网络爬虫过程中中文乱码的问题

后来问题迎刃而解了。

盘点一个Python网络爬虫过程中中文乱码的问题

小伙伴们直呼好家伙!

盘点一个Python网络爬虫过程中中文乱码的问题

三、总结

大家好,我是皮皮。这篇文章基于粉丝提问,针对一个Python网络爬虫过程中中文乱码的问题,给出了具体说明和演示。其实来说的话,使用r.encoding = r.apparent_encoding编码方式可以解决大多数的中文乱码问题,但是一些细节方面还是需要多多注意的。

最后感谢粉丝【Mt.Everest】提问,感谢【黑脸怪】大佬给出的示例和代码支持,感谢粉丝【孙文】、【PI】、【dcpeng】、【东哥】、【磐奚鸟】、【🌑(这是月亮的背面)】等人参与学习交流。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

点赞
收藏
评论区
推荐文章
浅梦一笑 浅梦一笑
1个月前
初学 Python 需要安装哪些软件?超级实用,小白必看!
编程这个东西是真的奇妙。对于懂得的人来说,会觉得这个工具是多么的好用、有趣,而对于小白来说,就如同大山一样。其实这个都可以理解,大家都是这样过来的。那么接下来就说一下python相关的东西吧,并说一下我对编程的理解。本人也是小白一名,如有不对的地方,还请各位大神指出01名词解释:如果在编程方面接触的比较少,那么对于软件这一块,有几个名词一定要了解,比如开发环
blmius blmius
1年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录 问题 用navicat导入数据时,报错: 原因这是因为当前的MySQL不支持datetime为0的情况。 解决修改sql\mode: sql\mode:SQL Mode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。 全局s
Python进阶者 Python进阶者
1年前
盘点3种Python网络爬虫过程中的中文乱码的处理方法
大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。 前言前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题,如下图所示。看上去确实头大,对于爬虫初学者来说,这个乱码摆在自己面前,犹如拦路虎一
Python进阶者 Python进阶者
7个月前
Python网络爬虫中重新请求,请问有什么比较好的解决方法?
大家好,我是皮皮。 一、前言前几天在Python钻石群有个叫【某嘟】的粉丝问了一个关于Python网络爬虫中重新请求的问题,这里拿出来给大家分享下,一起学习。 二、解决过程这里【D I Y】大佬给了一个思路,确实可行。不过后来她自己又找到了一个更好的方法,找到一个HTTPAdapter可以实现超时重试,大概用法如下:from requests.adapter
Python进阶者 Python进阶者
7个月前
把一个csv数据文件,第一行头文件(字段名)不变,按某列(第四列)降序排列,另行保存为csv 文件
大家好,我是皮皮。 一、前言前几天在Python白银交流群有个叫【大侠】的粉丝问了一个关于Python自动化办公的问题,这里拿出来给大家分享下,一起学习。把一个csv数据文件,第一行头文件(字段名)不变,按某列(第四列)降序排列,另行保存为csv 文件。 二、解决过程 【dcpeng】解答这里给出了一个思路,传统的常规思路,虽然很low,但是可行。 【德善堂
Python进阶者 Python进阶者
7个月前
Python网络爬虫过程中,构建网络请求的时候,参数`stream=True`的使用
大家好,我是皮皮。 一、前言前几天在Python最强王者交流群【德善堂小儿推拿瑜亮老师】分享了一个关于Python网络爬虫的问题,这里拿出来给大家分享下,一起学习。 二、解决过程这里【PI】大佬提出了思路,的确可行。【皮皮】给了一份代码,取巧,这里就不展示了。后来【月神】给了一份可行的代码,如下所示:for url in allurl: resp r
Python进阶者 Python进阶者
7个月前
Python中的and和or,结果让人出乎意料之外
大家好,我是皮皮。 一、前言前几天在Python最强王者交流群有个叫【Chloe】的粉丝问了一个Python基础的问题,关于and和or,这里拿出来给大家分享下,一起学习下。 二、解决过程这里【杰】给出了解答,其实Python中,除括号外,and优先级较高,那么这里的话【瑜亮老师】也给出了解答,确实没有括号,表达式从左往右运算,and比or优先级高,先算an
Python进阶者 Python进阶者
7个月前
编写一个闭包函数,要实现的功能是计数功能
大家好,我是皮皮。 一、前言前几天在Python最强王者交流群有个叫【杰】的粉丝问了一个Python装饰器的问题,这里拿出来给大家分享下,一起学习下。 二、解决过程这里【东哥】给出了解答,其实这个题目就是在考你装饰器的内容。代码如下:count 0def wrapper(func): def inner(args, kwargs): g
Python进阶者 Python进阶者
4个月前
盘点一道字典转换基础题目
大家好,我是皮皮。 一、前言前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个Python基础问题,这里拿出来给大家分享下,一起学习下。 二、解决过程这个问题挺基础的,看上去确实也不难。这里【瑜亮老师】直接给了一个代码d 'a': 1, 'b': 2res list(tuple(d.items()))print(res)后来【月神】发现,其实
Python进阶者 Python进阶者
8个月前
分享一场Python正则表达式中的特殊序列问答交流
大家好,我是我是皮皮。 一、前言前几天在Python最强王者交流群有个叫【杰】的粉丝问了一个关于Python正则表达式的问题,讨论十分火热,这里拿出来给大家分享下,一起学习。下图是原始题目:下面是给出的答案,乍看有点难懂,不过有正则狂魔【小王】大佬在,问题不大。 二、解决过程这个这里给出【小王】大佬的解答,一起来看看吧,下面是他给的一个示例代码。import