1、ASCII 编码
计算机最开始是由美国人发明使用的，当然 ASCII 编码也是由美国人发明的。所以它的产生主要是切合了美国的 English 语言，并且支持阿拉伯数字以及英文状态的标点符号。
2、GB2312 编码
由于 ASCII 编码只能支持英文的编码使用，我们的中文不能实现计算机信息交流，所以产生了 GB2312 编码用来完成信息交流，它是中华人民共和国国家标准简体中文字符集。
3、Unicode 编码
各个国家地区在定义了自己的编码规范之后，那么在多种编码语言的系统中就会出现乱码的情况。韩国有韩国的编码、日本有日本的编码，这样就造成了多语言模式的混乱。因此，Unicode 编码就是为了解决这种情况，将所有的编码都统一到一个编码规范里面，即使是系统中出现多语言的处理也不会产生乱码的情况。
4、UTF-8 编码
正所谓先完成再完善，技术的发展更是如此。虽然使用 Unicode 编码解决了编码统一性的问题，但是它又会占用比较多的空间、并且在传输的过程中也会消耗相应的性能。所以， UTF-8 就随着历史的潮流诞生了，它可以使用更小的字节数完成语言编码的转换，大大的节省了空间和传输性能。
5、检测编码
检测编码是经常要在爬虫过程中使用的方式，对网络上抓取到的内容进行编码的检测判断，为后续的内容提取、数据清洗等提供可靠的依据。
1# 导入 chardet 库
2import chardet
3test_str = "Python 集中营"
4# 使用 detect() 检测编码
5print chardet.detect(test_str)
为了避免大文本的转换太过耗费时间，chardet 库还提供了另外一种检测方式，使用对象 UniversalDetector 的逐行检测方式会大大的提高效率。
1# 导入 UniversalDetector 对象
2from chardet.universaldetector import UniversalDetector
3
4# 定义获取编码函数
5def getEncodeInfo(file):
6 # 打开一个文件
7 with open(file, 'rb') as f:
8 # universaldetector 对象赋值
9 detector = UniversalDetector()
10 for line in f.readlines():
11 # 遍历检测编码
12 detector.feed(line)
13 # 确保检测达到最小置信阈值为 True 时返回
14 if detector.done:
15 break
16 # 检测完之后关闭源文本
17 detector.close()
18 # 返回编码
19 return detector.result['encoding']6、编码转换
一般在创建 .py 的 python 文件时，如果没有在文件头执行编码格式，则默认情况下是 ASCII 编码，这个时候我们可以采用重新加载编码格式的方式进行处理。
1# 导入 sys 库
2import sys
3# 重新加载 sys 系统库
4reload(sys)
5# 打印默认编码格式
6print sys.getdefaultencoding()
7# 重新设置编码格式 UTF-8
8sys.setdefaultencoding('utf-8')
9# 打印重新设置的编码格式
10print sys.getdefaultencoding() 如果是进行文本的编码格式转换时，一般的思路是先将现有文本进行解码、完成解码之后再重新编码。
1# 读取或定义文本
2content = "文本内容"
3# 文本解码 encode_info 为检测到的编码方式
4content_decode = content.decode(encode_info,'ignore')
5# 文本重新编码
6content_encode_utf8 = content_decode.encode('utf-8')
更多精彩前往微信公众号【Python 集中营】，专注后端编程实战，原创文章每天更新！
