字符编码-带你走出Unicode与UTF-8的误区

Ustinain 等级 910 1 1

字符编码集合

1. ASCII

ASCII(American Standard Code for Information Interchange,美国信息互换标准代码)是基于罗马字母表的一套电脑编码系统,它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO 646。

在计算机中,所有的数据在存储和运算时都要使用二进制数表示(因为计算机用高电平和低电平分别表示1和0),例如,像a、b、c、d这样的52个字母(包括大写)、以及0、1等数字还有一些常用的符号(例如、#、@等)在计算机中存*储时也要使用二进制数**来表示,而具体用哪些二进制数字表示哪个符号,当然每个人都可以约定自己的一套(这就叫编码),而大家如果要想互相通信而不造成混乱,那么大家就必须使用相同的编码规则,于是美国有关的标准化组织就出台了ASCII编码,统一规定了上述常用符号用哪些二进制数来表示。 字符编码-带你走出Unicode与UTF-8的误区

大小为一个字节,最多可代表255个符号,美国人发明的时候 对于几个简简单单的英文字母已经够用了,随着计算机普及,像中国、韩国、日本这样的象形文字,255个是远远不够的,光常用汉字都有8000个,一个字节可以代表255,不敢想,于是就有了GB-2312。

GB2312

GB2312又称为GB2312-80字符集,全称为《信息交换用汉字编码字符集·基本集》,由原中国国家标准总局发布,1981年5月1日实施,是中国国家标准的简体中文字符集。它所收录的汉字已经覆盖99.75%的使用频率,基本满足了汉字的计算机处理需要。在中国大陆和新加坡获广泛使用。

Unicode编码

九层之台,起于累土。这样世界性的标准绝不是一蹴而就,必有其坚实的基础,设计原则就是Unicode的一大基础,在《The Unicode Standard Version 6.2 - Core Specification》有提到Unicode的设计原则,

但是这样也不行,GB-2312虽然能包容绝大部分的中文汉字,这没问题,但是别的国家 比如韩国,新加坡,日本等等国家怎么办,他们有他们的专门编码 就像中国的GB-2312一样,那么问题就出现了 比如 4E 2D在GB-2312中表示一个汉字,而同样还是这个编码,却在不同的国家对应的文字不同,所以各种编码的字符互不兼容,相互之间的通信可能由于编码的不同,而导致对方看到的是乱码,这就如中国历史中的大秦统一文字和度量单位之前的华夏文明一样,语言不通、货币不通,交流困难。

时间的车轮滚滚向前,推动着历史的发展,于是Unicode(Universal Coded Character Set)出现了,它对世界上大部分的文字系统进行了整理、编码,形成了一张巨大的文字集,使得计算机能够以更简单的方式来呈现和处理字符,它的目的就是为所有的字符提供统一的编码,任何的平台、系统、设备、应用或者语言都能兼容且无风险使用。

Unicode编码的范围是:0-0xFFFF,可以容纳100多万个符号

UTF-16和UTF-8是Unicode的实现方式

Unicode只是一个符号集,只规定了符号的二进制代码,却没有规定这个二进制代码应该如何存储,于是有了UTF-16和UTF-8 并不是像大众哪有认为,Unicode就是UTF-8,这是不对了,虽然普遍形式是UTF-8,但是UTF-8和UTF-16只是Unicode集合中的一个子集而已

UTF-16

UTF-16是以16位无符号整数为单位,不表示一个字符只有16位,看字符的Unicode编码处于什么范围而定,有可能是2个字节,有可能是4个字节,现在机器上的Unicode编码一般指的就是UTF-16,如果不提UTF-16和UTF-8,只说Unicode的话不能认定是2个字节的,它只是一种符号集,存储方式有UTF-16和UTF-8规定

2个字节看一个存储单元,不满2字节也是使用2字节,超出2字节,也是按2的倍数节字存储,浪费了不少空间,导致网络传输的时候明明4个字节可以传输完的东西 硬是花费了8个字节,于是就有了UTF-8编码。

UTF-8:

Unicode编码(16进制) UTF-8字节流(二进制)
000000-00007F 0xxxxxxx
000080-0007FF 110xxxxx 10xxxxxx
000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx
01000-10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

比如中国的“中”编码是 E4 B8 AD,对照上面这个范围段, E4 B8 AD 在000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx范围 转二进制: 原:1110 0100 1011 1000 1010 1101 对比: 1110 (0100)10(1 1000) 10(10 1101)

在UTF-8里括号里的才是有效数据,拿出来转0100 1110 0010 1101 转16进制=4E 2D,按我的思维可以理解为一个解密,4E 2D是Unicode对中国的中唯一标识,在UTF-16中直接存4E 2D,但在UTF-8里就会变长,先看4E 2D属于哪个区间,然后按对应的二进制存储 对比: UTF-16解析方便,拿到数据直接2个字节一砍 ,然后解析就行了,解析快但是可能有3个字节的时候会站4字节的空间,虽然UTF-8也是Unicode编码,但是是变长的,可能是1字节可能是4字节,解析就会麻烦些,如果项目、网络传输的数据流字母居多,是一个字节或俩个字节能存下的,就用UTF-8,1个字节搞定,如果项目、网络传输是中文居多,就用UTF-16,使用UTF-8的话 解析会很麻烦,而且空间也没剩下,可能还会多

UTF-32

对于UTF-16更暴力,不管你是多大数据,直接以4字节为单位存储

BOM (Byte Order Mark)字节顺序标识

在你的文件头部,存储这几个字节,告诉别人是以何种方式存储 UTF-8 EF BB BF
UTF-16LE FF FE 小端存储 UTF-16BE FE FF 大端存储

收藏
评论区

相关推荐

ES6中对字符串处理的优点
\[toc\] ### 1、字符的Unicode表示法 ES6之前 Unicode 只能表示 \\u0000 -- \\uFFFF 之间的字符。 ES6可以表示超过这个 范围的unicode字符 如 //原来 ES6 之前 "\uD842\uDFB7" // "𠮷" "\u20BB7" // " 7"
java 中文与unicode互转
public class FontUtil { public static void main(String[] args) { System.out.println(chinaToUnicode("未登陆!")); System.out.println(decodeUnico
java编码问题总结
对于Java,由于默认的编码方式是UNICODE,所以用中文也易出问题,常见的解决是: String s2 = new String(s1.getBytes(“ISO-8859-1”),”GBK”); **1、utf8解决JSP中文乱码问题** 一般说来在每个页面的开始处,加入: <%@ page language="java" contentTyp
MySQL中utf8和utf8mb4的区别
一 、UTF8是什么 ========== **utf8**”只是“**utf8mb3**”的一个别名,可以支持1-3字节表示的unicode字符。 而MySQL在5.5.3版本之后增加了一个**utf8mb4**的编码,mb4就是most bytes 4的意思,用来兼容四字节的unicode。其实,utf8mb4是utf8的超集,理论上原来使用“utf
Ubuntu12.04编译wxwidgets
下载wxWidgets-2.8.12.tar.gz 1、终端需要root权限 2、设置参数 ./configure --with-x11(或者gtk) --enable-unicode(缺省不支持unicode) --disable-shared 需要unicode编码要先安装pango库 apt-get install libpango1.
mysql 修改字符集为utf8mb4
> 一般情况下,我们会设置MySQL默认的字符编码为utf8,但是近些年来,emoji表情的火爆使用,给数据库带来了意外的错误,就是emoji的字符集已经超出了utf8的编码范畴😄 令人抓狂的字符编码问题 =========== 谈到字符编码问题,会让很多人感到头疼,这里不在深究各个字符编码的特点和理论,这里只说下Unicode和utf8字符编码的关系
mysql使用utf8mb4经验吐血总结
mysql使用utf8mb4经验吐血总结 ==================== 1\. utf8 与 utf8mb4 异同 --------------------- 先看 官方手册 [https://dev.mysql.com/doc/refman/5.6/en/charset-unicode-utf8mb4.html](https://www.o
ASCII,Unicode,UTF
****编码历史与区别****   很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物。他们看到8个开关状态是好的,于是他们把这称为"字节"。   再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出很多状态,状态开始变来变去。他们看到这样是好的,于是它们就这机器称为"计算机"。   开
Ansi、Unicode、UTF8字符串之间的转换和写入文本文件
[Ansi、Unicode、UTF8字符串之间的转换和写入文本文件](https://www.oschina.net/action/GoToLink?url=http%3A%2F%2Fwww.cppblog.com%2Fgreatws%2Farchive%2F2008%2F08%2F31%2F60546.html) 转载请注明出处[http://www.c
Django【第12篇】:Django之中间件
自定义验证规则以及中间件简单介绍 ================ 1、python2和python3中的区别 ![复制代码](https://oscimg.oschina.net/oscnet/47ed19d33ea2d94f58e1b2015c092ac5bfd.gif) 对于python2内置的字符串类型有str和unicode
JavaScript 6 里关于字符串的几个新用法
### **Unicode字符的新表示方法** Unicode字符通常是21个bit的,而普通的JavaScript字符(大部分)是16bit的,可以编码成UTF-16。超过16bit的字符需要用2个常规字符表示。比如,比如下面的的代码将会输出一个Unicode小火箭字符(‘\\uD83D\\uDE80’),你可以在浏览器的console里试一下:
Python字符和字符值(ASCII或Unicode码值)转换方法
[**Python字符和字符值(ASCII或Unicode码值)转换方法**](https://www.oschina.net/action/GoToLink?url=http%3A%2F%2Fwww.cda.cn%2Fview%2F25016.html) 这篇文章主要介绍了Python字符和字符值(ASCII或Unicode码值)转换方法,即把字符串在A
Python技巧之使用统一码作为变量名
Python3允许使用unicode统一码作为变量名,但是只允许类字母的字符,不能使用emoji。 # Python 3 allows unicode # variable names: >>> π = math.pi >>> class Spin̈alTap: pass >>> Spin̈alTap()
Unicode、ANSI、UTF
最近在写网络通信上的一些东西,快被这些编码格式搞崩溃了。 一、什么是编码   编码是对现有“符号”进行转化,可以存储在计算机中,在没有计算机时,我们的使用的“符号”,都是手写的,我们的大脑对其编码,这样我们就能记住和识别。但计算机只能存储电信号,即二进制。所以,我们需要对其编码,能使计算机储存。   各个国家和地区所制定了不同 ANSI 编码标准中,都
Unicode、UTF
**一、编码历史与区别**         一直对字符的各种编码方式懵懵懂懂,什么ANSI UNICODE UTF-8 GB2312 GBK DBCS UCS……是不是看的很晕,假如您细细的阅读本文你一定可以清晰的理解他们。Let's [Go](https://www.oschina.net/action/GoToLink?url=http%3A%2F%2