字符编码-带你走出Unicode与UTF-8的误区

Ustinain 等级 416 1 1

字符编码集合

1. ASCII

ASCII(American Standard Code for Information Interchange,美国信息互换标准代码)是基于罗马字母表的一套电脑编码系统,它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO 646。

在计算机中,所有的数据在存储和运算时都要使用二进制数表示(因为计算机用高电平和低电平分别表示1和0),例如,像a、b、c、d这样的52个字母(包括大写)、以及0、1等数字还有一些常用的符号(例如、#、@等)在计算机中存*储时也要使用二进制数**来表示,而具体用哪些二进制数字表示哪个符号,当然每个人都可以约定自己的一套(这就叫编码),而大家如果要想互相通信而不造成混乱,那么大家就必须使用相同的编码规则,于是美国有关的标准化组织就出台了ASCII编码,统一规定了上述常用符号用哪些二进制数来表示。 字符编码-带你走出Unicode与UTF-8的误区

大小为一个字节,最多可代表255个符号,美国人发明的时候 对于几个简简单单的英文字母已经够用了,随着计算机普及,像中国、韩国、日本这样的象形文字,255个是远远不够的,光常用汉字都有8000个,一个字节可以代表255,不敢想,于是就有了GB-2312。

GB2312

GB2312又称为GB2312-80字符集,全称为《信息交换用汉字编码字符集·基本集》,由原中国国家标准总局发布,1981年5月1日实施,是中国国家标准的简体中文字符集。它所收录的汉字已经覆盖99.75%的使用频率,基本满足了汉字的计算机处理需要。在中国大陆和新加坡获广泛使用。

Unicode编码

九层之台,起于累土。这样世界性的标准绝不是一蹴而就,必有其坚实的基础,设计原则就是Unicode的一大基础,在《The Unicode Standard Version 6.2 - Core Specification》有提到Unicode的设计原则,

但是这样也不行,GB-2312虽然能包容绝大部分的中文汉字,这没问题,但是别的国家 比如韩国,新加坡,日本等等国家怎么办,他们有他们的专门编码 就像中国的GB-2312一样,那么问题就出现了 比如 4E 2D在GB-2312中表示一个汉字,而同样还是这个编码,却在不同的国家对应的文字不同,所以各种编码的字符互不兼容,相互之间的通信可能由于编码的不同,而导致对方看到的是乱码,这就如中国历史中的大秦统一文字和度量单位之前的华夏文明一样,语言不通、货币不通,交流困难。

时间的车轮滚滚向前,推动着历史的发展,于是Unicode(Universal Coded Character Set)出现了,它对世界上大部分的文字系统进行了整理、编码,形成了一张巨大的文字集,使得计算机能够以更简单的方式来呈现和处理字符,它的目的就是为所有的字符提供统一的编码,任何的平台、系统、设备、应用或者语言都能兼容且无风险使用。

Unicode编码的范围是:0-0xFFFF,可以容纳100多万个符号

UTF-16和UTF-8是Unicode的实现方式

Unicode只是一个符号集,只规定了符号的二进制代码,却没有规定这个二进制代码应该如何存储,于是有了UTF-16和UTF-8 并不是像大众哪有认为,Unicode就是UTF-8,这是不对了,虽然普遍形式是UTF-8,但是UTF-8和UTF-16只是Unicode集合中的一个子集而已

UTF-16

UTF-16是以16位无符号整数为单位,不表示一个字符只有16位,看字符的Unicode编码处于什么范围而定,有可能是2个字节,有可能是4个字节,现在机器上的Unicode编码一般指的就是UTF-16,如果不提UTF-16和UTF-8,只说Unicode的话不能认定是2个字节的,它只是一种符号集,存储方式有UTF-16和UTF-8规定

2个字节看一个存储单元,不满2字节也是使用2字节,超出2字节,也是按2的倍数节字存储,浪费了不少空间,导致网络传输的时候明明4个字节可以传输完的东西 硬是花费了8个字节,于是就有了UTF-8编码。

UTF-8:

Unicode编码(16进制) UTF-8字节流(二进制)
000000-00007F 0xxxxxxx
000080-0007FF 110xxxxx 10xxxxxx
000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx
01000-10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

比如中国的“中”编码是 E4 B8 AD,对照上面这个范围段, E4 B8 AD 在000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx范围 转二进制: 原:1110 0100 1011 1000 1010 1101 对比: 1110 (0100)10(1 1000) 10(10 1101)

在UTF-8里括号里的才是有效数据,拿出来转0100 1110 0010 1101 转16进制=4E 2D,按我的思维可以理解为一个解密,4E 2D是Unicode对中国的中唯一标识,在UTF-16中直接存4E 2D,但在UTF-8里就会变长,先看4E 2D属于哪个区间,然后按对应的二进制存储 对比: UTF-16解析方便,拿到数据直接2个字节一砍 ,然后解析就行了,解析快但是可能有3个字节的时候会站4字节的空间,虽然UTF-8也是Unicode编码,但是是变长的,可能是1字节可能是4字节,解析就会麻烦些,如果项目、网络传输的数据流字母居多,是一个字节或俩个字节能存下的,就用UTF-8,1个字节搞定,如果项目、网络传输是中文居多,就用UTF-16,使用UTF-8的话 解析会很麻烦,而且空间也没剩下,可能还会多

UTF-32

对于UTF-16更暴力,不管你是多大数据,直接以4字节为单位存储

BOM (Byte Order Mark)字节顺序标识

在你的文件头部,存储这几个字节,告诉别人是以何种方式存储 UTF-8 EF BB BF
UTF-16LE FF FE 小端存储 UTF-16BE FE FF 大端存储

收藏
评论区

相关推荐

js的防抖与节流
在进行窗口的resize、scroll,输入框内容校验等操作时,如果事件处理函数调用的频率无限制,会加重浏览器的负担,导致用户体验非常糟糕。 此时我们可以采用debounce(防抖)和throttle(节流)的方式来减少调用频率,同时又不影响实际效果。 函数防抖 函数防抖(debounce):当持续触发事件时,一定时间段内没有再触发事件,事件处理函数才
字符编码那点事:快速理解ASCII、Unicode、GBK和UTF-8
突然有一天,我突然想搞清楚 Unicode 和 UTF8 之间的关系,就开始查资料。 这个问题比我想象的复杂,午饭后一直看到晚上9点,才算初步搞清楚。 下面就是我的总结,主要用来整理自己的思路。我尽量写得通俗易懂,希望能对其他朋友有用。毕竟, 字符编码是计算机技术的基石,对于程序员来说尤其重要,字符编码的知识是必须要懂的。 1 基础知识 计算机中
字符编码-带你走出Unicode与UTF-8的误区
字符编码集合 1. ASCII ASCII(American Standard Code for Information Interchange,美国信息互换标准代码)是基于罗马字母表的一套电脑编码系统,它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO 646。 在计算机中,所有的数据在存储和运算时都要使用二进
tornado入门笔记
官方文档https://www.tornadoweb.org/en/stable/ 简单使用 /usr/bin/env python coding: utf8 Author: Wjyimport tornado.ioloop 启动import tornado.web 请求对象import tornado.tem
PHP Cookie与Session的使用与区别
Cookie与SessionCookie和session是目前使用的两种存储机制。cookie是从一个WEB页到下一个WEB页面的数据传送方法,cookie存储在客户端;Session是让数据在页面中持续有效的一个传递方法,session存储在服务器端。掌握了cookie与session这两个技术,在WEB网站页面间信息传递的安全性是
python从文件中删除某个字符,后保存该文件
从文件中删除某个字符,后保存该文件 原本是用vs全部替换,结果发现文件太多了,将近12000个文件,非常费时间,然后就给他写了个脚本哈哈,比较快4秒就搞定了。代码拿走直接就可以用途。!/usr/bin/python coding: UTF8 import osdef filename(inputdir,outputdir,word,splitword):
易班自动刷网薪系统
写在前面 Python 课最后的大作业,跟大哥们一起写这个小玩意,因为学院好像很喜欢刷这些东西,总体来说挺简单的 分到我的模块刚刚好需要手机抓包,网页端易班登陆进去没有发动态的模块了,模块在维护 后续会更新其他人的板块并尝试做出来真正的模拟登陆(逆向app或者使用appium提取loginToken) 源码python coding: utf8 """@T
天哪!几行js代码就可以实现拳皇小游戏
前言今天,我们用原生JS实现一个拳皇人物位置控制的小效果。话不多说,我们赶紧来看下如何实现吧!效果(非静止八神)分别按W、S、A、D键可实现位置移动,并且效果真实。源码html与css很简单,主要是js中有几点需要注意的。<!DOCTYPE html <html lang"en" <head  <meta charset"UTF8"  <title游
面试字节我被String类的问题给问死了!
"+" 是怎么连接字符串的?(JDK1.7及以上)总结:使用 "+" 连接字符串时,实际上是使用临时创建的StringBuilder对象来辅助完成的。对于编译时常量,在编译后直接计算出字符串的值,而不会在运行时创建临时的StringBuilder对象来完成字符串连接。在循环中对String对象进行连接,应该直接使用StringBuilder代替 "+",这样
如何让你的代码更优雅
前言你有没有骂过“前任”的代码?你的代码有没有被吐槽过?没有注释,命名随意,没有封装,结构混乱,一个页面几千行。。。。如何写出优雅的代码,让自己不被吐槽,让人羡慕,接下来咱就一起聊聊如何写出优雅的代码,如果大家有更好的写法和经验,欢迎在评论区留言,一起学习什么样的代码是优雅的代码咱先聊聊,什么样的代码是优雅的代码,在我看来,优雅的代码包括以下方面,首先就是代
tomcat输出控制台信息乱码
使用idea开发java项目时,将其打包成war包,并使用tomcat启动,但控制台输出的中文信息乱码,与大家分享一下解决方案控制台乱码信息如下解决方案:修改文件位置:apachetomcat9.0.44\conf\logging.properties将其中的5处UTF8编码修改为GBK重启项目,idea控制台输出的tomcat部署信息乱码问题得到了解决
报错'gb2312' codec can't decode byte 0x9e in position 4100: illegal multibyte sequence,“gb2312”编解码器无法解码位置4100中的字节0x9e:非法的多字节序列
“gb2312”编解码器无法解码位置4100中的字节0x9e:非法的多字节序列。处理方式: with open(path, encoding"utf8", errors'ignore') as f:使用errors'ignore'去掉(忽略)字符并返回不带字符的字符串。
基于Maven工程下的MyBatis框架+MySQL+连接池的数据查询操作
具体操作 项目结构 引入项目依赖 pom.xml <?xml version"1.0" encoding"UTF8"?<project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchemainstance" xsi
JAVA回调机制(CallBack)之小红是怎样买到房子的??
JAVA回调机制CallBack 序言最近学习java,接触到了回调机制(CallBack)。初识时感觉比较混乱,而且在网上搜索到的相关的讲解,要么一言带过,要么说的比较单纯的像是给CallBack做了一个定义。当然了,我在理解了回调之后,再去看网上的各种讲解,确实没什么问题。但是,对于初学的我来说,缺了一个循序渐进的过程。此处,将我对回调机制的个人理解,按
(Python实战文)一篇文章教会你Arrow 时间库在项目中的实际应用
忆君迢迢隔青天,昔日横波目,今作流泪泉。 Python 默认支持时间序列的库有很多,通常 time 和 datetime 是用的最多的,虽然他们在一般情形下绝对够用,但是总有一些比较奇葩的时间格式的需求,而我们也就不能仅限于这两个 Python 自带的库。 DateParser 和 Dateutil 这是两款比较友好的用于处理各种时间格式的第三方库