基于 protobuf 协议实现高性能的 IM 客户端

逻辑棱镜
• 阅读 3011
这里记录了使用 protobuf 协议与服务端数据交互的相关内容和知识。

涉及到计算机基础知识,例如字节、buffer 缓冲、大小端等。


字节 / Byte

1 字节代表了 8 位(bit)二进制,1 位就是 0 或 1,也是计算机最小单位。


Uint 与 Int

Int 是带正负号的整数,Uint 是从 0 开始计的整数。

Uintx 是指用多少表示的整数,例如 Uint8 就是用 8位(即一个字节) 表示的整数,二进制范围是 00000000 ~ 11111111,对应的十进制就是 0 ~ 255

但是人类的数学里面负数,所以 Int8 就描述了包含负数在内的整数范围,即十进制的 -128 ~ 127

更多描述如下所示

Uint8 -- (0 to 2^8 - 1)
Int8 -- (-2^7 to +2^7 - 1)

Uint16 -- (0 to 2^16 - 1)
Int16 -- (-2^15 to +2^15 - 1)

Uint32 -- (0 to 2^32 - 1)
Int32 -- (-2^31 to +2^31)

Uint64 -- (0 to 2^64 - 1)
Int64 -- (-2^63 to +2^63 - 1)

ArrayBuffer

ArrayBuffer 对象用来表示通用的、固定长度的原始二进制数据缓冲区。参考MDN

// 以下为创建 12 个字节的 buffer 的例子

const buffer = new ArrayBuffer(12);

上面的操作代表向操作系统申请了 12 字节的二进制缓冲,大概如下分布

| 00000000 | 00000000 | 00000000 | 00000000 | ...(还有8字节)

ArrayBuffer 对象并不能直接被操作,需要通过 TypedArray 对象实例或者 DataView 实例作为桥梁来操作。

// Uint8Array 的单位为一字节与 ArrayBuffer 的基本单位吻合
const uint8 = new Uint8Array(buffer);

console.log(uint0) // 输出 [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

uint8[0] = 12; // 此时 buffer 变成 [12, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

TypedArray 对象一览 MDN

类型 大小(字节单位) 描述 Web IDL type
Int8Array 1 8位二进制带符号整数 -2^7~(2^7) - 1 byte
Uint8Array 1 8位无符号整数 0~(2^8) - 1 octet
Int16Array 2 16位二进制带符号整数 -2^15~(2^15)-1 short
Uint16Array 2 16位无符号整数 0~(2^16) - 1 unsigned short
Int32Array 4 32位二进制带符号整数 -2^31~(2^31)-1 long
Uint32Array 4 32位无符号整数 0~(2^32) - 1 unsigned int
Float32Array 4 32位IEEE浮点数 unrestricted float
Float64Array 8 64位IEEE浮点数 unrestricted double

除了 TypedArray,还可以通过 DataView 来做更细致的操作

例如我们需要在特定字节段内写入对应的数据

| DataLen 4 个字节 | SessionID 8 个字节 | ...

const view = new DataView(buffer);

const DataLen = 100; // buffer 数据总长度
const SessionID = 123456789; // SessionID

// 最后的参数为大小端排序
view.setUint32(0, DataLen, true);
view.setBigUint64(4, BigInt(SessionID), true);

读取内容

const view = new DataView(buffer);

// 读取小端字符顺序
const DataLen = view.getUint32(0, true);
const SessionID = view.getBigUint64(4, true);
什么是大小端
  1. Little-Endian就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。
  2. Big-Endian就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。

更多详情参考维基百科的字节顺序


JS 的大数处理

JS 并不能处理 Int64 精度的数,所以在 stage 3 引入了 BigInt API,解决大数精度问题,ChromeFirefox 已经支持,但是 Safari 并不支持,需要用另外的办法处理。

兼容方式参考 这里


Protobuf 应用

Google Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。

开发时通讯双方或者多方终端都遵循 proto 协议。

然后看看前端如何使用 protobuf

Google 官方的库对 JS 支持不是太友好,这里我们使用 protobuf.js

创建一个 sdk.proto 文件

syntax = "proto3";

package yourPackage;

message LoginReq {
  string UserName = 1;
  string Password = 2;
}
yarn add protobufjs -D

# 使用 protobufjs 提供的 Command line
pbjs ./sdk.proto -t static-module > ./sdk.js

# 生成 ts 声明文件
pbts -o ./sdk.d.ts ./sdk.js

生成好文件即可使用

import SDK from './sdk';

const { LoginReq } = SDK.yourPackage;

const payload = {
  UserName: 'alex',
  Password: '123'
}

const message = LoginReq.create(payload); // or use .fromObject if conversion is necessary

// encode 信息
const protoBuffer = LoginReq.encode(message).finish();

// 把 protobuf buffer 写入到上面的 SessionID buffer 信息中

const uint8 = new Uint8Array(buffer);
uint8.set(protoBuffer, offset)

// 使用 websocket 发送 arrayBuffer 数据
const socket = new WebSocket(host)
socket.onopen = () => {
  socket.send(protoBuffer)
}
socket.onmessage = () => {
  // decode operator
}

总结

这里只是简单的记录过程,如果想要更多细节的信息,可以参考 little-chat 的源码

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
1年前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
5个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
逻辑棱镜
逻辑棱镜
Lv1
看雪在手中融化,城市变白。
文章
8
粉丝
0
获赞
0