MySQL企业版之数据脱敏功能

Wesley13
• 阅读 330

利用企业级特性给敏感数据打码。


1. 插件安装2. 数据打码插件应用2.1 隐藏重要数据2.2 生成随机数据并打码2.3 基于字典生成随机值2.4 其他要注意的地方3. 总结4. 延伸阅读
MySQL企业版从8.0.13开始,新增一个插件叫做Data Masking and De-Identification,我将其简称为数据打码插件,其主要功能有:

  • 将部分敏感数据转换成无害数据。这就可以在查询数据库中的敏感数据时以"***"或"XXX"等方式打码显示,避免泄漏。

  • 生成随机数据,例如邮箱或银行卡号。例如在做功能测试时,我们可能需要生成一些随机数据,就用得上了。

1. 插件安装

数据打码插件名为 data_masking,安装成功后,会生成一系列UDF,部分UDF需要授予 SUPER 权限才行。
执行下面的命令即可快速安装插件:

INSTALL PLUGIN data_masking SONAME 'data_masking.so';CREATE FUNCTION gen_blacklist RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_dictionary RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_dictionary_drop RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_dictionary_load RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_range RETURNS INTEGER SONAME 'data_masking.so';CREATE FUNCTION gen_rnd_email RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_rnd_pan RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_rnd_ssn RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION gen_rnd_us_phone RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION mask_inner RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION mask_outer RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION mask_pan RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION mask_pan_relaxed RETURNS STRING SONAME 'data_masking.so';CREATE FUNCTION mask_ssn RETURNS STRING SONAME 'data_masking.so';

执行下面的命令确认安装成功:

# 查询是否已启用该插件[root@yejr.run]> show plugins;...| Name                            | Status   | Type               | Library         | License     |+---------------------------------+----------+--------------------+-----------------+-------------+| data_masking                    | ACTIVE   | UDF                | data_masking.so | PROPRIETARY |...# 目前共有14个UDF[root@yejr.run]> select count(*) from mysql.func where dl = 'data_masking.so';+----------+| count(*) |+----------+|       14 |+----------+

到这里,就表示安装成功了,可以愉快地给数据打码了。

2. 数据打码插件应用

2.1 隐藏重要数据

这部分共有X个UDF,我们分别举例说明。

# mask_inner()函数,从第5个字符开始打码,直到最后3个字符,用"***"代替(默认用'X'打码)[root@yejr.run] [mysql]> SELECT mask_inner("MySQL is the world's most popular open source database", 5, 3, "*") as MySQL;+--------------------------------------------------------+| MySQL                                                  |+--------------------------------------------------------+| MySQL**********************************************ase |+--------------------------------------------------------+# mask_outer()函数,从头开始打码,直到第5个字符结束;再从尾部开始打码,直到倒数第三个字符结束[root@yejr.run] [mysql]> SELECT mask_outer("MySQL is the world's most popular open source database", 5, 3) AS MySQL;+--------------------------------------------------------+| MySQL                                                  |+--------------------------------------------------------+| XXXXX is the world's most popular open source databXXX |+--------------------------------------------------------+

2.2 生成随机数据并打码

# 生成随机数字# 并用 gen_rnd_pan() 函数打码,只保留最后4位数,例如常用于只显示电话号码最后4位[root@yejr.run]> select gen_rnd_pan() as RAND_NUMBER, mask_pan(gen_rnd_pan()) as MASK_RAND_NUMBER;+------------------+------------------+| RAND_NUMBER      | MASK_RAND_NUMBER |+------------------+------------------+| 1936900392284608 | XXXXXXXXXXXX2155 |+------------------+------------------+# 也可以只打码中间部分数字[root@yejr.run]> select gen_rnd_pan() as RAND_NUMBER, mask_pan_relaxed(gen_rnd_pan()) as MASK_RAND_NUMBER;+------------------+------------------+| RAND_NUMBER      | MASK_RAND_NUMBER |+------------------+------------------+| 9868703631627362 | 426420XXXXXX3182 |+------------------+------------------+

其他几个生成随机数据的函数还有

  • gen_rnd_ssn(),生成美式社会安全码(身份证),例如 1234-5678-0123。相应地,可以用函数 mask_ssn() 对其打码。

  • gen_range(1000, 2000),在1000 - 2000之间产生一个随机数。

  • gen_rnd_email(),生成一个随机邮件地址。

  • gen_rnd_us_phone(),生成美式电话号码,例如 1-555-016-7135。

2.3 基于字典生成随机值

有时候,需要随机生成国家地区城市数据,就可以先造好这些字典,加载到数据库中,再从中随机抽取。
编辑城市列表字典:

[root@yejr.run]# cat cn_cities.txtBeijingShanghaiShenzhenGuangzhouHangzhouWuhan# 加载到MySQL中[root@yejr.run]> SELECT gen_dictionary_load('path/cn_cities.txt', 'CN_Cities');+--------------------------------------------------------+| gen_dictionary_load('path/cn_cities.txt', 'CN_Cities') |+--------------------------------------------------------+| Dictionary load success                                |+--------------------------------------------------------+# 从中随机抽取城市[root@yejr.run]> select gen_dictionary('CN_Cities') AS City;+----------+| City     |+----------+| Shenzhen |+----------+# 还可以配合 ELT() 函数从多个字典中随机抽取[root@yejr.run]> select gen_dictionary(ELT(gen_range(1,3), 'DE_Cities', 'US_Cities', 'CN_Cities')) AS City;+---------+| City    |+---------+| Beijing |+---------+

2.4 其他要注意的地方

从MySQL 8.0.19开始,部分UDF函数默认使用latin1字符集,而在此之前默认使用binary字符集,使用过程中需要注意可能因此引发隐式类型转换导致索引不可用的风险,可以用 CONV() 函数进行转码。

3. 总结

数据打码插件是个非常不错的功能,除了上面描述的几个场景,还可以在用在 SELECT ... INTO OUTFILE 导出线上生产数据,然后再导入本地测试环境。或者直接在线上环境中,利用这些函数将数据脱敏处理后,写入专门的测试库,让测试程序直接读取,或者再利用主从复制同步到本地测试环境,可以玩出各种花样。

更多详情请参考手册内容。

最后亲切友情提醒:MySQL企业版下载后只能试用一个月,试用完毕后记得删除卸载哟,土豪的话直接无脑付费即可哟

4. 延伸阅读

enjoy MySQL :)

全文完。


由叶老师主讲的知数堂「MySQL优化课」课程早已升级到MySQL 8.0版本了,现在上车刚刚好,扫码开启MySQL 8.0的修行之旅吧。

MySQL企业版之数据脱敏功能


另外,叶老师在腾讯课堂《MySQL性能优化》精编版第一期已完结,本课程讲解读几个MySQL性能优化的核心要素:合理利用索引,降低锁影响,提高事务并发度

下面是自动拼团的二维码直接享受组团价

MySQL企业版之数据脱敏功能  

本文分享自微信公众号 - 老叶茶馆(iMySQL_WX)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
2年前
Android蓝牙连接汽车OBD设备
//设备连接public class BluetoothConnect implements Runnable {    private static final UUID CONNECT_UUID  UUID.fromString("0000110100001000800000805F9B34FB");
Wesley13 Wesley13
2年前
thinkphp 基本配置
12returnarray(34//定义数据库连接信息5'DB\_TYPE''mysql',//指定数据库是mysql67'DB\_HOST''localhost',89'DB\_NAME''uchome',//数据库名1011'DB\_USER''root
Stella981 Stella981
2年前
Eclipse插件开发_学习_00_资源帖
一、官方资料 1.eclipseapi(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fhelp.eclipse.org%2Fmars%2Findex.jsp%3Ftopic%3D%252Forg.eclipse.platform.doc.isv%252Fguide%2
Wesley13 Wesley13
2年前
MySQL企业版之Audit(审计)初体验
MySQL企业版审计(AUDIT)插件试用体验。MySQL企业版的优势在于有原厂技术支持,以及几个相当不错的功能插件,例如TransparentDataEncryption(TDE)(透明数据加密)、Audit(审计)、threadpool(线程池)、firewall(防火墙)、DataMasking(数据打码)等功能