记一次数据脱敏的实践 - HelloWorld开发者社区

数据安全是老生常谈的问题了，很多时候开发人员在开发接口的时候，不知觉的情况下就把一些敏感信息泄漏出去，例如用户账号、手机号、身份证等，这样别人就可以调用接口抓取我们的用户数据，导致隐私信息泄漏。如果我们能在数据库和应用系统之间做一个脱敏，在数据从应用程序中流出之前将敏感性信息过滤掉，这样应用程序获取的数据已经是脱敏后的数据了，它发布任何接口流出的都是经过脱敏后的数据，从而保护我们敏感数据不被泄露。之前和朋友聊过数据脱敏软件的实现，所以就使用java实现了一个简易版本的脱敏程序，在这里记录一下。

目标

实现给处于运行中的应用系统脱敏，不影响系统的正常运行，不修改应用系统数据库中的数据

场景与方案

目前大多数的关系型数据库是CS模式的，数据库厂商提供驱动包给应用程序和数据库交互，应用程序和数据库之间通过驱动包使用tcp+ssl协议进行通讯。鉴于此，我设想了两个方案来实现数据脱敏，欢迎大家提供更多的思路，不甚感激。

第一种是在服务端（数据库所在的服务器）做数据库插件完成脱敏；
记一次数据脱敏的实践

第二种就是在客户端（应用程序）接到数据做脱敏工作。
记一次数据脱敏的实践

个人比较熟悉java语言，实践时使用了第二种方案。接下来将对使用关系型数据库java应用程序做数据脱敏工作，当然实现思路也适用于使用其他类型数据库的应用系统。详细方案如下图：
记一次数据脱敏的实践

遇到的问题

在该方案中实践过程中，会遇到以下几个问题，如果有大佬已解决下面的几个问题，接下来的内容可不用看了，哈哈。

一个客户的应用系统，没有源代码的情况下怎么给系统添加额外的逻辑代码
脱敏逻辑在什么地方添加
应用程序正在运行中，如何让代码生效运行

技术实现

首先，我们先解决上面提到的问题，扫清技术障碍。

对于第一个没有源代码的问题，虽然没有源代码但是会有字节码文件，我们可以找到相应类的字节码，解析出类的方法从而在方法中添加逻辑，这就需要使用字节码的增强技术。字节码的增强有ASM和Javassist，Javassist是基于源码级别的API，可读性强；ASM是基于字节码。它们各有优劣，这里使用的是ASM。

对于第二个问题，我们知道java中对数据库交互提供统一的规范，各个数据库厂商的驱动包实现该规范。而应用程序底层数据库交互均通过jdbc连接数据库，所以我们的脱敏逻辑只要在驱动包中添加好后就可以管控数据。既然我们都能对字节码增强了，为什么不增强socket呢？如果增强要增强socket的话，就要实现数据的通讯协议，还需要账号等。实现各个厂商的协议就是个巨大的工作，如果我们基于jdbc增强的话就省了这部分工作，实际上就是偷懒，哈哈。而ResultSet是jdbc查询数据返回结果集的接口，该接口返回的数据是已经解析好的明文数据，只要增强管理好这个接口就能控制流出的数据。此次实践就是对ResultSet接口实现类进行增强处理，我们的脱敏逻辑可以添加到ResultSet的实现类里面。此外当数据脱敏后流出之后，可能会被保存回来，所以还需要管理数据的流入还原脱敏前的数据。这就需要对Statement、PrepareStatement等接口的实现做增强。

对于第三个问题，这就需要java agent了，它可以帮助我们在应用启动后加载我们增强后的类，让新增的脱敏逻辑运行生效。
java agent有两种实现方式，一种是增加启动参数-javaagent；

-javaagent:${agent.jar.path}/agent.jar

另外一种是使用attach api，可以在运行时加载代理类。注意attach api在tools包中，需要添加这个包。命令格式如下：

${java_home}/bin/java -cp "${java_home}\lib\tools.jar;${attach.api.jar}" ${package.class.name} ${pid} ${agent.jar}

软件示例

我们用attach的方式做示例，演示下给在运行中的应用系统添加脱敏功能，另外一种也是类似的。示例链接点这里
主要步骤：

启动第三方应用系统
准备脱敏程序jar包
获取应用系统的pid，将脱敏程序attach到应用系统
脱敏效果测试，注意不能影响应用系统使用，脱敏开启后应用系统正常使用，关闭后系统也能正常使用

总结

示例展示了本次实现的数据脱敏程序，只需要知道应用程序的进程pid，就可以帮助系统脱敏。当前的脱敏规支持可以根据关键字、正则表达式、字段名称脱敏，脱敏启用后应用可正常处理数据，不影响系统使用，适用范围：实现了jdbc规范的java程序，自测Mysql和Oracle均可以使用。当然我们还可以在此基础上扩展新的功能，比如增加nlp识别出人名、手机号、身份证号进行脱敏，让脱敏更加自动、智能；支持更多的敏感词来源，包括数据库、redis等。本文受个人思路限制，错误遗漏之处，欢迎大家指正。