Wesley13 Wesley13
2年前
java 日志的数据脱敏
思路1。在model层进行处理,直接重写get方法,在写一个getPlain获取明文方法。(缺点:数据库写入和json序列化传递时使用的都是密文)  2.利用日志组件过滤特定的key,去进行脱敏(缺点:对所有的日志输出全部要正则匹配,非常耗时。)由1,2的利弊,肯定会选择1,然后考虑一种实现(在model层定义方法,获取它的一个复制类,复制
Stella981 Stella981
2年前
Flink SQL 如何实现数据流的 Join?
无论在OLAP还是OLTP领域,Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言,经过数据库领域多年的积累,Join语义以及实现已经十分成熟,然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据集,而Strea
Stella981 Stella981
2年前
SQL SERVER回滚恢复误操作的数据
在生产数据库做CURD操作时,可能会有执行某条语句误操作的情况发生,针对这个种情况有两点建议:1、在SQLSERVER上开启事务确认功能,当执行完语句后确认无误,再提交事务。(开启方法见附件图片)。2、新建存储过程,粘贴附件脚本。此存储过程执行后能够自动产生两个操作日志表,自动记录CRUD的所有操作。适用于提交事务后才发现错误的情况
可莉 可莉
2年前
21 天 TiDB 4.0 课程追“剧”挑战,快速掌握 4.0 基础运维知识
作为TiDB在「面向未来的数据库」道路上具有里程碑意义的版本,TiDB4.0在稳定性、易用性、性能、云原生等各个方面都有着巨大的进步。新增的特性(如实时的强一致性、Severless等)让TiDB产品能够支持更多元的业务类型;通过支持TLS、增加官方组件管理工具TiUP、提供可视化Dashboard及分布式备份工具BR(Backup&
Wesley13 Wesley13
2年前
MongoDB 生态 – 可视化管理工具
工欲善其事,必先利其器,我们在使用数据库时,通常需要各种工具的支持来提高效率;很多新用户在刚接触MongoDB时,遇到的问题是『不知道有哪些现成的工具可以使用』,本系列文章将主要介绍MongoDB生态在工具、driver、可视化管理等方面的支持情况。本文主要介绍MongoDB的一些可视化运维管理工具(https://www.oschina
Stella981 Stella981
2年前
Redis01
前言Redis用了这么久,一直没有认真的去了解其内部的数据结构和实现原理。从今天开始正式系统性的学习Redis。首先,还是从工作中经常打交道的数据类型开始说起,然后,在说到其内部使用的数据结构。Redis的简介Redis是一个开源的高性能的keyvalue数据库,与其他的keyvalue缓存产品相比有以下三个特点:
Stella981 Stella981
2年前
NodeJS工程部署在了云server上?用MongoHQ吧
不知何年何月何日曾经把某个nodejs的练习工程布到了Heroku上于是乎初次见识到heroku上的mongodb插件mongohq总之两个字:用之~【|\_|】~幸运的是结果跟预期的一样:mongohq这厮真的是一款着实便利的即引(只需要引用一个连接)即用(便可别无二样的在线使用mongodb)的单一接口型数据库插件(自己编的
Wesley13 Wesley13
2年前
MQ 消息队列
1、场景作用削峰填谷,异步解耦。2、如何保证消息不被重复消费呢?这个问题可以换个思路,保证消息重复消费,其实是保证程序的幂等性。无论消息如何重复,程序运行的结果是一致的。比如消费消息后做数据库插入操作,为了防止消息重复消费,可以在插入前先查询一下有没有对应的数据。3、怎么保证从消息队列里拿到的数据按顺序执
Stella981 Stella981
2年前
ClickHouse和他的朋友们(15)Group By 为什么这么快
在揭秘ClickHouseGroupBy之前,先聊聊数据库的性能对比测试问题。在虎哥看来,一个“讲武德”的性能对比测试应该提供什么信息呢?首先要尊重客观事实,在什么场景下,x比y快?其次是为什么x会比y快?如果以上两条都做到了,还有一点也比较重要:x的优势可以支撑多久?是架构等带来的长期优
京东云开发者 京东云开发者
11个月前
辅助测试和研发人员的一款小插件【数据安全】 | 京东云技术团队
一、为什么要做一款这样的小插件数据,一直在思考如何让数据更安全的流转和服务于客户,围绕这样的想法,我们做过许多方面的扩展。我们落地了服务端的数据切片支持场景化的设计,实现了基于JDBC协议对SQL的拦截与切片,实现了在应用层的全链路数据库审计方案和实现,实