蒋斌的头像 ID: 63779086637

蒋斌

HelloWorld 社区成员

2307569611

文章4
个人网站0
加入社区2025

万字长文 | Hadoop 上云: 存算分离架构设计与迁移实践

一面数据原有的技术架构是在线下机房中使用CDH构建的大数据集群。自公司成立以来,每年都保持着高速增长,业务的增长带来了数据量的剧增。在过去几年中,我们按照每1到2年的规划扩容硬件,但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。为了解决包括扩容周期长、计算存

正式毕业!Apache Kyuubi 成为 Apache 基金会顶级项目!

2022年12月22日,Apache软件基金会(ASF)官方宣布ApacheKyuubi正式毕业,成为顶级项目(TLP)。ApacheKyuubi是一个分布式和多租户网关,用于在数据仓库和湖仓上提供无服务器SQL。项目最初由网易数帆开发并于2018年开源,2021年6月捐

go1.18泛型的简单尝试

今天golang终于发布了1.18版本,这个版本最大的一个改变就是加入了泛型。虽然没有在beta版本的时候尝试泛型,但是由于在其他语言的泛型经验,入手泛型不是件难事~官方示例Tutorial:GettingstartedwithgenericsTheGoPr

MongoDB查询大量数据的分页设计

业务需求用户需要根据某个时间段搜索大量历史数据(千万级别)。设计思路基于查询条件创建索引,尽可能围绕索引构造查询语句;尽量避免使用有过滤条件的count函数统计数据总量(即使是基于索引查询),该操作非常耗时;尽量使用基于索引的范围查询代替skip操作,