Stella981 Stella981
3年前
Raft 算法在分布式存储系统 Curve 中的实践
作为网易数帆开源的高性能、高可用、高可靠的新一代分布式存储系统,Curve对于多副本数据同步、负载均衡、容灾恢复方面都有较高的要求。网易数帆存储团队选用Raft算法作为Curve底层一致性协议,并基于Raft的特性,实现了异常情况下的数据迁移和自动恢复。本文首先简要介绍一下Raft算法的一些基本概念和术语,再详细介绍其在Curve中的实践。Raft一致性
Wesley13 Wesley13
3年前
MySQL分布式架构扩缩容的初步设计(二)
这是学习笔记的第1834篇文章之前总结了一篇扩缩容的初步设计,我们来做第二篇。MySQL分布式架构扩缩容的初步设计(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMjM5ODEzNDA4OA%3D%3D
Wesley13 Wesley13
3年前
Uber工程团队的开源分布式追踪系统Jaeger(java实现)
jaeger介绍(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.infoq.com%2Fcn%2Farticles%2Fevolvingdistributedtracingatuberengineering)一、springboot客户端1、在springb
Easter79 Easter79
3年前
SpringSecurity 整合SpringBoot结合jwt与rsa实现分布式认证授权
基于springsecurity整合springboot实现简单认证授权(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fifme%2Fp%2F12184433.html)进行修改实现分布式认证,即我们常说的单点登录,简称SSO,指的是在多应用系统
Easter79 Easter79
3年前
Storm VS Flink ——性能对比
!(https://oscimg.oschina.net/oscnet/2cec00eb2dccf5fdec8def77207da253a86.jpg)1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm(以下简称“Storm”)在美团点评实时
Stella981 Stella981
3年前
Hive中collect_list全局保持顺序
我用部署的是standalone模式,local单节点计算的时候,结果没问题,当集群计算的时候因为是分布式的,因此结果是乱序的。解决方法如下:有以下Hive表的定义:createtabletopic_recommend_score(category_idint,topic_idbigint,scoredouble
Wesley13 Wesley13
3年前
Java集群优化——dubbo+zookeeper构建高可用分布式集群
不久前,我们讨论过Nginxtomcat组成的集群,这已经是非常灵活的集群技术,但是当我们的系统遇到更大的瓶颈,全部应用的单点服务器已经不能满足我们的需求,这时,我们要考虑另外一种,我们熟悉的内容,就是分布式,而当下流行的Dubbo框架,不容我们忽视,这里,咱们一起来探讨一下这个框架的使用。一,背景  以前我们需要远程调用他人的接口,我们是这么
python如何分布式和高并发爬取电商数据
随着互联网的发展和数据量的不断增加,网络爬虫已经成为了一项非常重要的工作。爬虫技术可以帮助人们自动地从互联网上获取大量数据,并且这些数据可以应用于各种领域,如搜索引擎、数据分析和预测等。然而,在实际应用中,我们面临的一大难题就是如何高效地爬取大量数据。分布
浅谈分布式事务及解决方案 | 京东物流技术团队
1背景在讲述分布式事务的概念之前,我们先来回顾下事务相关的一些概念。1.1事务的基本概念就是一个程序执行单元,里面的操作要么全部执行成功,要么全部执行失败,不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作,那么这两次数据库