Stella981 Stella981
2年前
Hadoop 新 MapReduce 框架 Yarn 详解
HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架,对于Hadoop框架的介绍在此不再累述,读者可参考Hadoop官方简介(https://www.oschina.net/action
Stella981 Stella981
2年前
Hadoop是一种开源的适合大数据的分布式存储和处理的平台
“Hadoop能做什么?”,概括如下:  1)搜索引擎:这也正是DougCutting设计Hadoop的初衷,为了针对大规模的网页快速建立索引;  2)大数据存储:利用Hadoop的分布式存储能力,例如数据备份、数据仓库等;  3)大数据处理:利用Hadoop的分布式处理能力,例如数据挖掘、数据分析等;  4)
Wesley13 Wesley13
2年前
CEPH篇 块存储、文件存储和对象存储意义和差异
理解块存储、文件存储和对象存储的应用场景和选择应用场景(王豪迈(麦子迈|wheats))  分布式存储的应用场景相对于其存储接口,现在流行分为三种:对象存储:也就是通常意义的键值存储,其接口就是简单的GET、PUT、DEL和其他扩展,如七牛、又拍、Swift、S3块存储:这种接口通常以
Wesley13 Wesley13
2年前
DCache v1.0 发布,基于 TARS 的分布式 NoSQL 存储系统
!(https://static.oschina.net/uploads/space/2020/0702/162941_Ec1j_4021301.jpg)作者|山宝银编辑|TARS小助手DCache是基于TARS框架的分布式NoSQL存储系统,数据基于内存存储,同时提供持久化功能,主要应用于分布式缓存。继2019年4月发布体验版后
Stella981 Stella981
2年前
Git 巨型存储库的解决方案
前言通常来说,分布式版本控制系统适合体积较小的存储库,分布式版本控制系统(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fen.wikipedia.org%2Fwiki%2FDistributed_version_control)意味着存储库和工作目录都放置在开发者自己的机器
Stella981 Stella981
2年前
FastCFS核心组件及访问方式
  FastCFS是一款可以跑数据库的轻量级分布式存储系统,她为数据库和云平台提供后端存储,保证数据强一致性,解决大容量数据存储问题,做到了高可靠、高可用、高性能以及高扩展性。  FastCFS服务端两个核心组件是FastStore和FastDIR。FastStore是基于块存储的分布式数据存储服务,其文件block大小为4MB,
Stella981 Stella981
2年前
Linux系统:Centos7下搭建ZooKeeper3.4中间件,常用命令总结
一、下载解压1、Zookeeper简介Zookeeper作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是Zookeeper并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状
盘活存储资源,天翼云HBlock助力企业绿色高效发展!
2023年3月10日,由百易传媒(DOIT)主办、上海市计算机学会与上海交通大学支持的第六届分布式存储高峰论坛在线上成功举办。存储资源盘活系统荣获“2023分布式存储产品金奖”,天翼云国际业务事业部解决方案架构师王琢在会上介绍了HBlock存储资源盘活系统
稚然 稚然
3个月前
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统 视频+资料
//下仔のke:https://yeziit.cn/14337/Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件
linbojue linbojue
1个月前
Etcd:分布式键值存储和配置系统
什么是Etcd?Etcd是一个开源的、分布式的键值存储和配置系统,由CoreOS团队开发并维护。它基于Raft一致性算法,用于存储和检索关键数据,并提供了高可用性、强一致性和高性能的特性。Etcd的设计目标是为分布式系统提供共享配置、服务发现、分布式锁和协