HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Fourinone四合一分布式计算框架整体介绍

FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想解决问题的初衷:我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算,把更多的cpu和内存利用上,来解决我们数量大和计算复杂的问题,当然这个过程中要

Flink的分布式缓存

分布式缓存Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment注册缓存文件并为它起一个名称。

Facebook 如何管理150亿张照片

Facebook的照片分享很受欢迎,迄今,Facebook用户已经上传了150亿张照片,加上缩略图,总容量超过1.5PB,而每周新增的照片为2亿2000万张,约25TB,高峰期,Facebook每秒处理55万张照片,这些数字让如何管理这些数据成为一个巨大的挑战。本文由Facebook工程师撰写,讲述了他们是如何管理这些照片的。旧的NFS照片

Dubbo源码解析之SPI(一):扩展类的加载过程

Dubbo是一款开源的、高性能且轻量级的JavaRPC框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。Dubbo最早是阿里公司内部的RPC框架,于2011年开源,之后迅速成为国内该类开源项目的佼佼者,2018年2月,通过投票正式成为Apache基金会孵化项目。目前宜信公司内部也有不少项目在使用Dub

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。