黑洞算法的头像 ID: 48206963329

黑洞算法

HelloWorld 社区成员

7296463199

文章4
个人网站0
加入社区2025

云栖收官:想跟远道而来的朋友们说

云栖大会最后一天我们有些话想说:感谢远道而来的朋友你们带来了云原生落地的经验是扎扎实实的云原生实战派!!1.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/6145bc8344b69da49a3cd6a

Spark - 各个组件的RPC是怎么通信的

RPC端点和RPC端点引用RpcEndPoint:RPC分布式的一个实例,他用于指定消息的处理,比如接收消息。RpcEndpointRef:RpcEndPoint的引用,也就是说,他指向的是服务端的RpcEndPoint,所以RpcEndpointRef会有服务端的RPC地址

大数据实践解析(上):聊一聊spark的文件组织方式

摘要:在大数据/数据库领域,数据的存储格式直接影响着系统的读写性能。Spark针对不同的用户/开发者,支持了多种数据文件存储方式。本文的内容主要来自于SparkAISummit2019中的一个talk【1】,我们将整个talk分为上下两个部分,上文会以概念为主介绍spark