文章
Spark - 各个组件的RPC是怎么通信的
RPC端点和RPC端点引用RpcEndPoint:RPC分布式的一个实例,他用于指定消息的处理,比如接收消息。RpcEndpointRef:RpcEndPoint的引用,也就是说,他指向的是服务端的RpcEndPoint,所以RpcEndpointRef会有服务端的RPC地址
Spark - RDD使用
弹性分布式数据集(ResilientDistributedDataset,RDD)是Spark中的核心概念。简单的说,就是在Spark中创建一个RDD,然后通过RDD对数据进行各种各样的操作。RDD创建RDD的创建包括:从集合中创建从其他存储(比如hdfs、本
Scala,一门「特立独行」的语言!
<!Scala,一门「特立独行」的语言!>入门Spark的路上很难不接触Scala。Scala似乎是为java提供了很多『类似函数式编程』的语法糖,这里记录一下这个语言独特的地方分享给读者朋友们。!ElenaMozhvilo@unsplash.
Spark - Spark Submit使用
SparkSubmit用于启动集群中的应用程序,他的运行命令跟SparkShell(https://segmentfault.com/a/1190000040308959)差不多。<pre<code./bin/sparksubmit\class<maincl
SparkSQL查询iceberg出现大量小task问题
问题描述在测试环境下,使用SparkSQL3.1.1查询存放在hivemetastore和oss之上的iceberg表,会发现存在很多数据量非常小的task。查询的query模式如下:<pre<codeSELECTFROMhive_prod.iceberg_d
Spark - Spark Shell使用
NSparkShell是Spark提供的一个强大的交互分析数据的工具,我们直接用<code$SPARK_HOME/bin/sparkshell</code命令来SparkShell启动,如果在bin目录下,可以直接用<codesparkshell</code。进入后,可以看到已经初始
Spark - 分布式高可用集群安装
准备工作下载地址官网(https://link.segmentfault.com/?enc7NMjBUX81PktxAP41EyJQw%3D%3D.0p2kXOj3LPaOPxoUsoP7WxoLw58u9UNOfEU7I54NWkw%3D)下载页面(https
spark stage 重试导致 stage 无法正常结束,一直在等待中
sparkstage重试导致stage无法正常结束,一直在等待中<blockquote<p线上spark版本,2.4.1</p<p此时任务已被用户kill</p<p<ahref"https://link.segmentfault.com/?encjS
Hologres揭秘:高性能原生加速MaxCompute核心原理
Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,为业务提供实时决策的能力,让大数据发挥出
看CarbonData如何用四招助力Apache Spark
<blockquote<strong摘要:</strongCarbonData在ApacheSpark和存储系统之间起到中介服务的作用,为Spark提供的4个重要功能。</blockquote本文分享自华为云社区《MakeApacheSparkbetterwith
已加载文章中没有匹配内容,试试其他关键词或清空搜索。