Stella981的头像 ID: 10708576052

Stella981

HelloWorld 社区成员

Stella981

文章16974
个人网站0
加入社区2026

Spark IM 插件开发环境搭建

网上这方面的资料好少哦,官方的文档也很久没有更新了,走了不少弯路T\_T,新手入门,高玩见谅~准备工作SparkplugKit下载:sparkplug\_kit\_2\_0\_7.zip(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.igniterealtim

Spark Graphx

Graphx   概述      SparkGraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。      众所周知·,社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,这些都是大数据产生的地方都需要图计算,现

Spark DataFrame列的合并与拆分

版本说明:Spark2.3.0使用SparkSQL在对数据进行处理的过程中,可能会遇到对一列数据拆分为多列,或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。1DataFrame列数据的合并例如:我们有如下数据,想要将三列数据合并为一列,并以“,”分割

Spark Core读取ES的分区问题分析

ES也是比较火热,在日志数据分析,规则分析等确实很方便,说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程,有需要的暂时别购买,到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试,面试管问了一下,Spark分析ES的数据,生成的RDD分区数跟什么有关系呢?稍微猜测一下就能想到

Spark Connector Reader 原理与实践

!nebulasparkconnectorreader(https://wwwcdn.nebulagraph.com.cn/nebulablog/Draft/nebulasparkconnectorreader.png)本文主要讲述如何利用SparkConnector进行NebulaGraph数据的读取。Spark

Spark Cache源代码分析

1\.sparkcache原理Task运行的时候是要去获取Parent的RDD对应的Partition的数据的,即它会调用RDD的iterator方法把对应的Partition的数据集给遍历出来,具体流程如下图:!在这里插入图片描述(https://imgblog.csdnimg.cn/20200724165519878.pn

Spark 3.0 on Kubernetes 的模式与最新发展

Spark3.0发布后,对Kubernetes的原生支持得到大幅增强,从而方便了Spark在云原生环境中的快速部署和运行实例的管理。这里探讨Spark onKubernetes生态的现状与挑战。参考:Spark3.01onKubernetes官方文档(https://www.oschina.net/actio

Spark 1.6.0 源码精读

Spark1.6.0一般程序的入口都是这个步骤,ConfigContextSpark也不例外,先从入口开始SparkConf:Spark应用程序的配置/   SparkConf.scala        Configuration for a Spark applicatio

Spark scala和java的api使用

1、利用scala语言开发spark的worcount程序(本地运行)packagecom.zy.sparkimportorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}//todo:利用s

Spannable与Editable区别

在看TextView源码时候又看到了这两个接口:Spannable和Editable;之前一直没有认真研究过两者的关系,现在看了源码记录下来。1:两者属于继承关系,Editable继承于SpannableEditable:!Editable继承关系.png(http://uploadimages.jianshu.io/upl

SpaceVim 新增 nim 语言支持

最近,给SpaceVim添加了nim语言支持。目前实现的功能包括:代码补全语法检查异步编译执行REPLhttps://spacevim.org/layers/lang/nim/(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fspac

SpaceVim

SpaceVim中文手册!welcomepage(https://static.oschina.net/uploads/img/201801/31101113_489p.png)!BuildStatus(https://static.oschina.net/uploads/img/201801/311011

SpaceEmacs Rock Day7 学习笔记

SpaceEmacsRockDay7学习笔记SpaceEmacsRockDay7学习笔记TableofContents1\.SpaceEmacsRocksDay71.1.TweakCwtodelete

Sourceinsight最佳配色方案及颜色字体调整方法

在Ubuntu下面用Gedit有一款比较好看的配色,应该是Darkblue。按照那个样子在SI里面做了一个差不多的,按个人喜好,背景色换成黑色,如下所示:!SI配色效果(https://oscimg.oschina.net/oscnet/18a74ced966b666a18568ec8d771cdbd22b.jpg)配色的方案文件可以从此处链接免

SourceTree的安装

大家都知道,SourceTree是一款Git客户端工具,同时也是Mercurial和Subversion版本控制系统工具。但是一般的试用都是30天的试用期,现在介绍一个可以导入License的方法,可以永久使用! 附下载链接:SourceTree下载地址(https://www.oschina.net/action/GoToLink?ur

SourceTree安装

SourceTree安装教程  作为程序员,不可避免的要在github上查询代码,而在企业项目中,为了使得项目好管理需要使用项目管理客户端,所以接下来详细讲解一下基于git的sourceTree在windows系统下的安装及与GitHub上的账号进行远程连接同步更新的过程。    由于sourceTree的安装过程

SourceTree使用图解

这篇文档的目的是:让使用Git(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Flib.csdn.net%2Fbase%2Fgit)更轻松。看完这篇文档你能做到的是:1、简单的用Git管理项目。2、怎样既要开发又要处理发布出去的版本bug情况。SourceTree是一个免费

Soul高可用网关:配置缓存三大同步策略

前言网关是流量请求的入口,在微服务架构中承担了非常重要的角色,网关高可用的重要性不言而喻。在使用网关的过程中,为了满足业务诉求,经常需要变更配置,比如流控规则、路由规则等等。因此,网关动态配置是保障网关高可用的重要因素。那么,Soul网关又是如何支持动态配置的呢?使用过Soul的同学都知道,Soul的插件全都是热插拔的,并且

Sortable_readme双语翻译

Sortable !FinancialContributorsonOpenCollective(https://opencollective.com/Sortable/all/badge.svg?labelfinancialcontributors)(https://www.oschina.net/action/GoToLink?ur