文章
Spark Standalone集群模式搭建
Standalone集群模式实验环境·操作机:Windows7·目标机:3个节点,配置如下:!图片.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/dc93ff9db7558f17b6d9
Spark Standalone伪分布式安装
Standalone伪分布式安装实验环境·操作机:WindowsXP·目标机:1台CentOS7虚拟机配置:IP:192.168.129.100主机名:hadoop1内存:1GB硬盘:20GB实验工具·Xshell6:是一个强大的安全终
Spark Local模式安装
Local模式安装实验环境·操作机:Windows7实验工具·无实验内容Local模式就是本地运行模式,用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。本实验通过window环境下载安装配置sp
Spark的稀疏矩阵Sparse vector
1.表示形式稀疏向量:(4,0,2,3,1.0,3.0,4.0)对应原始向量:(1.0,0.0,3.0,4.0)稀疏向量分成三个对应元素:(size,indices,values)说明:其中size是原始向量的长度,indices是原始向量中非零位置的索引下标,values是原始向量
Spark—>调优篇
Why写这篇博客是因为,在写spark任务中,离不开调优的工作,因此将常用的操作记录下来,方便以后的调优工作;同时如果之后发现了其他的调优手段,也会将其记录进来ps:(1)将八斗的spark调优手段也补充进来(2)抽时间将这些调优操作都亲自执行一遍,并记录感想一、分配
Spark Kmeans的平方欧氏距离和误差平方和及源码分析
1.欧氏距离d(x,y)√((x1y1)^2(x1y2)^2…(xnyn)^2)2.squaredEuclideandistance平方欧式距离SparkKMeans的距离公式是使用了平方欧式距离,平方欧氏距离就是欧式距
Spark 权威指南——Spark 是什么?(qbit)
前言本文是《Spark权威指南》的学习笔记<pre<code英文原著《Spark:TheDefinitiveGuide》Bill Chambers/Matei Zaharia著2018年2月第一版中文译著《Spark权威指南》张岩峰/王方京
spark为什么这么快
<blockquote作者:张科</blockquote网上答案都是千篇一律:数据都在内存所以快,是有误区的。聊spark必须聊rdd,rdd全英文ResilientDistributedDatasets,搞懂这三个单词就完事了其实。!(https://imghell
Spark OLAP高阶分析函数总结
<blockquote我们经常困惑在数据挖掘和报表分析场景中sql不会写,或者因为sql太长以至于可读性降低;今天我为大家总结了一些SparkSQL中的高阶函数,它们将会对你的业务形成助力,百倍提升你的工作效率</blockquoteGROUPING__ID,CUBE,ROLLU
Spark GraphX 三大算法(qbit)
前言本文是qbit(https://segmentfault.com/blog/qbit)对“SparkGraphX三大算法”的信息收录。三大算法指:PageRank、连通分量和三角计数qbit(https://segmentfault.com/blog
已加载文章中没有匹配内容,试试其他关键词或清空搜索。