文章
Squirrel-sql作为SnappyData的远程客户端
Squirrelsql客户端下载squirrelsql客户端是java开发,理论上支持所有的实现了JDBC接口规范的DB驱动。squirrelsql下载地址(https://link.segmentfault.com/?encMOycl5dQ%2Fk%2FO
Spark编译
前提在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop2.6.0cdh5.7.0,Scala版本为2.11.8更多关于编译Spark2.2.0参见Spark编译官方文档(https://link.segmentfault.com/?encWqETMrDd
【DataMagic】如何在万亿级别规模的数据量上使用Spark
欢迎大家前往腾讯云社区(https://link.segmentfault.com/?enc0D1ZbrFbV2jN2leJlbLzSw%3D%3D.gKSZezXWzBEyj1AnUh6dcsTu%2FlZvMdiRtjVYi2FZQpMy4Z6c6fdrbWSZFuj5A9W6befpV
spark 数据处理中的,正则化标准化和归一化
A.正则化1.正则化的目的是什么?正则化是为了防止过拟合,加入正则项和的参数估计是符合我们之前的预定目标的,即用尽量少的变量去拟合数据。正则化符合奥卡姆剃刀原理,在所有可能选择的模型中,能够很好的解释已知数据,并且十分简单的才是最好的模型,也就是要选择的模型。2.机器学习中的范数L0范数是指
梯度下降算法spark实现
spark中梯度下降的实现在GradientDescent中的方法runMiniBatchSGD中1.第一步是采样并计算梯度采样用的是RDD.sample方法<pre<code//sample方法获取一个子集//根据采样计算梯度//RDD.aggregate方
[原] 深入对比数据科学工具箱: SparkR vs Sparklyr
!(https://media.licdn.com/mpr/mpr/AAEAAQAAAAAAAAjKAAAAJDc4NWRjNGE5LTA0ZTktNGE3Mi1iZjBiLWE0YzIyZmVhOGJkZg.png)背景介绍SparkR和Sparklyr是两个基于Sp
Spark User-guide Summary - Tunning
Summarizedfromhttp://spark.apache.org/docs/...(https://link.segmentfault.com/?enciDXMkN95OBVKu5MRbnkRsw%3D%3D.QlGVdxK16Yry1789nBg8%2BCoVPgM6Y8aoR
Spark User-guide Summary - Building Script
PackageinstallBasicSoftwareDependence,preinstall.sh<pre<code!/usr/bin/envbashaptinstallsoftwarepropertiescommonaddaptrep
【转】spark ui 简介
看图说话基于SparkUI性能优化与调试——初级篇Spark有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便,只能通过Log的形式进行数据分析,利用sparkui做性能调整和优
Spark集群调度和开发环境的搭建
概述在日常的工作中,不管是生产环境还是实验环境,我们运行Spark任务都是基于Spark集群环境,虽然有时候我们可以在本地使用Maven来搭建spark的开发环境来做一些测试,来完成代码的编写。(上家公司是一个例外,在本地IDEA写完程序,就可以直接连接到大数据平台HDP直接运行)但是
已加载文章中没有匹配内容,试试其他关键词或清空搜索。