HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark RDD

RDD是Spark对数据的抽象,本文将介绍它与MapReduce的区别以及它的优势MapReduce存在的问题MapReduce上的迭代操作!clipboard.png(/img/bV25wc?w599&h257)可以看到一个MapReduce作业处理

Spark——大数据技术栈的长子

题记本想将上一系列‘数据仓库’还没有分享的模块——数据集市的在实际场景的概念模型和用处,基于数据仓库上层的ETL工程设计分享出来,但是最近领导安排我,要给开发部的同事讲解大数据的知识和技术,所以先放下数据仓库的那些事儿,根据同事们的反馈,他们最想学的技术就是现在大数据技术栈里面,数据计

Spark

Spark系列:『Spark』1.spark简介(https://link.segmentfault.com/?enczbv5BBWdcS0kMdVyX7a9Lw%3D%3D.2g%2FF0wnc4M0KieYb95dkZAqOiU%2FlgAx0uYh0t6X85Q10wBT

机器学习之线性回归

机器学习简介机器学习的场景(1)确定性场景(2)不确定性场景现在大多数的公司中主要是应用机器学习技术来解决不确定场景的问题。例如,我们小组现在用机器学习对公司各个产品的用户进行优质客户分群,对每个产品的用户群做用户流失分析。那么,机器学习会给这种不确定性场景带来什么

Spark 中的序列化陷阱

Spark的代码分为Driver端执行的部分和Executor端执行的部分,Driver端分发任务的同时,会通过序列化传送Executor需要的对象,由于Java序列化的一些特性,初学者在使用时容易碰到一些陷阱。陷阱1:没有序列化最常见的一个错误就是传递的类不

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。