HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

2021 最新大数据学习路线(完整详细版,含免费资料)

你好,我是号主的朋友应癫,大数据领域十年研发和管理,曾就职于中国电子、美团、字节跳动。今天给大家分享的是我根据自己的经历和经验总结出来的大数据技术学习路线,教你如何突破大数据层层技术难关。!(https://oscimg.oschina.net/oscnet/ce77b2e9b436434cb0e54fce86187cd6.p

Java8 新特性之流式数据处理

一.流式处理简介在我接触到java8流式处理的时候,我的第一感觉是流式处理让集合操作变得简洁了许多,通常我们需要多行代码才能完成的操作,借助于流式处理可以在一行中实现。比如我们希望对一个包含整数的集合中筛选出所有的偶数,并将其封装成为一个新的List返回,那么在java8之前,我们需要通过如下代码实现:List<Inte

Hadoop Streaming 实战: 文件分发与打包

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Streaming作业时配置相应的参数。1\.–file将本地文件分发到计算结点2\.–cacheFile文件已经存放在HDFS中,希望计算时

个推分享Spark性能调优指南:性能提升60%↑ 成本降低50%↓

前言Spark是目前主流的大数据计算引擎,功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。作为一种内存计算框架,Spark运算速度快,并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商,个推从早期的1.3版本便引入Spark,

云备份的正确打开方式,你学会了吗?

随着信息技术不断的发展,企业数字化转型的深入,数据已经成为企业的核心资产。面对日益增长的海量数据,为保护数据安全、避免数据灾难,数据备份已经成为个人或企业保护数据资产的最为重要的一道防线。随着越来越多的企业选择迁移数据上云,云上服务逐渐接管了大量的计算和数据量,如何简单有效的对云上数

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。