HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据开发-Spark-闭包的理解

1.从Scala中理解闭包闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。如下面这段匿名的函数:<pre<codevalmultiplier(i:Int)&gt;i10

大数据开发-Spark-RDD的持久化和缓存

1.RDD缓存机制cache,persistSpark速度非常快的一个原因是RDD支持缓存。成功缓存后,如果之后的操作使用到了该数据集,则直接从缓存中获取。虽然缓存也有丢失的风险,但是由于RDD之间的依赖关系,如果某个分区的缓存数据丢失,只需要重新计算该分区即可。涉

算法 - 链表操作题目套路

0.前言简单的题目,但是没有练习过或者背过,可能反而也写不出来,在面试中往往是在短时间内就写完,你没有时间画图,没有时间推演,这些都只能在脑子里快速完成,有时候拼了很久,觉得还是没有感觉,即使写出来了,在过后的一周到一个月照样会忘记,bugfree地写出来还是很费力,作为对此深有体会

算法 - 如何从股票买卖中,获得最大收益

作为一名从副业中已赚取几个月工资的韭菜,显然对这类题目很有搞头,但是实际中往往不知道的是股票的未来价格,所以需要预测,而你的实盘实际上也会反过来影响股票,所以没人能完整预测股票的走势,那些从回溯中取的最大值的算法,就是下面的几种,有必要掌握一下,假若某一天你穿越回去,你任选一种算法,那么你就可以从1

基于SSD的Kafka应用层缓存架构设计与实现

Kafka在美团数据平台的现状Kafka出色的I/O优化以及多处异步化设计,相比其他消息队列系统具有更高的吞吐,同时能够保证不错的延迟,十分适合应用在整个大数据生态中。目前在美团数据平台中,Kafka承担着数据缓冲和分发的角色。如下图所示,业务日志、接入层Nginx日志或线上DB数据

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。