sparkStreaming处理离线任务
文章目录
会有一些任务需要实时调取某用户的XX信息,在这一层如果使用接口去做,如果数据量到达30几万的数据,光一个scan就卡死在那边了。后面采用离线任务去做,大概一个任务可能会需要10几秒左右完成。
但是接口那边请求的量不小,差不多一批次会有1000个,总不能启1000多个离线任务来做吧?显然不太合理在小集群上,大概9个节点。
方案

使用sparkStreaming将任务分发到spark executors上去做。
第一次优化
本来之前没有加入线程池,而是按照传统SparkStreaming的方式,拿到微批,collect之后,一个一个分发。这样就导致慢的任务卡了快的任务,处理速度明显跟不上。
加入线程池的目的,就是为了让快的任务 在慢的任务执行的同时,也能同时执行。
第二次优化
使用foreachPartitionAsync和countAsync,让同一个任务的Action动作可以并行执行
第三次优化
当中碰到rpc.time.out的情况,增加参数配置
sparkConf.set("spark.network.timeout", "300s")
去掉反压策略
sparkConf.set("spark.streaming.backpressure.enabled", "true")

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论