HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

日志服务(SLS)集成 Spark 流计算实战

前言日志服务作为一站式的日志的采集与分析平台,提供了各种用户场景的日志采集能力,通过日志服务提供的各种与·与SDK,采集客户端(Logtail),Producer,用户可以非常容易的把各种数据源中的数据采集到日志服务的Logstore中。同时为了便于用户对日志进行处理,提供了各种支持流

Spark Streaming vs. Structured Streaming

简介SparkStreamingSparkStreaming是spark最初的流处理框架,使用了微批的形式来进行流处理。提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现流计算Structur

Spark整合Ray思路漫谈

什么是Ray之前花了大概两到三天把Ray相关的论文,官网文档看了一遍,同时特意去找了一些中文资料看Ray当前在国内的发展情况(以及目前国内大部分人对Ray的认知程度)。先来简单介绍下我对Ray的认知。首先基因很重要,所以我们先需要探查下Ray最初是为了解决什么问题而产生的。Ra

Spark ML的特征处理实战

本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。一、特征处理的意义通常情况下,我们得到的数据中包含脏数据或者噪声。在模型训练前,需要对这些数据进行预处理,否则再好的模型也只能“garbagei

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。