HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark 部署及示例代码讲解

Spark部署及示例代码讲解本文介绍了如何下载、部署Spark及示例代码的运行。此外,深入介绍了运行代码的过程、脚本内容,通过这些介绍力求让读者可以快速地上手Spark。目前市面上发布的Spark中文书籍对于初学者来说大多较为难读懂,作者力求推出一系列Spark文章,让读者能够从实际入手的角度来了解Spa

Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别

Receiver是使用Kafka的高层次ConsumerAPI来实现的。Receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的,然后SparkStreaming启动的job会去处理那些数据。然而,在默认的配置下,这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制,让数据零丢失,就必须启用Spark

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。