文章
Spark 配置连接hive 元数据库(mysql)
Spark连接hive元数据库(mysql)方法一:1)打开Hivemetastoreroot@head42~hiveservicemetastore&netstatano|grep9083???2)开启spark连接Mysq
Spark 部署及示例代码讲解
Spark部署及示例代码讲解本文介绍了如何下载、部署Spark及示例代码的运行。此外,深入介绍了运行代码的过程、脚本内容,通过这些介绍力求让读者可以快速地上手Spark。目前市面上发布的Spark中文书籍对于初学者来说大多较为难读懂,作者力求推出一系列Spark文章,让读者能够从实际入手的角度来了解Spa
Spark 核心篇
本章内容:1、功能描述本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类,足以说明SparkContext的重要性;这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext,注释的第一句话就是说Spar
Spark 内存分配
Spark内存分配博客分类:sparkSpark1.5堆内存分配(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fdreamfly2016%2Fp%2F5720180.html)
Spark 之SparkContext 源码精读3
书接上文(http://my.oschina.net/corleone/blog/652484),SparkContext的CoarseGrainedSchedulerBackend已创建完毕,并且Driver也可以通过DriverEndpoint发消息了。让咱们再回到CoarseGrainedSchedulerBackend的子类,SparkDep
Spark on Hive & Hive on Spark,傻傻分不清楚
!(https://oscimg.oschina.net/oscnet/6d5972fad7cb5d1185a9d1fbec61bc47446.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT
Spark Transformations之mapPartitions
mapPartitions(func)Similartomap,butrunsseparatelyoneachpartition(block)oftheRDD,sofuncmustbeoftypeIterator<TIterator<UwhenrunningonanRDDoftypeT.
Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别
Receiver是使用Kafka的高层次ConsumerAPI来实现的。Receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的,然后SparkStreaming启动的job会去处理那些数据。然而,在默认的配置下,这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制,让数据零丢失,就必须启用Spark
Spark Streaming的优化之路——从Receiver到Direct模式
!(https://images.xiaozhuanlan.com/photo/2019/cafc8f4ba89da9b75bc4fb3aac6ff80d.jpg) _作者:个推数据研发工程师学长_1业务背景随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的
Spark Streaming和Kafka集成深入浅出
写在前面本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理一、概述Spark Streaming顾名思义是spark的流式处理框架,是面向海量数据实现高吞吐量、高可用的分布式实时计算。关于spark的安装可以参考Spa
已加载文章中没有匹配内容,试试其他关键词或清空搜索。