文章
DataPipeline实时数据融合产品入驻青云云市场,催化企业数据价值释放
近日,DataPipeline与青云科技达成合作,经双方严格联合测试与资质评审,DataPipeline企业级实时数据融合平台正式入驻青云云市场,将为众多企业用户提供数据全面准确、管理敏捷智能、链路稳定高容错的实时数据管理服务,助力其打破技术壁垒,实现全域实时数据的价值释放。!(https:
Kafka-Broker的基本模块
1.SocketServerSocketServer作为Broker对外提供Socket服务的模块,主要用于接收socket连接的请求,然后产生相应为之服务的SocketChannel对象。内部主要包括三个模块:Acceptor主要用于监听Socket连接;Processor主要用于转发Socket
【ClickHouse 技术系列】- ClickHouse 聚合函数和聚合状态
简介:本文翻译自Altinity针对ClickHouse的系列技术文章。面向联机分析处理(OLAP)的开源分析引擎ClickHouse,因其优良的查询性能,PB级的数据规模,简单的架构,被国内外公司广泛采用。本系列技术文章,将详细展开介绍ClickHouse。前言本文
RocketMQ 和 Kafka 的差异对比
Broker差异主从差异:kafka的master/slave是基于partition维度的,而rocketmq是基于broker维度的;kafka的master/slave是可以切换的,而rocketmq不行,当rocketmq的master宕机时,读能被路由到slave上,但写会被
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
前言资源是影响Spark应用执行效率的一个重要因素。Spark应用中真正执行task的组件是Executor,可以通过spark.executor.instances指定Spark应用的Executor的数量。在运行过程中,无论Executor上是否有task
大数据开发之常用命令大全
Linux(vi/vim)一般模式!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/530565aecf9d571d753d4a579309af23.png)编辑模式!(https://imghelloworld.oss
可视化神器背后的奥秘
<blockquote本文由百度智能云资深研发工程师——张军在百度开发者沙龙线上分享的演讲内容整理而成。本次分享将介绍<strongBI分析背后的技术架构与流程,及可视化图表的智能推荐策略</strong,帮助大家深入理解智能化可视化BI的技术与实践。</blockquote文:张军视频
【Flink】源码笔记—Flink SQL 的解析运行原理
1.简介SqlClient是Flink提供的一个SQL命令行交互工具,在下载flink二进制包时,在其bin目录下有一个sqlclient.sh,通过启动该脚本就可以进入交互页面。SqlClient的具体源码实现在flinktable模块的flinks
大数据开发之数仓工具Hive(一)
Hive产生的背景Hive的产生是基于mr计算框架的,简单的说就是mr学习过于复杂,成本过高,所以hive的初心是对mr做一层包装,让大家能利于sql的优势来处理数据。直接使用MapReduce处理大数据,将面临以下问题:1:MapReduce开发难度大,学习成本高(wordC
大数据开发技术 NN 和 2NN 工作机制
NN和2NN工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因
已加载文章中没有匹配内容,试试其他关键词或清空搜索。