文章
大数据开发运维之YARN运维
1.扩缩容hadoop节点下线nodemanagerStepbystepguide下线Nodemanager:在yarnsite.xml中配置以下配置:<property><name>yarn.resourcemanager.nodes.excludepat
大数据可视化BI分析工具Superset部署详解
概述ApacheSuperset是一个开源的、现代的、轻量级BI分析工具,拥有丰富的图表展示形式、支持自定义仪表盘,能够对接多种数据源、且拥有友好的用户界面,十分好用。应用场景由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Impala、Druid、mysql等
AWS认证的10大工作清单(下)
通过可以从事哪些职业?6.网络专家基于云计算的高效网络,确实需要网络专家来研究其功能。作为网络专家,您需要执行诸如分析网络性能、维护网络安全、例行测试和预测问题等任务,以便排除任何问题,避免浪费时间。在企业中安装路由器、防火墙和许多其他网络系统、工具或设备也是他们的责任。AWS认证网络专家平均年薪超过5万美元。7.云安全专家迁移到云是安全企业最关心的问题之一

Flink Sort-Shuffle 实现简介
<blockquote<p本文介绍SortShuffle如何帮助Flink在应对大规模批数据处理任务时更加游刃有余。主要内容包括:</p<ol<li数据Shuffle简介</li<li引入SortShuffle的意义</li<liFlinkSortShuff
大数据开发之必须学会的资源调度平台YARN
1.YARN基本架构YARN总体上一个Master/slave架构,在整个资源调度框架中,包含几个关键角色:ResourceManager、NodeManager、ApplicationMaster、Container。其基本架构图如下:!(https://imghell
【Hadoop技术】HDFS详解
HDFS特点HDFS(HadoopDistributedFileSystem,即Hadoop分布式文件系统)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于
Hadoop知识点总结
本文包含HDFS、Yarn和MapReduce三部分内容,总结了Hadoop的NameNode、2NN、DataNode原理,HDFS存储机制,MapReduce流程,数据倾斜,Yarn工作机制等相关知识要点。一、HDFS部分1、NameNode和SecondaryNam
博文|Apache Pulsar 在自研数据管道中的技术实践
<blockquote<strong关于ApachePulsar</strong<br/<br/ApachePulsar是Apache软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多
终于有人把云计算与数据库的关系讲明白了
本文转载自百度开发者中心https://developer.baidu.com/a...(https://link.segmentfault.com/?encH1Pbnwd%2BcSiwIVsyHnvNHw%3D%3D.sTktNaoRF%2FoIO2w3gAt0iq%2BIocqXbFQVh
Apache Kyuubi 在 T3 出行的深度实践
<pre<code支撑了80%的离线作业,日作业量在1W大多数场景比Hive性能提升了36倍多租户、并发的场景更加高效稳定</code</preT3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数据的多样性,T3出行构建了以Ap
已加载文章中没有匹配内容,试试其他关键词或清空搜索。