文章
SparkML(1)环境构建
工欲善其事必先利其器,我们先搭建好我们的开发环境。安装配置好Docker首先,我们需要Docker。毕竟我们的重点并不是在安装配置spark上面,怎么简便,怎么做是最好的啦。不过为了适用尽量多的场景,我们会配置一个单机集群,同时配置Pycharm远程调试。安装Docker的步骤,网上已经有很多了,我们这里贴一个基于Cent
Kylin使用Spark构建Cube
ApacheKylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。下面是单机安装采坑记,直接上配置和问题解决。找一台干净的机器,把hadoophivehbase从原有节点分别拷贝一
Hadoop框架:单服务下伪分布式集群搭建
本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Hadoop学习笔记04_Hbase
大数据开发的学习,组件还是很多的,都需要掌握并多加练习。最好的参考文档(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fhbase.apache.org%2Fapache_hbase_reference_guide.pdf)当然是官方的了。因为Hadoop生态圈组件很多,所以,在建设
Hadoop云计算的初步认识
在说Hadoop之前,作为一个铁杆粉丝先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎,它还创造了几项革命性的技术:GFS,MapReduce,BigTable,即所谓的Google三驾马车。Google虽然没有公布这几项技术的实现代码,但它发表了详细的设计论文,这给业界带来了新鲜气息,很快就出现了类似于Google三驾马车的开
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
!(https://oscimg.oschina.net/oscnet/8dd4c5471d48dd364a4763cda6a48d7af12.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT
Hadoop 新 MapReduce 框架 Yarn 详解
HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架,对于Hadoop框架的介绍在此不再累述,读者可参考Hadoop官方简介(https://www.oschina.net/action
Apache Hadoop 入门教程
原文同步至http://waylau.com/abouthadoop/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwaylau.com%2Fabouthadoop%2F)ApacheHadoop是一个由Apache基金会所开发的分布式系统基础架构。可以让用户在不了解
14天1000+大集群滚动升级,银行柜台竟然毫无感觉
摘要:中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。2020年8月27日,中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升
2020大数据面试题真题总结(附答案)
版本更新时间更新内容v1.020200701新建v1.120200613朋友面试大数据工程师提供的关于架构及数仓方面的题目v1.220200808朋友面试数据专家提供的数据驱动,spark及flink方面面试题v1.320200822朋友面试数据开发提供的关于hive及数仓方面的题目
已加载文章中没有匹配内容,试试其他关键词或清空搜索。