前言:之前在windows上面的虚拟机上面手工搭建了kubernetes集群，但是环境被破坏了，最近想要继续学习k8s，手工搭建太费事，所以选择了minikube，完全能够满足个人的需求,其实在Windows、Mac、Linux系统上面安装大概都差不多，以下只是我个人搭建的过程以及遇到的一些问题。k8s集群搭建起来还是有点难度，因为刚开始的玩的话，会有很

　　通常，一个Hadoop集群的安全使用kerberos来进行保障。在启用Kerberos后，需要用户进行身份验证。用户通过验证后可以使用GRANT/REVOKE语句来进行基于角色的访问控制。本文介绍一下在CDH集群中如何配置kerberos。1.KDC安装和配置脚本　　脚本install\_kerberos.sh可以完成kerberos服

本文主要基于已经搭建好的未认证集群，结合上篇Mongodb副本集分片集群模式环境部署（https://www.cnblogs.com/woxingwoxue/p/9875878.html），MongoDb分片集群认证几个主要流程1.在分片集群环境中，副本集内成员之间需要用keyFile认证，mongos与配置服务器，副本集之间也要keyFi

Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型，又是一个计算框架。也就是说，开发人员必须基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。我们先看一下作为编程模型的MapReduce。MapReduce编程模型

为了验证存在不同的hdfs之间的hive的互操作（归根结底还是为了解决BUG）需要在两个不同的hadoop集群的HDFS 能够在Hiveserver2上进行路由转发绕过一些坑。就需要将某hdfs集群的配置文件改改。。例如hdfssite.xmlEG：<?xmlversion"1.0"encoding"UTF8"?<?

有时候需要调试hadoop的程序，如果都要传到linux上，非常不方便。我们可以搭建一个windows的单机版本hadoop环境，测试我们的代码。一、下载所需文件1.JDK下载地址，jdk1.8下载(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.oracle

Apachehadoop是什么? 可靠的，可扩展的分布式计算软件。(1)可使用简单的编程模型来分布式计算集群中的大量数据集。(2)可从一台服务器扩展到数千台服务器的计算和存储(3)在应用层面发现并处理错误Hadoop项目的几大模块(1)HadoopCommon: 支持其他hadoop模块的通用

 Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Springboot的基本搭建和配置我

摘要：中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级，为期两周的升级过程突破了传统的离线升级模式，真正实现了业务无感的平滑滚动升级。2020年8月27日，中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级，为期两周的升级过程突破了传统的离线升级模式，真正实现了业务无感的平滑滚动升

5步教你将MRS数据导入DWSMapReduce服务（MapReduceService，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据