Stella981 Stella981
2年前
Hadoop之搭建完全分布式运行模式
一、过程分析  1、准备3台客户机(关闭防火墙、修改静态ip、主机名称)  2、安装JDK  3、配置环境变量  4、安装Hadoop  5、配置集群  6、单点启动  7、配置ssh免密登录  8、群起并测试集群二、编写集群分发脚本xsync1、scp(securecopy)安全拷贝 
Stella981 Stella981
2年前
Hadoop完整搭建过程(三):完全分布模式(虚拟机)
1完全分布模式完全分布模式是比本地模式与伪分布模式更加复杂的模式,真正利用多台Linux主机来进行部署Hadoop,对集群进行规划,使得Hadoop各个模块分别部署在不同的多台机器上,这篇文章介绍的是通过三台虚拟机进行集群配置的方式,主要步骤为:准备虚拟机:准备虚拟机基本环境ipHost配置:手
Stella981 Stella981
2年前
Kubernetes和TensorFlow集群搭建
原创未名小宇宙2018012022:48:35@引用自今日头条莫问出处莫问归途本文演示在Kubernetes集群上搭建TensorFlow集群。集群如下:(请不要问node1哪去了,因为TA罢工了)!Kubernetes和TensorFlow集群搭建(https://oscimg.oschina.net/oscnet
Stella981 Stella981
2年前
Ambari——大数据平台的搭建利器
Ambari是什么Ambari跟Hadoop等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。目前最新的发布版本是2.0.1,未来不久将发布2.1版本。就Ambari的作用来说,就是创建、管理、监视Hadoop的集群,但是这里的Hadoop是广义,指的
Stella981 Stella981
2年前
Redis之集群环境部署
在进行redis集群部署之前,兄弟们最好先在自己的虚拟机上安装好单机版的redis,安装方法很简单,兄弟们可自行用度娘度一下,这里就不再赘述了,本人也是上班时间抽空偷偷写的该博文,也得处处小心被捉了!好了,闲话少说,进入正题哈!第一步搭建ruby环境     先来说说redis用啥来做集群,我们知道hadoop可
Stella981 Stella981
2年前
Kafka数据迁移MaxCompute最佳实践
前提条件搭建Kafka集群进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka快速入门。本文使用的EMRKafka版本信息如下:EMR版本:EMR3.12.1集群类型:Kafka软件信息:Ganglia3.7.2ZooKeeper
Stella981 Stella981
2年前
Linux 网络配置情况 总体梳理
题记:Linux网络配置这个问题。常常在配置,但仍然常出错。希望这次做一个整体梳理,能够解决日后遇见的大体问题。在搭建Hadoop集群的过程中,由于一次意外关机,之后启动集群中的三台Linux虚拟机master、node1、node2,网络连接失败。三台虚拟机之间互相都ping不同,也ping不同外网和网关。只能ping通localhost和127.
Wesley13 Wesley13
2年前
mysql 数据库集群搭建:(三)CentOS 7.2 MariaDB 10.2 galera 集群安装
《mysql数据库集群搭建:(一)VirtualBox中多台CentOS虚拟机间和windows主机间互通以及访问互联网设置》(https://my.oschina.net/ioooi/blog/1186765)《mysql数据库集群搭建:(二)3台CentOS7安装PerconaXtraDBCluster57集群》(https:/
Stella981 Stella981
2年前
Hadoop框架:单服务下伪分布式集群搭建
本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Stella981 Stella981
2年前
Hadoop中重新格式化namenode
题记:Hadoop在我放下很久以后,再次拿起来。使用bin/startall.sh命令启动hadoop集群,死活不见namenode节点。在解决这个问题的时候,又不断的引出了很多新的问题。虽然这些问题在以前学习hadoop时都解决过。但,正因为以前解决过,现在遇到这些问题就更不想重复解决了。想要以最快的速度启动集群。最后想了