Docker实战--(一)
文章目录
一、在Docker容器中运行Hadoop集群
3个节点的hadoop集群搭建
- pull docker image
[AppleScript] 纯文本查看 复制代码
?
1
sudo docker pull kiwenlau/hadoop:1.0
- clone github repository
[AppleScript] 纯文本查看 复制代码
?
1
git clone [url=https://github.com/kiwenlau/h...]https://github.com/kiwenlau/hadoop-cluster-docker[/url]
- create hadoop network
[AppleScript] 纯文本查看 复制代码
?
1
sudo docker network create --driver=bridge hadoop
- start container
[AppleScript] 纯文本查看 复制代码
?
1
2
cd hadoop-cluster-docker
sudo ./start-container.sh
输出:
start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#
启动3个容器,包含1个主节点和2个从节点
你将进入hadoop-master容器的/ root目录
- start hadoop
[AppleScript] 纯文本查看 复制代码
?
1
./start-hadoop.sh
- run wordcount
[AppleScript] 纯文本查看 复制代码
?
1
./run-wordcount.sh
输出
input file1.txt:
Hello Hadoop
input file2.txt:
Hello Docker
wordcount output:
Docker 1
Hadoop 1
Hello 2
2、任意大小的Hadoop集群
2.1. rebuild docker image
[AppleScript] 纯文本查看 复制代码
?
1
sudo ./resize-cluster.sh 5
指定参数> 1:2,3 ..
这个脚本只是使用不同的从属文件重建hadoop映像,这样可以强制所有从属节点的名称
2.1. start container
[AppleScript] 纯文本查看 复制代码
?
1
sudo ./start-container.sh 5
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论