# 捷径:使用docker安装Hadoop
in 大数据 with 0 comment

# 捷径:使用docker安装Hadoop

in 大数据 with 0 comment

Docker简介

Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的LInux机器上,也可以实现使用沙盒机制,相互之间不会有任何接口。

使用docker安装Hadoop

之前曾经分享过如何使用docker安装oracle,今天我们要使用docker安装Hadoop。
一般的在进行环境搭建的时候,我们都会有以下两种方案:

1.采用多个主机
2.使用虚拟机
但是这两种方法都很具有局限性。

第一种方法,我们往往找不到那么多的主机,想要让Hadoop有意义,至少需要3个主机。
第二种方法,对于宿主机的要求非常的高,如果没有很高的配置的话,费尽千辛万苦,到最后也基本上跑不动。
而且步骤繁琐,往往还没有安装到Hadoop,就耗费完了精力。

详细步骤 项目地址

sudo docker pull kiwenlau/hadoop:1.0
git clone https://github.com/kiwenlau/hadoop-cluster-docker
sudo docker network create --driver=bridge hadoop
cd hadoop-cluster-docker
sudo ./start-container.sh

output :

start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~# 
./start-hadoop.sh
./run-wordcount.sh

output

input file1.txt:
Hello Hadoop

input file2.txt:
Hello Docker

wordcount output:
Docker    1
Hadoop    1
Hello    2
Responses