虚拟机Ubuntu下Hadoop伪分布式安装

2017-04-04

VMware虚拟机Ubuntu下安装Hadoop及其配置.

使用secureCRT连接终端。

1、安装JDK.

1.1 上传jdk安装包到服务器

alt+p 出现sftp窗口，然后输入

1	$ put D:\MyProgram\JDK\jdk-8u121-linux-x64.tar.gz

1.2 解压jdk

#创建文件夹
$ mkdir app
#解压
$ tar -zxvf jdk-8u121-linux-x64.tar.gz -C app

1.3 将java添加到环境变量中

切换到su然后修改。

$ sudo vi /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
	
#刷新配置生效
$ source /etc/profile

2、安装Hadoop.

2.1 上传hadoop安装包

alt+p 出现sftp窗口，然后输入

1	$ put D:\MyProgram\hadoop-2.6.5.tar.gz

2.2 解压hadoop

#创建文件夹
$ mkdir app
#解压
$ tar -zxvf hadoop-2.6.5.tar.gz -C app

2.3 配置hadoop

总共修改/hadoop-2.6.5/etc/hadoop/目录下五个文件

2.3.1 hadoop-env.sh

1
2
3

$ sudo vi hadoop-env.sh
#将JAVA_HOME写死
export JAVA_HOME=/usr/java/jdk1.7.0_65

2.3.2 core-site.xml

$ sudo vi core-site.xml
#在<configuration></configuration>中插入
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://test:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/app/hadoop-2.6.5/tmp</value>
</property>

2.3.3 hdfs-site.xml

$ sudo vi hdfs-site.xml
#在<configuration></configuration>中插入
<property>
	<name>dfs.replication</name>
	<value>1</value> #节点个数
</property>

2.3.4 mapred-site.xml

#原文件为mapred-site.xml.template，需要先转换成xml文件
$ mv mapred-site.xml.template mapred-site.xml
$ sudo vi mapred-site.xml
#在<configuration></configuration>中插入
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

2.3.5 yarn-site.xml

$ sudo vi yarn-site.xml
#在<configuration></configuration>中插入
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>test</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

2.3.6 将hadoop添加到环境变量

$ sudo vi /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_121
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
	
#刷新配置生效
$ source /etc/profile

2.4 格式化namenode

1	$ hdfs namenode -format (或者hadoop namenode -format)

2.5 启动hadoop

1 2	$ start-dfs.sh $ start-yarn.sh

2.6 验证是否启动成功

$ jps
#下面六个全部有则成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#web管理端
http://ubuntu:50070 （HDFS管理界面）
http://ubuntu:8088 （MR管理界面）