(1)我的电脑环境
CentOS6.5,32位,在虚拟机下实现。
注意:下面的操作我都是使用root权限进行!
(2)jdk1.6的安装
这里,我使用的jdk安装包如下,大家可以上网自行下载,这里推荐jdk为1.6为好,最好不要哦用1.7.
将jdk安装包移动到/usr/local这个目录下,(local下的文件可以删除,没有用的)。
然后首先是给jdk安装包“X”的执行权限,chmod u+x jdk-6u24-linux-i586.bin。
然后就是执行安装即可,jdk-6u24-linux-i586.bin。
然后将/usr/local下jdk的文件夹从命名为jdk。
(3)设置环境变量
接下来就是配置环境变量:
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
输入 source /etc/profile使配置文件生效。
检查jdk是否安装配置成功,java -version,若显示如下,表示安装成功。
(4)配置SSH免密码登陆
1.查看当前用户下(root)是否有.ssh的隐藏文件,如果没有就创建一个mkdir .ssh
2.输入ssh-keygen -t rsa
这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。
3.输入cp id_rsa.pub authorized_keys
这条命令是把公钥加到用于认证的公钥文件中
4.验证SSH是否安装成功,以及是否可以免密码登陆本机
ssh localhost
如果显示如下,表示安装成功
(5)修改主机名
为了方便,这里我把主机名改为hadoop;
输入:hostname可以显示当前主机名;
输入:vi /etc/sysconfig/network修改HOSTNAME,如下,保存并退出
(6)将hostname与ip地址绑定
这个时候,如果直接ping hadoop0,那么是不成功的,因为hadoop0没有和本机地址绑定;
输入:vi /etc/hosts,增加一行:
192.168.1.105 hadoop0
这里192.168.1.105是我本机的Ip地址,之后再ping hadoop0就成功了。
(7)安装并运行hadoop
下载并将hadoop-1.1.2.tar.gz解压到当前用户目录下(/usr/local)。
tar -zxvf hadoop-1.1.2.tar.gz。然后将hadoop文件夹重命名为hadoop。
采用伪分布式hadoop配置
进入hadoop文件夹下的conf夹,修改配置文件。
1.指定jdk安装位置:
Hadoop-env.sh:
export JAVA_HOME=/usr/local/jdk
2.hadoop核心配置文件,配置HDFS地址和段口号。
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
</configuration>
注意:这里hadoop是你的电脑主机名,根据自己的主机名来修改。
3.hdfs-site.xml,默认的配置方式是3,在单机版的hadoop中,将其改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置MapReduce文件,配置JobTracker的地址和端口
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
注意:这里hadoop是你的电脑主机名,根据自己的主机名来修改。
5.接下来,在启动hadoop前,需要格式化hadoop的HDFS。进入hadoop文件夹,
输入bin/hadoop namenode -format
格式化文件系统,接下来启动hadoop
输入命令,启动所有进程:
bin/start-all.sh
可以通过jps命令来查看运行的进程,如果成功运行,那么将会有5个进程运行,如下图:
分别是:JobTracker、secondaryNameNode、TaskTracker、NameNode和DataNode。
为了方便,也可以把/usr/local/hadoop/bin的路径添加到PATH下,那么久可以直接通过命令:start-all.sh来启动。
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin
最后验证hadoop是否安装成功。
打开浏览器,分别输入网址:
localhost:50030(mapreduce的web页面)
localhost:50070(HDFS的web页面)
如果想在windows下访问这两个网址,那么就需要关闭centos的防火墙,否则访问不了。
命令:service iptables stop
使用:chkconfig iptables off,可以关闭防火墙的自动运行
备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。
分享到:
相关推荐
NULL 博文链接:https://wenhai.iteye.com/blog/2288572
CentOS6.5mini版hadoop集群搭建流程,内容比较简洁明了。
CentOS6.5miniHadoop集群搭建流程(完整版),内含代码及截图
hadoop安装包centos6.5-hadoop-2.6.4.tar.gzhadoop安装包centos6.5-hadoop-2.6.4.tar.gz
CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
64位centos6.5 hadoop-2.6.0-cdh5.9.0 新编译最新的native lib包。
在VMware虚拟机上,安装hadoop集群,采用的是伪分布式搭建,从安装jdk到hadoop的环境配置,全套都有,依据这个文档可以在个人Vmware上搭建自己的hadoop集群,这个集群有一个主节点,两个从节点。按照这个文档搭建后...
Centos6.5下安装Oracle 11g.docxCentos6.5下安装Oracle 11g.docx
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解.pdf
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解 用于解决分布式集群服务器
包含hadoop-2.6.4.tar包、搭建集群详情文档(每一步的步骤及代码、搭建前的环境配置)。亲测可成功运行。
Centos6.5镜像文件 Linux。。
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
主要介绍了centos6.5 安装hadoop1.2.1的教程详细,该教程小编亲测过,非常不错,值得推荐给大家,需要的朋友可以参考下
centos 6.5 telnet 客户端 安装文件 rpm包 centos 6.5 telnet 服务端 安装文件 rpm包 http://vault.centos.org/6.5/os/x86_64/Packages/ 从官网下载亲测可以用
hadoop 64位下载 centos6.5环境测试已经完成安装,欢迎下载
hadoop centos6.5编译的安装版。包括hdfs,MapReduce。
Linux centos 6.5 官网版本Bt下载种子
CentOS6.5的64位镜像文件iso。CentOS是基于linux内核而扩展的操作系统。