(1)环境说明
hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。
(2)安装hadoop-eclipse-plugin-1.1.2.jar插件
hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。
下载好后,将hadoop-eclipse-plugin-1.1.2.jar放到eclipse安装目录下的plugins文件夹下。然后重启eclipse。
在window菜单下选择prefernece选项,可以看到右边出现Hadoop Map/Reduce选项,说明插件安装成功。
(3)添加hadoop文件夹路径
首相将下载好的hadoop-1.1.2.tar.gz源码包解压到某一个磁盘上。
启动eclipse,点击window菜单栏选择prefernece选项,在左侧点击Hadoop Map/Reduce选项,在右边的输入框输入你解压的hadoop-1.1.2.tar.gz文件夹位置即可。
(4)配置hadoop链接
选择window菜单栏下的show view选项下的other选项,在弹出的的框中选择Map/Reduce Locations选项。
这是你会在eclipse下看到多出了Map/Reduce Locations选项:
右键选择New Hadoop Locations。
Host是你的Master主机的地址,Port是端口号,User name是你登陆的用户。
点击finish后你会连接上你的hadoop。
这是后你就可以上传或下载文件到hadoop上了。
如果出现上传或下载失败,那么请看下面这篇文章。我是通过添加JAVA_HOME=D:\Program Files\Java\jdk1.7.0_51这个系统变量来解决的。
http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/
备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。
分享到:
相关推荐
windows下搭建hadoop开发环境(Eclipse)
在Windows7 x64 + Eclipse + Hadoop 2.5.2搭建MapReduce开发环境,下载的文件中包括下载的文件包括:hadoop 2.5.2.tar.gz,hadoop-common-2.2.0-bin-master.zip,hadoop-eclipse-plugin-2.5.2.jar。应用这些软件的...
由于资源有限,只能在本机windows环境下搭建vmware虚拟操作系统fedora上运行hadoop+hbase。 主要分为以下几个部分进行介绍: 一、环境版本要求和准备 二、Fedora服务器hadoop安装过程 三、Fedora服务器Hbase配置...
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...
hadoop2.5.2在windows下搭建开发环境并进行测试可以运行。
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。 具体目标是: 1.在ubuntu系统上部署hadoop 2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3...
在Windows下搭建Hadoop2.7.6的Eclipse开发环境需要用到的插件包,解压文件,在release目录找到jar包放到eclipse安装目录下的plugins目录。
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
windows-hadoop-2.6.4-bin windows下搭建eclipse+hadoop开发环境踩过的坑..
hadoop 2.6.0版本去官网就可以,这里把windows搭建环境需要的hadoop2.6.0 eclipse插件,winutils.exe,hadoop.dll打成资源包。linux只要插件就可以了,windows(测试的win10),需要另外两个文件放置在hadoop/bin及...
1. Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。 需要注意的是插件版本(及后面开发...
本文档为自己的实践过程描述,windows+eclipse+hadoop plugin连接远程主机环境搭建
主要介绍了windows 32位eclipse远程hadoop开发环境搭建的相关资料,需要的朋友可以参考下
讲述了Windows平台的Hadoop安装,以及在Eclipse中环境搭建。针对Windows平台搭建Hadoop,给出了详细步骤。最难得的是,详细给出了Windows平台的Hadoop安装常见问题及解决方案。 最后,以最简单的求和为例,剖析...
hadoop在linux上搭建好的集群,如果用Eclipsse编辑的java作业要在集群上运行,需要打包丢进linux集群上,在windows上的eclipse上添加这个插件,就可以直接在eclipse上运行作业很方便。
ECLIPSE 大数据开发插件 用于数据开发时配置eclipse
用来做一个推荐系统。hadoop框架用的,搭建环境,再windows下,导入到eclipse中。
代码是基于windows系统下搭建eclipse+hadoop2.8.3开发实例。使用eclipse直接导入代码使用的前提是,需要在本地配置要hadoop2.8.3,本代码亲测可用,能够详细地统计出dataNode下面的file3.txt文件中单词的个数。