先说下我自己laptop没有hadoop环境(虚拟机中有伪分布式,不过是为了熟悉hadoop啦),也没有像网上那样用cygwin,主要得益于实验室服务器上师兄之前搭建了hadoop集群,之前一直用xshell连接的。不过后面要写mapreduce程序的时候在本地写再打包成jar放到hadoop上跑就没法本地运行测试了。
所以这里是记录:本机eclipse远程连接hadoop集群,使用hadoop2x-eclipse-plugin插件 我系统win10,64bit,eclipse-jee-mars-1-win32-x86_64
1.安装jdk并配置环境变量 2.安装eclipse 3.安装Ant并配置 4.下载hadoop包 我的hadoop是2.6.0的,所以下载hadoop-2.6.0.tar.gz, http://mirrors.hust.edu.cn/apache/hadoop/common/ 这里自己找对应的版本,默认32bit的,但是没关系。 5.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin,并解压到本地 6.编译hadoop-eclipse-plugin插件 第一步,hadoop2x-eclipse-plugin-master解压在D:盘打开命令行cmd,切换到D:\hadoop\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录 第二步,执行ant jar -Dversion=2.6.0 -Declipse.home=D:\tool\eclipse-jee-mars-1-win32-x86_64 -Dhadoop.home=D:\hadoop\hadoop-2.6.0\hadoop-2.6.0 第三步,编译成功生成的hadoop-eclipse-plugin-2.6.0.jar在E:\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin路径下 7.配置windows下的eclipse和插件 第一步,把hadoop-eclipse-plugin-2.6.0.jar拷贝到D:\tool\eclipse-jee-mars-1-win32-x86_64\plugins目录下,重启一下Eclipse 第二步,window->Preference->左侧Hadoop Map/Reduce->右侧browse ,选择Hadoop的安装目录 第三步,然后在eclipse的window选项卡下找到show view->other->选择Map/Reduce Tool下的Map/Reduce Location即可。同时,这时,在ProjectExplorer中可以看到一个DFSLocation的文件夹,Hadoop的HDFS文件系统的文件都会显示在这里
1.连接之前要先确保hadoop开启,我就是刚连的时候没开启hadoop(不知道谁用了就关了),导致一直连不上,有时需要关闭防火墙 jps命令看下是否如图, 如果没东西或者少很多就是没开,打开hadoop,启动需要在 Master 节点上进行 start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver
2.在Map/Reduce Location右击新建一个连接 我的host,Port分别为hdfs-site.xml和core-site.cml中配置的地址和端口,另一个选项栏打对勾(选中是伪分布模式),也有的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口 hdfs-site.xml如图: core-site.cml如图: 3.在Advanced Parameters设置 设置hadoop.tmp.dir为之前core-site.xml中的地址,如图 点击finish 4.查看连接是否成功 如果小象下面有HDFS的文件夹就成功了。
参考: https://my.oschina.net/muou/blog/408543 http://www.2cto.com/net/201610/553127.html https://my.oschina.net/leejun2005/blog/122775