windows7上eclipse连接hadoop

    xiaoxiao2021-12-02  27

    使用hadoop首先要打开hadoop,进入虚拟机上面的hadoop中的sbin目录,输入 ./start-all.sh 命令 接下来我们就会看到

    This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [192.168.13.129] 192.168.13.129: starting namenode, logging to /home/liusen/program/hadoop/logs/hadoop-liusen-namenode-lsmaster.out lsmaster: starting datanode, logging to /home/liusen/program/hadoop/logs/hadoop-liusen-datanode-lsmaster.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /home/liusen/program/hadoop/logs/hadoop-liusen-secondarynamenode-lsmaster.out starting yarn daemons starting resourcemanager, logging to /home/liusen/program/hadoop/logs/yarn-liusen-resourcemanager-lsmaster.out lsmaster: starting nodemanager, logging to /home/liusen/program/hadoop/logs/yarn-liusen-nodemanager-lsmaster.out

    然后查看是否完全启动服务。

    liusen@lsmaster:~/program/hadoop/sbin$ jps

    执行结果:

    8240 ResourceManager 8097 SecondaryNameNode 7763 NameNode 7915 DataNode 8366 NodeManager 8671 Jps

    看到上面启动的服务,如果上面的全部启动那么就表示hadoop启动成功,如果不成功,请见我的另一篇hadoop安装文章。 接下来我们再windows7下面连接虚拟机下面的haoop。 连接hadoop有两种方法,第一种是使用插件进行连接,第二种是使用配置文件进行连接。 首先,我们介绍使用插件进行连接的方法。 下载hadoop-eclipse-plugin-2.6.0.jar插件。 把插件拷贝到eclipse\plugins目录下面。 然后重启eclipse,这样就可以在windows->preferences看到hadopp map/reduce,然后在windows7下面解压一个hadoop安装包,并且把安装包的目录添加在hadopp map/reduce下面。 完成上面的步骤,我们就可以在windows->show view 下面看到一个黄色的大象,点击它,就可以在console下面看到map/reduce 。在map/reduce下面右键新建一个hadoop locations。 下面填写: location name:随便填写,这是给location起一个名字方便自己使用。 map/reduce(v2) master host:填写虚拟机的ip地址 port:填写虚拟机中hadoop下面mapred-site.xml下面的

    <property> <name>mapred.job.tracker</name> <value>192.168.13.129:9001</value> </property>

    端口。如果配置文件下没有,就把上面的配置添加在配置文件中。 DFS Master配置 Host:port的配置见虚拟机中的hadoop里面的配置文件core-site.xml上面的

    <property> <name>mapred.job.tracker</name> <value>192.168.13.129:9001</value> </property>

    如果配置文件中没有,则把配置添加在配置文件中,ip地址为虚拟机的ip地址,可以在shell下面输入ifconfig来查看。 usename填写虚拟机的用户名。 完成上面的配置之后,我们就可以在project explorer下面看到 DFS Location. 如果hadoop连接下面的文件夹是null没有报错,那么恭喜你hadoop连接成功了。 我们在虚拟机linux系统上面在hdfs上面创建一个文件夹来验证是否连接成功。 在hadoop下面的bin目录下输入下面的命令

    ./hadoop fs -mkdir /output

    这样我们就在hdfs中创建了一个output文件夹。 在windows7中eclipse上的DFS location 下面右键点击 重新连接,我们就可以看见以前空的文件夹下面有一个output文件夹。

    转载请注明原文地址: https://ju.6miu.com/read-679682.html

    最新回复(0)