Windows下Eclispe远程开发Mapreduce程序

    xiaoxiao2021-03-25  74

    1.将hadoop-eclipse-plugin-2.6.0.jar 拷贝到${MyEclispe_HOME} /plugins 2.Windows安装hadoop      1)解压hadoop-2.5.0.tar.gz到D:/根目录      右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序      打开==》浏览到到hadoop-2.5.0.tar.gz ==>解压到 D:/根目录      2)配置hadoop的环境变量      HADOOP_HOME=【hadoop的解压目录】    //新建项      path=%HADOOP_HOME%\bin;//在原有配置的最前面      ;%HADOOP_HOME%\bin //在原有配置的最后面      ;%HADOOP_HOME%\bin;   //在原有位置的中间插入 cmd命令提示符 hadoop -h Error: JAVA_HOME is incorrectly set.        Please update D:\green\hadoop-2.5.0\conf\hadoop-env.cmd Definde Hadoop  Location 3.配置插件参数 Mavreduce(V2) host:[hostname] port:8032            //resourcemanager 的默认端口号 DFS Master host:[hostname] port:8020 4.拷贝winutils.exe 和hadoop.dll到${hadoop_HOME}/bin 5.单独拷贝hadoop.dll到C:\Windows\System32 6.创建工程的两种方式      1)使用插件,自动导入jar包,使用模板创建mapper reducer      driver类      2)创建maven工程           2-1)解压apache-maven-3.0.5.tar.gz           2-2) 配置maven环境变量           MAVEN_HOME=[maven的解压目录]           path=%MAVEN_HOME%/bin           2-3)命令提示符  mvn --v           Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)      3)修改apache-maven-3.0.5\conf\settings.xml       <localRepository>C:\Users\Administrator\.m2\repository</localRepository>       4)解压repository.tar.gz到settings.xml配置文件中指定的repository       5)配置使用自己解压的maven       6)将${hadoop_Home}/ect/hadoop/log4j.properties拷贝到项目的src目录 在linux中的hadoop安装目录下的etc/hadoop/hdfs-site.xml添加如下配置 ,重启HDFS的进程 <property>      <name>dfs.permissions</name>         <value>false</value>           </property>
    转载请注明原文地址: https://ju.6miu.com/read-38356.html

    最新回复(0)