bin/Hadoop dfsadmin -safemode leave ,安全模式设置
enter - 进入安全模式 leave - 强制NameNode离开安全模式 get - 返回安全模式是否开启的信息 wait - 等待,一直到安全模式结束。
格式化namenode:./bin/hdfs namenode –format
6.启动Hadoop,看到很多地方写的都是用sbin/hadoop-daemon.sh namenode start之类的来启动,可能是单机的问题?分开部署的话,不需要了!在启动之后请先使用ssh免密码登陆的机制,确保主从机能够免密码互通,之后运行主机上的sbin/start-all.sh即可,它会根据上面提到的配置文件去拉起来从机的datanode服务
7.查看ui确信他们正常了,登陆http://ip:50070这个页面可以查看到node的状态之类的,这个ui看着很舒服的,比其他的50090那个端口的ui好看多了。
hadoop dfsadmin是命令行的管理工具,查看帮助用如下命令: 查看目录文件 hadoop fs -ls /user/admin/aaron 创建文件目录 hadoop fs -mkdir /user/admin/aaron/newDir 删除文件 hadoop fs -rm /user/admin/aaron/needDelete 删除目录与目录下所有文件 hadoop fs -rmr /user/admin/aaron 上传文件 上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下 hadoop fs -put /home/admin/newFile /user/admin/aaron/
下载文件 下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中 hadoop fs -get /user/admin/aaron/newFile /home/admin/newFile
查看文件 hadoop fs –cat /home/admin/newFile
Job操作
提交MapReduce Job 原则上说,Hadoop所有的MapReduce Job都是一个jar包
运行一个/home/admin/hadoop/job.jar的MapReduce Job hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的Job 假设Job_Id为:job_201005310937_0053 hadoop job -kill job_201005310937_0053
基本流程与应用开发 http://www.infoq.com/cn/articles/hadoop-process-develop
hadoop jar xxxx.jar的分发和运行流程
启动
查看集群状态:./bin/hdfs dfsadmin –report
查看文件块组成: ./bin/hdfsfsck / -files -blocks
查看HDFS: http://16.187.94.161:50070
查看RM: http:// 16.187.94.161:8088