hadoop的伪分布模式配置

主要配置5个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

1：配置core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost</value> </property> </configuration>

2:配置hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> //其中“1”表示有多少个备份副本

3:配置mapred-site.xml,(注意：这个文件默认是没有的，项目提供一个样本mapred-queues.xml.template，可以将这个cp一份)

cp mapred-site.xml.template mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

4：配置yarn-site.xml

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

5：配置slaves文件（指定datanode的主机）

只需要输入：localhost 即可，因为是伪分布模式，所以datanode也在本地系统 如果是完全分布模式，则需要配置对应datanode节点的ip或主机名称

总结：

1：配置文件一定要注意名称和值是否一定准确，否则会是的系统找不到这些信息的 2:hadoop采用的是cluster/slaves的模式，slaves文件就是指明 那几个数据节点在那台机上部署datanode。 3：可以很方便的将这个伪分布模式的文件转化为完全分布式模式， 只需要将需要部署相关守护进程的机器ip填入相应位置即可。