Hadoop1.x的问题： （1） NameNode的单点故障问题； （2） NameNode的内存限制和可拓展性问题； （3） JobTracker访问过大，影响系统可拓展性； （4） 难以支持MapReduce以外的计算框架；
Hadoop2.x包括： 高可用HDFS、YARN、MapReduce2 （1） HDFS：Federation（联邦）、HA（High Available，即高可用） HA：主备NameNode，主NameNode故障自动切换到备NameNode执行 Federation： 支持多个NameNode，每个NameNode分管一部分目录，共享共同的DataNode 注：仅架构发生变化，对用户透明，使用方式和以前一致 （2） MapReduce2：运行在YARN上 （3） YARN：资源管理系统
Hadoop2.x架构图（HDFS的HA） HA：（1）NN：NameNode，分为主Active和备Standby，故障自动切换或根据需求手动切换； （2）DN：DataNode，启动时向主备所有NameNode汇报自己的数据块信息，简历数据块映射； （3）JN：JournalNode，由于主NameNode故障需要切换到备NameNode，editlog实时NameNode更新缓存存在主NameNode显然不合理，便存在JournalNode中； 主NameNode实时更新内存中的NameNode信息，并更新JournalNode中的相应日志信息editlog，之后备NameNode再从JournalNode当中获取editlog更新自己内存中的NameNode信息，实现数据分离和主备NameNode数据同步的功能（没有SecondaryNameNode了）。 相比NFS，多台JournalNode实现了高可用。 （4） FailoverController：检测各个NameNode的工作健康状态（心跳检测），并向上汇报给ZooKeeper，这样ZooKeeper就知道当前哪个NameNode为可用，发现主NameNode故障时命令其中一个备NameNode的切换成主NameNode（竞争锁）。 一个FailoverController对应一个NameNode（同台机器）。 （5） ZooKeeper：系统调度器，提供二次开发接口； 运行时客户端先访问ZooKeeper得到当前可用的NameNode，再访问NameNode来完成他的请求。 （6） 主备NameNode切换： 手动切换：根据需求命令切换 自动切换：基于ZooKeeper自动切换
Federation： 三个NameNode进行联邦，等价于三个集群同时工作，只是这里的三个集群共享了DataNode，可以根据业务分类将不同业务类型的数据交给不同的NameNode分别管理，这样解决文件数量多NameNode内存不够的问题。
注：Federation和高可用同时配置的话，相当于每个联邦的NameNode都有一个HA的结构图那个结构。
YARN：分布式资源管理系统 （1） ResourceManager：整个集群的资源管理和调度； （2） ApplicationMaster：负责具体的一个应用程序相关事务，任务调度，任务监控，容错等； （3） NodeManager：和DataNode同台机器（就近运算）都有一个NodeManager； （4） 为所有计算框架提供了统一接口，允许了多种计算框架同时运行在集群上：MapReduce，Storm，Spark
本文为博主原创，允许转载，但请声明原文地址：http://www.coselding.cn/article/2016/05/31/Hadoop 2.x理论知识/
