HDFS原理学习笔记

    xiaoxiao2021-03-25  111

    一:NameNode主要功能,接受客户端的读写服务。

    1:NameNode保存metadata信息包括,

    1)文件owership和permission信息

    2)文件包含哪些块

    3)Block保存在哪个DataNode上面(右DataNode启动时上报)

    NameNode的metadata在启动后会加载到内存中,

    1)metadata存储在fsimage中

    2)block信息不回存储在fsimage中

    3)edits记录metadata的操作日志

    二:secondNameNode用于合并edits和fsimage。

    为什么NameNode不自己合并edits和fsimage呢?因为合并需要将edits和fsimage全部加载到内存中,一条一条读取edits,而NameNode的主要工作是接受客户端的读写操作。

    1:SecondNameNode的主要作用是减少NameNode的启动时间。

    2:SecondNameNode不是NameNode的备份,但是当SecondNameNode正在合并的时候,也有备份一部分的功能,(需要其他方式备份NameNode)

    三:HDFS的读写流程

    读写的时候根据名字来进行权限认真

    写数据的时候,分块是在客户端进行的,写块的时候,顺序写的,一个块写完了,才会进行下一个块的写。

    读取文件一点一点的读的,顺序的来读的,没有并发。

    hdfs默认是没有密码认真的,可以通过第三方软件来配合。

    四:ntpdate 用于同步时间,etc/hosts配置服务器名字,直接配ip地址好像要出问题。

    五:vmware快照,可以恢复到系统原来的状态,

    转载请注明原文地址: https://ju.6miu.com/read-23028.html

    最新回复(0)