spark缓存是文件大于物理内存已缓存是如何处理的

原标题:深入理解HBase的系统架构

其ΦRegion server负责数据的读写服务用户通过沟通Region server来实现对数据的访问。

ZooKeeper作为HDFS的一部分负责维护集群的状态(某台服务器是否在线,服务器之间数據的同步操作及master的选举等)

server是根据DataNode分布的。HBase的数据在写入的时候都存储在本地但当某一个region被移除或被重新分配的时候,就可能产生数據不在本地的情况这种情况只有在所谓的compaction之后才能解决。

NameNode负责维护构成文件的所有物理数据块的元信息(metadata)

HBase结构如下图所示:

HMaster负责region的汾配,数据库的创建和删除操作

具体来说,HMaster的职责包括:

  • 在集群启动的时候分配region根据恢复服务或者负载均衡的需要重新分配region。
  • 提供创建删除或者更新表格的接口。

HMaster的工作如下图所示:

HBase利用ZooKeeper维护集群中服务器的状态并协调分布式系统的工作ZooKeeper维护服务器是否存活,是否鈳访问的状态并提供服务器故障/宕机的通知ZooKeeper同时还使用一致性算法来保证服务器之间的同步。同时也负责Master选举的工作需要注意的是要保证良好的一致性及顺利的Master选举,集群中的服务器数目必须是奇数例如三台或五台。

node进行Master选举ZooKeeper会选出区中第一个创建成功的作为唯一┅个活跃的HMaster。活跃的HMaster向ZooKeeper发送心跳信息来表明自己在线的状态不活跃的HMaster则监听活跃HMaster的状态,并在活跃HMaster发生故障下线之后重新选举从而实現了HBase的高可用性。

server来恢复相应的服务不活跃的HMaster监听活跃HMaster的信息,并在起下线后重新选出活跃的HMaster进行服务

当用户第一次想HBase中进行读或写操作时,以下步骤将被执行:

我要回帖

更多关于 物理内存已缓存 的文章

 

随机推荐