SecondaryNamenode二次节点持久化

SecondaryNamenode

SecondaryNamenode是一个二次节点,相当于公司的副总

主节点掌握一批元数据
为了保证数据的安全—将内存中的数据存放在磁盘中

在此介绍下
硬盘 内存大 便宜 还慢
内存 内存小 贵 还快

问题
当我们的集群因断电等特殊原因使得一些数据丢失怎么解决

首先说下为什么主节点不能做持久化的原因
可以做:需求小、占用内存小、不影响计算xiaol
不可以做 主节点(Namenode) 本身工作已经很多 有可能在做持久化的时候宕机

注意:SecondaryNamenode永远无法替代Namenode的位置,他只是Namenode的一个热备

Namenode和SecondaryNamenode的执行方式

Namenode 在和 SecondaryNamenode交互式会形成两个组件

edits
存放系统在运行过程中产生的操作信息
faimage
是在系统运行中不断产生的日志信息镜像在这里插入图片描述两个组件回到二次节点中形成一个新的fsimage,由二次节点SecondaryNamenode存到硬盘中等出现 问题时想要恢复状态直接就从硬盘中获取就行;

**持久化的触发条件**

当edits超过3600S或者edits的大小超过64兆的时候(数据不是死的都可以调)

总结:持久化就是将主节点Namenode的元数据写入到磁盘中进行存储,当主节点Namenode挂了之后重启的时候回去磁盘读取相应的元数据,恢复集群的状态----(内存断电丢失)

**断电问题**
 持久化之前  -----再次启动,读取系统日志
 持久化之后  -----读取磁盘中的数据,恢复状态
 
 **重复的断电**
主节点Namenode和从节点Datanode的通信级制--------心跳机制(每隔3S,从节点Datanode会向主节点Namenode发送一次心跳  1分钟没有心跳,则认为从节点Datanode从节点直接消失)

问题来了

在进行合并的时候形成新的fsimage,这时还没传送至主节点Namenode时edits又满64兆那怎么解决?
在这里插入图片描述此图比较抽象哈哈哈

1、 个别现象另外在启动一个edits里面会同时存在两个edits
fsimage会先和最近edits进行合并,然后在合并其它的
2、常态
就需要对集群进行调整,调大edits的大小

下面讲一下我们的安全模式

  1. 恢复系统的状态

  2. 检查从节点Datanode的信息

  3. 有问题的从节点Datanode进行修复
    1.在传输过程中断电 —数据丢失如果数据特别重要,那只能提前进行调优进行相应的调整
    2.传输完成之后断电
    当我的集群重新恢复之后,主节点Namenode会去读取元数据,对状态进行相应的恢复
    3.若从节点Datanode出现问题

    在从节点Datanode恢复之后,如果有新的任务,根据情况,确定是否将新的文件上传在这里插入图片描述备份机制会去查找断电之前的数据

版权声明:本文为weixin_43709367原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_43709367/article/details/91466338

智能推荐

JetBrains 系列开发工具,如何配置 `SCSS` `File Watcher` ,相关输出配置参数详解:webStorm phpStorm IDEA

JetBrains 系列开发工具,如何配置 SCSS File Watcher ,相关输出配置参数详解:webStorm phpStorm IDEA 前言 你目前已经了解了如何使用 SCSS 进行开发,了解了该文章的内容:『 SCSS 日常用法 』 在 JetBrains 系列开发工具中通过 FileWatcher 进行编译的 SCSS 文件都是通过 sass 这个程序进行的。『 如何添加 Fil...

C语言小函数—二进制与十六进制

测试如下 “` int main() { long int num = 15; } “`...

仿微博或微信的文章多图显示(自定义MultiImageView)

按照一般的规矩,先上张图来供大伙看看 如果大致是大伙们需要实现的功能,不烦一观 自定义MultiImageView 工具类 具体使用 app.gradle中添加依赖 implementation 'com.github.bumptech.glide:glide:4.8.0' AndroidManifest.xml中配置联网权限 <uses-permission android:name=&q...

经典进程同步和互斥问题

经典进程同步与互斥问题 前言 一、生产者-消费者问题 1.问题描述 2.问题分析 3.代码 二、读者-写者问题 1.问题描述&&分析 2.代码 三、哲学家进餐问题 1.问题描述&&分析 2.代码 四、理发师问题 1.问题描述&&分析 2.代码 前言 在多道程序设计环境中,进程同步是一个非常重要的问题,下面讨论几个经典的进程同步问题。 一、生产者-消费...

java设计模式——ThreadLocal线程单例

1、定义一个ThreadLocal线程单例,代码如下: 2、定义一个多线程类,代码如下: 3、定义一个测试类,代码如下: 4、输出结果,如下图:...

猜你喜欢

【tensorflow】线性模型实战

线性模型:y = 1.477 * x + 0.089   1. 采样数据 采样噪声eps在均值0,方差0.01的高斯分布中,而后在均匀分布U(0,1)中,区间[-10,10]进行n=100次随机采样:   2. 计算误差 循环计算每个点的预测值与真是值之间差的平方并累加,从而获得训练集上的均芳误差损失值。   3. 计算梯度   4. 梯度更新 对权重w和偏...

常见损失函数和评价指标总结(附公式&代码)

网上看到一篇很实用的帖子关于常见损失函数和评价指标,收藏下来 本文转载于https://zhuanlan.zhihu.com/p/91511706 ------------------------------------------------------------------------------------------------------------------------------...

为什么 4G/5G 的直播延时依然很高

通信技术的发展促进了视频点播和直播业务的兴起,4G 和 5G 网络技术的进步也使得流媒体技术变得越来越重要,但是网络技术并不能解决流媒体直播的高延迟问题。 本文不会介绍网络对直播业务的影响,而是会分析直播中常见的现象 — 主播和观众之间能够感觉到的明显网络延迟。除了业务上要求的延迟直播之外,有哪些因素会导致视频直播的延迟这么高呢? live-streaming  图 1 - ...

springboot 过滤器Filter vs 拦截器Interceptor 详解

1 前言       最近接触到了过滤器和拦截器,网上查了查资料,这里记录一下,这篇文章就来仔细剖析下过滤器和拦截器的区别与联系。 2 拦截器与过滤器之间的区别 从上面对拦截器与过滤器的描述来看,它俩是非常相似的,都能对客户端发来的请求进行处理,它们的区别如下: 作用域不同 过滤器依赖于servlet容器,只能在 servlet容器,web环境下使用 拦截器依赖于sp...

IDEA环境--JavaWeb项目【分页功能实现】

参考链接:https://www.jianshu.com/p/d108d0cd9acf 1、前言 最近在写一些项目,遇到要使用分页功能的地方,就简单的学习了一下,在此总结一下具体实现的过程以及遇到的问题。 分页功能:当我们写一下web项目时会遇到一个页面要显示很多数据,一下子都显示出来效率会很低,也不美观。这就要用到分页,其作用也就是将数据分割成多个页面来进行显示。 2、项目介绍 这只是一个简单的...