六千字详解 Flink checkpoint 执行流程及优化方案

大家好,我是土哥。

今天为大家带来 Flink checkpoint 核心知识点以优化方案,本文主要从以下几方面进行介绍:

1 Checkpoint 执行流程

2 checkpoint 执行失败问题分析

3 非对齐checkpoint 优化方案

4 动态调整 buffer 大小

5 通用增量快照

1 checkpoint 执行流程

六千字详解 Flink checkpoint 执行流程及优化方案_第1张图片

如上图所示,chechpoint 在执行过程中,可以简化为可以简化为以下四大步:

六千字详解 Flink checkpoint 执行流程及优化方案_第2张图片

  1. 在数据流中插入 checkpoint barrier;
  2. 每执行到当前算子时,对算子 state 状态进行同步快照与异步上传
  3. 当算子是多输入时,要进行 barrier 对其操作;
  4. 所有算子状态都已上传,确认 checkpoint 完成;

2 checkpoint 执行失败问题分析

我们知道,Flink 机制是基于 Chandy-Lamport 算法实现的 checkpoint 机制,在正常情况下,能够实现对正常处理流程非常小的影响,来完成状

你可能感兴趣的