【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构

一、Yarn 产生的背景

Hadoop2 之前是由 HDFS 和 MR 组成的,HDFS 负责存储,MR 负责计算。

一)MRv1 的问题

  • 耦合度高:MR 中的 jobTracker 同时负责资源管理和作业控制两个功能,互相制约。
  • 可靠性差:管理节点是单机的,有单点故障的问题。
  • 资源利用率低:基于 slot 的资源分配模型。机器会将资源划分成若干相同大小的 slot,并划定哪些是 map slot、哪些是 reduce slot。
  • 无法支持多种计算框架:限定了只能用于 MapReduce 程序。

    二)Yarn 的诞生

    由于之前 Hadoop 资源调度的种种问题,新的资源调度框架产生了 —— YARN(Yet Another Resource Negotiator)。

它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

二、Yarn 的基本架构

一)Yarn 三大组件

  • ResourceManager
  • Nodemanager
  • ApplicationMaster

image.png

  • 在资源架构层面:RM 是 master、NM 是 slave
  • 在应用运行期间:AM 是 master、container 是 slave

    1、ResourceManager

    ResourceManager 主要由两个组件构成:
    调度器( Scheduler)和应用程序管理器(Applications Manager,ASM)。

  • 调度器(Scheduler):

    • 根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。
  • 应用程序管理器(Applications Manager):

    • 负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动等。

    2、NodeManager

    NodeManager 是每个节点上的资源和任务管理器。

  • 定时地向 RM 汇报本节点上的资源使用情况和各个 Container 的运行状态;
  • 接收并处理来自 AM 的 Container启动/停止等各种请求。

    3、ApplicationMaster

    ApplicationMaster 是一个任务最先启动的容器,用于管理当前任务的调度。

  • 与 RM 调度器协商以获取资源(用 Container 表示);
  • 将得到的任务进一步分配给内部的任务;
  • 与NM 通信以启动 / 停止任务;
  • 监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

    4、Container

    不属于 Yarn 三大组件,但是 yarn 中资源的抽象。

  • 封装 NM 上的资源(hadoop2 仅支持 cpu 和内存,hadoop3 扩展网络、硬盘、GPU 等资源);
  • 不同于静态的 slot,container 可以根据需要动态划分。

二)Yarn 通信协议

通信协议共有 5 种如下图所示:
【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构_第1张图片

  • 分布式环境下,需要涉及跨机器跨网络通信,YARN底层使用RPC协议实现通信。
  • RPC是远程过程调用(Remote Procedure Call)的缩写形式。基于RPC进行远程调用就像本地调用一样。
  • 在RPC协议中,通信双方有一端是Client,另一端为Server,且Client总是主动连接 Server 的。因此,YARN实际 上采用的是拉式(pull-based) 通信模型。

    三、Yarn 工作流程

    【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构_第2张图片

  1. client 向 YARN 中提交应用程序,其中包括 AM 程序、启动 AM 的命令、用户程序等。
  2. RM 为该应用程序分配第一个 Container,并与对应的 NM 通信,要求它在这个 Container中启动应用程序的 AM。
  3. AM 首先向 RM 注册,这样用户可以直接通过 RM 查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7。
  4. AM 通过 RPC 协议向 RM 申请和领取资源。
  5. —旦 AM 申请到资源后,便与对应的 NM 通信,要求它启动任务。
  6. NM 为任务设置好运行环境(包括环境变量、JAR 包、二进制程序等)后,将任务启动命令写到 一个脚本中,并通过运行该脚本启动任务。
  7. 各个任务通过 RPC 协议向 AM 汇报自己的状态和进度,以让 AM 随时掌握各个任务的运行状态,从而可以在任务失政时重新启动任务。在应用程序运行过程中,用户可随时通过 RPC 向 AM 查询应用程序的当前运行状态。
  8. 应用程序运行完成后,AM 向 RM 注销并关闭自己。

你可能感兴趣的