===== YARN 基本架构 =====
<WRAP center round info 60%>
yarn将资源管理从原来的mapredurce中独立出来，形成了一套与计算框架无关的资源调度管理系统。供各种框架（mapredurce,storm）使用。yarn主要有2个管理组件，一个全局的资源管理器 ResourceManager 和每个应用程序特有的 ApplicationMaster。其中 ResourceManager 负责整个系统的资源管理和分配,而 ApplicationMaster 负责单个应用程序的管理
</WRAP>
===== yarn工作流 =====
  * 步骤 1 客户端想resourcemanager提交一个应用程序（包括入口类，启动命令，需要多少内存，cpu,依赖那些jar包，配置文件等资源）
  * 步骤 2 ResourceManager通过内部的调度器为该应用程序分配第一个 Container,并与对应的 Node- Manager 通信,要求它在这个 Container 中启动应用程序的 ApplicationMaster。
  * 步骤 3 ApplicationMaster 首先向 ResourceManager 注册,这样用户可以直接通过 ResourceManage 查看应用程序的运行状态。然后ApplicationMaster开始将程序切分成多个map task，reduce task。然后它将为各个task申请资源,并监控它的运 行状态,直到运行结束,即重复步骤 4~7。
  * 步骤 4 ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和 领取资源。
  * 步骤 5 一旦 ApplicationMaster 申请到资源后(一组可以运行task的datanode列表 ),便与对应的 NodeManager 通信,要求 它启动任务。
  * 步骤 6 NodeManager 为任务设置好运行环境(包括环境变量、JAR 包、二进制程序 等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。
  * 步骤 7 各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度,以 让 ApplicationMaster 随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。
  * 在应用程序运行过程中,用户可随时通过 RPC 向 ApplicationMaster 查询应用程序的当 前运行状态。
  * 步骤 8 应用程序运行完成后,ApplicationMaster 向 ResourceManager 注销并关闭自己。


{{:pasted:20150926-132950.png}}


===== ResourceManager(RM) =====
  * 处理客户端请求
  * 启动，监控application master
  * 监控nodemanager
  * 资源分配与调度

RM 是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件 构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。
==== 调度器(resource scheduler) ====
调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量
的作业等),将系统中的资源分配给各个正在运行的应用程序。需要注意的是,该调度器是 一个“纯调度器”,它不再从事任何与具体应用程序相关的工作,比如不负责监控或者跟踪 应用的执行状态等,也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务, 这些均交由应用程序相关的 ApplicationMaster 完成。调度器仅根据各个应用程序的资源需 求进行资源分配,而资源分配单位用一个抽象概念“资源容器”(Resource Container,简 称 Container)表示,Container 是一个动态资源分配单位,它将内存、CPU、磁盘、网络等 资源封装在一起,从而限定每个任务使用的资源量。此外,该调度器是一个可插拔的组件, 用户可根据自己的需要设计新的调度器,YARN 提供了多种直接可用的调度器,比如 Fair Scheduler 和 Capacity Scheduler 等。
==== 应用程序管理器(application manager) ====
 应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商
资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动它等。

===== NodeManager(NM) =====
  * 负责当前节点上资源管理和任务管理
  * 定时地向resourcemanager汇报本节点上的 资源使用情况和各个 Container 的运行状态
  * 处理来自resourcemanager的命令
  * 处理来自applicationmaster的命令

===== ApplicationMaster(AM) =====
  * 与 RM 调度器协商以获取资源(Container)
  * 数据切分，将一个程序切分成多个map task，reduce task
  * 为应用程序申请资源，并进一步分配给内部任务
  * 任务监控与容错

用户提交的每个应用程序均包含一个 AM,主要功能包括:
  * 与 RM 调度器协商以获取资源(Container);
  * 将得到的任务进一步分配给内部的任务;
  * 与 NM 通信以启动 / 停止任务;
  * 监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

===== Container =====
描述一系列信息
  * 任务运行资源（节点，cpu，内存）
  * 任务启动命令
  * 任务运行环境
Container 是 YARN 中的资源抽象,它封装了某个节点上的多维度资源,如内存、 CPU、磁盘、网络等,当 AM 向 RM 申请资源时,RM 为 AM 返回的资源便是用 Container 表示的。YARN 会为每个任务分配一个 Container,且该任务只能使用该 Container 中描述的 资源。需要注意的是,Container 不同于 MRv1 中的 slot,它是一个动态资源划分单位,是 根据应用程序的需求动态生成的。截至本书完成时,YARN 仅支持 CPU 和内存两种资源, 且使用了轻量级资源隔离机制 Cgroups 进行资源隔离  。