TaskManager 架构.jpg

2.TaskManager 的组成模块

TaskManager 包含的模块有JobManager 模块、TaskSlot 管理、资源管理 ResourceManager、心跳检测 HeartbeatManager、存储服务 BlobCacheService。

2.1 TaskSlotTable

问题1： TaskSlot 的概念？
答：TaskSlot 任务槽是指运行 Task 的容器，与普通线程的最大区别是每个 Slot 都可以分配到独立的内存。
问题2：TaskSlot 的主要特点？
TaskSlot 具有内存管理、状态等能力，其主要特点是不同 JobVertex 可以共享 Slot。

image.png

TaskSlotTable 是管理 TaskSlot，其生命周期与 TaskManager 保持一致。TaskSlotTable 主要功能有添加和获取 Task、申请和释放 Slot。

2.2 JobLeaderService

JobLeaderService 用于监听 Master。如果 Master 节点改变，会通知 JobLeaderService，内部是以 jobId 为 key 保存 LeaderRetrievalService 和 JobManagerLeaderListener。

2.3 资源管理 ResourceManager

ResourceManager 用于监听 ResourceManager 主节点。如果主节点有变化，会通知 ResourceManagerLeaderRetriever。

2.4 心跳监测 HeartbeatManager

HeartbeatManager 模块包含 JobManagerHeartbeatManager 和 ResourceManagerHeartbeatManager 的心跳检测。
① JobManagerHeartbeatManager 负责检测 JobManager 与 TaskManager 的心跳；
② ResourceManagerHeartbeatManager 负责检测 ResourceManager 与 TaskManager 的心跳。

image.png

2.5 存储服务 BlobCacheService

BlobService 包含 PermanentBlobService 和 TransientBlobService。
① PermanentBlobService：可恢复，数据会上传到 BlobStore 分布式文件系统；
② TransientBlobService：不可恢复，数据不会上传到 BlobStore 分布式文件系统；

BLOB 底层存储，支持多种实现HDFS,S3,FTP等，HA 中使用BlobStore 进行文件的恢复。

文章均来自互联网如有不妥请联系作者删除QQ:314111741 地址：http://www.mqs.net/post/14323.html