job提交文字叙述

it2022-05-05  134

1.客户端向resourcemanager提交job请求,申请资源 2.resourcemanager向客户端返回一个 job_id以及共享资源路径hdfs/tmp 3.客户端将共享资源放在共享资源路径下 4.客户端向resourcemanager返回共享资源放置成功的响应,真正开始提交一样程序 5.resourcemanager向客户端返回一个节点,运行mrappmaster nodemanager02 6.resourcemanager到对应节点启动mrappmaster,先启动container,在启动mrappmaster 7.mrappmaster会将job进行初始化,生产application_id,并生成当前job的工作簿,记录maptask|reducetask的进度和状态 8.mrappmaster到共享资源下,下载共享资源到本地 9.mrappmaster向resourcemanager申请maptask|reducetask的运行资源,maptask优先 10.resourcemanager向mrappmaster返回对应的资源节点: maptask:数据本地化 01节点 reducetask:随机 03 节点 11.mrappmaster到对应的节点启动maptask(先启动container) 12.maptask会到共享资源路径下,下载共享资源 13.开始运行maptask任务 14.maptask在夜宵过程中会向mrappmaster汇报自己的进度和状态 15.当mrappmaster获取到一个节点上的所有的maptask任务执行完成的信息时,启动reducetask 16.mrappmaster到对应节点启动:container启动 reducetask fetch 17.reducetask到共享资源路径下下载共享资源 18.所有的maptask执行完成,fetch完成,reducetask执行 19.reducetask运行期间会向mrappmaster汇报自己的状态和进度 20.当maptask,reducetask 运行完成:mrappmaster到对应节点进行资源回收,并向resourcemanager注销自己,释放资源


最新回复(0)