MapReduce的推测执行算法及原理

2021-06-08 18:04

阅读:565

标签:结果   结束时间   最大   ESS   map   runtime   ogr   运行速度   原理   

机制

  • 发现运行速度远慢于平均速度的任务,启动一个备份任务同时运行,采用先运行完的结果

前提

  • 每个Task只能有一个备份任务
  • 当前Job已完成的Task不少于5%
  • 开启推测执行参数,默认打开

原理

  • estimatedRunTime=(currentTimestamp-taskStartTime)/progress

    推测运行时间=(当前时间-任务启动时间)/任务进度

  • estimateEndTime=taskStartTime+estimatedRunTime

    推测结束时间=任务启动时间+推测运行时间

  • estimateEndTime‘=currentTimestamp+averageRunTime

    推测备份任务结束时间=当前时间+完成任务平均时间

  • 为estimateEndTime-estimateEndTime‘最大的任务启动备份任务

MapReduce的推测执行算法及原理

标签:结果   结束时间   最大   ESS   map   runtime   ogr   运行速度   原理   

原文地址:https://www.cnblogs.com/lijiong/p/14512843.html


评论


亲,登录后才可以留言!