MIT 6.824 分布式系统课程lab实现 (2) lab1 MapReduce
文章目录
Master数据结构定义
type Master struct {
// Your definitions here.
//Master进程会被并发访问,需要使用Lock用于保护共享资源的访问
Lock sync.Mutex
MasterState int
//使用队列存储尚待发布的任务
MapTaskQueue *list.List
//任务超时后使用MapTaskId获取MapTask详情
MapTaskBuffer []MapTask
//每个MapTask对应的SessionId,当Worker传递的SessionId与记录不同的话,说明是失效数据丢弃
SessionIdOfMapTask []int
CurrentSessionIdOfMapTask int
//记录完成的MapTask数量,当达到要求时,进入下一阶段
FinishedMapTaskCount int
//用于接收任务完成信号的channel数组
MapTimerChannels []chan int
//Reduce任务相关变量, 同上
ReduceTaskQueue *list.List
ReduceTaskBuffer []ReduceTask
SessionIdOfReduceTask []int
CurrentSessionIdofReduceTask int
FinishedReduceTaskCount int
ReduceTimerChannels []chan int
}Master与Workers之间的通信方式
- 所有通信(RPC)都由Worker主动发起
一共有两种RPC
- Worker向Master发送请求CallAssignTask()
- Worker完成任务后调用CallConfirmTask()通知Master,让Master检测Worker工作是否合法
- Master和Worker之间的通信是无状态的,Master仅保存分配的Task对应的SessionId.
- Worker在完成工作后调用CallConfirmTask()通知Master,Master检查传入的SessionId与CurrentSessionIdofTask中存储的是否合法
通信使用的数据结构
type WorkerMessage struct {
SessionId int
TaskType int
TheMapTask MapTask
TheReduceTask ReduceTask
}
type MasterMessage struct {
MasterMessageType int
SessionId int
TaskType int
TheMapTask MapTask
TheReduceTask ReduceTask
}超时处理
func (m *Master) StartMapTiming(MapTaskId int) {
select {
case <-m.MapTimerChannels[MapTaskId]:
//根据超时信号与完成信号哪一个先到达,执行哪一个步骤
//当超时时重新入队
case <-time.After(TimeoutUpperLimit):
m.Lock.Lock()
defer m.Lock.Unlock()
fmt.Printf("\n%v timeout\n", MapTaskId)
mapTask := m.MapTaskBuffer[MapTaskId]
m.SessionIdOfMapTask[MapTaskId] = -1
m.MapTaskQueue.PushBack(mapTask)
}
}Worker处理文件
- 这里使用课程提供的hints,使用json包进行编码
- Worker在调用CallAssignTask()请求任务之后读取文件并调用mapf, reducef函数处理后写入到tempFile,完成之后调用CallConfirmTask()通知Master,Master根据SessionId是否合法通知Worker, Worker再根据Master的通知删除tempFile或者修改tempFile文件名为合法的文件名.
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论