MapReduce 流程介绍

1.图解

一个完整的过程,只是分为了两部分而已

1.1 图解1

在这里插入图片描述

1.2 图解2

在这里插入图片描述

2.流程简介

Job提交=》确认切片数=》确认开几个MapTask=》用什么key-value去读取数据=》执行自定义Mapper类写出数据到Shuffle缓存区=》Shuffle分区=》shuffle快速排序=》Shuffle分区合并=》进入归并排序=》按分区下载MapTask的数据到ReduceTask本地磁盘=》合并文件=》归并排序=》执行自己写的Reducer类=》写出数据

3.如果省去细节完整图解

如果上面觉得复杂可以先看下这个作为一个大概的理解,但是上面的详细流程一定要非常熟悉!!!
在这里插入图片描述

版权声明:本博客为记录本人自学感悟,转载需注明出处!
https://me.csdn.net/qq_39657909

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页