博客
关于我
理解MapReduce原理_mr
阅读量:374 次
发布时间:2019-03-05

本文共 960 字,大约阅读时间需要 3 分钟。

用自己的话概况一下

MapReduce是一个基于集群的计算平台,是一个简化分布式编程的计算框架,是一个将分布式计算抽象为Map和Reduce两个阶段的编程模型。(这句话记住了是可以用来装逼的)

基本概念–job和task

作业job是客户端要求执行的一个工作单元

– 输入数据、MapReduce程序、配置信息
任务task是MapReduce将作业拆成的小单元
– map任务和reduce任务
• Job Tracker节点(master)
– 调度task在Task Tracker上运行,协调所有作业运行
– 如果一个task失败,Job Tracker指定一个Task Tracker重新开始
• Task Tracker节点(worker)
– 执行任务,发送进度报告

分片的定义

– MapReduce把输入的数据划分成等长的小数据块,称为输入分片input split,简称分片

• 分片大小

– 分片越小,负载越平衡
– 异构时根据计算机性能分配任务个数
– 失败重启更加平衡
– 分片越小,框架开销越大

每个分片一个map任务

– 管理分配的总时间和构建map任务时间变大
– 默认HDFS块大小,128MB

• 计算数据本地化

– 在本地存有HDFS数据的节点上运行map任务
在这里插入图片描述
图解:
在这里插入图片描述

MapReduce详细过程

• 一个split(切片)起一个map任务

• map输出时会先将输出中间结果写入到buffer中 • 在buffer中对数据进行partition(分区,partition数为reduce数)和基于key的sort(排序),达到阈
值后spill到本地磁盘
• 在map任务结束之前,会对输出的多个文件进行merge(合并),合并成一个文件
• 每个reduce任务会从多个map输出中拷贝自己的partition
• reduce也会将数据先放到buffer中,达到阈值会写到磁盘
• 当数据该reduce的map输出全部拷贝完成,合并多个文件成一个文件,并保持基于key的有序
• 最后,执行reduce阶段,运行我们实现的reduce中化简逻辑,最终将结果直接输出到HDFS中

可以参考这:

https://www.jianshu.com/p/ca165beb305b

转载地址:http://varg.baihongyu.com/

你可能感兴趣的文章
MySQL中的ON DUPLICATE KEY UPDATE详解与应用
查看>>
mysql中的rbs,SharePoint RBS:即使启用了RBS,内容数据库也在不断增长
查看>>
mysql中的undo log、redo log 、binlog大致概要
查看>>
Mysql中的using
查看>>
MySQL中的关键字深入比较:UNION vs UNION ALL
查看>>
mysql中的四大运算符种类汇总20多项,用了三天三夜来整理的,还不赶快收藏
查看>>
mysql中的字段如何选择合适的数据类型呢?
查看>>
MySQL中的字符集陷阱:为何避免使用UTF-8
查看>>
mysql中的数据导入与导出
查看>>
MySQL中的时间函数
查看>>
mysql中的约束
查看>>
MySQL中的表是什么?
查看>>
mysql中穿件函数时候delimiter的用法
查看>>
Mysql中索引的分类、增删改查与存储引擎对应关系
查看>>
Mysql中索引的最左前缀原则图文剖析(全)
查看>>
MySql中给视图添加注释怎么添加_默认不支持_可以这样取巧---MySql工作笔记002
查看>>
Mysql中获取所有表名以及表名带时间字符串使用BetweenAnd筛选区间范围
查看>>
Mysql中视图的使用以及常见运算符的使用示例和优先级
查看>>
Mysql中触发器的使用示例
查看>>
Mysql中设置只允许指定ip能连接访问(可视化工具的方式)
查看>>