博客
关于我
理解MapReduce原理_mr
阅读量:374 次
发布时间:2019-03-05

本文共 960 字,大约阅读时间需要 3 分钟。

用自己的话概况一下

MapReduce是一个基于集群的计算平台,是一个简化分布式编程的计算框架,是一个将分布式计算抽象为Map和Reduce两个阶段的编程模型。(这句话记住了是可以用来装逼的)

基本概念–job和task

作业job是客户端要求执行的一个工作单元

– 输入数据、MapReduce程序、配置信息
任务task是MapReduce将作业拆成的小单元
– map任务和reduce任务
• Job Tracker节点(master)
– 调度task在Task Tracker上运行,协调所有作业运行
– 如果一个task失败,Job Tracker指定一个Task Tracker重新开始
• Task Tracker节点(worker)
– 执行任务,发送进度报告

分片的定义

– MapReduce把输入的数据划分成等长的小数据块,称为输入分片input split,简称分片

• 分片大小

– 分片越小,负载越平衡
– 异构时根据计算机性能分配任务个数
– 失败重启更加平衡
– 分片越小,框架开销越大

每个分片一个map任务

– 管理分配的总时间和构建map任务时间变大
– 默认HDFS块大小,128MB

• 计算数据本地化

– 在本地存有HDFS数据的节点上运行map任务
在这里插入图片描述
图解:
在这里插入图片描述

MapReduce详细过程

• 一个split(切片)起一个map任务

• map输出时会先将输出中间结果写入到buffer中 • 在buffer中对数据进行partition(分区,partition数为reduce数)和基于key的sort(排序),达到阈
值后spill到本地磁盘
• 在map任务结束之前,会对输出的多个文件进行merge(合并),合并成一个文件
• 每个reduce任务会从多个map输出中拷贝自己的partition
• reduce也会将数据先放到buffer中,达到阈值会写到磁盘
• 当数据该reduce的map输出全部拷贝完成,合并多个文件成一个文件,并保持基于key的有序
• 最后,执行reduce阶段,运行我们实现的reduce中化简逻辑,最终将结果直接输出到HDFS中

可以参考这:

https://www.jianshu.com/p/ca165beb305b

转载地址:http://varg.baihongyu.com/

你可能感兴趣的文章
Mysql中varchar类型数字排序不对踩坑记录
查看>>
MySQL中一条SQL语句到底是如何执行的呢?
查看>>
MySQL中你必须知道的10件事,1.5万字!
查看>>
MySQL中使用IN()查询到底走不走索引?
查看>>
Mysql中使用存储过程插入decimal和时间数据递增的模拟数据
查看>>
MySql中关于geometry类型的数据_空的时候如何插入处理_需用null_空字符串插入会报错_Cannot get geometry object from dat---MySql工作笔记003
查看>>
mysql中出现Incorrect DECIMAL value: '0' for column '' at row -1错误解决方案
查看>>
mysql中出现Unit mysql.service could not be found 的解决方法
查看>>
mysql中出现update-alternatives: 错误: 候选项路径 /etc/mysql/mysql.cnf 不存在 dpkg: 处理软件包 mysql-server-8.0的解决方法(全)
查看>>
Mysql中各类锁的机制图文详细解析(全)
查看>>
MySQL中地理位置数据扩展geometry的使用心得
查看>>
Mysql中存储引擎简介、修改、查询、选择
查看>>
Mysql中存储过程、存储函数、自定义函数、变量、流程控制语句、光标/游标、定义条件和处理程序的使用示例
查看>>
mysql中实现rownum,对结果进行排序
查看>>
mysql中对于数据库的基本操作
查看>>
Mysql中常用函数的使用示例
查看>>
MySql中怎样使用case-when实现判断查询结果返回
查看>>
Mysql中怎样使用update更新某列的数据减去指定值
查看>>
Mysql中怎样设置指定ip远程访问连接
查看>>
mysql中数据表的基本操作很难嘛,由这个实验来带你从头走一遍
查看>>