Google File System，MapReduce，BigTable三大论文英文原版+中文翻译。分布式，大数据必读论文。

Hadoop和Python的Mapreduce 关于如何使用Python和Hadoop执行MapReduce的一小段回购。 映射器和化简器都是用Python编写的。 有关如何在Hadoop中实现这两个脚本的教程位于。

分区Partitioner 分区操作是shuffle操作中的一个重要过程，作用就是将map的结果按照规则分发到不同reduce中进行处理，从而按照分区得到多个输出结果。 Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类HashPartitioner是mapreduce的默认partitioner。 计算方法是：which reducer=(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks 注：默认情况下，reduceTask数量为1 很多时候MR自带的分区规则并不能满足我们需求，为了实

电子商务中会产生海量的数据，蕴含着不可估量的数据价值，可通过数据分析来挖掘这些潜在价值，以提升平台的销量。本次实践项目利用 Hadoop 的分布式计算框架 MapReduce 来分析用户行为数据，计算得出商品点击排行、商品分类占比等统计指标，使得更加熟练掌握 MapReduce 程序的设计。 相关理论知识有，Map 和 Reduce 流程图如下：输入数据（INPUT）首先分割（SPLIT）成若干份，然后每份分别进行 MAP 过程；中间再经过 COMBINE 任务（可选）和 PARTTION 对 MAP 所得的结果进行聚合——把同 key 的结果放到同一组，最后再进行 REDUCE 过程。

Hadoop mapreduce 实现InvertedIndexer倒排索引，能用。

MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出保存在本地5.master调度worker执行reduce任务，reduceworker读取map任务的输出文件6.执行reduce任务，将任务输出保存到HDFS若对流程细节进行深究，可以得到这样一张流程图从生命周期的角度来看，mapreduce流程大概经历这样几个阶段：初始化、分配、执行、反馈、成功与失败的后续处理每个阶段所做的事情大致如下1

本报告包含课设目的，开发环境，任务描述，需求分析，设计思路，实现过程，调试过程及运行结果。乘用车辆和商用车辆的销售数量和比例分析、分析山西省2013年每个月的汽车销售数量比例、分析买车的男女比例和男女对车的品牌的选择、HDFS统计每种车型的购买数量、统计不同类型的汽车用途、统计各种车型各个年龄段的不同性别的购买情况、统计各种小麦育种者信息。

针对大规模数据的加权Voronoi图实现的复杂性和计算精度低问题, 采用欧氏距离法, 设计和实现了一种基于MapReduce编程模型的并行栅格加权Voronoi图的生成算法, 并将其成功应用于石家庄桥东区超市的推荐服务。该算法计算精度高, 同时可适用于任意点、线、面及复合发生元的加权Voronoi图的计算。实验结果表明, 算法在处理大规模栅格数据时能明显提高栅格Voronoi图的生成速度, 并能为用户推荐综合因素优选的超市。

介绍MapReduce模型，阐述其具体工作流程，并以单词统计为实例介绍 MapReduce程序设计方法，同时，还介绍了MapReduce的具体应用，最后讲解MapReduce编程实践

对应的博客地址：http://blog.csdn.net/huhui_cs/article/details/9907951