Hadoop中单词统计案例

一、搭建本地环境

1、下载准备两个工具

Hadoop-2.7.3.tar.gz

Hadoop-2.7.3-winutils.exe.rar

2、将Hadoop-2.7.3-winutils.exe.rar解压后，其中的两个文件进行拷贝

Hadoop.dll

Wintuils.exe

3、将Hadoop-2.7.3.tar.gz解压后，找到bin目录，把上面的两个文件Hadoop.dll、Wintuils.exe拷贝到当前位置

4、配置Hadoop的环境变量

5、找到Hadoop中的日志文件log4j.properties拷贝到我们新建的Eclipse中的Maven项目中，这个日志文件是方便我们使用的，不需要写太多的配置，直接借用Hadoop中文件内容，也可以自己创建该日志文件，编写里面的内容。

（1）Hadoop中日志文件的位置

(2)拷贝到Eclipse中项目的位置

二、代码编写

1、编写Mapper

2、编写Reduce

3、编写主类

4、运行测试，首先我们先打一个JAR包

5、我导出到本地项目中了

6、将包上传到我们的虚拟机中

7、上传我们的测试文件，测试文件的文本结构如下，可以自己编写，中间使用空格隔开的。

hello everyone

hello hadoop

hello hadoop

hello hive

go home

come on

8、我们运行一下

9、我们查看一下浏览器，运行后的结果

10、在虚拟机查看一下文本内容

三、单词统计理解

（一）概念

1、单词统计的是统计一个文件中单词出现的次数，比如下面的数据源

2、其中,最终出现的次数结果应该是下面的显示

（二）那么在MapReduce中该如何编写代码并出现最终结果？

首先我们把文件上传到HDFS中(hdfs dfs –put …)

数据名称：data.txt，大小是size是2G

（三）进一步理解

1、红黄绿三个块表示的是数据存放的块

2、然后数据data.txt进入map阶段，会以k,v

3、那么我可以用图表示：蓝色的椭圆球表示一个map，红黄绿数据块在进入map阶段的时候，数据的形式为左边红色的k,v

4、经过map处理，比如String.split(“”),做一次处理，数据会在不同的红黄绿数据块中变为下面的KV形式

5、我们在配置Hadoop的时候或设置reduce的数量，假如有两个reduce

Map执行完的数据会放到对应的reduce中，如下图

6、这个地方有一个简单的原理就是

Job.setNumReduce会设置reduce的数量

而HashPartioner类可以利用 key.hashcode % reduce的结果，将不同的map结果输入到不同的reduce中，比如a-e开头的放到一个地方，e-z开头的放到一个地方，那么

7、这样的数据结果就会变成

最终出现我们想要的结果，统计完成

四、练习

1、准备的数据：data.txt。文本内容：

hello everyone

hello hadoop

hello hadoop

hello hive

go home

come on

2、项目配置的pom文件