基于MapReduce并行计算的词频统计的研究.pdf

南 阳 理 工 学 院 本科生毕业设计(论文)学院(系)：软件学院 专 业：软件工程 学 生：周 楠 指导教师：陈可 完成日期 2016 年 04 月 南阳理工学院本科生毕业设计（论文）基于MapReduce并行计算的词频统计的研究 Research of the Word Count by Parallel Computing on MapReduce 总 计：毕业设计(论文)15页 表 格：3个 插 图：5幅 基于MapReduce并计算的词频统计的研究南 阳 理 工 学 院 本 科 毕 业 设 计(论文)基于MapReduce并行计算的词频统计的研究 Research of the Word Count by Parallel Computing on MapReduce 学 院(系)：软件学院 专 业：软件工程 学 生 姓 名：周 楠 学 号：1415925713 指导教师(职称)：陈可 讲师 评 阅 教 师：陈可 完 成 日 期：2016年04月16日 南阳理工学院 Nanyang Institute of Technology 基于MapReduce并计算的词频统计的研究?MapReduce?软件工程 周楠 摘要 我们正处在大数据时代，数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来大数据时代，数据爆炸式增长，数据量巨大，数据种类繁琐，很难统计，处理和分析，所以数据挖掘显得格外重要，而词频统计正是数据挖掘的一个重要分支。在谷歌，超过一万个不同的项目已经采用MapReduce来实现,包括大规模的算法图形处理、文字处理、数据挖掘、机器学习、统计机器翻译以及众多其他领域。关键词 词频统计；MapReduce；并计算；Hadoop；基于MapReduce并计算的词频统计的研究Research of the Word Count by Parallel Computing on MapReduce Software Engineering Major Zhou Nan Abstract We are in the era of big data,data,has penetrated into every industry today and the business functional areas,become an important production factor.For huge amounts of data mining and utilization,herald a new wave of productivity growth and the influence of the consumer surplus coming era of big data,data explosion,the great amount of data,data types,it is difficult to statistics,processing and analysis,appears especially important,so data mining,and word frequency statistics is an important branch of data mining.In Google,more than ten thousand different projects have been implemented using graphs,including large-scale image processing algorithm,word processing,data mining,machine learning and statistical machine translation as well as many other areas.Key Words WordCount；MapReduce；Parallel Computing；基于MapReduce并计算的词频统计的研究目 录 1.绪论 1.1.1.词频统计的意义 1.1.2.MapReduce介绍与应 1.1.2.1.概述 1.1.2.2.分布和可靠性 1.1.2.3.主要功能 1.1.2.4.MapReduce的应 2.1.3 MapReduce与词频统计的关系 3.2.开发平台简介与关键技术 3.2.1.开发平台简介 3.2.1.1.Hadoop 3.2.1.2.Hadoop核架构 4.2.1.3.Hadoop的项 4.2.1.4.Hadoop与MapReduce的区别 4.2.1.5.Linux系列操作系统 5.2.2.关键技术介绍 5.2.2.1.MapReduce技术 5.2.2.2.通过MapReduce实现词频统计的作原理 8.3.词频统计的实现 9.3.1.词频统计的四种实现法 9.3.2.通过MapReduce实现词频统计官代码 10.3.3.在集群上运WordCount 12.4 结束语 13.参考献 14.致谢 15.基于MapReduce并计算的词频统计的研究1.绪论 1.1.词频统计的意义 当下我们正处在大数据时代，数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据时代，数据爆炸式增长，数据量巨大，数据种类繁琐，很难统计，处理和分析，所以数据挖掘显得格外重要，数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，而词频统计正是数据挖掘的一个分支。比如：使用词频统计统计2015年网络上出现频率最高的词语，从而找出2015年的年度热词，而全球每一年的数据量都极其巨大，而且每年都在爆炸式增长，统计和分析的难度相当大，所以分布式并行计算就显出了无法替代的速度优势。1.2.MapReduce介绍与应用 1.2.1.概述 MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。1.2.2.分布和可靠性 MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔，主节点（类同Google档案系统中的主服务器）记录下这个节点状态为死亡，并把分配给这个节点的数据发到别的节点。每个操作使用命名文件的不可分割操作以确保不会发生并行线程间的冲突；当文件被改名的时候，系统可能会把他们复制到任务名以外的另一个名字上去。（避免副作用）。归纳操作工作方式很类似，但是由于归纳操作在并行能力较差，主节点会尽量把归纳操作调度在一个节点上，或者离需要操作的数据尽可能近的节点上了；这个特性可以满足Google的需求，因为他们有足够的带宽，他们的内部网络没有那么多的机器分析、数据需求分析。1.2.3.主要功能 MapReduce提供了以下的主要功能：1）数据划分和计算任务调度：?1基于MapReduce并计算的词频统计的研究系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动 调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并 负责Map节点执行的同步控制。2）数据/代码互定位：为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向 数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。3）系统优化：为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个 Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个 Reduce节点；此外，系统还进行一些计算性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。4）出错检测和恢复：以低端商用服务器构成的大规模MapReduce计算集群中，节点硬件（主机、磁盘、内存等）出错和软件出错是常态，因此 MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提 高数据存储的可靠性，并能及时检测和恢复出错的数据。1.2.4.MapReduce的应用 1.用途 在Google，MapReduce用在非常广泛的应用程序中，包括“分布grep，分布排序，web连接图反转，每台机器的词矢量，web访问日志分析，反向索引构建，文档聚类，机器学习，基于统计的机器翻译.”值得注意的是，MapReduce实现以后，它被用来重新生成Google的整个索引，并取代老的ad hoc程序去更新索引。MapReduce会生成大量的临时文件，为了提高效率，它利用Google文件系统来管理和访问这些文件。在谷歌，超过一万个不同的项目已经采用MapReduce来实现,包括大规模的算法图形处理、文字处理、数据挖掘、机器学习、统计机器翻译以及众多其他领域。2.应用实例（1）MapReduce 编程模型在日志分析方面的应用 日志分析往往是商业智能的基础，而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详尽解释 MapReduce 模型的对应实现，涵盖 MapReduce 编程中对于特殊问题的处理技巧，比如机器学习算法、排序算法、索引机制、连接机制等。?2基于MapReduce并计算的词频统计的研究日志分析往往是商业智能的基础，而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。（2）单一网页信息挖掘 从 URL 得到该网页中有价值的词信息，首先要对 URL 进行重新爬取，以得到其对应的网页内容。从网页中提取关键词，则需要一定的算法支持。在一篇网页中，不同词因为在不同位置或者以不同的格式出现，对应影响程度也不同。比如，在网页的标题或者网页内容每一自然段段首或者段尾的词可能更为重要；在网页中有特定格式，比如加粗或者字体较大或者标记颜色的词可能更为重要。而给定一个词，如何标记其重要性或者对网页的价值？可以将每个词用向量的形式来进行描述，向量中每一维度 d 表示不同的衡量标准，比如 TF（在该网页中出现的次数）、DF（在所有网页中出现的次数）、是否在标题中出现、是否在段首/段尾出现、是否在句首/句尾出现、颜色有无区别其它词、词的词性是名词/动词/形容词/助词，等等。形如 w=(v1,v2,v3,v4,)，每个维度 v 对词是网页关键词的决定程度不同，这个影响因子可以通过机器学习算法训练而得。即：由事先指定关键词的网页来进行训练，得到特征权重。得到特征权重后，对于网页中的每个词，可以通过 w=sum(vi*fi)的方式来得到其作为关键词的比例。从网页中选取能代表其内容的几个词，应对所有计算出权重的词按权重从大到小依次排序，选取前几名或者大于某个阈值的词即可。1.3 MapReduce与词频统计的关系 著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。所以象MapReduce这样的大规模并行处理 与 词频统计这类的数据统计和挖掘技术是密切相关的。2.开发平台简介与关键技术 2.1.开发平台简介 2.1.1.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。?3基于MapReduce并计算的词频统计的研究Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。2.1.2.Hadoop核心架构 Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce 引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心完整的操作系统主要由四部分组成：硬件、操作系统内核、操作系统服务和用户应用程序，如图2-1所示。操作系统是一套复杂的管理控制程序，包括五方面的管理功能：进程处理机管理、存储管理、设备管理、文件管理和用户管理。2.1.3.Hadoop的子项目 HDFS:Hadoop分布式文件系统(Distributed File System)HDFS(Hadoop Distributed File System)MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API HBase:类似Google BigTable的分布式NoSQL列数据库。（HBase和Avro已经于2010年5月成为顶级 Apache 项目）Hive：数据仓库工具，由Facebook贡献。Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。Pig:大数据分析平台，为用户提供多种接口。Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。Sqoop：于在HADOOP与传统的数据库间进行数据的传递。2.1.4.Hadoop与MapReduce的区别 Hadoop是一种分布式数据和计算的框架。它很擅长存储大量的半结构化的数据集。数据可以随机存放，所以一个磁盘的失败并不会带来数据丢失。Hadoop也非常擅长分布式计算快速地跨多台机器处理大型数据集合。MapReduce是处理大量半结构化数据集合的编程模型。编程模型是一种处理并结构化特定问题的方式。例如，在一个关系数据库中，使用一种集合语言执行查询，如SQL。告诉语言想要的结果，并将它提交给系统来计算出如何产生计算。还可以用更传?4基于MapReduce并计算的词频统计的研究统的语言(C+，Java)，一步步地来解决问题。这是两种不同的编程模型，MapReduce就是另外一种。MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好。2.1.5.Linux系列操作系统 Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。严格来讲，Linux这个词本身只表示Linux内核，但实际上人们已经习惯了用Linux来形容整个基于Linux内核，并且使用GNU 工程各种工具和数据库的操作系统。2.2.关键技术介绍 2.2.1.MapReduce技术 图2-1.MapReduce执行流程?5基于MapReduce并计算的词频统计的研究图2-2.MapReduce作业提交流程 2.2.1.1.名词解释 job：用户的每一个计算请求，就称为一个作业。JobTracker：用户提交作业的服务器，同时，它还负责各个作业任务的分配，管理所有的任务服务器。TaskTracker：任劳任怨的工蜂，负责执行具体的任务。Task：每一个作业，都需要拆分开了，交由多个服务器来完成，拆分出来的执行单位，就称为任务。2.2.1.2.MapReduceAPI 老版Mapper API org.apache.hadoop.mapred Interface Mapper 新版Mapper API rg.apache.hadoop.mapreduce Class Mapper Reducer API 介绍 老版 Reducer API?6基于MapReduce并计算的词频统计的研究org.apache.hadoop.mapred Interface Reducer 新版 Reducer API rg.apache.hadoop.mapreduce Class Reducer 2.2.1.3.Job的运行模式及设置方法 MapReduce程序可以以下三种模式运行 Local(Standalone)Mode：只有一个 Java 虚拟机在跑，完全没有分布式的成分。且不使用HDFS文件系统，而是使用本机的Linux文件系统。Pseudo-distributed Mode：在同一台机器上启动独立数个 JVM 进程，每一个hadoop daemon运行在一个单独的JVM进程中，进行“伪分布式”操作。Fully-distributed Mode：真正的可以运行于多台机器上的分布式模式。其中，Standalone mode 使用local filesystem 以及 local MapReducer job runner，Distributed mode 使用HDFS 以及 MapReduce daemons 对应的配置文件 conf/core-site.xml：为Hadoop设定默认的文件系统 fs.default.name VALUE Standalone mode:VALUE=file:/Pseudo-distributed mode:VALUE=hdfs:/localhost:9000 Fully-Distributed mode：VALUE=hdfs:/namenode 对应的配置文件 conf/mapred-site.xml mapred.job.tracker VALUE Standalone mode:VALUE=local Pseudo-distributed mode:VALUE=localhost:9001 Fully-Distributed mode：VALUE=jobtracker:9001 HDFS client使用这个属性来决定NameNode的位置，这样HDFS client就可以连接到该NameNode.?7基于MapReduce并计算的词频统计的研究2.2.2.通过MapReduce实现词频统计的作原理 WordCount的数据流：图2-3.词频统计数据流 图2-4.词频统计执行流程?8基于MapReduce并计算的词频统计的研究1.MapReduce库先把user program的输入文件划分为M份（M为用户定义），每一份通常有16MB到64MB，如图左方所示分成了split04；然后使用fork将用户进程拷贝到集群内其它机器上。2.user program的副本中有一个称为master，其余称为worker，master是负责调度的，为空闲worker分配作业（Map作业或者Reduce作业），worker的数量也是可以由用户指定的。3.被分配了Map作业的worker，开始读取对应分片的输入数据，Map作业数量是由M决定的，和split一一对应；Map作业从输入数据中抽取出键值对，每一个键值对都作为参数传递给map函数，map函数产生的中间键值对被缓存在内存中。4.缓存的中间键值对会被定期写入本地磁盘，而且被分为R个区，R的大小是由用户定义的，将来每个区会对应一个Reduce作业；这些中间键值对的位置会被通报给master，master负责将信息转发给Reduce worker。5.master通知分配了Reduce作业的worker它负责的分区在什么位置（肯定不止一个地方，每个Map作业产生的中间键值对都可能映射到所有R个不同分区），当Reduce worker把所有它负责的中间键值对都读过来后，先对它们进行排序，使得相同键的键值对聚集在一起。因为不同的键可能会映射到同一个分区也就是同一个Reduce作业（谁让分区少呢），所以排序是必须的。6.reduce worker遍历排序后的中间键值对，对于每个唯一的键，都将键与关联的值传递给reduce函数，reduce函数产生的输出会添加到这个分区的输出文件中。7.当所有的Map和Reduce作业都完成了，master唤醒正版的user program，MapReduce函数调用返回user program的代码。所有执行完毕后，MapReduce输出放在了R个分区的输出文件中（分别对应一个Reduce作业）。用户通常并不需要合并这R个文件，而是将其作为输入交给另一个MapReduce程序处理。整个过程中，输入数据是来自底层分布式文件系统（GFS）的，中间数据是放在本地文件系统的，最终输出数据是写入底层分布式文件系统（GFS）的。而且我们要注意Map/Reduce作业和map/reduce函数的区别：Map作业处理一个输入数据的分片，可能需要调用多次map函数来处理每个输入键值对；Reduce作业处理一个分区的中间键值对，期间要对每个不同的键调用一次reduce函数，Reduce作业最终也对应一个输出文件。3.词频统计的实现 3.1.词频统计的四种实现方法 方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单 词的出现次数，最后就可以知道哪几个单词最热门了。这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题 很合适。?9基于MapReduce并计算的词频统计的研究方法二：写一个多线程程序，并发遍历论文。方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须 自己同步共享数据，比如要防止两个线程重复统计文件。方法三：把作业交给多个计算机去完成。我们可以使用方法一的程序，部署到 N 台机器上去，然后把论文集分成 N 份，一台 机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序 copy 到别的机器，要人工把论文集分开，最痛苦的是还要把 N 个运行结果进行整合（当然我们也可以再写一个程序）。方法四：让 MapReduce 来帮帮我们吧！MapReduce 本质上就是方法三，但是如何拆分文件集，如何 copy 程序，如何整 合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交 给 MapReduce。map 函数和 reduce 函数是交给用户实现的，这两个函数定义了任务本身。map 函数：接受一个键值对（key-value pair），产生一组中间键值对。MapReduce 框架会将 map 函数产生的中间键值对里键相同的值传递给一个 reduce 函数。reduce 函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模 更小的值（通常只有一个或零个值）。3.2.通过MapReduce实现词频统计官方代码 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount public static class TokenizerMapper extends Mapper private final static IntWritable one=new IntWritable(1);private Text word=new Text();public void map(Object key,Text value,Context context?10基于MapReduce并计算的词频统计的研究 )throws IOException,InterruptedException StringTokenizer itr=new StringTokenizer(value.toString();while(itr.hasMoreTokens()word.set(itr.nextToken();context.write(word,one);public static class IntSumReducer extends Reducer private IntWritable result=new IntWritable();public void reduce(Text key,Iterable values,Context context )throws IOException,InterruptedException int sum=0;for(IntWritable val:values)sum+=val.get();result.set(sum);context.write(key,result);public static void main(String args)throws Exception Configuration conf=new Configuration();Job job=Job.getInstance(conf,word count);job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job,new Path(args0);FileOutputFormat.setOutputPath(job,new Path(args1);System.exit(job.waitForCompletion(true)?0:1);Mapper 1.mapper可以选择性地继承 MapreduceBase这个基类,他只是把一些方法实现了而已,即使方法体是空的.2.mapper必须实现 Mapper 接口(0.20以前的版本),这是一个泛型接口,需要执行输入和输出的key-value的类型,这些类型通常都是Wriable接口的实现类 3.实现map方法,方法有四个参数,前面两个就是输入的 Key 和 value,第三个参数是 OuputCollector,用于收集输出的,第四个是reporter,用来报告一些状态的,可以用于debug 4.覆盖 configure方法可以得到JobConf的实例,这个JobConf是在Job运行时传递过来的,可以跟外部资源进行数据交互?11基于MapReduce并计算的词频统计的研究Reducer 1.reduce也可以选择继承 MapreduceBase这个基类,功能跟mapper一样.2.reducer必须实现Reducer接口,这个接口同样是泛型接口,意义跟Mapper的类似 3.实现reduce方法,这个方法也有四个参数,第一个是输入的key,第二个是输入的 value的迭代器,可以遍历所有的value,相当于一个列表,outputCollector跟map的一样,是输出的搜集器,每次搜集都是key-value的形式,report的作用跟map的相同.4.在新版本中,hadoop已经将后面两个参数合并到一个context对象里边了,当然还会兼容就版本的 接口.0.19.x 5.覆盖configure方法,作用跟map的相同 6.覆盖close 方法,可以做一些reduce结束后的处理工作.(clean up)3.3.在集群上运行WordCount 1.打包 2.启动 3.MapReduce网络用户界面 4.获取结果 5.调试作业 6.打包 在项目上，选择File=Export，导出项目为一个jar包 7.启动 hadoop jar yourjar.jar mainClassName-conf inputfolder outputfolder 8.MapReduce网络用户界面 url：http:/localhost:50030/9.获取结果 Hadoop fs ls outputfolder 10.调试作业 加入传统的Log输出 使用Reporter 来做错误源的输出比对?12基于MapReduce并计算的词频统计的研究4 结束语 此时我的心情无法平静，从开始进入课题，对课题的理解，方案的设计，到系统的实现，再到论文的写作，中间有着自己的努力，更有着多少可敬的老师、学长、同学和朋友给了我无言的帮助。这段时间尽管我遇到了许多困难和障碍，但在老师和同学的帮助下大都一一解决了。您让我感动的不仅是您兢兢业业的教师精神，还有您在知识上不止步的追求。跟您在一起，我不仅学会了许多知识，还学会了许多做人的道理，处事的态度。另外，感谢我在千里之外的父母，感谢你们对我的养育之恩，无微不至的关心，对我学习上坚定的支持与鼓励。?13基于MapReduce并计算的词频统计的研究参考文献 1.Hadoop实战-初级部分 之 MapReduce：http:/ 2.Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API：http:/ 3.MapReduce编程(入门篇)：http:/www.jiacheo.org/blog/233 4.Hadoop基础学习（一）分析、编写并运行WordCount词频统计程序:http:/ 5.MapReduce实例浅析:http:/ 首先，感谢我的指导老师陈可。感谢您平时的教导以及做毕业设计以来耐心的技术支持。历时将近两个月的时间，毕业设计与论文即将画上一个句号。此时我的心情无法平静，从开始进入课题，对课题的理解，方案的设计，到系统的实现，再到论文的写作，中间有着自己的努力，更有着多少可敬的老师、学长、同学和朋友给了我无言的帮助。这段时间尽管我遇到了许多困难和障碍，但在老师和同学的帮助下大都一一解决了。您让我感动的不仅是您兢兢业业的教师精神，还有您在知识上不止步的追求。跟您在一起，我不仅学会了许多知识，还学会了许多做人的道理，处事的态度。另外，感谢我在千里之外的父母，感谢你们对我的养育之恩，无微不至的关心，对我学习上坚定的支持与鼓励。感谢软件学院的各位老师与领导们对我的教育与培养，在软件学院，我学习到了很多东西，知识和人格上都有了很大的丰富。?15