Hadoop已经进入Apache社区发展五年多了，使用Hadoop系统进行开发的工作仍然富于挑战但收获丰厚。本书第1版在若干年前就已经出版了，在这期间，Hadoop系统已经被越来越多的企业使用，自身也得到了飞速发展。Hadoop2.0基于YARN框架做了全新升级，重写了Hadoop系统的底层平台。本书从Hadoop使用者的角度出发讲解Hadoop的实现原理，浓缩了Hadoop软件系统的精华。作为作者，我们希望可以深入到源代码级别来理解Hadoop的运行原理及其背后的设计目标，渴望与你分享Hadoop带给我们的启迪。通过本书，你不仅能够深入学习Hadoop系统，还可以对Java语言在大数据处理过程中的运用有更深入的认识。

本书总体上介绍了大数据的范畴概念，然后对Hadoop进行了详细讲解。因为如果对大数据没有一个总体上的认知，是不可能真正理解Hadoop系统的。本书的读者对象具备中级Java开发能力的Hadoop开发人员。本书可以让你成为企业中的Hadoop专家。通过本书的学习，你可以获得大量实用技巧，这些技巧都是我们在从事基于Hadoop的分布式数据处理系统实践过程中总结出来的。

本书循序渐进地讲解了大量的实例，会帮助你从Hadoop集群初级使用者成长为能胜任运行任何复杂应用程序的专家。下面是本书的一个内容纲要：

第1章，讲解大数据系统的作用，介绍各种各样的大数据系统。

第2章，高屋建瓴地介绍Hadoop2.0和YARN，讲解Hadoop平台的关键概念。

第3章，开始Hadoop学习，构建你的第一个MapReduce程序。

第4章，讲解Hadoop平台管理的关键概念要素。

第5章、第6章和第7章是本书的重点，深入分析讲解了MapReduce框架。你将会学习MapReduce框架所有知识点。我们以当前广泛使用的语言SQL作为对照，来学习理解MapReduce框架的使用。利用MapReduce框架来实现SQL语言中SELECT、WHERE、GROUP BY和JOIN这些关键字的功能。Hadoop系统一个常用用途就是来做数据ETL。这几章会让你掌握如何使用MapReduce框架支持通用的数据处理功能。我们不仅仅学习MapReduce框架的API，还会学习MapReduce框架中更复杂的概念及其设计理念。

第8章，介绍一种测试框架，这种测试框架支持MapReduce程序的单元测试和集成测试。

第9章，讲解Hadoop框架的监控和日志。

第10章，讲解Hive框架，这是一个基于MapReduce的数据仓库框架。

第11章，讲解Pig和Crunch框架。这些框架可以帮助使用者在Hadoop平台上构建数据处理管道。

第12章，讲解HCatalog框架。该框架帮助企业用户可以像访问数据库中的数据表一样，来访问存放在Hadoop文件系统上的海量数据。

第13章，讲解如何使用Hadoop来分析处理日志流。

第14章，介绍HBase，这是一个基于Hadoop系统的NoSQL数据库。你会学习许多HBase用法范例。

第15章，对数据科学做简要介绍。介绍了MapReduce框架在数学科学上的局限和不足之处。同时引入介绍新的框架，比如Spark、Hama，这些框架突破了MapReduce框架中的某些局限。

第16章，简要介绍了Hadoop系统在云计算中的应用。讲解如何在一个真实的生产环境中的Hadoop集群上工作。

第17章，粗略地介绍Hadoop2.0的一个关键附加功能：在Hadoop上开发一个自己的类似于MapReduce框架的分布式数据处理框架。讲解了如何基于Hadoop2.0开发一个简单的分布式下载服务。

致谢

Hadoop在过去的10年发展过程中，有许多厂商和独立开发者为之贡献代码。Hadoop系统中也使用了大量的开源函数库。我们要感谢为Hadoop系统贡献源码的所有开源作者所付出的辛勤劳动。我们也要感谢那些在论坛上回答了Hadoop系统相关问题的博客作者及专家学者。他们的积极参与，使得Hadoop这样复杂的系统变得易于使用并成为应用主流。

我们还想感谢Apress的全体员工，他们的努力付出使得本书内容清晰易读。

我们最后要感谢我们的家庭、朋友及同事，本书在编写过程中得到他们的一贯支持。