读书频道 > 网站 > 网页设计 > 深入理解Hadoop(原书第2版)
3.4.1 以本地模式运行程序的必要条件
15-11-29    下载编辑
收藏    我要投稿   

本文所属图书 > 深入理解Hadoop(原书第2版)

本书详细地讲述了Hadoop生态圈中最为重要的几个组件。不仅介绍了Hadoop涉及的分布式理论基础知识,还着重讲解Hadoop系统的工程实践应用。为了深入浅出地讲述Hadoop各个组件的运行机理,作者使用了贴切的实战用例立即去当当网订购

能够以本地模式运行Hadoop程序是非常重要的,这样我们就可以对程序做单元测试以便快速地进行开发工作。为了这个目的,要做的唯一工作就是正确地配置HADOOP_HOME环境变量,而且{HADOOP_HOME}/bin要包含在PATH变量中。对于Linux系统来说,这两个变量配置正确就足够了。

但是,在Windows环境中,Hadoop程序的整个构建过程中所需要应用的动态链接库(DLL)都要在本机配置好。这些动态链接库文件并不包含在从Apache网站下载的tar压缩文件中。在Windows平台上安装Hadoop系统的本地模式或者伪分布式模式的具体步骤,详见附录A的讲解。

如果你使用上文中提到的虚拟机,以本地模式运行Hadoop程序所必需的东西都已经预先安装配置好了。

假设准备工作都已经做好,下面介绍的示例程序会像你使用的集成开发环境(IDE)中的任何其他Java程序一样运行。

本书中,以本地模式运行的所有作业的输入数据都在文件夹

${project.basedir}/src/main/resources/input中。${project.basedir}目录是项目的根目录。作为WordCount程序的文本示例输入数据,存放在${project.basedir}/src/main/resources/input目录中的wordcount子目录下。

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站