频道栏目
读书频道 > 系统 > 其他综合 > 分布式系统:概念与设计(原书第5版)
1.2.1 Web搜索
2013-02-26 14:26:24     我来说两句
收藏   我要投稿
本书旨在全面介绍互联网及其他常用分布式系统的原理、体系结构、算法和设计,内容涵盖分布式系统的相关概念、安全、数据复制、组通信、分布式文件系统、分布式事务、分布式系统设计等,以及相关的前沿主题,包括...  立即去当当网订购

在过去的10年,Web搜索已经成为一大迅速发展的行业,最近的数字表明每个月的全球搜索量已经超过100亿。Web搜索引擎的任务是为万维网的所有内容建立索引,其中含有各种信息类型,包括Web页面、多媒体资源和(扫描后的)书。这是一个非常复杂的任务,因为当前的估计是Web由超过630亿个页面组成,包含1万亿个Web地址。考虑到大多数搜索引擎是分析整个Web内容,并在这个巨大的数据库上完成复杂的处理,那么这个任务自身就是对分布式系统设计的一个巨大挑战。

Google,Web搜索技术上的市场领导者,在支持用于搜索(与其他Google应用和服务,如Google Earth)的复杂的分布式系统基础设施的设计上已做出了巨大的努力。它代表了计算历史上最大和最复杂的分布式系统设施之一。该基础设施最突出的亮点包括:

一个底层物理设施,它由超大数目的位于全世界多个数据中心的联网计算机组成;

一个分布式文件系统,支持超大文件,并根据搜索和其他Google应用的使用方式(特别是在文件中以快速而持久的速度读取)进行了深度优化;

一个相关的结构化分布式存储系统,它提供对超大数据集的快速访问;

一个锁服务,它提供诸如分布式加锁和协定等分布式系统功能;

一个编程模式,它支持对底层物理基础设施上的超大并行和分布式计算的管理。

关于Google分布式系统服务和底层通信支持的进一步细节可以参见第21章,该章研究了在线运行的现代分布式系统。

您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.2 分布式系统的例子
下一篇:1.2.2 大型多人在线游戏
相关文章
图文推荐
排行
热门
最新书评
特别推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站