这是一本关于搜索引擎的教科书,它从研究实践者的角度介绍了搜索引擎的相关技术及其产业,并试图协助读者成为搜索引擎领域的局内人。与传统的将搜索引擎作为信息检索系统实现的一个特殊实例的做法不同,作者试图把搜索引擎作为一个独立的研究课题,从纷繁复杂的互联网数据现象和搜索引擎工作案例中提炼知识点,对现代商业搜索引擎的体系结构、运行原理、运营机制和核心算法进行总结和讲解。
本书是清华大学计算机系与百度公司合作在清华大学开设的“搜索引擎技术基础”课程的教材,适合作为高等院校信息科学技术、图书馆学等相关专业本科生与研究生相关课程的教材,也可作为相关领域技术人员与搜索引擎技术爱好者的参考资料。
第1章 为什么要关注搜索引擎 1.1 互联网上最重要的应用系统 1.2 人类历史上最大规模的信息集散平台 1.3 学术界重要的技术研发平台 1.4 经济领域能够盈利的“生意”第2章 搜索引擎的基本概念与发展历史 2.1 互联网与万维网的发展 2.2 英雄辈出:搜索引擎的发展历史回顾 2.3 搜索引擎的定义与运行原理概述 2.4 总结:我们能够从历史中学到什么? 参考文献第3章 搜索引擎性能评价 3.1 搜索引擎评价与Cranfield评价体系 3.2 查询样例集合构建 3.2.1 查询样例集合构建中的真实性 3.2.2 查询样例集合构建中的代表性 3.2.3 查询样例集合构建中信息需求表述的完整性 3.3 正确答案集合构建 3.4 搜索引擎评价指标 3.5 搜索引擎性能评价的新进展 参考文献第4章 搜索引擎体系结构概述 4.1 数据抓取子系统的主要功能与性能需求 4.1.1 及时性 4.1.2 全面性 4.1.3 高效性 4.2 内容索引子系统的主要功能与性能需求 4.2.1 内容索引子系统的主要功能 4.2.2 倒排索引结构 4.2.3 内容索引子系统的性能需求 4.3 内容检索子系统的主要功能与性能需求 4.3.1 内容检索子系统与文本信息检索系统 4.3.2 内容检索子系统的相关性需求 4.3.3 内容检索子系统的查询理解需求 4.3.4 内容检索子系统的效率需求 4.4 链接结构分析子系统的主要功能与性能需求 4.4.1 基于链接结构分析评价数据质量 4.4.2 基于链接结构分析扩展文档描述 4.4.3 链接结构分析子系统的效率需求 4.5 搜索引擎体系结构设计理念 参考文献第5章 数据抓取子系统设计及核心算法 5.1 抓取系统的基本架构 5.2 数据抓取涉及的网络协议 5.2.1 URL规范 5.2.2 HTTP协议 5.2.3 User-Agent 5.2.4 robots协议 5.3 网页抓取技术 5.3.1 网页抓取的基本过程 5.3.2 基于异步I/O模型的抓取器 5.3.3 抓取压力控制 5.3.4 对URL重定向的支持 5.3.5 对HTTPS协议的支持 5.4 链接选取策略 5.4.1 爬虫的抓取方式 5.4.2 抓取优先级策略 5.4.3 网页的重访策略 5.4.4 链接去重策略 5.5 网页存储技术 5.5.1 分布式哈希存储系统 5.5.2 基于BigTable 的网页存储系统 参考文献第6章 内容索引子系统设计及核心算法 6.1 最小的语义单位——词项 6.1.1 中文分词问题 6.1.2 英文词干抽取 6.1.3 停用词去除 6.1.4 词项列表的构建 6.2 索引的数据结构 6.2.1 词项出现信息记录 6.2.2 倒排索引和正排索引 6.2.3 索引的并行存储结构 6.3 索引子系统的运行方式 6.3.1 预处理 6.3.2 建立索引 6.3.3 使用索引 参考文献第7章 内容检索子系统设计及其核心算法 7.1 文本信息检索模型 7.1.1 布尔模型 7.1.2 向量空间模型 7.1.3 概率模型 7.1.4 语言模型 7.2 内容检索子系统运行方式 7.2.1 内容相似程度 7.2.2 数据质量评估结果 7.2.3 用户偏好情况 7.2.4 竞价排名情况 7.2.5 合并排序依据 参考文献第8章 链接结构分析子系统设计及核心算法 8.1 万维网链接结构图 8.1.1 万维网链接图的规模 8.1.2 万维网链接图的连通情况 8.1.3 万维网链接图的人度和出度分布 8.2 超链接结构分析的基础 8.3 HITS算法的基本思路及实现 8.4 PageRank算法的基本思路及实现 8.5 链接结构分析结果的应用与排序因素融合 参考文献第9章 万维网数据质量评估 9.1 万维网数据质量评估困境 9.2 数据质量评估的解决思路 9.2.1 宏观粒度网络数据质量评估技术 9.2.2 微观粒度网络数据质量评估技术 9.2.3 冗余页面识别技术 9.2.4 网络数据质量评估方式总述 9.3 面向搜索引擎需求的网络数据质量定义 9.3.1 基于万维网链接结构分析的网页质量定义 9.3.2 基于搜索引擎用户信息需求分析的网页质量定义 9.4 基于万维网链接结构分析的网页质量评估 9.4.1 PageRank在真实万维网环境中的困境 9.4.2 用户访问数据与用户浏览关系图 9.4.3 基于用户浏览关系图的页面质量评估 9.5 基于搜索引擎用户信息需求分析的网页质量评估 9.5.1 网页查询无关特征 9.5.2 查询目标页面与普通页面的差异分析 9.5.3 查询目标页面与普通页面的长度特征差异 9.5.4 查询目标页面与普通页面的PageRank特征差异 9.5.5 基于用户信息需求分析的网页质量评估方法 9.5.6 基于用户信息需求分析的网页质量评估效果 参考文献第10章 万维网垃圾网页识别 10.1 垃圾网页作弊方式 10.1.1 基于内容的作弊方式 10.1.2 基于链接的作弊方式 10.1.3 垃圾网页作弊与搜索引擎优化 10.2 垃圾网页盈利方式 10.2.1 垃圾网页作弊目的及其分类 10.2.2 促进广告浏览及点击 10.2.3 促进移动增值服务订制 10.2.4 促进站点访问流量提升 10.2.5 欺诈和违法信息宣传 10.2.6 软件产品推广 10.2.7 垃圾网页作弊目的分布情况 10.3 垃圾网页识别方法 10.3.1 垃圾网页识别的效果评价 10.3.2 基于网页内容的垃圾网页识别 10.3.3 基于链接结构的垃圾网页识别 10.3.4 基于用户行为的垃圾网页识别 参考文献第11章 搜索引擎广告技术 11.1 引言 11.2 历史、现状和未来 11.3 搜索引擎付费搜索原理 11.4 搜索引擎广告的检索和匹配算法 11.5 计算广告学 参考文献第12章 中文搜索引擎的现状与未来 12.1 国内外搜索引擎市场的发展现状 12.2 搜索引擎的未来发展展望 12.2.1 手持设备搜索 12.2.2 暗网数据与用户产生内容(UGC)的获取 12.2.3 搜索引擎将成为社会和自然科学研究的重要平台? 12.2.4 搜索引擎向其他产业进军本书特色
本书透彻地讲解了Flash组件开发、Flash游戏开发,以及SWF文件加解密与Flash文件综合性保护这三个话题。“弥赛亚之书”和“逆水游
《西门子工业通信网络组态编程与故障诊断》全面介绍了西门子工业通信网络的结构、通信协议、通信服务和通信的组态编程与故障诊断
《古笺风雅:醉花阴》内容简介:笺纸多用于古代书信,是文人雅士通信的信纸。随着雕版印刷技术的提高,笺纸上描绘的山水、花鸟、奇
肓信号处理是现代数学信号处理、计算智能学近年来迅速发展的重要方向。在电子信息、通信、生物医学、图像增强、雷达、地球物理信
《漫画流体力学》以轻松有趣、通俗易懂的漫画及故事的方式将抽象、复杂的流体力学知识融会其中,让人们在看故事的过程中就能完成
《中国历史研究法》内容简介:《中国历史研究法》是继梁氏《新史学》后又一杰作,系以传统史学所积累的方法为基础,结合当时西方史
《卓越法律人才教育培养的探索与实践》内容简介:本书主要围绕卓越法律人才教育培养撰写论文的主题,阐述卓越法律人才教育培养的总
《爱情牛奶糖》内容简介:299道恋爱自测题,让你看清爱情的真相,为迷途羔羊指点爱情迷津,为分手达人洞悉性感内幕,告别剩女频繁的
《中国民法典释评·物权编(上下卷)》内容简介:制定民法典是我国立法领域的一件大事,也是建设中国特色社会主义法治国家的一项重
《系统安装、维护及故障排除实战》内容简介:本书由资深计算机硬件工程师精心编写,讲解了安装操作系统前的准备、分区与格式化硬盘
Photoshop平面设计基础 本书特色 《Photoshop平面设计基础》由王艳娟主编,本书作者根据多年的教学经验并结合学生的特点和需求,编写这本教材。本教材...
科技发展的速度越来越快了,快得让我们有点儿要跟不上的感觉,不知道你是否有同感?《搜酷——全球智能硬件与技术精华集(全彩)
ThomasS.(Tom)Tullis是富达投资公司(FidelityInvestments)UserInsight的高级副总裁。他1993年加入富达,对该公司...
标志作为企业与消费大众的视觉沟通途径,帮助企业建立一个健康良好的形象。那么,标志设计是什么?标志设计的发展史是怎样的?我
《首席组织官》内容简介:个人充分发展、能产生知识进步和技术创新、不作恶,是本书提出的美好组织的三个标准。本书从首席组织管、
Learnfromtheaward-winningprogrammingseriesthatinspiredtheElixirlanguage.Hearhowo...
《运营实战手册:带你玩转营销套路》内容简介:本书涵盖实用的互联网运营方法,是诸位作者从多年的实战中提炼出的运营心得和精华,
内容简介本书面向智能控制学科前沿,从工程应用的角度出发,比较全面地介绍了智能控制的基本概念、理论和系统设计方法及微机实现
SQL Server 2005技术内幕:查询、调整和优化 本书特色 通过专家们架构级的洞察力来优化企业级数据库以sql server**专家的视角,带你深入到s...
《西行寄弟函》内容简介:本书是翁同书在西北军中效力时寄给其弟弟翁同和的信札,这些信札对晚清的官场、西行途中的风土人情、西北