首页 > 图书中心 > 信息检索与搜索引擎(微课版)

目录

目录

第1章信息检索和搜索引擎1

1.1什么是信息检索1

1.1.1Web搜索1

1.1.2其他搜索应用2

1.1.3其他信息检索应用3

1.2搜索引擎架构3

1.2.1搜索引擎3

1.2.2基本的构件4

1.3搜索引擎构件及其功能6

1.3.1文本采集6

1.3.2文本转换8

1.3.3索引创建9

1.3.4用户交互10

1.3.5排序11

1.3.6评价12

1.4开源的搜索引擎系统13

1.4.1Lucene13

1.4.2Solr15

1.4.3ElasticSearch15

1.5搜索引擎面对的挑战15

小结17

习题17

第2章信息采集18

2.1网页18

2.1.1网页的特点19

2.1.2网页规模的估计20

2.1.3网页的年龄21〖3〗信息检索与搜索引擎(微课版)目录〖3〗2.2网页爬虫23

2.2.1网页爬虫的定义23

2.2.2网页爬虫的执行流程23

2.2.3设计网页爬虫的原则24

2.2.4网页爬虫的评价指标25

2.2.5爬取策略25

2.2.6深网爬取27

2.3网站地图27

2.4非网页类信息采集28

2.5存储文档29

2.5.1形成摘要29

2.5.2存储摘要29

2.5.3文档更新31

2.5.4网页去重和去噪31

小结34

习题35

第3章文本转换37

3.1文本的统计特征37

3.1.1词频分布37

3.1.2关联网页规模估计39

3.2停用词去除40

3.3词干提取41

3.3.1基于规则的词干提取41

3.3.2基于词典的词干提取43

3.3.3对比词干提取和词形还原43

3.4词素切分44

3.4.1基于字符串匹配的词素切分方法44

3.4.2基于统计的词素切分方法46

3.4.3英文词素切分(N元串)46

3.5文本转换的困难47

3.6文本的向量化表示48

3.6.1离散表示49

3.6.2分布式表示49

小结50

习题50

第4章索引创建52

4.1索引相关定义52

4.1.1单词文档矩阵52

4.1.2单词词典53

4.1.3倒排索引相关概念54

4.1.4倒排索引简单实例56

4.2索引的建立57

4.2.1两遍文档遍历法57

4.2.2排序法58

4.2.3归并法60

4.3索引更新62

4.3.1动态索引62

4.3.2倒排索引的插入62

4.3.3倒排索引的删除66

4.4查询处理方法67

4.4.1Documentatatime67

4.4.2Termatatime69

4.4.3查询优化70

小结72

习题72

第5章用户交互75

5.1信息需求与查询75

5.2查询转换与提炼77

5.2.1停用词去除和词干提取77

5.2.2拼写检查78

5.3查询扩展81

5.3.1基于全局分析的查询扩展81

5.3.2基于相关反馈和伪相关反馈的查询扩展82

5.3.3基于查询日志的查询扩展84

5.4上下文和个性化85

5.5查询推荐86

5.5.1基于文档的方法87

5.5.2基于查询日志的方法89

5.6搜索结果显示92

小结94

习题94

第6章检索模型与搜索排序96

6.1检索模型概述96

6.1.1布尔模型97

6.1.2向量空间模型99

6.1.3BOW模型103

6.1.4Latent Dirichlet Allocation105

6.1.5隐性语义分析106

6.2概率模型108

6.2.1概率检索模型108

6.2.2二元独立模型109

6.2.3BM25模型111

6.3语言模型112

6.3.1OneHot和Word2Vec113

6.3.2CBOW模型113

6.3.3Skipgram模型114

6.4排序模型116

6.4.1KL散度116

6.4.2Learning to Rank算法118

6.5基于机器学习的排序方法120

小结123

习题124

第7章搜索引擎评价126

7.1搜索引擎评价的意义126

7.2搜索引擎评价体系127

7.3效果评价130

7.3.1召回率、精确率、ROC曲线130

7.3.2平均精确率133

7.3.3关注排序靠前的文档134

7.3.4使用用户偏好136

7.4效率评价137

7.5训练、测试和统计138

7.5.1比较评价138

7.5.2显著性检验139

7.5.3最小化判定工作142

7.5.4设置参数值143

小结144

习题144

第8章链接分析146

8.1PageRank算法146

8.1.1什么是PageRank146

8.1.2PageRank的工作原理147

8.1.3PageRank计算148

8.1.4PageRank应用与分析149

8.2HITS算法150

8.2.1什么是HITS150

8.2.2HITS工作原理151

8.2.3HITS算法存在的问题152

8.2.4HITS与PageRank比较153

8.2.5其他改进算法154

8.3网页作弊技术155

8.3.1基于内容的作弊技术156

8.3.2基于链接关系的作弊技术157

8.3.3掩盖技术和重定向技术159

8.4网页反作弊技术160

8.4.1特定类别的作弊页面识别技术161

8.4.2非特定类别的作弊页面识别技术164

小结164

习题165

参考文献166

版权所有(C)2023 清华大学出版社有限公司 京ICP备10035462号 京公网安备11010802042911号

联系我们 | 网站地图 | 法律声明 | 友情链接 | 盗版举报 | 人才招聘