Name: 信息科学技术学术著作丛书：大数据搜索与挖掘
Author: 高凯 黄河燕 赵燕平 等
ISBN: 9787030403186

信息科学技术学术著作丛书：大数据搜索与挖掘

《大数据搜索与挖掘》以作者团队十余年在大数据搜索与挖掘领域所作的研究与应用工作为内容，介绍大数据搜索与挖掘的研发成果，内容涵盖大数据处理概论、中文自然语言处理、网络信息预处理、网络情报挖掘(包括网络语言分析、新特征语言抽取、汉语词法分析、文本自动分类、自动聚类、自动摘要、关键词抽取）、网络精准搜索(信息检索模型、句子搜索)、人物搜索等方面的研究成果。从大数据这座金矿中挖掘有价值的信息，是《大数据搜索与挖掘》的目的所在。全书体系完整，内容新颖，条理清晰，组织合理，理论与实践并重，突出原创的研究成果与实际应用。

微信读书推荐值

待评分

信息科学技术学术著作丛书：大数据搜索与挖掘

高凯黄河燕赵燕平等

《信息科学技术学术著作丛书》序
序
前言
绪论1
1.1大数据4
1.2云计算及ＨAｄｏｏｐ简介5
1.3.1Ｗｅｂ搜索7
1.3.2全文索引
9
1.3.3Ｌｕｃｅｎｅ简介11
1.4大数据挖掘13
1.5本书主要内容及其知识点14
1.6本章小结16
参考文献
17
大数据搜索挖掘综述
18
2.1常用的信息检索模型18
2.1.1传统布尔检索与扩展布尔检索模型
18
2.1.2向量空间模型19
2.1.3概率检索模型23
2.1.4语言模型24
2.2自然语言理解与处理概述26
2.3中文词法分析中的分词处理28
2.3.1基于词典和规则的汉字分词30
2.3.3规则和统计方法相结合的汉字分词方法
32
2.4未登录词及其识别32
2.4.1命名实体及其识别33
2.4.2未登录词与新词识别
34
2.5有意义串及其识别36
2.6词典组织与管理37
2.6.1基于Ｔｒｉｅ索引树的词典管理37
2.6.2基于哈希表的词典管理38
2.7文本分类39
2.8文本聚类41
2.8.1文本表示41
2.8.2相似度度量42
2.8.3聚类算法体系43
2.9话题识别与跟踪46
2.10句子及其检索48
2.10.1传统的文档检索方法48
2.10.2信息过滤方法48
2.10.3分类方法49
2.10.4语义比较方法49
2.10.5隐马尔可夫模型方法50
2.10.6自动文摘方法51
2.11句子级新信息检测52
2.11.1词重叠度52
2.11.2最大区间相关度52
2.11.3余弦冗余度52
2.11.4命名实体触发方法53
2.11.5统计机器翻译模型53
2.11.6ＬｅｘＲAｎｋ方法54
2.12本章小结55
参考文献56
大数据检索与分词62
3.1概述62
3.2分词对中文信息检索的影响63
3.3分词精度与检索性能的关系66
3.4.1分词算法的时间性能要求高70
3.5基于双数组Ｔｒｉｅ树优化算法的词典72
3.5.1双数组Ｔｒｉｅ树算法介绍及其优化72
3.5.3实验结果与分析76
3.6本章小结77
参考文献78
4.1概述80
4.2英文浅层分析的实现81
4.2.1英文断句与词汇切分81
4.2.2词性标注82
4.2.3词干抽取与词形还原83
4.3停用词处理与特征词选择84
4.3.1停用词处理84
4.3.2特征词选择85
4.4.1层次隐马尔可夫模型87
4.4.2基于类的隐马尔可夫分词算法89
4.4.3Ｎ最短路径的切分排歧策略90
4.4.4未登录词的隐马尔可夫识别方法91
4.5.1词法分析与层次隐马尔可夫模型94
4.5.2ＩＣＴＣＬAＳ在973评测中的测试结果95
4.5.3第一届国际分词大赛的评测结果95
4.6.1字的位置成词概率96
4.6.2局部二元串频统计98
4.6.3有关未登录词识别的实验结果99
4.7本章小结100
参考文献102
大数据语言新特征发现104
5.1概述104
5.2.1上下文邻接分析107
5.2.2语言模型分析109
5.2.3重复串发现及处理流程111
5.2.4实验设计及结果分析115
5.3基于局部性原理的低频有意义串提取120
5.3.1有意义串的局部性121
5.3.2局部性度量122
5.3.3算法流程123
5.3.4实验结果与分析124
5.4基于伪相关反馈模型的有意义串提取127
5.4.1算法的基本思想128
5.4.2相关度的定义129
5.4.3位置成词概率ＰＷＰ的更新129
5.4.4算法流程129
5.4.5实验结果及分析130
5.5本章小结133
参考文献135
大数据聚类与分类138
6.1概述138
6.2基于关键词提取的搜索结果聚类139
6.2.1相关术语简介139
6.2.2关键词提取139
6.2.3基于关键词的检索结果聚类方法141
6.2.4实验结果及分析142
6.4基于邻接串种类的有意义串语境聚类146
6.5有意义串对分类的改进149
6.6本章小结153
参考文献154
大数据文本自动摘要156
7.1概述156
7.2相关工作综述156
7.2.1基于抽取的自动文摘158
7.2.2基于理解的自动文摘160
7.3基于关键词提取的自动摘要160
7.3.1文本预处理160
7.3.2停用词处理161
7.3.3双数组Ｔｒｉｅ树162
7.3.4关键词提取164
7.3.5句子切分166
7.3.6句子相似度计算166
7.4面向主题的自动摘要167
7.4.1改进的最大边缘相关度方法167
7.4.2面向主题的词特征统计168
7.4.3领域主题词表169
7.4.4句子间的包含关系170
7.5实验与分析171
7.5.1稳定性测试171
7.5.2时间性能171
7.5.3文摘质量174
7.7本章小结176
参考文献176
8.1概述178
8.3ＪＺＳｅAｒｃｈ索引关键技术180
8.3.1索引字段类型180
8.3.2索引词项的设计181
8.3.3索引压缩技术181
8.3.4内存交换184
8.3.5增量索引184
8.3.6数据库检索185
8.4ＪＺＳｅAｒｃｈ搜索技术187
8.4.1ＪＺＳｅAｒｃｈ排序算法187
8.4.2ＪＺＳｅAｒｃｈ结果格式188
8.4.3ＪＺＳｅAｒｃｈ检索语法说明188
8.5ＪＺＳｅAｒｃｈ搜索引擎管理193
8.5.1搜索引擎可视化管理客户端193
8.5.2客户端管理命令语法194
8.6ＪＺＳｅAｒｃｈ大数据搜索应用案例194
8.6.2河北省标准化研究院的标准搜索195
8.6.3中国对外承包工程商会的知识搜索门户196
8.6.4富基融通的商品比价搜索196
8.6.5微博人物搜索196
8.6.6维吾尔语搜索196
8.7本章小结198
参考文献199
面向大数据的旬子检索与新颖性监测200
9.1概述200
9.2句子检索的查询扩展方法201
9.2.1语义扩展201
9.2.2伪相关反馈扩展203
9.2.3局部共现扩展204
9.3语言模型检索206
9.3.1概述206
9.3.2句子级语言模型及其改进207
9.4句子检索实验与分析207
9.4.1浅层语言分析的贡献度207
9.4.2三种句子检索模型的基准实验209
9.4.3查询扩展实验211
9.5新信息检测212
9.5.1词重叠度及其扩展213
9.5.2相似度比较方法214
9.5.3信息增强评价方法215
9.5.4其其方法215
9.5.5新信息检测实验与分析217
9.6监督学习条件下的句子检索与新信息检测219
9.6.1监督学习环境下的参数调整与阅值设置219
9.6.2基于分类的句子检索与新信息检测方法221
9.6.3实验与分析222
9.7本章小结224
参考文献225
人物追踪中的数据预处理与属性抽取227
10.1概述227
10.1.1研究背景227
10.1.2人物追踪及其处理流程228
10.2数据预处理228
10.2.1数据预处理的主要流程229
10.2.2网页正文提取与噪声过滤229
10.2.3人名识别232
10.2.4人名指代处理232
10.2.5人物对应语段的确定233
10.2.6时间和时序标签的确定234
10.3人物属性抽取234
10.3.1人物属性抽取的总体框架235
10.3.2标注人物属性抽取语料235
10.3.3分类器模型237
10.4本章小结243
参考文献245
人物模型组织与基于事件的信息处理246
11.1概述246
11.2人物模型的特征表示247
11.2.1属性特征的表示247
11.2.2数值特征的表示247
11.2.3各项特征的分布规律249
11.3人物模型的相似度计算方法249
11.3.1基本属性的相似度计算249
11.3.2介绍性属性的相似度计算249
11.3.3词场的相似度计算251
11.3.4人物模型相似度计算251
11.4人物模型的同一性判别与合并252
11.5实验结果与分析253
11.5.1数据集与评测方法253
11.5.2实验结果254
11.6基于宏观粒度的事件组织258
11.6.1宏观粒度事件的特征258
11.6.2针对事件特点的话题识别方法259
11.6.3基于多层聚类的话题层次化组织方法261
11.6.4实验结果与分析265
11.7本章小结270
参考文献272

微信读书

信息科学技术学术著作丛书：大数据搜索与挖掘

简介

版权

信息科学技术学术著作丛书：大数据搜索与挖掘