第二版 前言
第一版 前言
第一章 引論
第一節(jié) 搜索引擎的概念
第二節(jié) 搜索引擎的發(fā)展歷史
第三節(jié) 一些著名的搜索引擎
第四節(jié) 小結(jié)
上篇 web搜索引擎基本原理和技術(shù)
第二章 Web搜索引擎工作原理和體系結(jié)構(gòu)
第一節(jié) 基本要求
第二節(jié) 網(wǎng)頁搜集
第三節(jié) 預(yù)處理
第四節(jié) 查詢服務(wù)
第五節(jié) 體系結(jié)構(gòu)
第六節(jié) 小結(jié)
第三章 web信息的搜集
第一節(jié) 概述
一、超文本傳輸協(xié)議
二、一個(gè)小型搜索引擎系統(tǒng)
第二節(jié) 網(wǎng)頁搜集
一、定義URL類和Page類
二、與服務(wù)器建立連接
三、發(fā)送請求和接收數(shù)據(jù)
四、網(wǎng)頁信息存儲的天網(wǎng)格式
第三節(jié) 多道搜集程序并行工作
一、多線程并發(fā)工作
二、控制對一個(gè)站點(diǎn)并發(fā)搜集線程的數(shù)目
第四節(jié) 如何避免網(wǎng)頁的重復(fù)搜集
一、記錄未訪問、已訪問URL和網(wǎng)頁內(nèi)容摘要信息
二、域名與IP的對應(yīng)問題
第五節(jié) 搜集信息的類型
第六節(jié) 小結(jié)
第四章 對搜集信息的預(yù)處理
第一節(jié) 索引網(wǎng)頁庫
第二節(jié) 網(wǎng)頁編碼識別
一、基本而重要的概念
二、常用字符編碼
三、常用字符編碼算法
四、字符的輸入和顯示
五、編碼識別
第三節(jié) 中文自動分詞
第四節(jié) 分析網(wǎng)頁和建立倒排文件
第五節(jié) 小結(jié)
第五章 信息查詢服務(wù)
第一節(jié) 檢索的定義
第二節(jié) 查詢服務(wù)的實(shí)現(xiàn)
一、結(jié)果集合的形成
二、查詢結(jié)果顯示
第三節(jié) 小結(jié)
中篇對質(zhì)量和性能的追求
第六章 可擴(kuò)展搜集子系統(tǒng)
第一節(jié) 天網(wǎng)系統(tǒng)概述和集中式搜集系統(tǒng)結(jié)構(gòu)
一、天網(wǎng)系統(tǒng)結(jié)構(gòu)
二、集中式搜集系統(tǒng)
第二節(jié) 利用并行處理技術(shù)高效搜集網(wǎng)頁的一種方案
一、節(jié) 點(diǎn)間15RI。的劃分策略
二、關(guān)于性能的討論
三、性能測試和評價(jià)
四、系統(tǒng)的動態(tài)可配置性設(shè)計(jì)
第三節(jié) 天網(wǎng)分布式搜集系統(tǒng)
第四節(jié) 對Deep Web的認(rèn)識
一、Deep Web的成因
二、搜索Deep Web的方法
第五節(jié) 小結(jié)
第七章 網(wǎng)頁凈化與消重
第一節(jié) 網(wǎng)頁凈化與元數(shù)據(jù)提取
一、DocView模型
二、網(wǎng)頁的表示
三、提取DocView模型要素的方法
四、模型應(yīng)用及實(shí)驗(yàn)研究
第二節(jié) 網(wǎng)頁消重算法
一、消重算法
二、算法評測
第三節(jié) 小結(jié)
第八章 高性能檢索子系統(tǒng)
第一節(jié) 檢索系統(tǒng)基本技術(shù)
一、系統(tǒng)設(shè)計(jì)與結(jié)構(gòu)
二、索引創(chuàng)建
三、檢索過程
第二節(jié) 適于查詢的網(wǎng)頁索引結(jié)構(gòu)
一、倒排索引結(jié)構(gòu)
二、平面位置索引
第三節(jié) 倒排索引壓縮
一、倒排索引壓縮技術(shù)
二、詞典與倒排表的壓縮
第四節(jié) 索引剪枝
一、靜態(tài)索引剪枝方法
二、動態(tài)索引剪枝方法
第五節(jié) 混合索引技術(shù)
一、混合索引的原理
二、混合索引的實(shí)現(xiàn)
第六節(jié) 倒排文件緩存機(jī)制
一、倒排文件緩存
二、負(fù)載特性
三、緩存策略的選擇
第七節(jié) 小結(jié)
第九章 相關(guān)排序與系統(tǒng)質(zhì)量評估
第一節(jié) 傳統(tǒng)IR的相關(guān)排序技術(shù)
第二節(jié) 鏈接分析與相關(guān)排序
一、鏈接分析
二、Web查詢模式下的新信息
第三節(jié) 相關(guān)排序的一種實(shí)現(xiàn)方案
一、形成網(wǎng)頁中詞項(xiàng)的基本權(quán)重
二、利用鏈接的結(jié)構(gòu)
三、收集用戶反饋信息
四、計(jì)算最終的權(quán)重
第四節(jié) 信息檢索技術(shù)評估
一、信息檢索技術(shù)評估指標(biāo)
二、TREC和CWlRF信息檢索評估
三、搜索引擎技術(shù)評估
第五節(jié) 小結(jié)
下篇 web信息資源的組織與應(yīng)用服務(wù)
第十章 大規(guī)模web歷史網(wǎng)頁倉儲系統(tǒng)的構(gòu)建
第一節(jié) 國外web歷史網(wǎng)頁保存現(xiàn)狀
一、Intemet Archive
二、PANDORA
三、其他相關(guān)Web保存項(xiàng)目
第二節(jié) 中國web信息博物館的系統(tǒng)設(shè)計(jì)
一、Web InfoMall的設(shè)計(jì)目標(biāo)
二、’Web InfoMall的體系結(jié)構(gòu)
第三節(jié) 歷史網(wǎng)頁的存儲
一、數(shù)據(jù)的組織
二、存儲結(jié)構(gòu)
三、數(shù)據(jù)管理與壓縮
四、存儲性能
第四節(jié) 數(shù)據(jù)訪問
一、PageID的索引
二、URL的索引
三、數(shù)據(jù)服務(wù)
四、性能與優(yōu)化
第五節(jié) 網(wǎng)頁的格式保存
第六節(jié) 小結(jié)
第十一章 大規(guī)模web非網(wǎng)頁信息倉儲系統(tǒng)的構(gòu)建
第一節(jié) 網(wǎng)絡(luò)資源庫藏相關(guān)工作
一、Ibiblio
二、Internet Archive
二、W1kimedia
四、中國互聯(lián)網(wǎng)數(shù)字資源財(cái)富庫藏
第二節(jié) CDAL系統(tǒng)概況
第三節(jié) CDAL系統(tǒng)設(shè)計(jì)
一、系統(tǒng)體系結(jié)構(gòu)
二、可擴(kuò)展的存儲組織方案
第四節(jié) 網(wǎng)絡(luò)資源描述信息獲取
一、0ntology概述
二、描述信息獲取機(jī)制
三、改進(jìn)查詢的方法
四、改進(jìn)排序的方法
第五節(jié) 基于局部聚類思想的共現(xiàn)詞匯算法
一、基本定義
二、H）C共現(xiàn)詞匯算法
第六節(jié) 小結(jié)
第十二章 中文網(wǎng)頁自動分類與聚類
第一節(jié) 文檔自動分類算法的類型
第二節(jié) 實(shí)現(xiàn)中文網(wǎng)頁自動分類的一般過程
第三節(jié) 影響分類器性能的關(guān)鍵因素分析
一、實(shí)驗(yàn)設(shè)置
二、訓(xùn)練樣本
三、特征選取
四、分類算法
五、截尾算法
六、中文網(wǎng)頁分類器的設(shè)計(jì)方案
第四節(jié) 天網(wǎng)目錄導(dǎo)航服務(wù)
一、問題的提出
二、天網(wǎng)目錄導(dǎo)航服務(wù)的體系結(jié)構(gòu)
三、天網(wǎng)目錄的運(yùn)行實(shí)例
第五節(jié) 文本聚類方法
一、文本聚類的一般過程
二、文本間相似性的度量
三、常用聚類算法
四、聚類結(jié)果的評估
五、搜索引擎返回結(jié)果的聚類
第六節(jié) 小結(jié)
第十三章 開放域問答系統(tǒng)
第一節(jié) 概述
一、問答系統(tǒng)的歷史
二、著名開放域問答系統(tǒng)介紹
三、開放域問答系統(tǒng)的通用體系結(jié)構(gòu)
第二節(jié) 問句的分析
一、問句中的指代消解
二、問句分類
三、問句主題提取
第三節(jié) 文檔和段落檢索
一、檢索模型的選用
二、查詢生成
三、查詢結(jié)果排序
四、增強(qiáng)索引的功能
第四節(jié) 答案提取和驗(yàn)證模塊
一、生成候選答案集合
二、答案提取
第五節(jié) 問答系統(tǒng)的改進(jìn)方法
一、問答系統(tǒng)中外部資源的利用
二、尋找特殊類問題的解決方案
三、通過系綜方法構(gòu)建問答系統(tǒng)
第六節(jié) 問答系統(tǒng)的評測
一、TREC問答系統(tǒng)評測
二、問答系統(tǒng)評測指標(biāo)
第七節(jié) 實(shí)例：天網(wǎng)開放域問答系統(tǒng)
第八節(jié) 小結(jié)
參考文獻(xiàn)
附錄術(shù)語