第1章 概述
1.1 大數(shù)據(jù)簡(jiǎn)介
1.1.1 大數(shù)據(jù)定義和維度
1.1.2 大數(shù)據(jù)管理挑戰(zhàn)
1.2 高效能存儲(chǔ)管理
1.2.1 存儲(chǔ)虛擬化
1.2.2 自動(dòng)分層存儲(chǔ)
1.2.3 自動(dòng)精簡(jiǎn)配置
1.2.4 數(shù)據(jù)縮減技術(shù)
1.3 本章小結(jié)
第2章 存儲(chǔ)技術(shù)基礎(chǔ)
2.1 存儲(chǔ)介質(zhì)
2.1.1 磁存儲(chǔ)介質(zhì)
2.1.2 光存儲(chǔ)介質(zhì)
2.1.3 電子存儲(chǔ)介質(zhì)
2.2 存儲(chǔ)接口
2.2.1 IDE接口
2.2.2 SATA接口
2.2.3 SCSI接口
2.2.4 SAS接口
2.2.5 PCIE接口
2.2.6 FC接口
2.3 存儲(chǔ)系統(tǒng)架構(gòu)
2.3.1 存儲(chǔ)器分層結(jié)構(gòu)
2.3.2 RAID技術(shù)
2.4 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)
2.4.1 直接連接存儲(chǔ)
2.4.2 網(wǎng)絡(luò)附加存儲(chǔ)
2.4.3 存儲(chǔ)區(qū)域網(wǎng)絡(luò)
2.4.4 基于對(duì)象存儲(chǔ)
2.4.5 幾種存儲(chǔ)結(jié)構(gòu)的比較
2.5 本章小結(jié)
第3章 大數(shù)據(jù)管理技術(shù)
3.1 分布式計(jì)算框架
3.2 分布式文件系統(tǒng)
3.2.1 HDFS
3.2.2 Ceph
3.2.3 Lustre
3.3 NoSQL數(shù)據(jù)庫(kù)
3.3.1 HBase
3.3.2 MongoDB
3.4 大數(shù)據(jù)倉(cāng)庫(kù)
3.4.1 Hive
3.4.2 Pig
3.4.3 Phoenix
3.5 本章小結(jié)
第4章 重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)
4.1 重復(fù)數(shù)據(jù)刪除的概念及分類(lèi)
4.1.1 基本概念
4.1.2 技術(shù)分類(lèi)
4.2 重復(fù)數(shù)據(jù)刪除存儲(chǔ)原理
4.2.1 系統(tǒng)架構(gòu)
4.2.2 主要步驟
4.2.3 衡量指標(biāo)
4.3 重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用場(chǎng)景
4.3.1 數(shù)據(jù)備份
4.3.2 歸檔存儲(chǔ)
4.3.3 遠(yuǎn)程容災(zāi)
4.3.4 虛擬化環(huán)境
4.3.5 主存儲(chǔ)系統(tǒng)
4.3.6 新型存儲(chǔ)介質(zhì)
4.4 相關(guān)產(chǎn)品及開(kāi)源項(xiàng)目
4.4.1 企業(yè)產(chǎn)品
4.4.2 開(kāi)源項(xiàng)目
4.5 本章小結(jié)
第5章 重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)
5.1 數(shù)據(jù)劃分方法
5.1.1 全文件分塊
5.1.2 靜態(tài)分塊
5.1.3 基于內(nèi)容分塊
5.1.4 基于應(yīng)用分塊
5.1.5 Delta編碼
5.2 塊索引查詢優(yōu)化技術(shù)
5.2.1 基于塊局部性的優(yōu)化策略
5.2.2 基于分層消重的優(yōu)化策略
5.2.3 基于固態(tài)存儲(chǔ)的優(yōu)化策略
5.3 可擴(kuò)展數(shù)據(jù)路由技術(shù)
5.3.1 基于分布式哈希表的塊級(jí)數(shù)據(jù)路由技術(shù)
5.3.2 基于狀態(tài)信息的超塊級(jí)數(shù)據(jù)路由技術(shù)
5.3.3 基于相似性的文件級(jí)數(shù)據(jù)路由技術(shù)
5.4 塊指紋計(jì)算加速方法
5.4.1 多核CPU助口速方法
5.4.2 GPGPU加速方法
5.5 數(shù)據(jù)還原方法
5.5.1 主存儲(chǔ)還原方法
5.5.2 備份存儲(chǔ)還原方法
5.5.3 云存儲(chǔ)還原方法
5.6 垃圾回收技術(shù)
5.6.1 引用計(jì)數(shù)法
5.6.2 標(biāo)記清理法
5.7 高可靠數(shù)據(jù)配置策略
5.7.1 糾錯(cuò)編碼技術(shù)
5.7.2 副本策略
5.8 數(shù)據(jù)安全技術(shù)
5.8.1 加密沖突
5.8.2 旁路攻擊
5.8.3 所有權(quán)證明
5.9 本章小結(jié)
第6章 應(yīng)用感知源端重復(fù)數(shù)據(jù)刪除機(jī)制
6.1 研究背景
6.2 相關(guān)研究工作
6.2.1 應(yīng)用感知存儲(chǔ)研究
6.2.2 基于源端重復(fù)數(shù)據(jù)刪除的云備份研究
6.3 基本形式化模型
6.3.1 符號(hào)與基本定義
6.3.2 模型抽象與問(wèn)題定義
6.4 研究動(dòng)機(jī)
6.5 高效應(yīng)用感知源端重復(fù)數(shù)據(jù)刪除的設(shè)計(jì)與實(shí)現(xiàn)
6.5.1 ALG-Dedupe體系結(jié)構(gòu)簡(jiǎn)介
6.5.2 文件大小過(guò)濾器
6.5.3 智能數(shù)據(jù)分塊策略
6.5.4 應(yīng)用感知的消重器
6.5.5 應(yīng)用感知索引結(jié)構(gòu)
6.5.6 段和容器管理
6.6 實(shí)驗(yàn)評(píng)估
6.6.1 實(shí)驗(yàn)平臺(tái)和數(shù)據(jù)集
6.6.2 重復(fù)數(shù)據(jù)刪除效果
6.6.3 重復(fù)數(shù)據(jù)刪除效率
6.6.4 云備份窗口
6.6.5 能耗利用率
6.6.6 云存儲(chǔ)代價(jià)
6.6.7 系統(tǒng)開(kāi)銷(xiāo)
6.7 本章小結(jié)
第7章 高可擴(kuò)展集群重復(fù)數(shù)據(jù)刪除技術(shù)
7.1 研究背景
7.2 相關(guān)研究工作
7.3 基本模型與算法
7.3.1 超塊相似性分析
7.3.2 基于手紋的數(shù)據(jù)路由算法
7.4 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
7.4.1 ∑-Dedupe系統(tǒng)架構(gòu)
7.4.2 數(shù)據(jù)路由消息通信
7.4.3 相似索引查詢優(yōu)化
7.5 性能評(píng)估
7.5.1 實(shí)驗(yàn)平臺(tái)和工作負(fù)載
7.5.2 驗(yàn)證度量
7.5.3 單節(jié)點(diǎn)并行重復(fù)數(shù)據(jù)刪除效率
7.5.4 集群重復(fù)數(shù)據(jù)刪除效率
7.6 本章小結(jié)
第8章 重復(fù)數(shù)據(jù)刪除存儲(chǔ)案例分析
8.1 重復(fù)數(shù)據(jù)刪除縮減率評(píng)估
8.2 主流廠商相關(guān)產(chǎn)品應(yīng)用案例
8.2.1 Dell EMC公司產(chǎn)品案例
8.2.2 IBM公司產(chǎn)品案例
8.2.3 飛康軟件公司產(chǎn)品案例
8.2.4 富士通公司產(chǎn)品案例
8.2.5 NetApp公司產(chǎn)品案例
8.2.6 Quantum公司產(chǎn)品案例
8.3 本章小結(jié)