目錄
第1章  持久內(nèi)存的需求 / 1
1．1  持久內(nèi)存的產(chǎn)生 / 2
1．1．1  大數(shù)據(jù)發(fā)展對內(nèi)存的需求 / 2
1．1．2  內(nèi)存和存儲間的性能鴻溝 / 5
1．1．3  持久內(nèi)存的使用場景 / 7
1．2  非易失性存儲介質(zhì) / 10
1．2．1  傳統(tǒng)非易失性存儲介質(zhì) / 10
1．2．2  新型非易失性存儲介質(zhì) / 11
1．2．3  非易失性存儲介質(zhì)主要特性比較 / 14
1．3  持久內(nèi)存模塊 / 15
1．3．1  持久內(nèi)存的JEDEC標(biāo)準(zhǔn)分類 / 15
1．3．2  Intel傲騰持久內(nèi)存 / 16
參考文獻(xiàn) / 18
第2章  持久內(nèi)存的架構(gòu) / 19
2．1  內(nèi)存數(shù)據(jù)持久化 / 20
2．1．1  數(shù)據(jù)持久化 / 20
2．1．2  持久化域 / 21
2．1．3  異步內(nèi)存刷新技術(shù) / 23
2．2  持久內(nèi)存硬件架構(gòu) / 25
2．2．1  持久內(nèi)存的硬件模塊 / 25
2．2．2  持久內(nèi)存的外部接口 / 27
2．3  持久內(nèi)存及主機(jī)端的固件架構(gòu) / 30
2．3．1  接口規(guī)范 / 30
2．3．2  持久內(nèi)存固件 / 34
2．3．3  主機(jī)端固件 / 34
2．4  持久內(nèi)存的安全考慮 / 37
2．4．1  威脅模型 / 37
2．4．2  安全目標(biāo) / 38
2．4．3  基于硬件的內(nèi)存加密 / 40
2．5  持久內(nèi)存的可靠性、可用性和可維護(hù)性 / 40
2．5．1  可靠性、可用性和可維護(hù)性定義 / 40
2．5．2  硬件基礎(chǔ) / 41
2．5．3  錯誤檢測和恢復(fù) / 42
2．5．4  單芯片數(shù)據(jù)糾正和雙芯片數(shù)據(jù)糾正 / 43
2．5．5  巡檢 / 43
2．5．6  地址區(qū)間檢查 / 44
2．5．7  病毒模式 / 45
2．5．8  錯誤報(bào)告和記錄 / 45
2．5．9  持久內(nèi)存故障隔離 / 45
2．5．10  錯誤注入 / 46
2．6  持久內(nèi)存的管理 / 47
2．6．1  帶內(nèi)管理和帶外管理 / 47
2．6．2  溫度管理 / 51
2．7  持久內(nèi)存的性能 / 53
2．7．1  空閑讀取延時 / 53
2．7．2  帶寬 / 53
2．7．3  訪問粒度 / 53
2．7．4  加載讀取延時 / 54
2．7．5  應(yīng)用性能 / 56
第3章  操作系統(tǒng)實(shí)現(xiàn) / 59
3．1  Linux持久內(nèi)存內(nèi)核驅(qū)動實(shí)現(xiàn) / 60
3．1．1  操作系統(tǒng)驅(qū)動及實(shí)現(xiàn) / 60
3．1．2  固件接口表 / 61
3．1．3  驅(qū)動框架 / 61
3．1．4  塊設(shè)備接口實(shí)現(xiàn) / 63
3．1．5  字符設(shè)備接口實(shí)現(xiàn) / 66
3．1．6  NUMA節(jié)點(diǎn)接口實(shí)現(xiàn) / 67
3．1．7  持久內(nèi)存的RAS適配 / 70
3．2  Linux持久內(nèi)存虛擬化實(shí)現(xiàn) / 71
3．2．1  持久內(nèi)存虛擬化實(shí)現(xiàn) / 71
3．2．2  使用配置方法 / 77
3．2．3  性能優(yōu)化指導(dǎo) / 80
3．3  Windows持久內(nèi)存驅(qū)動實(shí)現(xiàn) / 82
3．3．1  持久內(nèi)存支持概述 / 82
3．3．2  持久內(nèi)存驅(qū)動框架解析 / 82
3．4  持久內(nèi)存管理工具 / 83
3．4．1  持久內(nèi)存的配置目標(biāo)和命名空間 / 83
3．4．2  IPMCTL / 90
3．4．3  NDCTL / 94
3．4．4  Windows管理工具 / 97
第4章  持久內(nèi)存的編程和開發(fā)庫 / 98
4．1  持久內(nèi)存SNIA編程模型 / 99
4．1．1  通用持久內(nèi)存設(shè)備驅(qū)動 / 100
4．1．2  傳統(tǒng)文件系統(tǒng) / 100
4．1．3  持久內(nèi)存感知文件系統(tǒng) / 100
4．1．4  管理工具和管理界面 / 101
4．2  持久內(nèi)存訪問方式 / 101
4．2．1  持久內(nèi)存訪問方式 / 102
4．2．2  傳統(tǒng)塊訪問方式 / 104
4．2．3  底層數(shù)據(jù)存取方式 / 105
4．3  持久內(nèi)存編程的挑戰(zhàn) / 106
4．3．1  數(shù)據(jù)持久化 / 107
4．3．2  斷電一致性 / 107
4．3．3  數(shù)據(jù)原子性 / 108
4．3．4  持久內(nèi)存分配 / 109
4．3．5  位置獨(dú)立性 / 109
4．4  PMDK編程庫 / 110
4．4．1  libmemkind庫 / 110
4．4．2  libpmem庫 / 113
4．4．3  libpmemobj庫 / 120
4．4．4  libpmeblk 和libpmemlog / 143
4．4．5  libpmemobj-cpp庫介紹 / 143
4．5  持久內(nèi)存和PMDK的應(yīng)用 / 152
4．5．1  PMDK庫的應(yīng)用場景 / 152
4．5．2  pmemkv鍵值存儲框架的介紹 / 153
4．5．3  PMDK在Redis持久化的應(yīng)用 / 156
參考文獻(xiàn) / 162
第5章  持久內(nèi)存性能優(yōu)化 / 163
5．1  與持久內(nèi)存相關(guān)的配置選項(xiàng)和性能特點(diǎn) / 164
5．1．1  持久內(nèi)存的常見配置選項(xiàng)與使用模式介紹 / 164
5．1．2  內(nèi)存模式下的性能特點(diǎn)與適用業(yè)務(wù)的特征 / 164
5．1．3  AD模式下的性能特點(diǎn)與適用業(yè)務(wù)的特征 / 167
5．2  持久內(nèi)存的相關(guān)性能評測與基礎(chǔ)性能表現(xiàn) / 170
5．2．1  不同持久內(nèi)存配置與模式下的基礎(chǔ)性能表現(xiàn) / 170
5．2．2  內(nèi)存模式下的典型業(yè)務(wù)場景 / 171
5．2．3  AD模式下的典型業(yè)務(wù)場景 / 172
5．3  常用性能優(yōu)化方式與方法 / 173
5．3．1  平臺配置優(yōu)化 / 173
5．3．2  微架構(gòu)選項(xiàng)優(yōu)化 / 176
5．3．3  軟件編程與數(shù)據(jù)管理策略的優(yōu)化 / 181
5．4  性能監(jiān)控與調(diào)優(yōu)工具 / 183
5．4．1  Memory Latency Checker / 183
5．4．2  Performance Counter Monitor / 186
5．4．3  VTune Amplifier / 188
第6章  持久內(nèi)存在數(shù)據(jù)庫的應(yīng)用 / 192
6．1  Redis概況 / 193
6．2  使用持久內(nèi)存擴(kuò)展Redis內(nèi)存容量 / 194
6．2．1  使用持久內(nèi)存擴(kuò)展內(nèi)存容量 / 195
6．2．2  使用NUMA節(jié)點(diǎn)擴(kuò)展內(nèi)存容量 / 196
6．2．3  使用AD模式擴(kuò)展內(nèi)存容量 / 198
6．3  使用持久內(nèi)存的持久化特性提升Redis性能 / 200
6．3．1  使用AD模式實(shí)現(xiàn)RDB / 202
6．3．2  使用AD模式實(shí)現(xiàn)AOF / 204
6．4  RocksDB概述及性能特性 / 206
6．5  RocksDB的LSM索引樹 / 208
6．6  利用持久內(nèi)存優(yōu)化RocksDB性能 / 211
6．6．1  RocksDB的性能瓶頸 / 217
6．6．2  持久內(nèi)存優(yōu)化RocksDB的方式和性能結(jié)果 / 219
第7章  持久內(nèi)存在大數(shù)據(jù)的應(yīng)用 / 234
7．1  持久內(nèi)存在大數(shù)據(jù)分析和人工智能中的應(yīng)用概述 / 235
7．2  持久內(nèi)存在大數(shù)據(jù)計(jì)算方面的加速方案 / 235
7．2．1  持久內(nèi)存在Spark SQL數(shù)據(jù)分析場景的應(yīng)用 / 235
7．2．2  持久內(nèi)存在MLlib機(jī)器學(xué)習(xí)場景的應(yīng)用 / 241
7．2．3  Spark PMoF：基于持久內(nèi)存和RDMA網(wǎng)絡(luò)的高性能Spark Shuffle方案 / 247
7．3  持久內(nèi)存在大數(shù)據(jù)存儲中的應(yīng)用 / 255
7．3．1  持久內(nèi)存在HDFS緩存中的應(yīng)用 / 255
7．3．2  持久內(nèi)存在Alluxio緩存中的應(yīng)用 / 260
7．4  持久內(nèi)存在Analytics Zoo中的應(yīng)用 / 264
7．4．1  Analytics Zoo簡介 / 264
7．4．2  持久內(nèi)存在Analytics Zoo中的具體應(yīng)用 / 264
第8章  持久內(nèi)存在其他領(lǐng)域的應(yīng)用 / 267
8．1  持久內(nèi)存的應(yīng)用方式及可解決的問題 / 268
8．1．1  持久內(nèi)存的應(yīng)用方式 / 268
8．1．2  持久內(nèi)存能夠解決的問題 / 269
8．2  持久內(nèi)存在推薦系統(tǒng)中的應(yīng)用 / 270
8．2．1  推薦系統(tǒng)的主要組成 / 271
8．2．2  推薦系統(tǒng)的持久內(nèi)存應(yīng)用方法 / 272
8．2．3  推薦系統(tǒng)應(yīng)用案例 / 272
8．3  持久內(nèi)存在緩存系統(tǒng)的應(yīng)用 / 277
8．3．1 緩存系統(tǒng)的分類和特點(diǎn) / 277
8．3．2  緩存系統(tǒng)應(yīng)用案例 / 280
8．4  持久內(nèi)存在高性能計(jì)算中的應(yīng)用 / 284
8．5  持久內(nèi)存在虛擬云主機(jī)中的應(yīng)用 / 285
8．6  持久內(nèi)存的應(yīng)用展望 / 286