目　　錄?Contents
譯者序
前　言
第1章　概述 1
1.1　多核計(jì)算機(jī)時(shí)代 1
1.2　并行計(jì)算機(jī)的分類 3
1.3　現(xiàn)代計(jì)算機(jī)概覽 4
1.3.1　Cell BE處理器 5
1.3.2　NVIDIA Kepler 6
1.3.3　AMD APU 9
1.3.4　從多核到眾核：Tilera TILE-Gx8072和Intel Xeon Phi 10
1.4　性能指標(biāo) 12
1.5　并行程序性能的預(yù)測與測量 16
1.5.1　Amdahl定律 18
1.5.2　Gustafson-Barsis定律 20
第2章　多核和并行程序設(shè)計(jì) 23
2.1　引言 23
2.2　PCAM方法學(xué) 24
2.3　分解模式 26
2.3.1　任務(wù)并行 27
2.3.2　分而治之分解 28
2.3.3　幾何分解 30
2.3.4　遞歸數(shù)據(jù)分解 32
2.3.5　流水線分解 35
2.3.6　基于事件的合作分解 39
2.4　程序結(jié)構(gòu)模式 39
2.4.1　單程序多數(shù)據(jù) 40
2.4.2　多程序多數(shù)據(jù) 40
2.4.3　主/從 41
2.4.4　map-reduce 41
2.4.5　fork/join 42
2.4.6　循環(huán)并行 44
2.5　匹配分解模式和程序結(jié)構(gòu)模式 44
第3章　共享內(nèi)存編程：線程 46
3.1　引言 46
3.2　線程 48
3.2.1　線程的定義 48
3.2.2　線程的作用 49
3.2.3　線程的生成和初始化 49
3.2.4　在線程間共享數(shù)據(jù) 55
3.3　設(shè)計(jì)考慮 57
3.4　信號(hào)量 58
3.5　經(jīng)典問題中的信號(hào)量 62
3.5.1　生產(chǎn)者–消費(fèi)者 63
3.5.2　終止處理 66
3.5.3　理發(fā)師問題：引入公平性 75
3.5.4　讀者–寫者問題 80
3.6　monitor 84
3.6.1　設(shè)計(jì)方法1：monitor內(nèi)部的關(guān)鍵區(qū) 87
3.6.2　設(shè)計(jì)方法2：monitor控制關(guān)鍵區(qū)的入口 87
3.7　經(jīng)典問題中的monitor 91
3.7.1　重新考慮生產(chǎn)者–消費(fèi)者問題 91
3.7.2　重新考慮讀者–寫者問題 95
3.8　動(dòng)態(tài)線程管理與靜態(tài)線程管理 102
3.8.1　Qt線程池 102
3.8.2　線程池的創(chuàng)建和管理 103
3.9　調(diào)試多線程應(yīng)用 111
3.10　高層次結(jié)構(gòu)：無須顯式利用線程的多線程編程 115
3.10.1　并發(fā)map 116
3.10.2　map-reduce 118
3.10.3　并發(fā)過濾 120
3.10.4　filter-reduce 121
3.10.5　案例研究：多線程存儲(chǔ) 122
3.10.6　案例研究：多線程圖像匹配 131
第4章　共享內(nèi)存編程：OpenMP 140
4.1　引言 140
4.2　第一個(gè)OpenMP程序 141
4.3　變量作用域 144
4.3.1　定積分OpenMP版本V.0：人工劃分 146
4.3.2　定積分OpenMP版本 V.1：無競爭條件的人工劃分 147
4.3.3　定積分OpenMP V.2：基于鎖的隱式劃分 148
4.3.4　定積分OpenMP V.3：基于歸約的隱式劃分 150
4.3.5　變量作用域總結(jié) 151
4.4　循環(huán)級并行 152
4.4.1　數(shù)據(jù)依賴 154
4.4.2　嵌套循環(huán) 162
4.4.3　調(diào)度 162
4.5　任務(wù)并行 166
4.5.1　sections指令 166
4.5.2　task指令 171
4.6　同步結(jié)構(gòu) 177
4.7　正確性與優(yōu)化問題 183
4.7.1　線程安全 183
4.7.2　假共享 187
4.8　案例研究：OpenMP中的排序算法 192
4.8.1　自下而上歸并排序算法的OpenMP實(shí)現(xiàn) 192
4.8.2　自上而下歸并排序算法的OpenMP實(shí)現(xiàn) 195
4.8.3　性能評估 200
第5章　分布式內(nèi)存編程 203
5.1　通信進(jìn)程 203
5.2　MPI 204
5.3　核心概念 205
5.4　你的第一個(gè)MPI程序 206
5.5　程序體系結(jié)構(gòu) 208
5.5.1　SPMD 208
5.5.2　MPMD 209
5.6　點(diǎn)對點(diǎn)通信 210
5.7　可選的點(diǎn)對點(diǎn)通信模式 214
5.8　非阻塞通信 216
5.9　點(diǎn)對點(diǎn)通信小結(jié) 220
5.10　錯(cuò)誤報(bào)告與處理 220
5.11　集合通信簡介 222
5.11.1　分發(fā) 226
5.11.2　收集 231
5.11.3　歸約 233
5.11.4　多對多收集 237
5.11.5　多對多分發(fā) 240
5.11.6　多對多歸約 245
5.11.7　全局同步 245
5.12　通信對象 245
5.12.1　派生數(shù)據(jù)類型 246
5.12.2　打包/解包 253
5.13　節(jié)點(diǎn)管理：通信器和組 254
5.13.1　創(chuàng)建組 255
5.13.2　建立內(nèi)部通信器 257
5.14　單邊通信 259
5.14.1　RMA通信函數(shù) 261
5.14.2　RMA同步函數(shù) 262
5.15　I/O注意事項(xiàng) 270
5.16　MPI多進(jìn)程和多線程混合編程 276
5.17　時(shí)序和性能測量 279
5.18　調(diào)試和分析MPI程序 279
5.19　Boost.MPI庫 283
5.19.1　阻塞和非阻塞通信 285
5.19.2?數(shù)據(jù)序列化 289
5.19.3?集合通信 292
5.20　案例研究：有限擴(kuò)散聚合模型 295
5.21　案例研究：暴力加密破解 300
5.21.1　版本1：“基本型”MPI 300
5.21.2　版本2：MPI與OpenMP的結(jié)合 305
5.22　案例研究：主/從式并行模型的MPI實(shí)現(xiàn) 308
5.22.1　簡單主/從式設(shè)置 309
5.22.2　多線程主/從式設(shè)置 316
第6章　GPU編程 333
6.1　GPU編程簡介 333
6.2　CUDA編程模型：線程、線程塊、線程網(wǎng)格 335
6.3　CUDA執(zhí)行模型：流多處理器和warp 340
6.4　CUDA程序編譯過程 344
6.5　構(gòu)建CUDA項(xiàng)目 347
6.6　內(nèi)存層次結(jié)構(gòu) 349
6.6.1　本地內(nèi)存/寄存器 355
6.6.2　共享內(nèi)存 356
6.6.3　常量內(nèi)存 363
6.6.4　texture和surface內(nèi)存 368
6.7　優(yōu)化技術(shù) 369
6.7.1　線程組織設(shè)計(jì) 369
6.7.2　kernel結(jié)構(gòu) 378
6.7.3　共享內(nèi)存訪問 382
6.7.4　全局內(nèi)存訪問 388
6.7.5　page-locked與zero-copy內(nèi)存 392
6.7.6　統(tǒng)一內(nèi)存 394