Introduction to High Performance Computing for Scientists and Engineers
出版者的話
譯者序
序
前言
縮略詞
第1章 當(dāng)代處理器
1.1 存儲(chǔ)程序的計(jì)算機(jī)體系結(jié)構(gòu)
1.2 基于高速緩存的通用微處理器體系結(jié)構(gòu)
1.2.1 性能指標(biāo)和基準(zhǔn)測(cè)試
1.2.2 晶體管：摩爾定律
1.2.3 流水線
1.2.4 超標(biāo)量
1.2.5 SIMD
1.3 存儲(chǔ)層次
1.3.1 高速緩存
1.3.2 高速緩存映射
1.3.3 預(yù)取
1.4 多核處理器
1.5 多線程處理器
1.6 向量處理器
1.6.1 設(shè)計(jì)原理
1.6.2 最高性能估計(jì)
1.6.3 程序設(shè)計(jì)
習(xí)題
第2章 串行代碼基本優(yōu)化技術(shù)
2.1 標(biāo)量剖析
2.1.1 基于函數(shù)和代碼行的程序剖析
2.1.2 硬件性能計(jì)數(shù)器
2.1.3 手工代碼插入
2.2 優(yōu)化常識(shí)
2.2.1 少做工作
2.2.2 避免耗時(shí)運(yùn)算
2.2.3 縮減工作集
2.3 小方法，大改進(jìn)
2.3.1 消除常用子表達(dá)式
2.3.2 避免分支
2.3.3 使用SIMD指令集
2.4 編譯器作用
2.4.1 通用優(yōu)化選項(xiàng)
2.4.2 內(nèi)聯(lián)
2.4.3 別名
2.4.4 計(jì)算準(zhǔn)確性
2.4.5 寄存器優(yōu)化
2.4.6 利用編譯日志
2.5 C++優(yōu)化
2.5.1 臨時(shí)變量
2.5.2 動(dòng)態(tài)內(nèi)存管理
2.5.3 循環(huán)與迭代器
習(xí)題
第3章 數(shù)據(jù)訪存優(yōu)化
3.1 平衡分析與lightspeed評(píng)估
3.1.1 基于帶寬的性能建模
3.1.2 STREAM 基準(zhǔn)測(cè)試
3.2 存儲(chǔ)順序
3.3 案例分析：Jacobi算法
3.4 案例分析：稠密矩陣轉(zhuǎn)置
3.5 算法分類和訪存優(yōu)化
3.5.1 O（N）/O（N）
3.5.2 O（N2）/O（N2）
3.5.3 O（N3）/O（N2）
3.6 案例分析：稀疏矩陣向量乘
3.6.1 稀疏矩陣的存儲(chǔ)機(jī)制
3.6.2 JDS sMVM優(yōu)化
習(xí)題
第4章 并行計(jì)算機(jī)
4.1 并行計(jì)算模式分類
4.2 共享存儲(chǔ)計(jì)算機(jī)
4.2.1 cache一致性
4.2.2 UMA
4.2.3 ccNUMA
4.3 分布式存儲(chǔ)計(jì)算機(jī)
4.4 混合型系統(tǒng)
4.5 網(wǎng)絡(luò)
4.5.1 網(wǎng)絡(luò)的基本性能特征
4.5.2 總線
4.5.3 交換網(wǎng)絡(luò)和胖樹網(wǎng)絡(luò)
4.5.4 Mesh 網(wǎng)絡(luò)
4.5.5 混合網(wǎng)絡(luò)
習(xí)題
第5章 并行性基礎(chǔ)
5.1 為什么并行化
5.2 并行性
5.2.1 數(shù)據(jù)并行性
5.2.2 功能并行性
5.3 并行擴(kuò)展性
5.3.1 限制并行執(zhí)行的因素
5.3.2 可擴(kuò)展性指標(biāo)
5.3.3 簡(jiǎn)單可擴(kuò)展性定律
5.3.4 并行效率
5.3.5 串行性能與強(qiáng)可擴(kuò)展性
5.3.6 改進(jìn)的性能模型
5.3.7 選擇正確的擴(kuò)展性基準(zhǔn)
5.3.8 案例分析：低速處理器計(jì)算機(jī)能否變得更快
5.3.9 負(fù)載不均衡
習(xí)題
第6章 使用OpenMP進(jìn)行共享存儲(chǔ)并行編程
6.1 OpenMP簡(jiǎn)介
6.1.1 并行執(zhí)行
6.1.2 數(shù)據(jù)作用域
6.1.3 循環(huán)的OpenMP工作共享
6.1.4 同步
6.1.5 歸約
6.1.6 循環(huán)調(diào)度
6.1.7 任務(wù)
6.1.8 其他方面
6.2 案例分析：OpenMP并行實(shí)現(xiàn)Jacobi算法
6.3 高級(jí)OpenMP：波前并行化
習(xí)題
第7章 高效OpenMP編程
7.1 OpenMP程序性能分析
7.2 性能缺陷
7.2.1 減輕Open MP共享區(qū)開銷
7.2.2 決定短循環(huán)的OpenMP開銷
7.2.3 串行化
7.2.4 偽共享
7.3 案例分析：并行稀疏矩陣向量乘
習(xí)題
第8章 ccNUMA體系結(jié)構(gòu)的局部性優(yōu)化
8.1 ccNUMA的局部訪問(wèn)
8.1.1 首次訪問(wèn)方式分配頁(yè)面
8.1.2 通過(guò)其他方式的局部性訪問(wèn)
8.2 案例分析：稀疏MVM的ccNUMA優(yōu)化
8.3 頁(yè)面布局缺陷
8.3.1 非NUMA友好的OpenMP調(diào)度
8.3.2 文件系統(tǒng)高速緩存
8.4 C++中的ccNUMA問(wèn)題
8.4.1 對(duì)象數(shù)組
8.4.2 標(biāo)準(zhǔn)模板庫(kù)
習(xí)題
第9章 使用MPI進(jìn)行分布式存儲(chǔ)并行內(nèi)存編程
9.1 消息傳遞
9.2 MPI簡(jiǎn)介
9.2.1 一個(gè)簡(jiǎn)單例子
9.2.2 消息和點(diǎn)對(duì)點(diǎn)通信
9.2.3 集合通信
9.2.4 非阻塞點(diǎn)對(duì)點(diǎn)通信
9.2.5 虛擬拓?fù)?br />9.3 實(shí)例：Jacobi解法器的MPI并行
9.3.1 MPI實(shí)現(xiàn)
9.3.2 性能特征
習(xí)題
第10章 高效MPI編程
10.1 MPI性能工具
10.2 通信參數(shù)
10.3 同步、串行化和競(jìng)爭(zhēng)
10.3.1 隱式串行化和同步
10.3.2 競(jìng)爭(zhēng)
10.4 降低通信開銷
10.4.1 最優(yōu)化區(qū)域分解
10.4.2 聚合消息
10.4.3 非阻塞與異步通信
10.4.4 集合通信
10.5 理解節(jié)點(diǎn)內(nèi)點(diǎn)對(duì)點(diǎn)通信
習(xí)題
第11章 MPI與OpenMP混合編程
11.1 基本MPI/OpenMP混合編程模型
11.1.1 向量模式實(shí)現(xiàn)
11.1.2 任務(wù)模式實(shí)現(xiàn)
11.1.3 案例分析：混合Jacobi解法器
11.2 MPI線程交互分類
11.3 混合分解及映射
11.3.1 每個(gè)節(jié)點(diǎn)一個(gè)MPI進(jìn)程
11.3.2 每個(gè)插槽一個(gè)MPI進(jìn)程
11.3.3 每個(gè)插槽多個(gè)MPI進(jìn)程
11.4 混合編程的優(yōu)勢(shì)和劣勢(shì)
11.4.1 改善的收斂速度
11.4.2 共享高速緩存中的數(shù)據(jù)重用
11.4.3 利用額外級(jí)別的并行性
11.4.4 重疊MPI通信和計(jì)算
11.4.5 減少M(fèi)PI開銷
11.4.6 多級(jí)別開銷
11.4.7 向量模式下批量同步通信
附錄A 多核環(huán)境中的拓?fù)浜陀H緣性
A.1 拓?fù)?br />A.2 線程和進(jìn)程分布
A.2.1 外部親緣性工具
A.2.2 程序控制親緣性
A.3 非頁(yè)面首次訪問(wèn)分配策略
附錄B 習(xí)題解答
參考文獻(xiàn)