第1篇 TensorFlow基礎(chǔ)

第1章 安裝TensorFlow 2

1.1 TensorFlow的安裝流程 2

1.2 運行TensorFlow的第一個程序 3

第2章 張量及其運算 4

2.1 常量張量的創(chuàng)建 4

2.2 張量維度的轉(zhuǎn)換 9

2.3 張量的運算 12

第3章 運算圖和會話管理 15

3.1 運算圖的形成 15

3.2 運算圖的數(shù)據(jù)結(jié)構(gòu) 17

3.3 使用會話對象執(zhí)行運算圖 19

3.3.1 交互式會話執(zhí)行流程 19

3.3.2 使用會話日志 20

3.4 使用TensorBoard實現(xiàn)數(shù)據(jù)可視化 20

3.4.1 啟動TensorBoard組件 21

3.4.2 顯示TensorBoard中的數(shù)據(jù) 22

第4章 模型訓(xùn)練 24

4.1 變量張量 24

4.2 損失函數(shù) 25

4.3 漸進下降法 26

4.3.1 如何將數(shù)據(jù)讀入模型 27

4.3.2 模型訓(xùn)練的基本流程 28

4.3.3 漸進下降法運行實例 29

4.3.4 漸進下降法的缺陷和應(yīng)對 30

4.4 運算圖的存儲和加載 32

第2篇 TensorFlow進階

第5章 機器學(xué)習(xí)的基本概念 34

5.1 使用TensorFlow實現(xiàn)線性回歸 34

5.2 使用TensorFlow實現(xiàn)多項式回歸 36

5.3 使用邏輯回歸實現(xiàn)數(shù)據(jù)二元分類 38

5.3.1 邏輯函數(shù) 38

5.3.2 最大概率估計 39

5.3.3 用代碼實現(xiàn)邏輯回歸 40

5.4 使用多元邏輯回歸實現(xiàn)數(shù)據(jù)的多種分類 41

5.4.1 多元分類示例——識別手寫數(shù)字圖像 41

5.4.2 多元交叉熵 41

5.4.3 多元回歸模型代碼示例 43

第6章 使用TensorFlow開發(fā)神經(jīng)網(wǎng)絡(luò) 44

6.1 神經(jīng)元和感知器 44

6.1.1 神經(jīng)元的基本原理 44

6.1.2 感知器的基本原理 45

6.1.3 鏈路權(quán)重 46

6.1.4 激活函數(shù) 46

6.2 神經(jīng)網(wǎng)絡(luò)的運行原理 47

6.2.1 神經(jīng)網(wǎng)絡(luò)層 47

6.2.2 誤差反向傳播 48

6.3 構(gòu)造神經(jīng)網(wǎng)絡(luò)識別手寫數(shù)字圖像 50

第7章 使用TensorFlow實現(xiàn)卷積網(wǎng)絡(luò) 53

7.1 卷積運算 53

7.2 卷積運算的本質(zhì) 54

7.3 卷積運算的相關(guān)參數(shù)和操作說明 55

7.4 使用TensorFlow開發(fā)卷積網(wǎng)絡(luò)實例 56

7.5 卷積網(wǎng)絡(luò)的訓(xùn)練與應(yīng)用 59

第8章 構(gòu)造重定向網(wǎng)絡(luò) 61

8.1 什么是重定向網(wǎng)絡(luò) 61

8.1.1 重定向網(wǎng)絡(luò)的基本結(jié)構(gòu) 61

8.1.2 cell部件的運算原理 62

8.2 使用TensorFlow構(gòu)建RNN層 63

8.2.1 cell組件類簡介 63

8.2.2 創(chuàng)建RNN層接口調(diào)用簡介 64

8.3 使用RNN實現(xiàn)文本識別 65

8.3.1 文本數(shù)據(jù)預(yù)處理 65

8.3.2 網(wǎng)絡(luò)模型的構(gòu)建和訓(xùn)練 66

8.4 長短程記憶組件 68

8.4.1 長短程記憶組件的內(nèi)部原理 68

8.4.2 使用接口創(chuàng)建LSTM節(jié)點 70

8.4.3 使用LSTM網(wǎng)絡(luò)實現(xiàn)文本識別 72

第9章 數(shù)據(jù)集的讀取與操作 74

9.1 TensorFlow的數(shù)據(jù)集對象 74

9.1.1 創(chuàng)建數(shù)值型數(shù)據(jù)集 74

9.1.2 數(shù)據(jù)生成器 75

9.1.3 從文本中讀入數(shù)據(jù)集 76

9.2 數(shù)據(jù)集的處理和加工 77

9.2.1 數(shù)據(jù)集的分批處理 77

9.2.2 基于數(shù)據(jù)集的若干操作 78

9.2.3 數(shù)據(jù)集條目的遍歷訪問 80

第10章 使用多線程、多設(shè)備和機器集群 84

10.1 多線程的配置 84

10.2 多處理器分發(fā)執(zhí)行 85

10.3 集群分發(fā)控制 86

第11章 TensorFlow的高級接口Estimator 88

11.1 運行Estimator的基本流程 88

11.2 Estimator的初始化配置 90

11.3 Estimator導(dǎo)出模型應(yīng)用實例 91

11.3.1 使用線性模型實例 91

11.3.2 使用神經(jīng)網(wǎng)絡(luò)分類器 93

11.3.3 使用線性回歸——深度網(wǎng)絡(luò)混合模型 94

11.3.4 給Estimator添加自己的網(wǎng)絡(luò)模型 99

第3篇 TensorFlow實戰(zhàn)

第12章 實現(xiàn)編解碼器網(wǎng)絡(luò) 104

12.1 自動編解碼器的原理 104

12.2 一個簡單的編解碼器網(wǎng)絡(luò) 105

12.3 使用多層編解碼器實現(xiàn)圖像重構(gòu) 107

12.4 使用編解碼網(wǎng)絡(luò)實現(xiàn)圖像去噪 112

12.5 可變編解碼器 115

12.5.1 可變編解碼器的基本原理 115

12.5.2 編解碼器的數(shù)學(xué)原理 117

12.5.3 用代碼實現(xiàn)編解碼網(wǎng)絡(luò) 123

第13章 使用TensorFlow實現(xiàn)增強學(xué)習(xí) 127

13.1 搭建開發(fā)環(huán)境 127

13.2 增強學(xué)習(xí)的基本概念 129

13.3 馬爾可夫過程 132

13.4 馬爾可夫決策模型 133

13.5 開發(fā)一個增強學(xué)習(xí)示例 135

13.5.1 示例簡介 135

13.5.2 使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)最優(yōu)策略 136

13.6 冰凍湖問題 139

13.6.1 狀態(tài)值優(yōu)化 141

13.6.2 貝爾曼函數(shù) 142

13.6.3 編碼解決冰凍湖問題 145

第14章 使用TensorFlow實現(xiàn)深Q網(wǎng)絡(luò) 148

14.1 深Q算法的基本原理 149

14.2 深Q算法項目實踐 150

14.2.1 算法的基本原則 151

14.2.2 深Q網(wǎng)絡(luò)模型 155

第15章 TensorFlow與策略下降法 163

15.1 策略導(dǎo)數(shù) 164

15.1.1 策略導(dǎo)數(shù)的底層原理 164

15.1.2 策略導(dǎo)數(shù)算法應(yīng)用實例 166

15.1.3 策略導(dǎo)數(shù)的缺點 169

15.2 Actor-Critic算法 169

15.2.1 Actor-Critic算法的底層原理 169

15.2.2 Actor-Critic算法的實現(xiàn) 171

15.3 A3C算法原理 173

15.3.1 改變量回傳模式的代碼實現(xiàn) 175

15.3.2 訓(xùn)練數(shù)據(jù)回傳模式的代碼實現(xiàn) 187

15.4 使用PPO算法玩轉(zhuǎn)《超級瑪麗》 192

15.4.1 PPO算法簡介 192

15.4.2 PPO算法的數(shù)學(xué)原理 193

15.4.3 PPO算法的代碼實現(xiàn) 194

第16章 使用TensorFlow 2.x的Eager模式開發(fā)高級增強學(xué)習(xí)算法 201

16.1 TensorFlow 2.x Eager模式簡介 201

16.2 使用Eager模式快速構(gòu)建神經(jīng)網(wǎng)絡(luò) 202

16.3 在Eager模式下使用DDPG算法實現(xiàn)機械模擬控制 204

16.3.1 DDPG算法的基本原理 204

16.3.2 DDPG算法的代碼實現(xiàn) 206

16.4 DDPG算法改進——TD3算法的原理與實現(xiàn) 211

16.4.1 TD3算法的基本原理 212

16.4.2 TD3算法的代碼實現(xiàn) 213

16.5 TD3算法的升級版——SAC算法 218

16.5.1 SAC算法的基本原理 218

16.5.2 SAC算法的代碼實現(xiàn) 221

16.6 概率化深Q網(wǎng)絡(luò)算法 226

16.6.1 連續(xù)概率函數(shù)的離散化表示 226

16.6.2 算法的基本原理 228

16.6.3 讓算法玩轉(zhuǎn)《雷神之錘》 229

16.7 D4PG——概率化升級的DDPG算法 236

16.7.1 D4PG算法的基本原理 236

16.7.2 通過代碼實現(xiàn)D4GP算法 237

第17章 使用TensorFlow 2.x實現(xiàn)生成型對抗性網(wǎng)絡(luò) 245

17.1 生成型對抗性網(wǎng)絡(luò)的基本原理與代碼實戰(zhàn) 245

17.2 WGAN——讓對抗性網(wǎng)絡(luò)生成更復(fù)雜的圖像 253

17.2.1 推土距離 253

17.2.2 WGAN算法的基本原理 255

17.2.3 WGAN算法的代碼實現(xiàn) 256

17.3 WGAN_PG——讓網(wǎng)絡(luò)生成細膩的人臉圖像 262

17.3.1 WGAN_PG算法的基本原理 262

17.3.2 WGAN_GP算法的代碼實現(xiàn) 263

17.4 使用CycleGAN實現(xiàn)“指鹿為馬” 269

17.4.1 CycleGAN技術(shù)的基本原理 269

17.4.2 用代碼實現(xiàn)CycleGAN 272

17.5 使用CycleGAN實現(xiàn)“無痛變性” 284

17.5.1 TensorFlow 2.x的數(shù)據(jù)集接口 284

17.5.2 網(wǎng)絡(luò)代碼的實現(xiàn) 290

17.6 利用Attention機制實現(xiàn)自動譜曲 297

17.6.1 樂理的基本知識 298

17.6.2 網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)準備 299

17.6.3 Attention網(wǎng)絡(luò)結(jié)構(gòu)說明 302

17.6.4 用代碼實現(xiàn)預(yù)測網(wǎng)絡(luò) 304

17.7 使用MuseGAN生成多聲道音樂 310

17.7.1 樂理的基本知識補充 310

17.7.2 曲譜與圖像的共性 311

17.7.3 MuseGAN的基本原理 313

17.7.4 MuseGAN的代碼實現(xiàn) 314

17.8 使用自關(guān)注機制提升網(wǎng)絡(luò)人臉的生成能力 322

17.8.1 Self-Attention機制的算法原理 322

17.8.2 引入spectral norm以保證訓(xùn)練的穩(wěn)定性 324

17.8.3 用代碼實現(xiàn)自關(guān)注網(wǎng)絡(luò) 330

17.9 實現(xiàn)黑白圖像自動上色 338

17.9.1 算法的基本原理 338

17.9.2 網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)設(shè)計 339

17.9.3 代碼實現(xiàn) 340