目錄

基礎(chǔ)篇

第1章深度學(xué)習(xí)簡(jiǎn)介

1.1計(jì)算機(jī)視覺

1.1.1定義

1.1.2基本任務(wù)

1.1.3傳統(tǒng)方法

1.1.4仿生學(xué)與深度學(xué)習(xí)

1.1.5現(xiàn)代深度學(xué)習(xí)

1.1.6小結(jié)

1.2自然語言處理

1.2.1自然語言處理的基本問題

1.2.2傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的比較

1.2.3發(fā)展趨勢(shì)

1.3強(qiáng)化學(xué)習(xí)

1.3.1什么是強(qiáng)化學(xué)習(xí)

1.3.2強(qiáng)化學(xué)習(xí)算法簡(jiǎn)介

1.3.3強(qiáng)化學(xué)習(xí)的應(yīng)用

第2章深度學(xué)習(xí)框架

2.1Caffe

2.1.1Caffe簡(jiǎn)介

2.1.2Caffe的特點(diǎn)

2.1.3Caffe概述

2.2TensorFlow

2.2.1TensorFlow簡(jiǎn)介

2.2.2數(shù)據(jù)流圖

2.2.3TensorFlow的特點(diǎn)

2.2.4TensorFlow概述

2.3PyTorch

2.3.1PyTorch簡(jiǎn)介

2.3.2PyTorch的特點(diǎn)

2.3.3PyTorch概述

2.4三者的比較

2.4.1Caffe

2.4.2TensorFlow

2.4.3PyTorch






第3章機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)

3.1模型評(píng)估與模型參數(shù)選擇

3.1.1驗(yàn)證

3.1.2正則化

3.2監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)

3.2.1監(jiān)督學(xué)習(xí)

3.2.2非監(jiān)督學(xué)習(xí)

第4章PyTorch深度學(xué)習(xí)基礎(chǔ)

4.1Tensor對(duì)象及其運(yùn)算

4.2Tensor的索引和切片

4.3Tensor的變換、拼接和拆分

4.4PyTorch的Reduction操作

4.5PyTorch的自動(dòng)微分

第5章Logistic回歸

5.1線性回歸

5.2Logistic回歸

5.3用PyTorch實(shí)現(xiàn)Logistic回歸

5.3.1數(shù)據(jù)準(zhǔn)備

5.3.2線性方程

5.3.3激活函數(shù)

5.3.4損失函數(shù)

5.3.5優(yōu)化算法

5.3.6模型可視化

第6章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

6.1基礎(chǔ)概念

6.2感知器

6.2.1單層感知器

6.2.2多層感知器

6.3BP神經(jīng)網(wǎng)絡(luò)

6.3.1梯度下降

6.3.2后向傳播

6.4Dropout正則化

6.5批標(biāo)準(zhǔn)化

6.5.1Batch Normalization的實(shí)現(xiàn)方式

6.5.2Batch Normalization的使用方法

第7章卷積神經(jīng)網(wǎng)絡(luò)與計(jì)算機(jī)視覺

7.1卷積神經(jīng)網(wǎng)絡(luò)的基本思想

7.2卷積操作

7.3池化層

7.4卷積神經(jīng)網(wǎng)絡(luò)

7.5經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)

7.5.1VGG網(wǎng)絡(luò)

7.5.2InceptionNet

7.5.3ResNet

7.6用PyTorch進(jìn)行手寫數(shù)字識(shí)別

第8章神經(jīng)網(wǎng)絡(luò)與自然語言處理

8.1語言建模

8.2基于多層感知機(jī)的架構(gòu)

8.3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)

8.3.1循環(huán)單元

8.3.2通過時(shí)間后向傳播

8.3.3帶有門限的循環(huán)單元

8.3.4循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型

8.3.5神經(jīng)機(jī)器翻譯

8.4基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)

8.5基于Transformer的架構(gòu)

8.5.1多頭注意力

8.5.2非參位置編碼

8.5.3編碼器單元與解碼器單元

8.6表示學(xué)習(xí)與預(yù)訓(xùn)練技術(shù)

8.6.1詞向量

8.6.2加入上下文信息的特征表示

8.6.3網(wǎng)絡(luò)預(yù)訓(xùn)練

8.7小結(jié)

實(shí)戰(zhàn)篇

第9章搭建卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類

9.1實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

9.2數(shù)據(jù)預(yù)處理和準(zhǔn)備

9.2.1數(shù)據(jù)集的讀取

9.2.2重載data.Dataset類

9.2.3transform數(shù)據(jù)預(yù)處理

9.3模型構(gòu)建

9.3.1ResNet50

9.3.2bottleneck的實(shí)現(xiàn)

9.3.3ResNet50卷積層定義

9.3.4ResNet50 forward實(shí)現(xiàn)

9.3.5預(yù)訓(xùn)練參數(shù)裝載

9.4模型訓(xùn)練與結(jié)果評(píng)估

9.4.1訓(xùn)練類的實(shí)現(xiàn)

9.4.2優(yōu)化器的定義

9.4.3學(xué)習(xí)率衰減

9.4.4訓(xùn)練

9.5總結(jié)


第10章圖像風(fēng)格遷移

10.1VGG模型

10.2圖像風(fēng)格遷移介紹

10.3內(nèi)容損失函數(shù)

10.3.1內(nèi)容損失函數(shù)的定義

10.3.2內(nèi)容損失模塊的實(shí)現(xiàn)

10.4風(fēng)格損失函數(shù)

10.4.1風(fēng)格損失函數(shù)的定義

10.4.2計(jì)算Gram矩陣函數(shù)的實(shí)現(xiàn)

10.4.3風(fēng)格損失模塊的實(shí)現(xiàn)

10.5優(yōu)化過程

10.6圖像風(fēng)格遷移主程序的實(shí)現(xiàn)

10.6.1圖像預(yù)處理

10.6.2參數(shù)定義

10.6.3模型初始化

10.6.4運(yùn)行風(fēng)格遷移的主函數(shù)

10.6.5利用VGG網(wǎng)絡(luò)建立損失函數(shù)

10.6.6風(fēng)格遷移的優(yōu)化過程

10.6.7運(yùn)行風(fēng)格遷移

第11章基于RNN的文本分類

11.1數(shù)據(jù)準(zhǔn)備

11.2將名字轉(zhuǎn)換為張量

11.3構(gòu)建神經(jīng)網(wǎng)絡(luò)

11.4訓(xùn)練

11.4.1準(zhǔn)備訓(xùn)練

11.4.2訓(xùn)練RNN網(wǎng)絡(luò)

11.5繪制損失變化圖

11.6預(yù)測(cè)結(jié)果

11.7預(yù)測(cè)用戶輸入

第12章基于CNN的視頻行為識(shí)別

12.1問題描述

12.2源碼結(jié)構(gòu)

12.3數(shù)據(jù)準(zhǔn)備

12.4模型搭建與訓(xùn)練

12.5特征圖可視化

第13章實(shí)現(xiàn)對(duì)抗性樣本生成

13.1威脅模型

13.2快速梯度符號(hào)攻擊

13.3代碼實(shí)現(xiàn)

13.3.1輸入

13.3.2受到攻擊的模型

13.3.3FGSM攻擊

13.3.4測(cè)試功能

13.3.5運(yùn)行攻擊

13.3.6結(jié)果分析

13.4對(duì)抗示例

13.5小結(jié)

第14章實(shí)現(xiàn)基于LSTM的情感分析

14.1情感分析常用的Python工具庫

14.1.1PyTorch

14.1.2tqdm

14.1.3Pandas

14.1.4Gensim

14.1.5collections

14.2數(shù)據(jù)樣本分析

14.3數(shù)據(jù)預(yù)處理

14.4算法模型

14.4.1循環(huán)神經(jīng)網(wǎng)絡(luò)

14.4.2長短期記憶神經(jīng)網(wǎng)絡(luò)

14.4.3模型實(shí)現(xiàn)

14.5小結(jié)

第15章實(shí)現(xiàn)DCGAN

15.1生成對(duì)抗網(wǎng)絡(luò)

15.2DCGAN介紹

15.3初始化代碼

15.3.1初始化相關(guān)庫

15.3.2數(shù)據(jù)加載

15.4模型實(shí)現(xiàn)

15.4.1權(quán)重初始化

15.4.2生成器

15.4.3判別器

15.4.4判別器代碼

15.4.5損失函數(shù)和優(yōu)化器

15.4.6訓(xùn)練

15.5結(jié)果

15.5.1損失與訓(xùn)練迭代次數(shù)關(guān)系圖

15.5.2生成器G的訓(xùn)練進(jìn)度

15.5.3真實(shí)圖像與假圖像

15.6小結(jié)

第16章視覺問答

16.1視覺問答簡(jiǎn)介

16.2基于BottomUp Attention的聯(lián)合嵌入模型

16.3準(zhǔn)備工作

16.3.1下載數(shù)據(jù)

16.3.2安裝必備的軟件包

16.3.3使用配置文件

16.4實(shí)現(xiàn)基礎(chǔ)模塊

16.4.1FCNet模塊

16.4.2SimpleClassifier模塊

16.5實(shí)現(xiàn)問題嵌入模塊

16.5.1詞嵌入

16.5.2RNN

16.6實(shí)現(xiàn)TopDown Attention模塊

16.7組裝完整的VQA系統(tǒng)

16.8運(yùn)行VQA實(shí)驗(yàn)

16.8.1訓(xùn)練

16.8.2可視化

附錄APyTorch環(huán)境搭建

A.1Linux平臺(tái)下PyTorch環(huán)境搭建

A.2Windows平臺(tái)下PyTorch環(huán)境搭建

附錄B深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)

B.1線性代數(shù)

B.2概率論

參考文獻(xiàn)