第1部分 前端與AI
第1章 Web AI 2
1.1 Web AI的特點(diǎn) 3
1.2 Web AI的發(fā)展歷程 5
1.3 總結(jié) 8
第2章 神經(jīng)網(wǎng)絡(luò)和前端推理引擎 9
2.1 感知機(jī) 10
2.2 從感知機(jī)到神經(jīng)網(wǎng)絡(luò) 12
2.3 前端推理引擎 15
2.4 總結(jié) 18
第3章 Paddle.js 初探 19
3.1 AI全鏈路 19
3.1.1 AI全鏈路基本介紹 20
3.1.2 前端推理引擎Paddle.js 21
3.2 模型和神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 24
3.2.1 模型結(jié)構(gòu)文件與參數(shù)文件 25
3.2.2 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 26
3.3 推理過(guò)程與運(yùn)行環(huán)境 31
3.3.1 推理過(guò)程 31
3.3.2 運(yùn)行環(huán)境 33
3.4 使用Paddle.js 33
3.5 總結(jié) 44
第4章 CV項(xiàng)目實(shí)戰(zhàn) 46
4.1 paddlejs-models模型庫(kù) 46
4.1.1 backend選擇 47
4.1.2 引入模型 library 48
4.2 經(jīng)典CV模型實(shí)戰(zhàn) 50
4.2.1 圖像分類(lèi) 51
4.2.2 圖像分割 56
4.2.3 目標(biāo)檢測(cè) 66
4.3 小程序CV項(xiàng)目 73
4.3.1 微信小程序插件paddlejsPlugin 73
4.3.2 百度智能小程序動(dòng)態(tài)庫(kù)paddlejs 76
4.4 總結(jié) 78
第2部分 引入新模型
第5章 模型準(zhǔn)備 82
5.1 模型轉(zhuǎn)換 82
5.1.1 轉(zhuǎn)換工具使用 83
5.1.2 轉(zhuǎn)換過(guò)程 87
5.2 模型算子 90
5.2.1 算子基本信息 90
5.2.2 算子計(jì)算規(guī)則 92
5.3 算子開(kāi)發(fā)與測(cè)試 93
5.3.1 算子開(kāi)發(fā) 93
5.3.2 算子測(cè)試 96
5.4 總結(jié) 99
第6章 模型前后處理 100
6.1 模型前處理 100
6.1.1 媒體資源獲取 101
6.1.2 輸入數(shù)據(jù)處理 107
6.2 模型后處理 114
6.2.1 目標(biāo)分類(lèi) 114
6.2.2 目標(biāo)框選 115
6.2.3 目標(biāo)分割 116
6.3 總結(jié) 117
第7章 圖像處理 118
7.1 簡(jiǎn)單濾鏡 118
7.1.1 灰度 119
7.1.2 色相旋轉(zhuǎn) 121
7.2 美顏效果 125
7.2.1 美白濾鏡 125
7.2.2 磨皮濾鏡 129
7.2.3 瘦臉濾鏡 134
7.2.4 大眼濾鏡 139
7.3 總結(jié) 142
第3部分 Web AI進(jìn)階
第8章 計(jì)算方案 146
8.1 基本概念 146
8.1.1 多線程 147
8.1.2 SIMD 147
8.1.3 CPU與GPU 148
8.2 計(jì)算方案介紹 149
8.2.1 PlainJS計(jì)算方案 150
8.2.2 WebGL計(jì)算方案 151
8.2.3 WebGPU 計(jì)算方案 154
8.2.4 WebAssembly計(jì)算方案 159
8.2.5 NodeGL計(jì)算方案 161
8.2.6 Web Worker在Paddle.js上的應(yīng)用 161
8.3 計(jì)算方案對(duì)比 168
8.4 總結(jié) 169
第9章 性能優(yōu)化 170
9.1 算子融合 170
9.2 向量化計(jì)算 174
9.3 多線程 179
9.4 總結(jié) 186
第10章 Web AI應(yīng)用安全 187
10.1 安全問(wèn)題與安全目標(biāo) 187
10.1.1 安全問(wèn)題 188
10.1.2 安全目標(biāo) 190
10.2 前端安全技術(shù) 191
10.2.1 加解密方案 191
10.2.2 代碼安全 193
10.2.3 安全加固方案 196
10.3 安全方案 197
10.3.1 安全中心 198
10.3.2 離線部署 201
10.3.3 在線推理 202
10.4 總結(jié) 203
第11章 Web AI的發(fā)展趨勢(shì) 205
11.1 Web AI的六大能力 205
11.2 技術(shù)展望 209
11.2.1 Web AI的標(biāo)準(zhǔn) 209
11.2.2 Web AI中的端云協(xié)同 210
11.3 總結(jié) 212
第12章 未來(lái)已來(lái) 213
12.1 大語(yǔ)言模型簡(jiǎn)介 215
12.1.1 什么是GPT 216
12.1.2 超大語(yǔ)言模型帶來(lái)的能力躍升 219
12.1.3 GPT-4的又一次生長(zhǎng) 221
12.1.4 回答準(zhǔn)確性和可解釋性 222
12.2 前端和大語(yǔ)言模型 223
12.2.1 提示語(yǔ)是一切的核心 224
12.2.2 學(xué)會(huì)如何與GPT交流 230
12.2.3 用GPT優(yōu)化工作流 233
12.3 關(guān)于未來(lái)的暢想 242
12.4 給前端工程師的建議 246