推薦序一
推薦序二
前　　言
第一部分　準(zhǔn)備篇
引　言　從科幻電影談起
第1章　自然人機(jī)交互技術(shù)漫談
1.1　自然人機(jī)交互技術(shù)的發(fā)展
1.1.1　第六感設(shè)備：技術(shù)的組合創(chuàng)新
1.1.2　追影技術(shù)：攝像頭也瘋狂
1.1.3　虛擬現(xiàn)實(shí)：真實(shí)的體驗(yàn)場(chǎng)景
1.1.4　增強(qiáng)現(xiàn)實(shí)：真實(shí)與虛擬的疊加
1.1.5　多點(diǎn)觸摸：信息就在指尖
1.1.6　語音識(shí)別：從ViaVoice到Siri
1.1.7　眼球跟蹤：從霍金的座椅談起
1.1.8　人臉識(shí)別：Photo DNA
1.1.9　體感操作：達(dá)芬奇手術(shù)機(jī)器人
1.1.10　腦機(jī)界面：霍金座椅的升級(jí)版
1.2　“你就是控制器”—Kinect宣言
1.2.1　Kinect銷售記錄及命名來歷
1.2.2　未來照進(jìn)現(xiàn)實(shí)
第二部分　原理篇
第2章　揭開Kinect的神秘面紗—硬件設(shè)備解剖
2.1　兩款Kinect傳感器對(duì)比
2.2　Kinect傳感器的硬件組成
2.2.1　Kinect的“心臟”—PS1080 SoC
2.2.2　Kinect的“三只眼”—投影機(jī)和兩個(gè)攝像頭
2.2.3　Kinect的“四只耳朵”—麥克風(fēng)陣列
2.2.4　會(huì)搖擺的“相控雷達(dá)”—傳動(dòng)馬達(dá)
2.2.5　姿態(tài)控制—三軸加速度計(jì)
2.2.6　USB接口及電源
2.2.7　Kinect風(fēng)扇控制
2.3　Kinect相關(guān)技術(shù)規(guī)格
2.3.1　Kinect近景模式
2.3.2　Kinect放大鏡
2.4　本章小結(jié)
第3章　Kinect工作原理大揭秘
3.1　Kinect for Xbox 360的產(chǎn)品設(shè)計(jì)
3.2　基于“管道”的系統(tǒng)架構(gòu)
3.2.1　骨骼跟蹤
3.2.2　動(dòng)作識(shí)別
3.2.3　人臉識(shí)別
3.2.4　語音識(shí)別
3.3　Kinect眼里的三維世界
3.3.1　深度數(shù)據(jù)是Kinect的精髓
3.3.2　2D視覺與3D視覺
3.4　深度圖像成像原理
3.4.1　ToF光學(xué)測(cè)距與結(jié)構(gòu)光測(cè)量
3.4.2　Light Coding技術(shù)
3.4.3　激光散斑原理
3.4.4　光源標(biāo)定
3.5　從深度圖像到骨骼圖
3.5.1　動(dòng)靜分離，識(shí)別人體
3.5.2　人體部位分類
3.5.3　從人體部位識(shí)別關(guān)節(jié)
3.5.4　會(huì)“機(jī)器學(xué)習(xí)”的“Kinect大腦”
3.5.5　骨骼跟蹤的精度和效率
3.6　創(chuàng)建你的Avatar
3.6.1　“有骨有肉”
3.6.2　泊松方程噪聲濾除
3.6.3　粗糙變平滑、缺陷自動(dòng)補(bǔ)齊
3.7　本章小結(jié)
第三部分　基礎(chǔ)篇
第4章　Kinect for Windows SDK導(dǎo)讀
4.1　什么是Kinect SDK
4.1.1　Kinect SDK的發(fā)展歷程
4.1.2　SDK v1.5的新特性
4.1.3　SDK v1.5尚未提供的API
4.1.4　從底層進(jìn)行封裝
4.2　Kinect for Windows體系架構(gòu)
4.3　應(yīng)用層API詳解
4.3.1　Kinect的核心NUI API
4.3.2　Kinect Audio DMO
4.3.3　Windows Speech SDK
4.4　數(shù)據(jù)流概述
4.4.1　彩色圖像數(shù)據(jù)
4.4.2　用戶分割數(shù)據(jù)
4.4.3　深度圖像數(shù)據(jù)
4.4.4　如何獲取數(shù)據(jù)流
4.5　骨骼跟蹤
4.5.1　骨骼信息檢索
4.5.2　主動(dòng)跟蹤和被動(dòng)跟蹤
4.5.3　骨骼跟蹤對(duì)象選擇
4.6　NUI坐標(biāo)轉(zhuǎn)換
4.6.1　深度圖像空間坐標(biāo)
4.6.2　骨骼空間坐標(biāo)
4.6.3　坐標(biāo)變換
4.6.4　傳感器陣列和傾斜補(bǔ)償
4.6.5　地面測(cè)量
4.6.6　骨骼鏡像
4.7　本章小結(jié)
第5章　Kinect用戶交互設(shè)計(jì)的若干思考
5.1　Xbox 360 Kinect Hub界面和Metro風(fēng)格
5.1.1　什么是Metro風(fēng)格
5.1.2　Kinect Hub手勢(shì)原型設(shè)計(jì)
5.1.3　“懸停選擇”和“翻頁控制”
5.2　體感游戲的優(yōu)勢(shì)及局限性
5.2.1　更多的自由度
5.2.2　關(guān)節(jié)點(diǎn)重疊的處理辦法
5.2.3　情感因素和心理暗示
5.2.4　Kinect體感操作的局限性及對(duì)策
5.3　用戶交互的趨勢(shì)和新特性
5.3.1　Kinect使交互“柔軟化”
5.3.2　用戶交互設(shè)計(jì)也可能是一項(xiàng)專利
5.4　Kinect“體感操作”交互設(shè)計(jì)的七條軍規(guī)
5.4.1　控制手勢(shì)集符合人類自然手勢(shì)
5.4.2　讓用戶的肢體移動(dòng)幅度盡可能小
5.4.3　操作界面的對(duì)象采用Metro風(fēng)格
5.4.4　“確認(rèn)操作”保持簡(jiǎn)單、一致
5.4.5　手勢(shì)操作盡可能在同一個(gè)平面內(nèi)
5.4.6　從三維的視角去看交互設(shè)計(jì)
5.4.7　配有簡(jiǎn)單明了的手勢(shì)說明
5.5　本章小結(jié)
第四部分　開發(fā)篇
第6章　開發(fā)前的準(zhǔn)備工作
6.1　開發(fā)Kinect應(yīng)用所需的技能
6.2　系統(tǒng)要求
6.3　下載和安裝Kinect SDK
6.3.1　Kinect for Windows SDK v1.5
6.3.2　Developer Toolkit
6.3.3　Kinect快速開發(fā)工具箱
6.3.4　XNA開發(fā)環(huán)境
6.4　加載驅(qū)動(dòng)、檢驗(yàn)及測(cè)試
6.5　配置開發(fā)環(huán)境
6.6　要點(diǎn)和故障排除
6.7　本章小結(jié)
第7章　Hello，Kinect！
7.1　一行代碼的“Hello, Kinect!”
7.1.1　創(chuàng)建WPF工程
7.1.2　添加KinectDiagnosticViewer控件
7.1.3　編寫一行代碼
7.1.4　編譯運(yùn)行
7.2　控制臺(tái)界面HelloKinectMatrix
7.2.1　創(chuàng)建Console工程
7.2.2　編寫代碼
7.2.3　運(yùn)行效果
7.3　KinectContrib快速工程模板
7.4　KinectWpfViewers工具控件
7.5　本章小結(jié)
第8章　Kinect開發(fā)循序漸進(jìn)
8.1　一個(gè)簡(jiǎn)單的編程模型
8.1.1　初始化、啟用Kinect設(shè)備
8.1.2　彩色圖像流事件處理
8.1.3　深度數(shù)據(jù)捕獲
8.1.4　骨骼跟蹤
8.1.5　關(guān)閉Kinect設(shè)備
8.1.6　Kinect設(shè)備狀態(tài)管理及異常處理
8.2　更專業(yè)的深度圖
8.2.1　改進(jìn)轉(zhuǎn)換方法
8.2.2　事件處理
8.3　控制Kinect仰角
8.3.1　“你的塑身”游戲
8.3.2　垂直調(diào)整Kinect仰角
8.4　本章小結(jié)
第9章　Kinect深度數(shù)據(jù)測(cè)量技術(shù)及應(yīng)用
9.1　什么是Kinect視角場(chǎng)
9.2　深度值與實(shí)際距離的對(duì)比
9.3　深度圖像的直方圖
9.3.1　直方圖統(tǒng)計(jì)信息的價(jià)值
9.3.2　深度圖像直方圖的意義
9.4　Kinect深度數(shù)據(jù)測(cè)量的應(yīng)用
9.4.1　近景模式：自動(dòng)鎖屏工具
9.4.2　Kinect視角場(chǎng)幾何推導(dǎo)：測(cè)量人體身高
9.4.3　近距離探測(cè)：制作地形電子沙盤
9.5　本章小結(jié)
第五部分　實(shí)例篇
第10章　用Kinect表演“變臉”
10.1　在人的面部變換臉譜
10.2　代碼實(shí)現(xiàn)
10.2.1　WPF工程、控件及初始化
10.2.2　骨骼跟蹤
10.2.3　變臉及坐標(biāo)變換
10.3　合理暫停骨骼跟蹤
10.4　道具平滑跟隨
10.5　調(diào)整幕布大小
10.6　練習(xí)作業(yè)
第11章　用Kinect喚起“紅白機(jī)”的回憶
11.1　用身體控制馬里奧
11.2　代碼實(shí)現(xiàn)
11.2.1　WPF工程、控件及初始化
11.2.2　模擬鍵盤輸入工具類
11.2.3　肢體語言映射到鍵盤事件
11.3　副產(chǎn)品：PPT演示“空手道”
11.4　練習(xí)作業(yè)
第12章　用Kinect玩PC版的《水果忍者》
12.1　空氣鼠標(biāo)設(shè)計(jì)思路
12.1.1　找到離Kinect最近的那個(gè)人
12.1.2　兼容左手習(xí)慣和右手習(xí)慣
12.1.3　從骨骼坐標(biāo)系到鼠標(biāo)坐標(biāo)系
12.1.4　模擬鼠標(biāo)工具類
12.1.5　讓“空氣鼠標(biāo)”移動(dòng)自如
12.1.6　模擬鼠標(biāo)左鍵事件
12.2　在PC中用Kinect玩《水果忍者》
12.2.1　核心代碼示例
12.2.2　如何雙手揮刀
12.3　更多游戲：《割繩子》
12.4　練習(xí)作業(yè)
第13章　創(chuàng)建你的Kinect Hub Demo界面
13.1　Metro風(fēng)格界面設(shè)計(jì)
13.2　使用Kinect骨骼跟蹤
13.3　使用Coding4Fun Kinect Toolkit開發(fā)加速器
13.4　懸停選擇
13.5　本章小結(jié)
第14章　用Kinect導(dǎo)播天氣預(yù)報(bào)
14.1　天氣預(yù)報(bào)是這樣煉成的
14.1.1　繪制幕布，定義前景圖片
14.1.2　對(duì)象定義及初始化
14.1.3　實(shí)現(xiàn)“畫中畫”效果
14.2　一些優(yōu)化的話題
14.2.1　使用Using及時(shí)回收資源
14.2.2　使用WriteableBitmap優(yōu)化圖片顯示性能
14.2.3　多線程和“輪詢模型”
14.2.4　使用中值濾波邊緣去噪
14.3　Kinect語音導(dǎo)播切換
14.3.1　引用Microsoft.Speech命名空間
14.3.2　音頻數(shù)據(jù)流和語音識(shí)別引擎
14.3.3　語音識(shí)別事件
14.4　本章小結(jié)
第15章　基于Kinect的家庭監(jiān)控系統(tǒng)
15.1　通過Kinect進(jìn)行目標(biāo)探測(cè)
15.2　使用計(jì)算機(jī)視覺庫
15.2.1　Open CV程序庫
15.2.2　Emgu CV引用
15.2.3　保存快照
15.2.4　錄制視頻
15.3　目標(biāo)人體探測(cè)和影像錄制
15.4　擴(kuò)展功能和更多應(yīng)用場(chǎng)景
15.5　本章小結(jié)
第16章　“Kinect牌”夢(mèng)境錄音筆
16.1　Kinect音頻采集
16.1.1　使用音頻數(shù)據(jù)流
16.1.2　“波束跟蹤”信心值的另類用法
16.2　音頻錄制
16.2.1　WAV文件
16.2.2　WAVEFORMATEX結(jié)構(gòu)體
16.2.3　夢(mèng)境錄音筆的實(shí)現(xiàn)
16.3　練習(xí)作業(yè)
第六部分　進(jìn)階篇
第17章　再談姿態(tài)識(shí)別和手勢(shì)識(shí)別
17.1　姿態(tài)和手勢(shì)
17.2　動(dòng)作與算法
17.2.1　如何設(shè)定動(dòng)作集合
17.2.2　借鑒正則表達(dá)式和狀態(tài)機(jī)
17.2.3　轉(zhuǎn)換為幾何三角問題
17.3　常見手勢(shì)識(shí)別
17.3.1　揮手激活
17.3.2　懸停按鈕
17.3.3　磁石懸停
17.3.4　劃動(dòng)手勢(shì)
17.3.5　滑動(dòng)解鎖
17.3.6　推按鈕
17.3.7　通用暫停
17.4　工具介紹
17.4.1　動(dòng)作錄制和識(shí)別GesturePak
17.4.2　手和手指的“空氣多點(diǎn)觸摸”
17.5　本章小結(jié)
第18章　Kinect在手術(shù)室的應(yīng)用原型
18.1　原型設(shè)計(jì)
18.2　交互設(shè)計(jì)
18.2.1　“懸停選擇”進(jìn)行功能導(dǎo)航
18.2.2　“空氣鼠標(biāo)”的激活和隱藏
18.2.3　通過“劃動(dòng)”手勢(shì)翻閱醫(yī)學(xué)影像
18.2.4　放大、縮小醫(yī)學(xué)影像病灶部位
18.2.5　“垂直擺動(dòng)”翻閱病歷
18.2.6　體感操作結(jié)合語音控制
18.3　體感操作的實(shí)現(xiàn)
18.3.1　基于SwipeGestureRecognizer
18.3.2　基于單個(gè)部位運(yùn)動(dòng)序列的軌跡分析匹配
18.3.3　基于多個(gè)部位姿態(tài)快照的狀態(tài)機(jī)匹配
18.4　利用SDK v1.5的新特性
18.4.1　近景模式下的上半身骨骼跟蹤
18.4.2　利用關(guān)節(jié)點(diǎn)朝向信息進(jìn)行手勢(shì)識(shí)別和三維操作
18.4.3　人臉識(shí)別用于手術(shù)登錄驗(yàn)證
18.4.4　調(diào)試工具Kinect Studio
18.5　本章小結(jié)
第19章　Hello，Kinect 3D World!
19.1　點(diǎn)、面、云
19.1.1　像素和彩色圖像幀
19.1.2　深度圖像幀和點(diǎn)云
19.1.3　多Kinect設(shè)備的接入
19.2　Kinect體感應(yīng)用開發(fā)工具簡(jiǎn)介
19.2.1　軟件開發(fā)平臺(tái)XNA
19.2.2　游戲引擎Unity 3D
19.2.3　3D場(chǎng)景重建工具ReconstructMe
19.3　本章小結(jié)
第七部分　展望篇
第20章　奇思妙想—Kinect效應(yīng)
20.1　四旋翼飛行器的“導(dǎo)航雷達(dá)”
20.2　寵物看護(hù)機(jī)器人
20.3　空氣吉他
20.4　倒車?yán)走_(dá)系統(tǒng)
20.5　Kinect購(gòu)物車
20.6　魔術(shù)道具
20.7　本章小結(jié)
第21章　Kinect企業(yè)級(jí)應(yīng)用
21.1　思維導(dǎo)圖
21.2　體感操作應(yīng)用
21.2.1　手術(shù)室
21.2.2　體育運(yùn)動(dòng)競(jìng)技研究
21.2.3　動(dòng)作捕捉、CG動(dòng)畫制作
21.2.4　虛擬試衣鏡
21.2.5　課堂
21.2.6　虛擬汽車展廳
21.2.7　管理你的銀行賬戶
21.2.8　聾啞人的同聲翻譯
21.3　深度數(shù)據(jù)應(yīng)用
21.3.1　老年人監(jiān)護(hù)
21.3.2　康復(fù)訓(xùn)練
21.3.3　家庭監(jiān)控系統(tǒng)
21.3.4　道路交通稽查
21.3.5　冰川消融研究
21.3.6　給宇航員稱體重
21.4　實(shí)物3D建模應(yīng)用
21.4.1　實(shí)物3D數(shù)字化
21.4.2　文物3D模型“數(shù)字敦煌”計(jì)劃
21.4.3　3D掃描和打印
21.5　機(jī)器人視覺與控制
21.5.1　地震搜救機(jī)器人
21.5.2　深海探測(cè)機(jī)器人
21.5.3　工程機(jī)械臂控制
21.6　本章小結(jié)
第22章　下一代人機(jī)交互技術(shù)
22.1　下一代Kinect技術(shù)若干猜想
22.2　未來驚鴻一瞥
第八部分　附錄
附錄A　Kinect SDK命名空間速查手冊(cè)
附錄B　推薦閱讀及網(wǎng)絡(luò)資源
后記
參考資料