第1章 最優(yōu)化問題及其基本理論
1. 1 最優(yōu)化問題
1. 1. 1 最優(yōu)化問題實例
1. 1. 2 最優(yōu)化問題
1. 1. 3 凸最優(yōu)化
1. 2 最優(yōu)性條件
1. 2. 1 無約束問題的最優(yōu)性條件
1. 2. 2 約束問題的最優(yōu)性條件
1. 3 對偶理論
1. 3. 1 最大最小對偶
1. 3. 2 Lagrange對偶
1. 4 注記
參考文獻
第2章 求解分類問題和回歸問題的直觀途徑
2. 1 分類問題的提出
2. 1. 1 例子 心臟病診斷
2. 1. 2 分類問題和分類學習機
2. 2 線性分類學習機
2. 2. 1 線性可分問題的線性分劃
2. 2. 2 近似線性可分問題的線性分劃
2. 3 支持向量分類機
2. 3. 1 從線性分劃到二次分劃
2. 3. 2 二次分劃算法的簡化
2. 3. 3 非線性分劃的基本途徑
2. 4 線性回歸學習機
2. 4. 1 回歸問題
2. 4. 2 線性回歸問題與硬 -帶超平面
2. 4. 3 硬 -帶超平面的構(gòu)造
2. 4. 4 硬 -帶超平面的推廣
2. 4. 5 線性支持向量回歸機
2. 5 支持向量回歸機
2. 6 注記
參考文獻
第3章 核
3. 1 描述相似性的工具--內(nèi)積
3. 1. 1 直觀的相似程度與內(nèi)積
3. 1. 2 支持向量分類機中的相似與內(nèi)積
3. 1. 3 核函數(shù)的選取
3. 2 多項式空間和多項式核
3. 2. 1 有序單項式空間
3. 2. 2 無序單項式空間
3. 2. 3 Hilbert空間與多項式核函數(shù)
3. 3 Mercer核
3. 3. 1 半正定矩陣的特征展開
3. 3. 2 Mercer定理與Mercer核
3. 4 正定核
3. 4. 1 正定核的必要條件
3. 4. 2 正定核的充分條件
3. 4. 3 正定核的特征
3. 4. 4 再生核Hilbert空間
3. 4. 5 正定核與Mercer核的關系
3. 5 核的構(gòu)造
3. 5. 1 核的構(gòu)造原則
3. 5. 2 常用的幾種核函數(shù)
3. 6 注記
參考文獻
第4章 推廣能力的理論估計
4. 1 損失函數(shù)和期望風險
4. 1. 1 概率分布
4. 1. 2 損失函數(shù)
4. 1. 3 期望風險
4. 2 求解分類問題的一種途徑和一個算法模型
4. 2. 1 分類問題的一個自然的數(shù)學提法
4. 2. 2 求解分類問題的途徑
4. 2. 3 一個學習算法
4. 3 VC維
4. 4 學習算法在概率意義下的近似正確性
4. 5 一致性概念和關鍵定理
4. 6 結(jié)構(gòu)風險最小化
4. 7 基于間隔的推廣估計
4. 8 注記
參考文獻
第5章 分類問題
5. 1 最大間隔原則
5. 1. 1 線性可分問題的最大間隔原則
5. 1. 2 擾動意義下的幾何解釋
5. 2 線性可分支持向量分類機
5. 2. 1 線性可分問題的規(guī)范超平面
5. 2. 2 原始最優(yōu)化問題
5. 2. 3 才偶問題及其與原始問題的關系
5. 2. 4 線性可分支持向量分類機及其理論基礎
5. 3 線性支持向量分類機
5. 3. 1 原始問題
5. 3. 2 對偶問題及其與原始問題的關系
5. 3. 3 線性支持向量分類機及其理論基礎
5. 3. 4 支持向量
5. 4 支持向量分類機
5. 4. 1 可分支持向量分類機
5. 4. 2 支持向量分類機
5. 5 v-支持向量分類機 v-SVC
5. 5. 1 v-線性支持向量分類機的原始最優(yōu)化問題
5. 5. 2 v-線性支持向量分類機的對偶問題及其與原始問題的關系
5. 5. 3 y-支持向量分類機
5. 5. 4 v-支持向量分類機的性質(zhì)
5. 6 v-支持向量分類機 v-SVC 和C-支持向量分類機 C-SVC 的關系
5. 6. 1 主要結(jié)論
5. 6. 2 主要結(jié)論的證明
5. 7 多類分類問題
5. 7. 1 一類對余類
5. 7. 2 成對分類
5. 7. 3 糾錯輸出編碼方法
5. 7. 4 確定多類目標函數(shù)方法
5. 8 一個例子
5. 9 注記
參考文獻
第6章 回歸估計
6. 1 回歸問題
6. 1. 1 回歸問題的難點
6. 1. 2 回歸問題的數(shù)學提法
6. 1. 3 不敏感損失函數(shù)
6. 2 -支持向量回歸機
6. 2. 1 硬 -帶支持向量回歸機
6. 2. 2 從線性 -支持向量回歸機到 -支持向量回歸機
6. 3 v-支持向量回歸機
6. 3. 1 原始最優(yōu)化問題
6. 3. 2 對偶問題及其與原始問題的關系
6. 3. 3 v-支持向量回歸機
6. 3. 4 v-支持向量回歸機的性質(zhì)
6. 4
-支持向量回歸機 -SVR 與v-支持向量回歸機 v-SVR 的關系
6. 4. 1 主要結(jié)論
6. 4. 2 主要結(jié)論的證明
6. 5 其他形式的支持向量回歸機
6. 5. 1 支持向量回歸機的線性規(guī)劃形式
6. 5. 2
-帶為任意形狀的支持向量回歸機
6. 6 其他形式的損失函數(shù)
6. 7 一些例子
6. 7. 1 一維回歸問題
6. 7. 2 二維回歸問題
6. 8 注記
參考文獻
第7章 算法
7. 1 無約束問題解法
7. 1. 1 無約束問題提法
7. 1. 2 基本無約束問題算法
7. 1. 3 牛頓-條件預優(yōu)共軛梯度法 Newton-PCG算法
7. 2 內(nèi)點算法
7. 2. 1 線性規(guī)劃的原仿射尺度法
7. 2. 2 線性規(guī)劃的原-對偶算法
7. 2. 3 凸二次規(guī)劃的仿射尺度法
7. 2. 4 凸二次規(guī)劃的原-對偶算法
7. 3 求解大型問題的算法
7. 3. 1 停機準則
7. 3. 2 選塊算法 chunking
7. 3. 3 分解算法 decomposing
7. 3. 4 序列最小最優(yōu)化 sequential minimal optimization,SMO 算法
參考文獻
第8章 應用
8. 1 模型選擇問題
8. 1. 1 訓練集的選取--特征選擇問題
8. 1. 2 核及參數(shù)選擇問題
8. 2 分類問題的線性分劃中的特征選擇
8. 2. 1 特征選擇的BFM方法
8. 2. 2 序列極小化方法
8. 3 模型選擇
8. 3. 1 算法的評價標準
8. 3. 2 模型選擇
8. 4 靜態(tài)圖像中球的識別
8. 4. 1 作為分類問題的足球識別問題
8. 4. 2 正類和負類訓練點的采集
8. 4. 3 如何處理正類和負類訓練點個數(shù)的不均衡
8. 4. 4 降維處理和參數(shù)C的選取
8. 4. 5 試驗結(jié)果
8. 5 自由曲面的重建問題
8. 6 應用簡介
8. 6. 1 手寫阿拉伯數(shù)字識別
8. 6. 2 文本分類
8. 6. 3 生物信息技術
8. 7 核技巧的應用
8. 7. 1 核聚類
8. 7. 2 核主成分分析
8. 8 注記
參考文獻
附錄A 基礎知識
A. 1 基本定義
A. 2 梯度和Hesse矩陣
A. 3 方向?qū)?shù)
A. 3. 1 一階方向?qū)?shù)
A. 3. 2 二階方向?qū)?shù)
A. 4 Taylor展開式
A. 5 分離定理
附錄B Hilbert空間
B. 1 向量空間
B. 2 內(nèi)積空間
B. 3 Hilbert空間
B. 4 算子. 特征值和特征向量
附錄C 概率
C. 1 概率空間
C. 2 隨機變量及其分布
C. 3 隨機變量的數(shù)字特征
C. 4 大數(shù)定律
附錄D 鳶尾屬植物數(shù)據(jù)集
英漢術語對照表