第1章 數(shù)據(jù)科學(xué)導(dǎo)引 1
1.1 為何學(xué)習(xí)數(shù)據(jù)科學(xué) 1
1.2 何為數(shù)據(jù)科學(xué) 1
1.3 數(shù)據(jù)科學(xué)方法論 2
1.4 數(shù)據(jù)科學(xué)任務(wù) 5
1.4.1 描述 5
1.4.2 估計(jì) 6
1.4.3 分類 6
1.4.4 聚類 6
1.4.5 預(yù)測(cè) 6
1.4.6 關(guān)聯(lián) 7
1.5 習(xí)題 7
第2章 Python和R語(yǔ)言基礎(chǔ) 9
2.1 下載Python 9
2.2 Python編程基礎(chǔ) 10
2.2.1 在Python中使用注釋 10
2.2.2 在Python中執(zhí)行命令 11
2.2.3 在Python中導(dǎo)入軟件包 11
2.2.4 將數(shù)據(jù)引入Python 12
2.2.5 在Python中保存輸出 13
2.2.6 訪問(wèn)Python中的記錄和變量 14
2.2.7 在Python中設(shè)置圖形 16
2.3 下載R和RStudio 18
2.4 R語(yǔ)言編程基礎(chǔ) 19
2.4.1 在R中使用注釋 20
2.4.2 在R中執(zhí)行命令 20
2.4.3 在R中導(dǎo)入軟件包 20
2.4.4 將數(shù)據(jù)導(dǎo)入R 21
2.4.5 在R中保存輸出 23
2.4.6 在R中訪問(wèn)記錄和變量 24
2.5 習(xí)題 26
第3章 數(shù)據(jù)準(zhǔn)備 29
3.1 銀行營(yíng)銷數(shù)據(jù)集 29
3.2 問(wèn)題理解階段 29
3.2.1 明確闡明項(xiàng)目目標(biāo) 29
3.2.2 將這些目標(biāo)轉(zhuǎn)化為數(shù)據(jù)科學(xué)問(wèn)題 30
3.3 數(shù)據(jù)準(zhǔn)備階段 30
3.4 添加索引字段 31
3.4.1 如何使用Python添加索引字段 31
3.4.2 如何使用R添加索引字段 32
3.5 更改誤導(dǎo)性字段值 33
3.5.1 如何使用Python更改誤導(dǎo)性字段值 33
3.5.2 如何使用R更改誤導(dǎo)性字段值 35
3.6 將分類數(shù)據(jù)重新表示為數(shù)字 36
3.6.1 如何使用Python重新表達(dá)分類字段值 37
3.6.2 如何使用R重新表達(dá)分類字段值 38
3.7 標(biāo)準(zhǔn)化數(shù)字字段 39
3.7.1 如何使用Python標(biāo)準(zhǔn)化數(shù)字字段 40
3.7.2 如何使用R標(biāo)準(zhǔn)化數(shù)字字段 40
3.8 識(shí)別異常值 40
3.8.1 如何使用Python識(shí)別異常值 41
3.8.2 如何使用R識(shí)別異常值 42
3.9 習(xí)題 43
第4章 探索性數(shù)據(jù)分析 47
4.1 EDA對(duì)比HT 47
4.2 疊加了response的條形圖 47
4.2.1 如何使用Python構(gòu)建疊加的條形圖 49
4.2.2 如何使用R構(gòu)建疊加的條形圖 50
4.3 列聯(lián)表 51
4.3.1 如何使用Python構(gòu)建列聯(lián)表 52
4.3.2 如何使用R構(gòu)建列聯(lián)表 53
4.4 疊加有響應(yīng)的柱狀圖 54
4.4.1 如何使用Python構(gòu)建疊加柱狀圖 55
4.4.2 如何使用R構(gòu)建疊加柱狀圖 58
4.5 基于預(yù)測(cè)值的分箱 59
4.5.1 如何使用Python基于預(yù)測(cè)值執(zhí)行分箱 61
4.5.2 如何使用R基于預(yù)測(cè)值執(zhí)行分箱 63
4.6 習(xí)題 64
第5章 為建模數(shù)據(jù)做準(zhǔn)備 69
5.1 迄今完成的任務(wù) 69
5.2 數(shù)據(jù)分區(qū) 69
5.2.1 如何使用Python對(duì)數(shù)據(jù)進(jìn)行分區(qū) 70
5.2.2 如何使用R對(duì)數(shù)據(jù)進(jìn)行分區(qū) 71
5.3 驗(yàn)證數(shù)據(jù)分區(qū) 72
5.4 平衡訓(xùn)練數(shù)據(jù)集 73
5.4.1 如何使用Python平衡訓(xùn)練數(shù)據(jù)集 73
5.4.2 如何使用R平衡訓(xùn)練數(shù)據(jù)集 75
5.5 建立模型性能基準(zhǔn) 76
5.6 習(xí)題 78
第6章 決策樹(shù) 81
6.1 決策樹(shù)簡(jiǎn)介 81
6.2 分類與回歸樹(shù) 83
6.2.1 如何使用Python構(gòu)建CART決策樹(shù) 83
6.2.2 如何使用R構(gòu)建CART決策樹(shù) 86
6.3 用于構(gòu)建決策樹(shù)的C5.0算法 88
6.3.1 如何使用Python構(gòu)建C5.0決策樹(shù) 89
6.3.2 如何使用R構(gòu)建C5.0決策樹(shù) 90
6.4 隨機(jī)森林 91
6.4.1 如何使用Python構(gòu)建隨機(jī)森林 92
6.4.2 如何使用R構(gòu)建隨機(jī)森林 92
6.5 習(xí)題 93
第7章 模型評(píng)估 97
7.1 模型評(píng)估簡(jiǎn)介 97
7.2 分類評(píng)價(jià)措施 97
7.3 靈敏度和特異度 99
7.4 精確度、召回率和Fβ分?jǐn)?shù) 99
7.5 模型評(píng)估方法 100
7.6 模型評(píng)估的應(yīng)用示例 100
7.7 說(shuō)明不對(duì)稱的錯(cuò)誤成本 104
7.8 比較考慮和不考慮不相等錯(cuò)誤成本的模型 106
7.9 數(shù)據(jù)驅(qū)動(dòng)的錯(cuò)誤成本 107
7.10 習(xí)題 110
第8章 樸素貝葉斯分類 113
8.1 樸素貝葉斯簡(jiǎn)介 113
8.2 貝葉斯定理 113
8.3 最大化后驗(yàn)假設(shè) 114
8.4 分類條件獨(dú)立性 114
8.5 樸素貝葉斯分類的應(yīng)用 115
8.5.1 Python中的樸素貝葉斯 120
8.5.2 R中的樸素貝葉斯 123
8.6 習(xí)題 126
第9章 神經(jīng)網(wǎng)絡(luò) 129
9.1 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 129
9.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 129
9.3 連接權(quán)重和組合函數(shù) 131
9.4 sigmoid激活函數(shù) 133
9.5 反向傳播 133
9.6 神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用 134
9.7 解釋神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重 136
9.8 如何在R中使用神經(jīng)網(wǎng)絡(luò) 137
9.9 習(xí)題 138
第10章 聚類 141
10.1 聚類的定義 141
10.2 k均值聚類算法簡(jiǎn)介 142
10.3 k均值聚類的應(yīng)用 143
10.4 簇驗(yàn)證 144
10.5 如何使用Python執(zhí)行k均值聚類 145
10.6 如何使用R執(zhí)行k均值聚類 147
10.7 習(xí)題 149
第11章 回歸建模 151
11.1 估計(jì)任務(wù) 151
11.2 回歸建模描述 151
11.3 多元回歸建模的應(yīng)用 152
11.4 如何使用Python執(zhí)行多重回歸建模 154
11.5 如何使用R執(zhí)行多重回歸建模 156
11.6 用于估計(jì)的模型評(píng)估 158
11.6.1 如何使用Python進(jìn)行估計(jì)模型評(píng)估 159
11.6.2 如何使用R進(jìn)行估計(jì)模型評(píng)估 161
11.7 逐步回歸 162
11.8 回歸的基準(zhǔn)模型 163
11.9 習(xí)題 164
第12章 降維 169
12.1 降維的必要性 169
12.2 多重共線性 170
12.3 使用方差膨脹因子識(shí)別多重共線性 173
12.3.1 如何使用Python識(shí)別多重共線性 174
12.3.2 如何使用R識(shí)別多重共線性 175
12.4 主成分分析 177
12.5 主成分分析的應(yīng)用 178
12.6 我們應(yīng)該提取多少分量 179
12.6.1 特征值準(zhǔn)則 179
12.6.2 方差解釋比例的準(zhǔn)則 180
12.7 執(zhí)行k = 4的PCA 180
12.8 主成分分析的驗(yàn)證 181
12.9 如何使用Python進(jìn)行主成分分析 182
12.10 如何使用R進(jìn)行主成分分析 184
12.11 何時(shí)多重共線性不是問(wèn)題 187
12.12 習(xí)題 187
第13章 廣義線性模型 191
13.1 廣義線性模型概述 191
13.2 線性回歸是一種廣義線性模型 192
13.3 作為廣義線性模型的邏輯回歸 192
13.4 邏輯回歸模型的應(yīng)用 193
13.4.1 如何使用Python執(zhí)行邏輯回歸 194
13.4.2 如何使用R執(zhí)行邏輯回歸 195
13.5 泊松回歸 196
13.6 泊松回歸模型的應(yīng)用 197
13.6.1 如何使用Python執(zhí)行泊松回歸 197
13.6.2 如何使用R執(zhí)行泊松回歸 199
13.7 習(xí)題 199
第14章 關(guān)聯(lián)規(guī)則 203
14.1 關(guān)聯(lián)規(guī)則簡(jiǎn)介 203
14.2 關(guān)聯(lián)規(guī)則挖掘的簡(jiǎn)單示例 203
14.3 支持度、信任度和提升度 204
14.4 挖掘關(guān)聯(lián)規(guī)則 206
14.5 確認(rèn)我們的指標(biāo) 211
14.6 置信差準(zhǔn)則 212
14.7 置信商準(zhǔn)則 213
14.8 習(xí)題 215
附錄A 數(shù)據(jù)匯總與可視化 219