第 1 章 引言 1
1.1 機(jī)器學(xué)習(xí)的目的：從數(shù)據(jù)到知識(shí) 1
1.2 機(jī)器學(xué)習(xí)的基本框架 2
1.2.1 數(shù)據(jù)集合與對(duì)象特性表示 3
1.2.2 學(xué)習(xí)判據(jù) 4
1.2.3 學(xué)習(xí)算法 5
1.2.4 評(píng)估方法 5
1.3 機(jī)器學(xué)習(xí)思想簡(jiǎn)論 5
延伸閱讀 7
習(xí)題 8
參考文獻(xiàn) 9
第 2 章 歸類(lèi)理論 11
2.1 類(lèi)表示與類(lèi)表示公理 13
2.2 歸類(lèi)公理 17
2.3 歸類(lèi)結(jié)果分類(lèi) 20
2.4 歸類(lèi)方法設(shè)計(jì)準(zhǔn)則 22
2.4.1 類(lèi)一致性準(zhǔn)則 23
2.4.2 類(lèi)緊致性準(zhǔn)則 24
2.4.3 類(lèi)分離性準(zhǔn)則 25
2.4.4 奧卡姆剃刀準(zhǔn)則 26
討論 28
延伸閱讀 29
習(xí)題 30
參考文獻(xiàn) 32

第 3 章 密度估計(jì) 33
3.1 密度估計(jì)的參數(shù)方法 33
3.1.1 最大似然估計(jì) 33
3.1.2 貝葉斯估計(jì) 35
3.2 密度估計(jì)的非參數(shù)方法 39
3.2.1 直方圖 39
3.2.2 核密度估計(jì) 39
3.2.3 K 近鄰密度估計(jì)法 40
延伸閱讀 40
習(xí)題 41
參考文獻(xiàn) 41
第 4 章 回歸 43
4.1 線性回歸 43
4.2 嶺回歸 47
4.3 Lasso 回歸 48
討論 51
習(xí)題 52
參考文獻(xiàn) 52
第 5 章 單類(lèi)數(shù)據(jù)降維 55
5.1 主成分分析 56
5.2 非負(fù)矩陣分解 58
5.3 字典學(xué)習(xí)與稀疏表示 59
5.4 局部線性嵌入 61
5.5 多維度尺度分析與等距映射 64
5.6 典型關(guān)聯(lián)分析 66
5.7 隨機(jī)鄰域嵌入及其擴(kuò)展 68
5.7.1 隨機(jī)鄰域嵌入 68
5.7.2 t-SNE 70
討論 71
習(xí)題 71
參考文獻(xiàn) 72

第 6 章 聚類(lèi)理論 73
6.1 聚類(lèi)問(wèn)題表示及相關(guān)定義 73
6.2 聚類(lèi)算法設(shè)計(jì)準(zhǔn)則 74
6.2.1 類(lèi)緊致性準(zhǔn)則和聚類(lèi)不等式 74
6.2.2 類(lèi)分離性準(zhǔn)則和重合類(lèi)非穩(wěn)定假設(shè) 76
6.2.3 類(lèi)一致性準(zhǔn)則和迭代型聚類(lèi)算法 77
6.3 聚類(lèi)有效性 77
6.3.1 外部方法 77
6.3.2 內(nèi)蘊(yùn)方法 79
延伸閱讀 80
習(xí)題 81
參考文獻(xiàn) 81
第 7 章 聚類(lèi)算法 85
7.1 樣例理論：圖聚類(lèi)算法 85
7.1.1 層次聚類(lèi)算法 86
7.1.2 HB 聚類(lèi)算法 88
7.1.3 SATB 聚類(lèi)算法 90
7.2 原型理論：點(diǎn)原型聚類(lèi)算法 92
7.2.1 C 均值算法 93
7.2.2 模糊 C 均值 95
7.2.3 最大熵 C 均值算法 97
7.3 基于密度估計(jì)的聚類(lèi)算法 99
7.3.1 基于參數(shù)密度估計(jì)的聚類(lèi)算法 99
7.3.2 基于無(wú)參數(shù)密度估計(jì)的聚類(lèi)算法 107
延伸閱讀 117
習(xí)題 118
參考文獻(xiàn) 118
第 8 章 分類(lèi)理論 121
8.1 分類(lèi)及相關(guān)定義 121
8.2 從歸類(lèi)理論到經(jīng)典分類(lèi)理論 122
8.2.1 PAC 理論 123
8.2.2 統(tǒng)計(jì)學(xué)習(xí)理論 125

8.3 分類(lèi)測(cè)試公理 128
8.4 分類(lèi)性能評(píng)估 129
討論 130
習(xí)題 131
參考文獻(xiàn) 131
第 9 章 基于單類(lèi)的分類(lèi)算法：神經(jīng)網(wǎng)絡(luò) 133
9.1 分類(lèi)問(wèn)題的回歸表示 133
9.2 人工神經(jīng)網(wǎng)絡(luò) 134
9.2.1 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 134
9.2.2 前饋神經(jīng)網(wǎng)絡(luò) 136
9.3 從參數(shù)密度估計(jì)到受限玻耳茲曼機(jī) 141
9.4 深度學(xué)習(xí) 143
9.4.1 自編碼器 144
9.4.2 卷積神經(jīng)網(wǎng)絡(luò) 145
9.4.3 Transformer 147
討論 149
習(xí)題 150
參考文獻(xiàn) 151
第 10 章 K 近鄰分類(lèi)模型 155
10.1 K 近鄰算法 156
10.1.1 K 近鄰算法問(wèn)題表示 156
10.1.2 K 近鄰分類(lèi)算法 157
10.1.3 K 近鄰分類(lèi)算法的理論錯(cuò)誤率 158
10.2 距離加權(quán)最近鄰算法 159
10.3 K 近鄰算法加速策略 160
10.4 kd 樹(shù) 161
10.5 K 近鄰算法中的參數(shù)問(wèn)題 162
延伸閱讀 163
習(xí)題 164
參考文獻(xiàn) 164
第 11 章 線性分類(lèi)模型 165
11.1 判別函數(shù)和判別模型 165

11.2 線性判別函數(shù) 166
11.3 線性感知機(jī)算法 169
11.3.1 感知機(jī)數(shù)據(jù)表示 169
11.3.2 感知機(jī)算法的歸類(lèi)判據(jù) 170
11.3.3 感知機(jī)分類(lèi)算法 171
11.4 支持向量機(jī) 174
11.4.1 線性可分支持向量機(jī) 174
11.4.2 近似線性可分支持向量機(jī) 177
11.4.3 多類(lèi)分類(lèi)問(wèn)題 180
討論 182
習(xí)題 183
參考文獻(xiàn) 184
第 12 章 對(duì)數(shù)線性分類(lèi)模型 185
12.1 Softmax 回歸 185
12.2 Logistic 回歸 188
討論 190
習(xí)題 191
參考文獻(xiàn) 191
第 13 章 貝葉斯決策 193
13.1 貝葉斯分類(lèi)器 193
13.2 樸素貝葉斯分類(lèi) 194
13.2.1 最大似然估計(jì) 196
13.2.2 貝葉斯估計(jì) 199
13.3 最小化風(fēng)險(xiǎn)分類(lèi) 201
13.4 效用最大化分類(lèi) 203
討論 203
習(xí)題 204
參考文獻(xiàn) 204
第 14 章 決策樹(shù) 205
14.1 決策樹(shù)的類(lèi)表示 205
14.2 信息增益與 ID3 算法 210
14.3 增益比率與 C4.5 算法 212

14.4 Gini 指數(shù)與 CART 算法 213
14.5 決策樹(shù)的剪枝 214
討論 215
習(xí)題 215
參考文獻(xiàn) 216
第 15 章 多類(lèi)數(shù)據(jù)降維 217
15.1 有監(jiān)督特征選擇模型 217
15.1.1 過(guò)濾式特征選擇 218
15.1.2 包裹式特征選擇 219
15.1.3 嵌入式特征選擇 219
15.2 有監(jiān)督特征提取模型 220
15.2.1 線性判別分析 220
15.2.2 二分類(lèi)線性判別分析問(wèn)題 220
15.2.3 二分類(lèi)線性判別分析 221
15.2.4 二分類(lèi)線性判別分析優(yōu)化算法 223
15.2.5 多分類(lèi)線性判別分析 223
延伸閱讀 225
習(xí)題 225
參考文獻(xiàn) 225
第 16 章 多類(lèi)數(shù)據(jù)升維：核方法 227
16.1 核方法 227
16.2 非線性支持向量機(jī) 228
16.2.1 特征空間 228
16.2.2 核函數(shù) 228
16.2.3 常用核函數(shù) 230
16.2.4 非線性支持向量機(jī) 230
16.3 多核方法 231
討論 233
習(xí)題 233
參考文獻(xiàn) 234
第 17 章 多源數(shù)據(jù)學(xué)習(xí) 235
17.1 多源數(shù)據(jù)學(xué)習(xí)的分類(lèi) 235

17.2 單類(lèi)多源數(shù)據(jù)學(xué)習(xí) 235
17.2.1 完整視角下的單類(lèi)多源數(shù)據(jù)學(xué)習(xí) 236
17.2.2 不完整視角下的單類(lèi)多源數(shù)據(jù)學(xué)習(xí) 238
17.3 多類(lèi)多源數(shù)據(jù)學(xué)習(xí) 239
17.4 多源數(shù)據(jù)學(xué)習(xí)中的基本假設(shè) 240
討論 240
習(xí)題 241
參考文獻(xiàn) 241
后記 243
寫(xiě)在《機(jī)器學(xué)習(xí)：從公理到算法》第 4 次印刷之后 247
寫(xiě)在《機(jī)器學(xué)習(xí)：從公理到算法》第 5 次印刷之后 249
索引 251