目錄
第一篇 機器學習數(shù)學基礎
第1章 線性代數(shù) 1
1.1 基本術語 1
1.1.1 標量與量 1
1.1.2 柜陣 3
1.1.3 張量 5
1.2 向量與矩陣的計算 6
1.2.1 向量與矩陣的加法和減法 6
1.2.2 向量內(nèi)積 9
1.2.3 向量外積 11
1.2.4 矩陣乘法 12
1.2.5 矩陣轉(zhuǎn)置 15
1.3 特殊類型的向量和矩陣 16
1.3.1 單位向量 16
1.3.2 單位矩陣和逆矩 16
1.3.3 對角矩陣 18
1.3.4 對稱辦 19
1.3.5 正交向量與正交矩陣 20
1.4 向量間的距離 21
1.4.1 歐氏距離 21
1.4.2 曼哈頓距離 23
1.4.3 切比雪夫距離 23
1.4.4 夾角余弦距離 24
1.5 線性變換和特征分解 25
1.5.1 線性映射 25
1.5.2 特征值與特征向量 27
1.5.3 特征分解與對角化 28
1.5.4 奇異值分解 30
第2章 概率與統(tǒng)計基礎 32
2.1 概率的基本思想 32
2.1.1 試驗結(jié)果與概率 32
2.1.2 概率的三個公理 35
2.1.3 機器學習與概率統(tǒng)計 36
2.2 條件概率和事件獨立性 37
2.2.1 條件概率 37
2.2.2 事件獨立性 38
2.2.3 貝葉斯定理 39
2.3 隨機變量 41
2.3.1 離散型隨機變量和連續(xù)型隨機變量 41
2.3.2 隨機變量的數(shù)字特征 43
2.3.3 隨機變量的聯(lián)合分布 46
2.4 統(tǒng)計基礎 47
2.4.1 總體與采樣 47
2.4.2 描述性統(tǒng)計量 48
2.4.3 置信區(qū)間和置信水平 50
2.4.4 參數(shù)估計 51
2.4.5 假設檢驗 53
2.5 從數(shù)據(jù)中推斷概率模型 57
2.5.1 矩估計 57
2.5.2 最小二乘估計 57
2.5.3 最大似然估計 61
2.5.4 貝葉斯估計 62
第二篇 機器學習
第3章 機器學習基礎 64
3.1 機器學習簡介 64
3.1.1 機器學習基本概念 64
3.1.2 機器學習的分類 69
3.1.3 機器學習與人工智能、深度學習的關系 74
3.1.4 機器學習的路徑 77
3.2 機器學習任務 79
3.2.1 分類任務 79
3.2.2 回歸任務 80
3.2.3 聚類任務 81
3.3 提取高維空間中的重要關系 82
3.3.1 降維技術 82
3.3.2 主成分分析 84
3.3.3 線性判別分析 87
3.3.4 局部線性嵌入 90
3.4 欠擬合與過擬合 94
3.4.1 損失函數(shù)與評估函數(shù) 95
3.4.2 欠擬合與過擬合的識別 97
3.4.3 解決欠擬合與過擬合 103
第4章 分類算法 105
4.1 分類性能評估 105
4.1.1 分類模型性能評價指標 105
4.1.2 分類模型性能評價方法 112
4.1.3 分類模型參數(shù)調(diào)優(yōu) 118
4.2 決策樹算& 121
4.2.1 樹模型的發(fā)展歷程 121
4.2.2 決策樹分類的基本流程 123
4.2.3 特征選擇問題 124
4.2.4 經(jīng)典決策樹模型 129
4.2.5 提升決策樹模型性能 130
4.3 k-近鄰算法 135
4.3.1 k-近鄰算法原理和流程 135
4.3.2使用碰鄰算法進行分類應用 136
4.3.3 k值選擇問題 137
4.4 支持向量機 140
4.4.1 線性支持向量機 141
4.4.2 軟間隔支持向量機 144
4.4.3 核函數(shù)和非線性支持向量機 146
4.4.4 多分類支持向量機 152
第5章 聚類算法 155
5.1 聚類算法評 156
5.1.1 內(nèi)部評價指標 156
5.1.2 外部評價指標 161
5.1.3 直觀評估方法 164
5.2 劃分法聚類算法 164
5.2.1 免-Means算法原理和流程 165
5.2.2 k值選擇問題 167
5.2.3 優(yōu)化和挑戰(zhàn) 170
5.3 層次聚類算法 173
5.3.1 凝聚型層次聚類 173
5.3.2 分裂型層次聚類 176
5.3.3 簇數(shù)選擇問題 177
5.4 基于密度的聚類算法 178
5.4.1 基本概念 179
5.4.2 DBSCAN算法原理和流程 180
5.4.3 DBSCAN 聚類算法變種OPTICS 183
5.5 聚類算法應用 189
第6章 回歸算法 192
6.1 回歸模型的評估 192
6.1.1 絕對誤差指標 193
6.1.2 相對誤差指標 195
6.2 線性回歸模型 197
6.2.1 簡單線性_模型 197
6.2.2 多元線性回歸模型 198
6.2.3 線性回歸模型的訓練 198
6.3 嶺回歸 200
6.4 Lasso回歸 202
第三篇 神經(jīng)網(wǎng)絡與深度學習
第7章 神經(jīng)網(wǎng)絡 209
7.1 神經(jīng)元模型 210
7.1.1 人工神經(jīng)元模S 210
7.1.2 激活函數(shù) 212
7.2 網(wǎng)絡結(jié)構(gòu) 214
7.2.1 單層神經(jīng)網(wǎng)絡 215
7.2.2 淺層神經(jīng)網(wǎng)絡 218
7.2.3 深層神經(jīng)網(wǎng)絡 218
7.3 模型訓練 219
7.3.1 損失函數(shù)的選取 219
7.3.2 參數(shù)優(yōu)化 222
7.3.3 前向傳播與反向傳播 227
7.3.4 模型優(yōu)化避免過擬合 231
7.3.5 模型保存與模型部署 233
第8章 常見神經(jīng)網(wǎng)絡 235
8.1 卷積神經(jīng)網(wǎng)絡 235
8.1.1 核心概念 235
8.1.2 架構(gòu)詳解 237
8.1.3 損失函數(shù)和優(yōu)化算法 240
8.1.4 應用案例 241
8.2 生成對抗醜 242
8.2.1 基本結(jié)構(gòu) 243
8.2.2 生成器和判別器的訓練 243
8.2.3 模式崩潰 S 244
8.2.4應用案例 246
8.3 Transformer 248
8.3.1 基本架構(gòu) 249
8.3.2 算法優(yōu)化 251
8.3.3 應用案例 252
第9章 深度學習最新發(fā)展 254
9.1 遷移學習 254
9.1.1 常見遷移學習方法 254
9.1.2 遷移學習的應用 255
9.1.3 遷移學習未來展望 256
9.2 強化學習 258
9.2.1 強化學習核心要素 258
9.2.2 強化學習的架構(gòu) 259
9.2.3 馬爾可夫決策過程 259
9.2.4 常見強化學習算法 260
9.2.5 強化學習未來展望 263
9.3 模型蒸饋 264
9.3.1 模型蒸餾原理 264
9.3.2 蒸餾過程與方法 266
9.3.3 模型蒸餾損失函數(shù) 267
9.3.4 模型蒸餾未來展望 269
9.4 大語言模型 270
9.4.1 大語言模型發(fā)展歷程 271
9.4.2 大語言模型 272
9.4.3 大語言模型的訓練方法 273
9.4.4 大語言模型未來展望 274
參考文獻 276