讀者對象:數學與應用數學、信息與計算科學、統(tǒng)計學、計算機科學與技術等理工科專業(yè)的高年級本科生, 作為機器學習、神經網絡或深度學習的理論教材或實驗實踐配套教材(加 * 的內容可供學生自主學習),人工智能領域或相關研究領域的研究生,對人工智能感興趣的工程技術人員
本書堅持理論教學環(huán)節(jié)與實驗實踐教學環(huán)節(jié)并重的教育理念, 不僅詳細探討了機器學習和深度學習原理, 即“模型、學習準則和優(yōu)化算法”, 而且對每一個模型均輔以 Python “自編碼”算法設計, 詳細再現了從原理分析到算法設計與應用的過程和思想, 使理論分析、優(yōu)化計算與算法設計三者交互映襯, 便于讀者學習掌握.
本書共包含 16 章, 既涵蓋了經典的機器學習模型, 如線性模型、k-近鄰、支持向量機、決策樹、貝葉斯模型、集成學習、聚類等, 又涵蓋了深度學習領域新興優(yōu)秀的學習模型, 如卷積神經網絡、循環(huán)神經網絡、自然語言處理和生成式深度學習等.
更多科學出版社服務，請掃碼獲取。
王娟，博士，教授，碩士生導師，國家級一流本科專業(yè)負責人，國家級一流本科課程負責人，中原領軍人才，中原教學名師，河南省高等學校教學名師，河南省教育廳學術技術帶頭人，河南省高校青年骨干教師，信陽師范大學第一屆校長教學質量獎獲得者。2003.06在信陽師范大學數學系獲學士學位， 2009.07在鄭州大學數學與統(tǒng)計學院獲碩士學位，2012.07在北京信息控制研究所獲博士學位。2012年獲首屆全國青年教師教學大獎賽理科組一等獎，同年獲河南省教育系統(tǒng)教學技能競賽特等獎，并被授予“河南省教學標兵”稱號，2013年被授予河南省“五一勞動獎章”、“河南省百名職工技術英杰”，2015年被評為河南省“文明教師”，2019年獲河南省先進工作者。主要從事生物數學、控制理論與應用以及數學教育等方面的研究。主要從事生物數學、控制理論與應用以及數學教育等方面的研究。近年來，主持完成國家自然科學基金項目1項、省部級項目2項等
目錄
前言
第1章Python與機器學習基礎1
1.1Python語言及其基本語法2
1.1.1Python語言與開發(fā)環(huán)境2
1.1.2Python語法與面向數組計算4
1.2Python模塊化設計與感知機10
1.2.1Python模塊化設計10
1.2.2感知機模型13
1.2.3感知機的算法設計16
1.3機器學習與深度學習基礎25
1.3.1機器學習簡述25
1.3.2機器學習的類型29
1.3.3深度學習簡述31
1.4過擬合與泛化性能33
1.4.1過擬合33
1.4.2偏差與方差37
1.5習題與實驗40
1.6本章小結41
1.7參考文獻41
第2章模型評估與多分類學習43
2.1評估方法43
2.1.1留出法44
2.1.2k折交叉驗證法45
2.1.3自助法47
2.1.4調參與最終模型49
2.1.5Hyperopt自動化超參數調優(yōu)51
2.2性能度量55
2.2.1性能度量指標55
2.2.2P-R曲線57
2.2.3ROC曲線60
2.2.4代價敏感錯誤率與代價曲線62
2.2.5性能度量算法設計64
2.3多分類學習73
2.3.1多分類學習策略73
2.3.2多分類學習的算法設計74
2.4習題與實驗79
2.5本章小結79
2.6參考文獻80
第3章線性回歸81
3.1線性回歸模型的閉式解82
3.1.1學習準則與閉式解82
3.1.2可決系數84
3.1.3算法設計與應用85
3.2梯度下降法迭代優(yōu)化91
3.2.1梯度下降法與參數更新公式91
3.2.2算法設計與應用93
3.3多項式回歸98
3.3.1模型建立與算法設計98
3.3.2學習曲線101
3.4線性回歸的正則化方法104
3.4.1Ridge回歸及其算法設計106
3.4.2LASSO回歸及其算法設計110
3.4.3ElasticNet回歸及其算法設計121
3.5習題與實驗124
3.6本章小結125
3.7參考文獻126
第4章邏輯回歸127
4.1二分類學習任務127
4.1.1邏輯回歸模型與交叉熵損失函數.127
4.1.2梯度下降法及其加速算法130
4.1.3線性收斂的隨機優(yōu)化算法133
4.1.4二階優(yōu)化的擬牛頓算法135
4.1.5二分類算法設計與應用139
4.2多分類學習任務154
4.2.1Softmax回歸和學習策略155
4.2.2多分類算法設計與實現158
4.3習題與實驗165
4.4本章小結165
4.5參考文獻166
第5章判別分析與主成分分析167
5.1LDA二分類問題167
5.1.1廣義瑞利商和LDA模型求解168
5.1.2LDA二分類問題算法171
5.2LDA多分類任務的降維與預測174
5.2.1LDA多分類模型建立和求解174
5.2.2LDA多分類任務的降維與預測算法177
5.3二次判別分析182
5.4主成分分析184
5.4.1主成分分析原理184
5.4.2QR正交分解法求實對稱矩陣特征值與特征向量188
5.4.3主成分分析算法設計191
5.5核主成分分析195
5.6習題與實驗199
5.7本章小結200
5.8參考文獻201
第6章決策樹202
6.1特征劃分選擇與連續(xù)值處理202
6.1.1信息熵203
6.1.2離散特征變量的劃分標準204
6.1.3連續(xù)特征變量的劃分標準與分箱處理209
6.1.4特征劃分選擇標準的算法設計213
6.2決策樹算法設計217
6.3剪枝處理226
6.4基于CART的回歸樹231
6.5習題與實驗239
6.6本章小結241
6.7參考文獻242
第7章k-近鄰243
7.1距離度量245
7.2kd樹的建立與搜索246
7.3k-近鄰算法設計249
7.4習題與實驗259
7.5本章小結260
7.6參考文獻261
第8章貝葉斯分類器262
8.1樸素貝葉斯分類器263
8.1.1樸素貝葉斯分類器原理263
8.1.2樸素貝葉斯分類器算法設計266
8.2半樸素貝葉斯分類器273
8.2.1半樸素貝葉斯分類器原理273
8.2.2基于AODE算法的半樸素貝葉斯算法設計275
8.3習題與實驗280
8.4本章小結281
8.5參考文獻281
第9章支持向量機282
9.1線性可分支持向量機282
9.1.1間隔與支持向量282
9.1.2對偶問題與KKT條件284
9.1.3線性可分支持向量機模型286
9.2軟間隔與線性支持向量機288
9.3核函數與非線性支持向量機290
9.4SMO與Pegasos優(yōu)化算法291
9.4.1SMO算法291
9.4.2Pegasos算法295
9.5支持向量機的算法設計296
9.6支持向量機回歸310
9.6.1SVR模型與學習310
9.6.2SVR算法設計313
9.7習題與實驗321
9.8本章小結321
9.9參考文獻322
第10章集成學習324
10.1Boosting族算法326
10.1.1AdaBoost分類及其變體算法326
10.1.2AdaBoost回歸336
10.1.3回歸問題的提升樹與GBDT算法340
10.1.4分類問題的GBDT算法346
10.2Bagging與隨機森林350
10.2.1Bagging350
10.2.2隨機森林356
10.3XGBoost364
10.3.1XGBoost模型與學習364
10.3.2XGBoost分類與回歸算法.369
10.4習題與實驗.377
10.5本章小結377
10.6參考文獻378
第11章聚類379
11.1聚類的性能度量和距離度量379
11.2原型聚類385
11.2.1k-means聚類386
11.2.2學習向量量化394
11.2.3高斯混合聚類398
11.3密度聚類405
11.4層次聚類410
11.5習題與實驗415
11.6本章小結415
11.7參考文獻416
第12章前饋神經網絡417
12.1單層神經網絡419
12.2BP神經網絡423
12.2.1BP神經網絡訓練原理423
12.2.2Affine層設計430
12.2.3BP神經網絡架構設計431
12.2.4加速優(yōu)化學習方法440
12.2.5基于優(yōu)化學習方法的BP神經網絡算法設計446
12.3神經網絡多分類問題449
12.4深度神經網絡學習453
12.4.1梯度消失和激活函數454
12.4.2網絡權重初始化方法458
12.4.3過擬合和節(jié)點丟棄460
12.4.4批歸一化465
12.5徑向基函數神經網絡472
12.6習題與實驗477
12.7本章小結479
12.8參考文獻479
第13章卷積神經網絡481
13.1卷積層482
13.2池化層488
13.3卷積神經網絡的算法設計490
13.3.1卷積層的算法設計490
13.3.2池化層的算法設計492
13.3.3CNN算法設計架構494
13.4習題與實驗503
13.5本章小結505
13.6參考文獻505
第14章循環(huán)神經網絡與自然語言處理506
14.1簡單循環(huán)神經網絡模型506
14.1.1S-RNN模型與學習506
14.1.2S-RNN算法設計511
14.2長短期記憶網絡520
14.2.1LSTM模型與學習520
14.2.2LSTM算法設計523
14.3門控循環(huán)單元網絡530
14.3.1GRU模型與學習530
14.3.2GRU算法設計532
14.4自然語言處理537
14.4.1word2vec模型537
14.4.2Seq2Seq模型541
14.4.3Attention機制551
14.5習題與實驗561
14.6本章小結561
14.7參考文獻562
第15章自組織映射神經網絡563
15.1SOM網絡模型和學習564
15.2SOM算法設計566
15.3習題與實驗575
15.4本章小結576
15.5參考文獻576
第16章生成式深度學習577
16.1變分自編碼器577
16.1.1VAE模型和學習578
16.1.2VAE算法設計583
16.2生成式對抗網絡593
16.2.1GAN模型和學習594
16.2.2GAN算法設計596
16.3深度卷積生成式對抗網絡DCGAN607
16.4習題與實驗613
16.5本章小結613
16.6參考文獻614
書單推薦
