第1章 貝葉斯優(yōu)化簡(jiǎn)介 1
1.1 尋找昂貴黑盒函數(shù)的最優(yōu)解 2
1.1.1 昂貴的黑盒優(yōu)化問(wèn)題示例：超參數(shù)調(diào)優(yōu) 2
1.1.2 昂貴黑盒優(yōu)化問(wèn)題 4
1.1.3 其他昂貴黑盒優(yōu)化問(wèn)題的示例 5
1.2 引入貝葉斯優(yōu)化 6
1.2.1 使用高斯過(guò)程進(jìn)行建模 7
1.2.2 使用貝葉斯優(yōu)化策略進(jìn)行決策 10
1.2.3 將高斯過(guò)程和優(yōu)化策略結(jié)合起來(lái)形成優(yōu)化循環(huán) 11
1.2.4 貝葉斯優(yōu)化的實(shí)際應(yīng)用 13
1.3 你將從本書(shū)中學(xué)到什么 18
1.4 本章小結(jié) 19

第Ⅰ部分 使用高斯過(guò)程建模
第2章 高斯過(guò)程作為函數(shù)上的分布 23
2.1 如何以貝葉斯方式出售你的房子 25
2.2 運(yùn)用多元高斯分布對(duì)相關(guān)性建模并進(jìn)行貝葉斯更新 27
2.2.1 使用多元高斯分布聯(lián)合建模多個(gè)變量 27
2.2.2 更新多元高斯分布 30
2.2.3 使用高維高斯分布建模多個(gè)變量 33
2.3 從有限維高斯分布到無(wú)限維高斯分布 35
2.4 在Python中實(shí)現(xiàn)高斯過(guò)程 40
2.4.1 設(shè)置訓(xùn)練數(shù)據(jù) 40
2.4.2 實(shí)現(xiàn)一個(gè)高斯過(guò)程類 42
2.4.3 使用高斯過(guò)程進(jìn)行預(yù)測(cè) 44
2.4.4 高斯過(guò)程的預(yù)測(cè)可視化 45
2.4.5 超越一維目標(biāo)函數(shù) 48
2.5 練習(xí)題 51
2.6 本章小結(jié) 52
第3章 通過(guò)均值和協(xié)方差函數(shù)定制高斯過(guò)程 53
3.1 貝葉斯模型中先驗(yàn)的重要性 54
3.2 將已知的信息融入高斯過(guò)程 57
3.3 使用均值函數(shù)定義函數(shù)行為 58
3.3.1 使用零均值函數(shù)作為基本策略 59
3.3.2 使用常數(shù)函數(shù)和梯度下降法 61
3.3.3 使用線性函數(shù)和梯度下降法 65
3.3.4 通過(guò)實(shí)現(xiàn)自定義均值函數(shù)來(lái)使用二次函數(shù) 67
3.4 用協(xié)方差函數(shù)定義變異性和平滑性 70
3.4.1 協(xié)方差函數(shù)的尺度設(shè)置 70
3.4.2 使用不同的協(xié)方差函數(shù)控制平滑度 73
3.4.3 使用多個(gè)長(zhǎng)度尺度來(lái)模擬不同水平的變異性 76
3.5 練習(xí)題 79
3.6 本章小結(jié) 80

第Ⅱ部分 使用貝葉斯優(yōu)化進(jìn)行決策
第4章 通過(guò)基于改進(jìn)的策略優(yōu)化最佳結(jié)果 85
4.1 在貝葉斯優(yōu)化中探索搜索空間 86
4.1.1 貝葉斯優(yōu)化循環(huán)與策略 87
4.1.2 平衡探索與利用 96
4.2 在貝葉斯優(yōu)化中尋找改進(jìn) 98
4.2.1 使用高斯過(guò)程衡量改進(jìn) 99
4.2.2 計(jì)算改進(jìn)的概率 101
4.2.3 實(shí)施PoI策略 106
4.3 優(yōu)化期望改進(jìn)值 109
4.4 練習(xí)題 112
4.4.1 練習(xí)題1：使用PoI鼓勵(lì)探索 112
4.4.2 練習(xí)題2：使用BayesOpt進(jìn)行超參數(shù)調(diào)優(yōu) 112
4.5 本章小結(jié) 114
第5章 使用類似多臂老虎機(jī)的策略探索搜索空間 117
5.1 多臂老虎機(jī)問(wèn)題簡(jiǎn)介 118
5.1.1 在游樂(lè)場(chǎng)尋找最佳老虎機(jī) 118
5.1.2 從多臂老虎機(jī)到貝葉斯優(yōu)化 121
5.2 在不確定性下保持樂(lè)觀：上置信界策略 122
5.2.1 不確定性下的樂(lè)觀主義 123
5.2.2 平衡探索與利用 125
5.2.3 使用BoTorch實(shí)現(xiàn) 127
5.3 使用湯普森采樣策略進(jìn)行智能采樣 129
5.3.1 用一個(gè)樣本來(lái)代表未知量 129
5.3.2 在BoTorch中實(shí)現(xiàn)湯普森采樣策略 132
5.4 練習(xí)題 137
5.4.1 練習(xí)題1：為UCB策略設(shè)置探索計(jì)劃 137
5.4.2 練習(xí)題2：使用貝葉斯優(yōu)化進(jìn)行超參數(shù)調(diào)優(yōu) 138
5.5 本章小結(jié) 138
第6章 使用基于熵的信息論策略 141
6.1 使用信息論衡量知識(shí) 142
6.1.1 使用熵來(lái)衡量不確定性 142
6.1.2 使用熵尋找遙控器 144
6.1.3 使用熵的二分搜索 147
6.2 貝葉斯優(yōu)化中的熵搜索 152
6.2.1 使用信息論尋找最優(yōu)解 152
6.2.2 使用BoTorch實(shí)現(xiàn)熵搜索 156
6.3 練習(xí)題 158
6.3.1 練習(xí)題1：將先驗(yàn)知識(shí)融入熵搜索 158
6.3.2 練習(xí)題2：用于超參數(shù)調(diào)優(yōu)的貝葉斯優(yōu)化 160
6.4 本章小結(jié) 161

第Ⅲ部分 將貝葉斯優(yōu)化擴(kuò)展到特定設(shè)置
第7章 使用批量?jī)?yōu)化最大化吞吐量 165
7.1 同時(shí)進(jìn)行多個(gè)函數(shù)評(píng)估 166
7.1.1 并行利用所有可用資源 166
7.1.2 為什么不在批量設(shè)置中使用常規(guī)的貝葉斯優(yōu)化策略 168
7.2 計(jì)算一批點(diǎn)的改進(jìn)和上置信界 170
7.2.1 將優(yōu)化啟發(fā)式方法擴(kuò)展到批量設(shè)置 170
7.2.2 實(shí)現(xiàn)批量改進(jìn)和UCB策略 176
7.3 練習(xí)題1：通過(guò)重采樣將TS擴(kuò)展到批量設(shè)置 183
7.4 使用信息論計(jì)算一批點(diǎn)的值 184
7.4.1 通過(guò)循環(huán)求精找到最具信息量的批量點(diǎn)集 184
7.4.2 使用BoTorch實(shí)現(xiàn)批量熵搜索 186
7.5 練習(xí)題2：優(yōu)化飛機(jī)設(shè)計(jì) 189
7.6 本章小結(jié) 192
第8章 通過(guò)約束優(yōu)化滿足額外的約束條件 193
8.1 在約束優(yōu)化問(wèn)題中考慮約束條件 194
8.1.1 約束條件對(duì)優(yōu)化問(wèn)題解的影響 194
8.1.2 約束感知的貝葉斯優(yōu)化框架 197
8.2 貝葉斯優(yōu)化中的約束感知決策 198
8.3 練習(xí)題1：手動(dòng)計(jì)算約束EI 203
8.4 使用BoTorch實(shí)現(xiàn)約束EI 204
8.5 練習(xí)題2：飛機(jī)設(shè)計(jì)的約束優(yōu)化 208
8.6 本章小結(jié) 210
第9章 通過(guò)多保真度優(yōu)化平衡效用和成本 211
9.1 使用低保真度近似來(lái)研究成本高昂的現(xiàn)象 212
9.2 高斯過(guò)程的多保真度建模 216
9.2.1 格式化多保真度數(shù)據(jù)集 216
9.2.2 訓(xùn)練一個(gè)多保真度高斯過(guò)程 220
9.3 在多保真度優(yōu)化中平衡信息和成本 224
9.3.1 建模不同保真度查詢的成本 225
9.3.2 優(yōu)化每一美元信息量以指導(dǎo)優(yōu)化 226
9.4 在多保真度優(yōu)化中衡量性能 232
9.5 練習(xí)題1：可視化多保真度優(yōu)化中的平均性能 236
9.6 練習(xí)題2：使用多個(gè)低保真近似的多保真度優(yōu)化 238
9.7 本章小結(jié) 239
第10章 通過(guò)成對(duì)比較進(jìn)行偏好優(yōu)化學(xué)習(xí) 241
10.1 使用成對(duì)比較的黑盒優(yōu)化 243
10.2 制定偏好優(yōu)化問(wèn)題和格式化成對(duì)比較數(shù)據(jù) 246
10.3 訓(xùn)練基于偏好的GP 250
10.4 通過(guò)山丘之王游戲進(jìn)行偏好優(yōu)化 254
10.5 本章小結(jié) 258
第11章 同時(shí)優(yōu)化多個(gè)目標(biāo) 259
11.1 使用BayesOpt平衡多個(gè)優(yōu)化目標(biāo) 260
11.2 尋找最佳數(shù)據(jù)點(diǎn)的邊界 262
11.3 優(yōu)化最佳數(shù)據(jù)邊界 269
11.4 練習(xí)題：飛機(jī)設(shè)計(jì)的多目標(biāo)優(yōu)化 275
11.5 本章小結(jié) 275

第Ⅳ部分 特殊高斯過(guò)程模型
第12章 將高斯過(guò)程擴(kuò)展到大數(shù)據(jù)集 279
12.1 在大型數(shù)據(jù)集上訓(xùn)練GP 280
12.1.1 設(shè)置學(xué)習(xí)任務(wù) 281
12.1.2 訓(xùn)練一個(gè)常規(guī)的GP 284
12.1.3 訓(xùn)練常規(guī)GP時(shí)面臨的
問(wèn)題 286
12.2 從大型數(shù)據(jù)集中自動(dòng)
選擇代表性點(diǎn) 289
12.2.1 縮小兩個(gè)GP之間的差異 289
12.2.2 小批量訓(xùn)練模型 291
12.2.3 實(shí)現(xiàn)近似模型 293
12.3 通過(guò)考慮損失曲面的幾何特性來(lái)實(shí)現(xiàn)更優(yōu)的優(yōu)化 299
12.4 練習(xí)題 304
12.5 本章小結(jié) 306
第13章 融合高斯過(guò)程與神經(jīng)網(wǎng)絡(luò) 307
13.1 包含結(jié)構(gòu)的數(shù)據(jù) 308
13.2 在結(jié)構(gòu)化數(shù)據(jù)中捕捉相似性 311
13.2.1 使用GPyTorch實(shí)現(xiàn)核函數(shù) 311
13.2.2 在PyTorch中處理圖像 312
13.2.3 計(jì)算兩幅圖像的協(xié)方差 313
13.2.4 在圖像數(shù)據(jù)上訓(xùn)練GP 315
13.3 使用神經(jīng)網(wǎng)絡(luò)處理復(fù)雜的結(jié)構(gòu)化數(shù)據(jù) 318
13.3.1 為什么使用神經(jīng)網(wǎng)絡(luò)進(jìn)行建模 318
13.3.2 在GPyTorch中實(shí)現(xiàn)組合模型 320
13.4 本章小結(jié) 327
附錄A 練習(xí)題實(shí)現(xiàn)方案(在線提供)