目錄
“信息科學技術學術著作叢書”序
前言
第1章 緒論 1
1.1 機器學習 1
1.2 機器學習優(yōu)化算法的發(fā)展 5
1.3 分布式多智能體系統(tǒng) 8
1.4 本章小結(jié) 10
參考文獻 10
第2章 分布式在線學習的自適應次梯度算法 11
2.1 引言 11
2.2 基本概念與定義 13
2.2.1 符號 13
2.2.2 圖論 14
2.2.3 隨機矩陣 14
2.2.4 凸函數(shù) 14
2.3 問題描述與算法設計 15
2.3.1 問題描述 15
2.3.2 算法設計 15
2.4 算法相關假設與收斂結(jié)果 17
2.5 算法收斂性能分析 18
2.6 仿真實驗 32
2.6.1 實驗設置 32
2.6.2 實驗結(jié)果與分析 39
2.7 本章小結(jié) 39
參考文獻 39
第3章 分布式隨機塊坐標無投影梯度算法 43
3.1 引言 43
3.2 問題描述與算法設計 47
3.2.1 問題描述 47
3.2.2 算法設計 47
3.3 算法相關假設與收斂結(jié)果 49
3.4 算法收斂性能分析 52
3.5 仿真實驗 66
3.5.1 實驗描述——多類別分類問題 66
3.5.2 實驗結(jié)果與分析 66
3.6 本章小結(jié) 68
參考文獻 68
第4章 面向子模最大化問題的分布式在線學習無投影算法 73
4.1 引言 73
4.2 基本概念與定義 75
4.3 問題描述與算法設計 76
4.3.1 問題描述 76
4.3.2 算法設計 77
4.4 算法相關假設與收斂結(jié)果 80
4.5 算法收斂性能分析 82
4.5.1 對抗性在線設置 83
4.5.2 隨機在線設置 103
4.6 仿真實驗 108
4.7 本章小結(jié) 110
參考文獻 111
第5章 隱私保護的分布式隨機塊坐標次梯度投影算法 114
5.1 引言 114
5.2 問題描述、算法設計與假設 116
5.3 算法收斂結(jié)果 119
5.4 算法收斂性能分析 122
5.5 仿真實驗 141
5.6 本章小結(jié) 144
參考文獻 144
第6章 基于一致性的分布式自適應最小最大優(yōu)化算法 148
6.1 引言 148
6.2 算法設計和假設 150
6.2.1 DADAMC算法設計 150
6.2.2 算法相關假設、引理與收斂結(jié)果 152
6.3 算法收斂性能分析 155
6.4 仿真實驗 167
6.4.1 實驗環(huán)境 167
6.4.2 實驗結(jié)果與分析 167
6.5 本章小結(jié) 170
參考文獻 170
第7章 子模最大化的分布式隨機塊坐標Frank-Wolfe算法 173
7.1 引言 173
7.2 問題描述與算法設計 175
7.3 算法相關假設與收斂結(jié)果 177
7.4 算法收斂性能分析 179
7.5 仿真實驗 189
7.6 本章小結(jié) 191
參考文獻 191
第8章 分布式機器學習優(yōu)化算法發(fā)展與展望 196
8.1 存在的問題與挑戰(zhàn) 196
8.2 發(fā)展趨勢 197
參考文獻 197