目錄
第一部分基礎篇
第1 章概述2
1.1 為什么機器學習模型需要數(shù)字水印. .3
1.2 如何將數(shù)字水印應用于機器學習模型. 4
1.2.1 技術. .4
1.2.2 協(xié)議. .5
1.2.3 應用. .5
1.3 相關研究工作6
1.3.1 白盒方法. .6
1.3.2 黑盒方法. .6
1.3.3 DNN 指紋方法.7
第2 章DNN 水印的所有權驗證協(xié)議8
2.1 引言. 9
2.2 安全性形式化. 11
2.2.1 功能保留11
2.2.2 準確性和無歧義性12
2.2.3 持久性13
2.2.4 其他安全要求14
2.3 DNN 的所有權驗證協(xié)議. 15
2.3.1 抵制攻擊及相應的安全性16
2.3.2 覆寫攻擊及相應的安全性17
2.3.3 證據(jù)暴露及相應的安全性19
2.3.4 OV 協(xié)議的邏輯視角. 21
2.3.5 高級協(xié)議的備注23
2.4 小結24
第二部分技術篇
第3 章用于圖像恢復的DNN 的模型水印26
3.1 引言27
3.2 相關研究工作. 28
3.2.1 白盒方法28
3.2.2 黑盒方法28
3.3 問題定義. 29
3.3.1 符號和定義29
3.3.2 圖像恢復DNN 模型水印的原則.29
3.3.3 針對模型水印的模型導向攻擊30
3.4 提出的方法. 30
3.4.1 主要思路和框架30
3.4.2 觸發(fā)器密鑰生成32
3.4.3 水印生成32
3.4.4 水印嵌入33
3.4.5 水印驗證34
3.4.6 輔助知識產(chǎn)權可視化器34
3.5 小結36
第4 章穩(wěn)健和無害的模型水印37
4.1 引言38
4.2 相關研究工作. 38
4.2.1 模型竊取38
4.2.2 針對模型竊取的防御39
4.3 重審現(xiàn)有的模型所有權驗證. 40
4.3.1 數(shù)據(jù)集推理的局限性40
4.3.2 基于后門的模型水印的局限性41
4.4 在集中式訓練下提出的方法. 41
4.4.1 威脅模型和方法流程41
4.4.2 使用嵌入外部特征的模型水印42
4.4.3 訓練所有權元分類器43
4.4.4 基于假設檢驗的模型所有權驗證43
4.5 在聯(lián)邦學習中的應用43
4.5.1 問題闡述和威脅模型44
4.5.2 提出的方法44
4.6 實驗44
4.6.1 實驗設置44
4.6.2 在集中式訓練下的主要結果45
4.6.3 在聯(lián)邦學習環(huán)境下的主要結果47
4.6.4 關鍵超參數(shù)的影響47
4.6.5 消融研究48
4.7 小結50
第5 章通過分類邊界指紋識別保護機器學習模型的知識產(chǎn)權51
5.1 引言52
5.2 相關研究工作. 54
5.2.1 用于知識產(chǎn)權保護的水印技術54
5.2.2 分類邊界54
5.3 問題的提出. 55
5.3.1 威脅模型55
5.3.2 對目標模型的指紋識別56
5.3.3 設計目標56
5.3.4 穩(wěn)健性和唯一性的權衡57
5.4 IPGuard 的設計. 58
5.4.1 概覽.58
5.4.2 將尋找指紋數(shù)據(jù)點定義為一個優(yōu)化問題59
5.4.3 初始化和標簽選擇60
5.5 討論61
5.5.1 與對抗樣本的聯(lián)系61
5.5.2 對知識蒸餾的穩(wěn)健性62
5.5.3 攻擊者端檢測指紋數(shù)據(jù)點62
5.6 小結63
第6 章通過模型水印保護圖像處理網(wǎng)絡64
6.1 引言65
6.2 準備工作. 66
6.2.1 威脅模型66
6.2.2 問題形式化67
6.3 提出的方法. 68
6.3.1 動機.68
6.3.2 傳統(tǒng)水印算法69
6.3.3 深度不可見水印技術70
6.4 實驗74
6.4.1 實驗設置74
6.4.2 保真度和容量75
6.4.3 對模型提取攻擊的穩(wěn)健性76
6.4.4 消融實驗77
6.4.5 擴展.79
6.5 討論81
6.6 小結82
第7 章深度強化學習水印83
7.1 引言84
7.2 背景85
7.2.1 馬爾可夫決策過程85
7.2.2 強化學習86
7.2.3 深度強化學習87
7.3 相關研究工作. 88
7.3.1 有監(jiān)督深度學習模型的水印88
7.3.2 深度強化學習模型的水印89
7.4 問題的形式化. 89
7.4.1 威脅模型89
7.4.2 深度強化學習的時序水印90
7.5 提出的方法. 94
7.5.1 水印候選項生成95
7.5.2 水印嵌入96
7.5.3 所有權驗證97
7.6 討論. 100
7.7 小結. 101
第8 章圖像描述模型的所有權保護102
8.1 引言. 103
8.2 相關研究工作103
8.2.1 圖像描述中的數(shù)字水印. 103
8.2.2 DNN 模型中的數(shù)字水印104
8.3 問題的形式化105
8.3.1 圖像描述模型. 105
8.3.2 命題2 的證明. 106
8.3.3 圖像描述模型的知識產(chǎn)權保護. 108
8.4 提出的方法108
8.4.1 密鑰生成過程. 109
8.4.2 嵌入過程. 109
8.4.3 驗證過程. 111
8.5 實驗設置112
8.5.1 指標和數(shù)據(jù)集. 112
8.5.2 配置. 112
8.5.3 比較方法. 112
8.6 討論. 113
8.6.1 與當前數(shù)字水印框架技術的對比. 113
8.6.2 保真度評估. 113
8.6.3 抵抗歧義攻擊的韌性. 116
8.6.4 抵抗移除攻擊的穩(wěn)健性. 117
8.6.5 局限性. 117
8.7 小結. 118
第9 章使用嵌入密鑰保護RNN 119
9.1 引言. 120
9.2 相關研究工作120
9.3 問題表述121
9.3.1 概述. 121
9.3.2 保護框架設計. 121
9.3.3 貢獻. 121
9.3.4 模型水印和所有權驗證協(xié)議. 122
9.4 提出的方法123
9.4.1 密鑰門. 124
9.4.2 生成密鑰的方法. 124
9.4.3 作為簽名的密鑰輸出符號. 125
9.4.4 使用密鑰進行所有權驗證. 126
9.5 實驗. 128
9.5.1 學習任務. 128
9.5.2 超參數(shù). 129
9.6 討論. 129
9.6.1 保真度. 129
9.6.2 對抗移除攻擊的穩(wěn)健性. 132
9.6.3 對抗模糊攻擊的韌性. 134
9.6.4 保密性. 136
9.6.5 時間復雜度. 137
9.6.6 密鑰門激活. 137
9.7 小結. 137

第三部分應用篇
第10 章FedIPR：聯(lián)邦DNN 模型的所有權驗證140
10.1 引言. .141
10.2 相關研究工作.142
10.2.1 安全聯(lián)邦學習142
10.2.2 subsection DNN 水印方法. 142
10.3 初步概念. 142
10.3.1 安全的橫向聯(lián)邦學習142
10.3.2 聯(lián)邦學習中的搭便車者142
10.3.3 DNN 水印方法. 143
10.4 提出的方法. 143
10.4.1 聯(lián)邦學習中的FedDNN 所有權驗證定義. 144
10.4.2 挑戰(zhàn)1：FedDNN 中多個水印的容量145
10.4.3 挑戰(zhàn)2：安全聯(lián)邦學習中的水印穩(wěn)健性146
10.5 實現(xiàn)細節(jié). 147
10.6 實驗結果. 149
10.6.1 保真度149
10.6.2 水印檢測率149
10.6.3 水印戰(zhàn)勝搭便車攻擊152
10.6.4 聯(lián)邦學習策略下的穩(wěn)健性152
10.7 小結. .154
第11 章用于數(shù)據(jù)知識產(chǎn)權的模型審計155
11.1 引言. .156
11.2 相關研究工作.157
11.2.1 成員推斷攻擊157
11.2.2 模型決策邊界157
11.3 問題定義. 157
11.3.1 模型審計的屬性158
11.3.2 不同設置下的模型審計159
11.4 現(xiàn)有模型審核方法的調(diào)查. 159
11.4.1 決策邊界的距離近似160
11.4.2 數(shù)據(jù)所有權解決方案161
11.4.3 模型審計的威脅模型162
11.5 實驗結果. 163
11.5.1 主要結果163
11.5.2 部分數(shù)據(jù)使用情況164
11.5.3 不同的對抗設置164
11.6 小結. .166
參考文獻167