目錄
從書(shū)序
序言
前言
第1章 緒論 1
1.1 經(jīng)典信息論概述 1
1.2 語(yǔ)義信息論發(fā)展歷史 2
1.3 本書(shū)的符號(hào)體系 5
1.4 本書(shū)的章節(jié)組織 5
1.5 本章小結(jié) 10
第2章 經(jīng)典信息論 11
2.1 通信系統(tǒng)的基本模型 11
2.2 語(yǔ)法信息的度量 12
2.2.1 信息熵 12
2.2.2 相對(duì)熵與互信息 18
2.2.3 信道容量與率失真函數(shù) 24
2.3 通信系統(tǒng)的優(yōu)化原則 27
2.4 無(wú)失真信源編碼定理 28
2.5 信道編碼定理 31
2.6 限失真信源編碼定理 36
2.7 信源信道編碼定理 38
2.8 香農(nóng)信道容量公式 39
2.9 經(jīng)典信息論的指導(dǎo)意義 40
2.10 本章小結(jié) 42
第3章 語(yǔ)義信息論早期探索 43
3.1 基于邏輯概率的語(yǔ)義信息理論 43
3.1.1 邏輯概率與語(yǔ)義熵 43
3.1.2 基于命題邏輯的語(yǔ)義編碼定理 46
3.2 基于模糊屬性的語(yǔ)義信息理論 48
3.2.1 廣義通信系統(tǒng)物理模型 49
3.2.2 廣義信源和廣義熵 49
3.2.3 全信息度量 53
3.3 Rényi熵與Rényi互信息 55
3.4 Kolmogorov復(fù)雜性 59
3.5 本章小結(jié) 62
第4章 語(yǔ)義信息度量 63
4.1 語(yǔ)義通信系統(tǒng)模型及設(shè)計(jì)準(zhǔn)則 63
4.1.1 語(yǔ)義通信系統(tǒng)模型 63
4.1.2 語(yǔ)義通信系統(tǒng)的設(shè)計(jì)準(zhǔn)則 65
4.2 語(yǔ)義信息的同義關(guān)系 66
4.2.1 信源信息的同義屬性 66
4.2.2 下游任務(wù)的同義屬性 69
4.2.3 同義映射 70
4.2.4 一詞多義與含義模糊的處理 71
4.2.5 語(yǔ)義信息的本質(zhì)理解 73
4.3 語(yǔ)義變量 75
4.3.1 語(yǔ)義變量定義 75
4.3.2 語(yǔ)義數(shù)字特征 77
4.4 語(yǔ)義熵 82
4.4.1 語(yǔ)義熵定義 82
4.4.2 基本性質(zhì) 83
4.4.3 語(yǔ)義聯(lián)合熵與語(yǔ)義條件熵 86
4.5 語(yǔ)義信息散度與語(yǔ)義互信息 96
4.5.1 語(yǔ)義信息散度 96
4.5.2 上/下語(yǔ)義互信息 102
4.6 語(yǔ)義信道容量 110
4.7 語(yǔ)義率失真函數(shù) 112
4.7.1 語(yǔ)義率失真函數(shù)的定義與性質(zhì) 112
4.7.2 語(yǔ)義率失真函數(shù)的參量表達(dá)式 113
4.8 本章小結(jié) 119
第5章 語(yǔ)義無(wú)失真信源編碼定理 121
5.1 語(yǔ)義漸近等分割與語(yǔ)義典型序列 121
5.1.1 語(yǔ)義弱典型序列 123
5.1.2 語(yǔ)義強(qiáng)典型序列 130
5.1.3 語(yǔ)義與語(yǔ)法典型序列的比較 140
5.2 正定理證明 142
5.3 逆定理證明 145
5.4 變長(zhǎng)語(yǔ)義無(wú)失真信源編碼定理 148
5.4.1 語(yǔ)義Kraft不等式 148
5.4.2 最優(yōu)語(yǔ)義信源碼長(zhǎng) 148
5.5 語(yǔ)義Huffman編碼 149
5.5.1 語(yǔ)義Huffman樹(shù) 150
5.5.2 語(yǔ)義Huffman編碼與譯碼 152
5.5.3 語(yǔ)義Huffman編碼在文本壓縮中的應(yīng)用 152
5.6 語(yǔ)義算術(shù)編碼 154
5.6.1 編解碼流程 155
5.6.2 理論極限分析 158
5.6.3 性能驗(yàn)證 158
5.7 本章小結(jié) 160
第6章 語(yǔ)義信道編碼定理 161
6.1 語(yǔ)義聯(lián)合漸近等分割 161
6.1.1 弱聯(lián)合典型序列 161
6.1.2 弱條件典型序列 168
6.1.3 強(qiáng)聯(lián)合典型序列 175
6.1.4 強(qiáng)條件典型序列 179
6.2 語(yǔ)義信道編碼定理 184
6.2.1 語(yǔ)義信道編碼模型 185
6.2.2 編碼定理證明思想 187
6.3 正定理證明 188
6.4 逆定理證明 192
6.5 語(yǔ)義信道編碼方法 194
6.6 無(wú)失真語(yǔ)義信源信道編碼定理 199
6.7 本章小結(jié) 200
第7章 語(yǔ)義限失真信源編碼定理 202
7.1 語(yǔ)義聯(lián)合漸近等分割 202
7.1.1 語(yǔ)義失真度量 202
7.1.2 弱聯(lián)合典型序列 203
7.1.3 強(qiáng)聯(lián)合典型序列 208
7.2 語(yǔ)義限失真編碼定理 209
7.2.1 語(yǔ)義限失真編碼模型 209
7.2.2 定理證明 210
7.3 基于弱典型序列的正定理證明 211
7.4 基于強(qiáng)典型序列的正定理證明 215
7.5 逆定理證明 217
7.6 限失真語(yǔ)義信源信道編碼定理 218
7.7 本章小結(jié) 221
第8章 連續(xù)消息的語(yǔ)義信息度量 222
8.1 連續(xù)信源的語(yǔ)義熵 222
8.1.1 連續(xù)條件下的同義映射 222
8.1.2 連續(xù)消息的語(yǔ)義熵 224
8.1.3 連續(xù)消息的語(yǔ)義聯(lián)合熵與語(yǔ)義條件熵 227
8.2 連續(xù)消息的語(yǔ)義信息散度與語(yǔ)義互信息 231
8.2.1 連續(xù)消息的語(yǔ)義信息散度 231
8.2.2 連續(xù)消息的上/下語(yǔ)義互信息 232
8.2.3 連續(xù)消息的語(yǔ)義信道容量 233
8.2.4 連續(xù)消息的語(yǔ)義率失真函數(shù) 233
8.3 連續(xù)消息的語(yǔ)義典型序列 234
8.3.1 語(yǔ)義典型序列與同義典型序列 234
8.3.2 語(yǔ)義聯(lián)合典型序列與聯(lián)合同義典型序列 237
8.4 高斯信道的語(yǔ)義容量 241
8.4.1 高斯語(yǔ)義信道容量 242
8.4.2 高斯信道語(yǔ)義編碼定理可達(dá)性證明 245
8.4.3 高斯信道語(yǔ)義編碼逆定理證明 247
8.4.4 限帶高斯信道的語(yǔ)義容量 249
8.5 高斯信源的語(yǔ)義率失真函數(shù) 252
8.6 本章小結(jié) 254
參考文獻(xiàn) 255
后記 259