寫作緣起
2017 年，我們團隊的項目在長期運營后遇到了技術瓶頸，不論采購多好的服務器，并發(fā)量與性能始終上不來，而采購多臺服務器組成集群雖然能提高一定的并發(fā)量，但是始終不盡如人意，而且硬件成本相當高。在這樣的情況下，我們團隊與架構組共同研討嘗試使用多級網(wǎng)關與多級緩存相互結合的方式來為項目提供服務。經過大量的測試與試運行，最終順利生產發(fā)布并獲得了很不錯的效果，發(fā)布一周后，我們的日流水達到了800 萬，這相當令人興奮，讓老板對我們刮目相看，團隊也獲得了巨大的成就感。
正因如此，在近幾年的在線教育經歷中，我也在極力地向學員和身邊的公司推薦多級解決方案，以此解決性能與并發(fā)的痛點。在目前的互聯(lián)網(wǎng)大環(huán)境下，并發(fā)的情況幾乎隨處可見，所以當有極致并發(fā)出現(xiàn)的時候，我們不能僅通過Java 后端來優(yōu)化，而是要對環(huán)境和項目來進行全局性、綜合性的設計和優(yōu)化。多級網(wǎng)關與多級緩存架構在如今的互聯(lián)網(wǎng)領域中起著至關重要的作用，對于高性能、高可擴展、高并發(fā)都具有重要的意義。
出于對技術教育的熱忱和對知識分享的欲望，我決定撰寫本書，也希望通過將多級架構的方案以概念、原理和實踐經驗融合的方式，為廣大讀者朋友提供一本系統(tǒng)的且易于理解的參考資料。我也希望通過本書為相關的技術從業(yè)者、在校學生、老師以及互聯(lián)網(wǎng)研究人員提供一個全面而準確的技術參考。
此外，我相信多級架構方案的重要性將會持續(xù)增加。隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、云原生等技術的快速發(fā)展，對于高效、高性能的數(shù)據(jù)讀寫和處理解決方案的需求也越來越迫切。我希望通過本書，能夠幫助讀者更好地理解和應用多級網(wǎng)關與多級緩存架構，從而使得大家可以在各自的技術領域中取得競爭優(yōu)勢與技術成果。
最后，我希望本書能夠作為技術知識的傳遞媒介，激發(fā)讀者的技術思維與技術創(chuàng)造力，并且?guī)椭x者更好地理解和應用這一重要技術架構。我也非常希望讀者能夠深入研究和動手實踐，把本書中的各類方案實操應用到實際項目中。
如何正確閱讀本書
為了大家能夠充分利用本書的內容，筆者給出如下建議，確保大家可以有更好的閱讀以及學習體驗。
儲備基礎知識：本書是面向技術專業(yè)人士而編寫的，主要方向為Java 編程和技術架構。如果讀者對多級網(wǎng)關與多級緩存感興趣，在開始閱讀之前，可以了解一些相關的基礎知識，這將有助于讀者更好地理解和消化本書的相關技術內容。
循序漸進：如果讀者對本書大多數(shù)的技術都不太了解，那么建議逐章閱讀本書，作者會從零講授，深入淺出地把各個相關技術點的方方面面進行講解，確保讀者獲得系統(tǒng)的知識技能。
輸入輸出并行學習：大家在學習的過程中通過閱讀來獲取知識，這是輸入性操作（也就是被動接收）；而學習的同時如果能夠通過書中的各類實操，以及將代碼編寫應用到自己的項目中進行實現(xiàn)，那么則是輸出性操作（也就是主動實踐）。只有輸入輸出相互結合，大家才能更好地學習到多級網(wǎng)關與多級緩存架構的技術理念，而不會過了一個月甚至一周就忘卻。如此便能夠掌握學習的要點，甚至做出創(chuàng)新性的功能并將其應用到現(xiàn)實中。
結合其他資源閱讀：本書可以用來作為大家學習多級網(wǎng)關與多級緩存架構的催化劑，但建議大家閱讀本書的同時結合各類專項技術類書籍共同學習，比如RabbitMQ 消息隊列、MySQL 數(shù)據(jù)庫、SpringBoot&MyBatis 等，通過多方面的學習，可以更好地促進自己的技術進步。另外，多在技術社區(qū)與論壇還有github 參與交流以及issue 提交，從而獲得更全面的學習效果。
按需閱讀：如果大家對書中部分章節(jié)已經非常熟悉并能熟練運用，那么可以選擇性跳過，直接去閱讀更有需求的其他章節(jié)，以此節(jié)約時間并提高閱讀效率。
提問交流：如果大家在閱讀本書和學習實操的過程中遇到一些問題或有不解之處，可以隨時隨地向作者提問，不論是通過作者的郵箱、github 還是公眾號，都可以進行交流和討論，大家的互動和學習經驗也有助于作者對本書進行更好地改進。
期望大家在閱讀的過程中可以更好地享受多級網(wǎng)關與多級緩存架構這個技術領域，也期望本書能夠為大家打開技術落地的新思路和架構的拓展創(chuàng)新思維。祝大家閱讀愉快，并從中獲得實質性進步。
如何獲取源代碼、如何跟作者溝通、讀者勘誤如何反饋等
歡迎大家對本書勘誤，可以關注作者公眾號風間影月留言，也可以發(fā)郵件到leechenxiang@163.com，甚至讀者在工作的過程中遇到各類業(yè)務方案或者技術相關的難題，也都可以和作者交流相互探討。
推薦序
前言
致謝
基 礎 篇
第1章 基礎環(huán)境與軟件配備 2
1.1 Java的歷史發(fā)展簡介 2
1.2 JDK8的安裝 2
1.2.1 Java運行時環(huán)境JDK 2
1.2.2 Windows系統(tǒng)安裝JDK8 3
1.2.3 MacOS（Intel）系統(tǒng)安裝JDK8 9
1.2.4 MacOS（arm64）系統(tǒng)安裝JDK8 11
1.3 安裝Maven，配置項目工程的構建管理工具 13
1.3.1 Maven概述 13
1.3.2 Windows系統(tǒng)安裝Maven 14
1.3.3 MacOS系統(tǒng)安裝Maven 16
1.3.4 配置阿里云鏡像倉庫 16
1.4 開發(fā)工具 17
1.5 本章小結 17
第2章 Docker容器化入門 19
2.1 內網(wǎng)互通原則 19
2.2 容器化引擎Docker 20
2.2.1 虛擬化與容器化技術 20
2.2.2 Docker的架構 21
2.2.3 Docker的隔離機制 22
2.2.4 Docker的安裝 22
2.2.5 Docker的啟動 23
2.2.6 Docker的加速 24
2.3 使用Docker安裝數(shù)據(jù)庫 26
2.3.1 使用Docker的pull命令拉取鏡像 26
2.3.2 開啟CentOS7的ipv4 27
2.3.3 使用docker run運行鏡像 27
2.3.4 可視化數(shù)據(jù)庫工具 29
2.3.5 Docker命令 31
2.4 Docker鏡像的提交與推送 34
2.4.1 提交鏡像 34
2.4.2 自定義tag標簽 35
2.4.3 推送鏡像 35
2.5 本章小結 36
第3章 構建Web服務與接口 37
3.1 構建Web項目 37
3.1.1 使用Maven初始化項目 37
3.1.2 搭建SpringBoot工程 40
3.1.3 編寫Restful風格接口 45
3.1.4 dev與prod環(huán)境切換 47
3.2 集成持久層框架 48
3.2.1 集成數(shù)據(jù)源 48
3.2.2 整合MyBatis 50
3.2.3 數(shù)據(jù)構建 52
3.2.4 數(shù)據(jù)庫逆向工具 53
3.2.5 編寫service業(yè)務層 55
3.2.6 @Junit操作持久層 56
3.2.7 對外暴露接口服務 58
3.3 本章小結 60
第4章 本地緩存Caffeine 61
4.1 進程間與進程外緩存 61
4.1.1 什么是緩存 61
4.1.2 進程內緩存與分類 62
4.1.3 進程外緩存 64
4.2 使用Caffeine本地緩存 65
4.2.1 集成Caffeine 65
4.2.2 使用junit進行Caffeine測試 66
4.2.3 Caffeine的值為空設值操作 67
4.3 SpringBoot整合Caffeine本地緩存 68
4.3.1 集成Caffeine配置 68
4.3.2 使用Caffeine 69
4.4 本章小結 70
第5章 Redis緩存中間件 71
5.1 分布式緩存中間件Redis 71
5.1.1 非關系型數(shù)據(jù)庫的由來 71
5.1.2 分布式緩存Redis與NoSQL 72
5.1.3 Redis的Key-Value鍵值對 73
5.2 安裝Redis 74
5.2.1 安裝原生Redis 74
5.2.2 操作Redis的基本命令 76
5.2.3 使用可視化工具Redis Desktop Manager 77
5.2.4 使用Docker安裝Redis 79
5.2.5 在Redis容器內部運行redis-cli 81
5.2.6 容器自動重啟 82
5.3 五大數(shù)據(jù)類型常用操作 82
5.3.1 string字符串類型 83
5.3.2 list數(shù)據(jù)類型 84
5.3.3 hash哈希數(shù)據(jù)類型 85
5.3.4 set無序集合數(shù)據(jù)類型 86
5.3.5 sorted set 可排序集合數(shù)據(jù)類型 87
5.4 Redis的存儲原理 88
5.4.1 Redis是怎么做持久化的 88
5.4.2 RDB持久化機制 88
5.4.3 RDB的自動保存機制 90
5.4.4 AOF持久化機制 92
5.4.5 使用AOF引發(fā)的思考 92
5.4.6 AOF的重寫配置 92
5.4.7 AOF與RDB的混合持久化 93
5.5 本章小結 95
第6章 分布式緩存的應用方案 96
6.1 SpringBoot與Redis集成 96
6.1.1 構建SpringBoot項目高可用集群 96
6.1.2 SpringBoot整合Redis 99
6.1.3 Redis的通用工具操作類 102
6.1.4 Redis與本地緩存并肩作戰(zhàn) 109
6.2 分布式緩存問題延伸 111
6.2.1 緩存預熱 111
6.2.2 Redis緩存穿透 113
6.2.3 Redis緩存擊穿 115
6.2.4 Redis緩存雪崩 116
6.3 分布式系統(tǒng)的CAP理論 117
6.3.1 分布式系統(tǒng) 117
6.3.2 CAP是什么 118
6.3.3 CAP定理 119
6.3.4 CAP的組合搭配 121
6.4 緩存數(shù)據(jù)雙寫方案 121
6.4.1 存儲媒介發(fā)生數(shù)據(jù)不一致 121
6.4.2 數(shù)據(jù)庫與緩存雙寫不一致 123
6.4.3 數(shù)據(jù)庫與緩存雙寫一致方案 124
6.5 本章小結 126
第7章 Redis分布式鎖 127
7.1 分布式鎖 127
7.1.1 分布式鎖是什么 127
7.1.2 本地鎖是什么 128
7.1.3 分布式鎖的原理 129
7.1.4 數(shù)據(jù)庫悲觀鎖 129
7.1.5 數(shù)據(jù)庫樂觀鎖 130
7.2 Redis分布式鎖 131
7.2.1 setnx鎖機制 131
7.2.2 基于setnx的實現(xiàn) 131
7.2.3 鎖的自動續(xù)期 134
7.3 Redisson客戶端 135
7.3.1 Redisson 概述 135
7.3.2 Redisson配置 136
7.3.3 Redisson分布式鎖 137
7.3.4 Redisson公平鎖 138
7.3.5 Redisson聯(lián)鎖 139
7.4 本章小結 140
第8章 Redis集群高可用 141
8.1 Redis主從架構 141
8.1.1 Redis主從復制原理 141
8.1.2 構建Redis 主從架構 142
8.2 Redis哨兵架構 144
8.2.1 Redis哨兵架構原理 144
8.2.2 構建Redis哨兵形態(tài) 146
8.3 Redis高可用集群架構 147
8.3.1 Redis集群原理 147
8.3.2 構建Redis集群形態(tài)的準備工作 149
8.3.3 Redis集群架構 Cluster實操 149
8.3.4 Redis集群的故障轉移 152
8.3.5 Redis集群數(shù)據(jù)存取 153
8.3.6 Redis集群水平擴容 154
8.3.7 Redis集群的十點總結 158
8.4 Redis緩存淘汰機制 158
8.5 本章小結 159
進 階 篇
第9章 nginx網(wǎng)關中間件 161
9.1 網(wǎng)關中間件nginx 161
9.1.1 nginx是什么 161
9.1.2 服務器的選型 162
9.1.3 反向代理與正向代理 164
9.2 安裝nginx與配置 165
9.2.1 下載并安裝nginx的依賴環(huán)境 165
9.2.2 安裝nginx到Linux系統(tǒng)中 166
9.2.3 詳解conf配置 168
9.3 nginx的基本應用 171
9.3.1 日志切割（手動） 171
9.3.2 日志切割（自動） 171
9.3.3 location請求的路由規(guī)則 172
9.3.4 靜態(tài)資源服務器 174
9.4 本章小結 176
第10章 集群與負載均衡 177
10.1 集群與分布式 177
10.1.1 集群與分布式的概念 177
10.1.2 負載均衡的概念 178
10.2 實現(xiàn)集群負載均衡 179
10.2.1 配置上游服務集群 179
10.2.2 負載均衡之輪詢 180
10.2.3 負載均衡之權重 181
10.2.4 負載均衡之ip_hash 181
10.2.5 負載均衡之url_hash 182
10.3 一致性哈希原理 182
10.4 OSI網(wǎng)絡模型原理 183
10.4.1 七層網(wǎng)絡模型 183
10.4.2 七層模型的歸類與合并 185
10.5 本章小結 187
第11章 Lua腳本語言基礎 188
11.1 Lua腳本 188
11.1.1 Lua腳本介紹 188
11.1.2 Lua腳本入門 189
11.2 Lua的數(shù)據(jù)類型 189
11.2.1 nil類型 189
11.2.2 boolean類型 190
11.2.3 number類型 190
11.2.4 string類型 191
11.2.5 function類型 191
11.2.6 table類型 192
11.3 Lua的循環(huán)與控制判斷 193
11.3.1 Lua的循環(huán) 193
11.3.2 Lua的控制判斷 195
11.3.3 Lua語法實操 195
11.4 本章小結 197
第12章 高性能OpenResty平臺 198
12.1 OpenResty 198
12.1.1 OpenResty 背景介紹 198
12.1.2 OpenResty與nginx的區(qū)別 198
12.1.3 OpenResty 所處架構位置 199
12.2 安裝OpenResty 201
12.2.1 OpenResty環(huán)境配置與安裝方式一 201
12.2.2 OpenResty環(huán)境配置與安裝方式二（推薦） 201
12.3 OpenResty的目錄結構與運行 202
12.3.1 OpenResty的目錄結構 202
12.3.2 測試訪問頁面 203
12.4 為OpenResty配置nginx的環(huán)境變量 203
12.5 本章小結 204
第13章 多級緩存落地 205
13.1 OpenResty結合Lua控制請求與響應 205
13.1.1 OpenResty結合Lua自定義數(shù)據(jù)響應 205
13.1.2 OpenResty結合Lua獲得請求相關參數(shù) 207
13.2 Lua自定義請求反向代理 209
13.2.1 封裝GET請求 209
13.2.2 封裝POST請求 210
13.2.3 Lua控制請求轉發(fā) 211
13.3 多級緩存架構落地 212
13.3.1 lua-resty-redis 212
13.3.2 封裝Redis通用模塊 214
13.3.3 完成多級緩存架構閉環(huán) 216
13.4 本章小結 217
第14章 多級網(wǎng)關 218
14.1 多級網(wǎng)關集群 218
14.1.1 什么是多級網(wǎng)關 218
14.1.2 nginx構建OpenResty集群 219
14.2 OpenResty的本地緩存 221
14.2.1 定義共享字典（本地緩存） 221
14.2.2 共享字典與多級緩存業(yè)務的結合 221
14.3 ApiPost性能壓測 223
14.3.1 壓力測試 223
14.3.2 ApiPost介紹 223
14.3.3 使用ApiPost進行接口調試 224
14.3.4 配置ApiPost的壓測場景 225
14.3.5 進行接口壓測 226
14.4 本章小結 227
第15章 多級緩存數(shù)據(jù)同步 228
15.1 緩存數(shù)據(jù)同步方案 228
15.1.1 緩存與數(shù)據(jù)庫不一致的出現(xiàn)場景 228
15.1.2 消息隊列方案 228
15.1.3 Zookeeper方案 230
15.1.4 Canal方案 231
15.2 消息隊列 232
15.2.1 什么是消息隊列 232
15.2.2 消息隊列的技術選型 234
15.2.3 生產者與消費者 234
15.3 安裝RabbitMQ 236
15.3.1 Docker安裝RabbitMQ 236
15.3.2 RabbitMQ的可視化后臺管理 238
15.3.3 RabbitMQ的模型原理 240
15.4 緩存數(shù)據(jù)的一致性落地 241
15.4.1 緩存數(shù)據(jù)的同步過程 241
15.4.2 SpringBoot集成RabbitMQ 243
15.4.3 配置交換機與隊列 244
15.4.4 構建生產者發(fā)送消息 246
15.4.5 構建消費者監(jiān)聽隊列 249
15.4.6 多節(jié)點對同一消息的監(jiān)聽處理 249
15.4.7 完成并測試緩存數(shù)據(jù)的同步 250
15.5 本章小結 253
第16章 OpenResty實踐 254
16.1 用戶請求頻率限制與黑名單 254
16.1.1 網(wǎng)關限流需求說明 254
16.1.2 封裝請求攔截函數(shù) 254
16.1.3 結合業(yè)務進行攔截 258
16.2 OpenResty集成MySQL 259
16.2.1 解讀lua-resty-mysql示例代碼 259
16.2.2 封裝MySQL請求函數(shù) 261
16.2.3 實現(xiàn)調用MySQL業(yè)務 263
16.2.4 轉發(fā)請求到sql查詢的Lua文件 264
16.3 本章小結 264
云原生與DevOps
第17章 云原生與KubeSphere 266
17.1 DevOps與CICD 266
17.1.1 DevOps概述 266
17.1.2 CICD概述 268
17.2 Kubernetes初探 270
17.2.1 Kubernetes概述 270
17.2.2 Kubernetes 可以用來做什么 271
17.2.3 Kubernetes架構原理 272
17.2.4 Kubernetes的Pod容器 274
17.3 KubeSphere的使用與安裝 275
17.3.1 KubeSphere 概述 275
17.3.2 KubeSphere環(huán)境準備 276
17.3.3 KubeSphere安裝 279
17.3.4 KubeSphere啟用DevOps 282
17.4 KubeSphere多租戶 285
17.4.1 KubeSphere多租戶系統(tǒng) 285
17.4.2 KubeSphere多租戶角色 285
17.4.3 KubeSphere多租戶賬號分配 286
17.4.4 KubeSphere 企業(yè)空間創(chuàng)建與賬號綁定 288
17.4.5 KubeSphere項目負責人賬號分配 291
17.5 本章小結 294
第18章 KubeSphere部署中間件 295
18.1 應用的狀態(tài) 295
18.1.1 有狀態(tài)應用 295
18.1.2 無狀態(tài)應用 295
18.1.3 KubeSphere項目的存儲、服務與配置 296
18.2 KubeSphere部署中間件MySQL8 299
18.2.1 設置保密字典 299
18.2.2 設置配置字典 300
18.2.3 配置MySQL的持久卷PVC 302
18.2.4 創(chuàng)建MySQL的有狀態(tài)服務 304
18.2.5 為MySQL創(chuàng)建數(shù)據(jù)庫并導入數(shù)據(jù) 309
18.3 部署Redis 312
18.3.1 創(chuàng)建Redis的配置字典與持久卷 312
18.3.2 創(chuàng)建Redis有狀態(tài)服務 314
18.4 部署RabbitMQ 317
18.4.1 創(chuàng)建RabbitMQ的持久卷與配置字典 317
18.4.2 創(chuàng)建RabbitMQ的無狀態(tài)服務 318
18.4.3 RabbitMQ無狀態(tài)服務對外訪問 320
18.5 原生安裝OpenResty 323
18.6 本章小結 326
第19章 DevOps流水線發(fā)布項目 327
19.1 DevOps前置準備工作 327
19.1.1 DevOps部署流程 327
19.1.2 為流水線創(chuàng)建憑證 328
19.1.3 項目的生產配置 330
19.1.4 編寫DockerFile 332
19.1.5 編寫k8s-YAML部署文件 334
19.2 開始DevOps流程 338
19.2.1 推送代碼 338
19.2.2 創(chuàng)建項目流水線 342
19.2.3 拉取代碼 344
19.2.4 為流水線構建動態(tài)參數(shù) 348
19.2.5 流水線打印動態(tài)參數(shù) 350
19.2.6 為流水線配置環(huán)境變量 350
19.2.7 流水線推送鏡像到DockerHub 351
19.2.8 推送latest鏡像到DockerHub 356
19.2.9 流水線部署項目到KubeSphere環(huán)境中 358
19.2.10 測試生產環(huán)境的項目接口訪問 360
19.3 集群與擴容 360
19.3.1 手動擴容 360
19.3.2 自動擴容 362
19.3.3 OpenResty集群配置 363
19.4 構建云負載均衡器 365
19.5 本章小結 369
書單推薦
