本書深入剖析DeepSeek的核心技術(shù)，介紹了提示詞的原理與高級應(yīng)用，對DeepSeek的模型架構(gòu)、訓(xùn)練框架，以及MoE優(yōu)化、MLA、思維鏈、GRPO算法、獎勵模型等技術(shù)細節(jié)進行了探討。此外，本書對DeepSeek給人工智能行業(yè)格局帶來的影響及DeepSeek的開源貢獻進行了分析，對大模型的未來趨勢進行了展望，并介紹了DeepSeek在開源方面做出的貢獻。
本書適合人工智能研究人員、開發(fā)人員及大模型相關(guān)技術(shù)愛好者閱讀，也為關(guān)注人工智能領(lǐng)域技術(shù)發(fā)展的從業(yè)人員提供了參考與借鑒。
由一線資深技術(shù)人員編寫，知識點講解清晰。內(nèi)容完全圍繞DeepSeek核心技術(shù)展開，提煉精華。深入討論DeepSeek的開源貢獻，并通過LLaMA 4的技術(shù)優(yōu)化對大模型的未來進行了展望。
寫作目的
2025年年初，DeepSeek成為全球人工智能（AI）領(lǐng)域的焦點，其DeepSeek-V3和DeepSeek-R1版本在行業(yè)內(nèi)引發(fā)了結(jié)構(gòu)性震動。
本書是剖析DeepSeek技術(shù)原理的專業(yè)技術(shù)書，以全面的內(nèi)容、深入的技術(shù)原理解析和前瞻性的行業(yè)洞察，為技術(shù)人員、研究人員和大模型相關(guān)技術(shù)愛好者提供了寶貴的學(xué)習(xí)資料，也為關(guān)注人工智能領(lǐng)域技術(shù)發(fā)展的從業(yè)人員提供了重要的參考與借鑒。通過閱讀這本書，讀者可以深入了解DeepSeek的技術(shù)細節(jié)，快速掌握大模型領(lǐng)域的前沿知識，洞察其對行業(yè)格局的影響，從而更好地把握人工智能發(fā)展的脈絡(luò)，提升自身在該領(lǐng)域的專業(yè)素養(yǎng)和競爭力，為未來的職業(yè)發(fā)展和個人成長奠定堅實的基礎(chǔ)。
本書架構(gòu)
第1章介紹DeepSeek的一系列技術(shù)突破與創(chuàng)新，如架構(gòu)創(chuàng)新、訓(xùn)練優(yōu)化、推理與部署優(yōu)化等，讓讀者對DeepSeek的性能突破形成直觀的認識。同時，介紹DeepSeek的模型家族，涵蓋通用語言模型、多模態(tài)模型、代碼生成與理解等領(lǐng)域，展現(xiàn)了DeepSeek在大模型的不同細分領(lǐng)域取得的成就。
第2章為初學(xué)者深入淺出地講解DeepSeek的使用方法。從推理模型與通用模型的差異，到具體的使用案例，讀者可以直觀地感受DeepSeek在實際應(yīng)用中的強大功能。對提示工程的詳細介紹，可以幫助讀者了解如何通過精心設(shè)計的提示詞更好地發(fā)揮DeepSeek的能力。對提示詞鏈的高級使用技巧的介紹，為讀者進一步提升DeepSeek使用效果提供參考。
第3章和第4章是本書的核心與精華。
第3章深入剖析DeepSeek-V3的模型架構(gòu)、訓(xùn)練框架、推理階段優(yōu)化、后訓(xùn)練優(yōu)化等關(guān)鍵技術(shù)。從混合專家模型（MoE）的起源與發(fā)展，到DeepSeek-V3的MoE優(yōu)化，再到對多頭潛在注意力（MLA）機制和多token預(yù)測的詳細解讀，幫助讀者全面了解DeepSeek-V3在技術(shù)上的先進性和創(chuàng)新性。同時，對訓(xùn)練框架的并行策略、FP8混合精度訓(xùn)練及推理階段的優(yōu)化等內(nèi)容的深入分析，展示了DeepSeek在提升效率和性能方面的不懈追求。
第4章關(guān)于DeepSeek-R1的技術(shù)剖析同樣精彩紛呈。預(yù)備知識的介紹為讀者理解后續(xù)內(nèi)容打下了堅實的基礎(chǔ)。對DeepSeek-R1-Zero的組相對策略優(yōu)化（GRPO）算法、獎勵模型等關(guān)鍵技術(shù)的深入剖析，可以幫助讀者了解DeepSeek在強化學(xué)習(xí)領(lǐng)域的創(chuàng)新性探索。對DeepSeek-R1的訓(xùn)練過程和推理能力的蒸餾等內(nèi)容的詳細闡述，能讓讀者對這一創(chuàng)新技術(shù)的特點有全面的認知。
第5章從宏觀的角度分析DeepSeek對人工智能技術(shù)格局的影響，包括打破硬件依賴迷思、沖擊英偉達CUDA護城河、引發(fā)大模型技術(shù)路線的重新思考等多個方面。同時，總結(jié)了DeepSeek成功背后的啟示，如領(lǐng)導(dǎo)者敏銳的技術(shù)直覺、長期主義的堅持、極致的工程優(yōu)化等，為讀者提供了寶貴的經(jīng)驗和啟示。
第6章對DeepSeek開源周的多個技術(shù)項目進行了深入的分析。通過對FlashMLA、DeepEP、DeepGEMM、DualPipe 與 EPLB、3FS等項目的介紹，展示了DeepSeek在開源領(lǐng)域的積極探索，體現(xiàn)了其推動大模型技術(shù)普及和發(fā)展的決心。這些技術(shù)項目的詳細解讀，能讓讀者了解DeepSeek在降低人工智能技術(shù)門檻、促進技術(shù)交流與合作方面的巨大貢獻。
第7章對大模型的發(fā)展進行了討論。從MoE的發(fā)展趨勢、MLA的展望，大模型的訓(xùn)練方法、推理部署，到GPU硬件及推理模型的發(fā)展趨勢，以前瞻性的視角為讀者描繪了大模型的發(fā)展藍圖。
本書將帶領(lǐng)讀者走進DeepSeek的神秘世界，領(lǐng)略大模型技術(shù)的魅力，開啟一段探索人工智能未來的奇妙旅程。無論您是對大模型技術(shù)感興趣的初學(xué)者，還是在該領(lǐng)域深耕多年的專業(yè)人士，本書都值得一讀。它將幫助您更好地把握人工智能技術(shù)的發(fā)展趨勢，提升自身的技術(shù)水平和創(chuàng)新能力，為您在人工智能領(lǐng)域的發(fā)展提供有力的支持。
致謝
感謝劉嘉浪（碩士，國防科技大學(xué)）、詹佳磊（博士，國防科技大學(xué)）和謝宇航（碩士，西安電子科技大學(xué)）為本書寫作提供的幫助。
本書成書較為倉促，如有不足之處，還請讀者批評指正。
盧菁 北京科技大學(xué)博士，北京大學(xué)博士后，B站、視頻號優(yōu)秀科技博主。曾任職于騰訊、愛奇藝等知名互聯(lián)網(wǎng)公司，前騰訊AI內(nèi)訓(xùn)講師，主要從事人工智能技術(shù)的應(yīng)用和研發(fā)工作，主要研究方向為大模型、多模態(tài)、自然語言處理、知識圖譜、推薦系統(tǒng)等。著有《速通機器學(xué)習(xí)》《速通深度學(xué)習(xí)數(shù)學(xué)基礎(chǔ)》。
戴志仕 資深A(yù)I架構(gòu)師，寒武紀(jì)人工智能公眾號的創(chuàng)立者。2024年CCF國際AIOps挑戰(zhàn)賽優(yōu)秀獎獲得者。擁有十余年人工智能算法研究和產(chǎn)業(yè)落地經(jīng)驗，成功實施過多個人工智能項目。
第 1 章 技驚四座的 DeepSeek / 1
1.1 石破天驚的產(chǎn)品發(fā)布 / 1
1.2 DeepSeek-V3 和 DeepSeek-R1 可以做什么 / 4
1.3 DeepSeek-V3 的技術(shù)突破與創(chuàng)新 / 7
1.3.1 架構(gòu)創(chuàng)新 / 8
1.3.2 訓(xùn)練優(yōu)化 / 9
1.3.3 推理與部署優(yōu)化 / 10
1.3.4 效果的全面提升 / 10
1.4 DeepSeek-R 系列的技術(shù)突破與創(chuàng)新 / 10
1.4.1 DeepSeek-R1-Zero 的技術(shù)突破與創(chuàng)新 / 11
1.4.2 DeepSeek-R1 的技術(shù)突破與創(chuàng)新 / 12
1.4.3 推理能力的提升 / 12
1.5 DeepSeek 發(fā)布的模型家族 / 14
1.5.1 通用語言大模型 / 16
1.5.2 多模態(tài)大模型 / 17
1.5.3 代碼大模型 / 18
1.5.4 數(shù)學(xué)推理大模型 / 18
1.5.5 混合專家模型 / 19
1.5.6 MoE 專用微調(diào)模型 / 19
1.5.7 基于 LLaMA 架構(gòu)的模型 / 20
第 2 章 提示詞的原理與應(yīng)用 / 21
2.1 推理模型與通用模型 / 21
2.2 提示工程 / 29
2.2.1 提示詞的類型 / 30
2.2.2 提示詞的基本元素 / 33
2.2.3 有效的提示詞 / 37
2.2.4 正確地表達需求 / 38
2.3 提示詞高級技巧：提示詞鏈 / 39
2.3.1 提示詞鏈的設(shè)計過程 / 39
2.3.2 提示詞鏈的應(yīng)用案例 / 40
第3章 DeepSeek-V3 技術(shù)剖析 / 43
3.1 DeepSeek 的模型架構(gòu) / 43
3.1.1 MoE 的起源與發(fā)展 / 44
3.1.2 DeepSeek-V3 的 MoE 優(yōu)化 / 50
3.1.3 DeepSeek-V3 的 MoE 架構(gòu)的優(yōu)勢 / 54
3.1.4 DeepSeek-V3 的 MLA / 54
3.1.5 DeepSeek-V3 的 MTP / 59
3.2 DeepSeek 的訓(xùn)練框架 / 62
3.2.1 常見的并行策略 / 62
3.2.2 DeepSeek 的并行策略 / 67
3.2.3 DeepSeek 的 FP8 混合精度訓(xùn)練 / 73
3.3 DeepSeek 的推理階段優(yōu)化 / 77
3.3.1 PD 分離架構(gòu) / 77
3.3.2 DeepSeek 的預(yù)填充階段優(yōu)化 / 78
3.3.3 DeepSeek 的解碼階段優(yōu)化 / 78
3.4 DeepSeek 的后訓(xùn)練優(yōu)化 / 79
3.5 小結(jié) / 80
第 4 章 DeepSeek-R1 技術(shù)剖析 / 81
4.1 預(yù)備知識 / 81
4.1.1 思維鏈 / 81
4.1.2 有監(jiān)督微調(diào) / 82
4.1.3 強化學(xué)習(xí) / 83
4.2 DeepSeek 對訓(xùn)練推理模型的探索 / 88
4.3 DeepSeek-R1-Zero 的訓(xùn)練 / 88
4.3.1 GRPO 算法 / 91
4.3.2 獎勵模型 / 94
4.4 DeepSeek-R1 的訓(xùn)練 / 95
4.4.1 階段一訓(xùn)練 / 96
4.4.2 階段二訓(xùn)練 / 97
4.4.3 推理能力的蒸餾 / 99
4.5 小結(jié) / 100
第5章 DeepSeek 的影響與成功啟示 / 103
5.1 DeepSeek 對 AI 格局的影響 / 103
5.1.1 打破硬件依賴的迷思 / 103
5.1.2 對英偉達 CUDA 護城河的沖擊 / 104
5.1.3 對大模型技術(shù)路線的重新思考 / 104
5.1.4 投資風(fēng)向的改變 / 105
5.1.5 對商業(yè)模式的沖擊 / 105
5.1.6 對創(chuàng)新文化的沖擊 / 106
5.1.7 對地緣政治的沖擊 / 106
5.2 DeepSeek 的成功啟示 / 106
5.2.1 領(lǐng)導(dǎo)者的技術(shù)直覺 / 107
5.2.2 長期主義 / 107
5.2.3 極致的工程優(yōu)化 / 107
5.2.4 對資源的高效利用 / 108
5.2.5 團隊的創(chuàng)新文化 / 108
第 6 章 DeepSeek 開源技術(shù)剖析 / 109
6.1 DeepSeek 的開源周 / 109
6.2 FlashMLA：減少顯存消耗 / 110
6.2.1 項目特點 / 111
6.2.2 應(yīng)用場景 / 112
6.2.3 技術(shù)剖析 / 113
6.2.4 影響與展望 / 114
6.3 DeepEP：通信系統(tǒng)的優(yōu)化 / 115
6.3.1 項目特點 / 115
6.3.2 應(yīng)用場景 / 116
6.3.3 技術(shù)剖析 / 117
6.3.4 影響與展望 / 119
6.4 DeepGEMM：讓矩陣乘法起飛 / 120
6.4.1 項目特點 / 121
6.4.2 應(yīng)用場景 / 123
6.4.3 技術(shù)剖析 / 124
6.4.4 影響與展望 / 126
6.5 DualPipe 與 EPLB：集群并行計算優(yōu)化 / 127
6.5.1 項目特點 / 128
6.5.2 技術(shù)剖析 / 130
6.5.3 影響與展望 / 133
6.6 3FS：為 AI 加速 / 134
6.6.1 項目特點 / 134
6.6.2 應(yīng)用場景 / 136
6.6.3 技術(shù)剖析 / 137
6.6.4 影響與展望 / 139
第 7 章 大模型未來發(fā)展展望 / 143
7.1 MoE 的未來 / 143
7.1.1 專家數(shù)量與規(guī)模的優(yōu)化 / 143
7.1.2 MoE 分布式訓(xùn)練工具進一步完善 / 143
7.1.3 門控算法的改進 / 144
7.1.4 跨領(lǐng)域應(yīng)用與融合 / 144
7.2 MLA 的未來 / 144
7.3 大模型訓(xùn)練方法的發(fā)展趨勢 / 145
7.3.1 三階段訓(xùn)練法的普及 / 145
7.3.2 混合精度訓(xùn)練的推廣 / 145
7.3.3 并行策略的優(yōu)化 / 145
7.4 推理部署的發(fā)展趨勢 / 146
7.4.1 PD 分離模式的普及 / 146
7.4.2 集群化推理的優(yōu)化與推理加速技術(shù)研究 / 146
7.5 GPU 硬件的未來發(fā)展 / 146
7.5.1 軟硬件協(xié)同升級 / 146
7.5.2 存儲與通信能力的優(yōu)化 / 147
7.5.3 低精度計算的支持 / 147
7.5.4 異構(gòu)計算的支持 / 147
7.6 從 LLaMA 4 看推理模型的發(fā)展 / 148
7.6.1 LLaMA 4 簡介 / 148
7.6.2 LLaMA 4 的核心技術(shù)細節(jié) / 150
書單推薦
![多智能體強化學(xué)習(xí)：基礎(chǔ)與現(xiàn)代方法 [德]斯特凡諾·V. 阿爾布萊希特 [希]菲利波斯·克里斯蒂安諾斯 [德]盧卡斯·舍費](http://pic.book1993.com/pic/)
