譯 者 序由于之前我在機(jī)械工業(yè)出版社翻譯的兩本英文書(shū)都已出版了，合作比較順利，因此在編輯老師聯(lián)系我翻譯這本書(shū)時(shí)，我就欣然接受了，這將是我翻譯的第三本關(guān)于自動(dòng)控制理論、自動(dòng)化技術(shù)的書(shū)。下面我就談?wù)劥舜畏�譯過(guò)程中的一些認(rèn)識(shí)和體會(huì)，希望對(duì)讀者理解書(shū)中的內(nèi)容能有所幫助。本書(shū)的主題非常好，講解也詳略得當(dāng)、通俗易懂，既體現(xiàn)了作者的真知灼見(jiàn)，又能夠讓讀者通過(guò)清晰的語(yǔ)言表述、豐富的示例、習(xí)題和注記了解相關(guān)內(nèi)容與事件的來(lái)龍去脈。本書(shū)共有10章，分為兩部分，第一部分（第1~5章）是關(guān)于無(wú)噪聲情況或者確定性情況下的基礎(chǔ)知識(shí)的；第二部分（第6~10章）是關(guān)于含有噪聲或者隨機(jī)過(guò)程的學(xué)習(xí)控制主題的。具體來(lái)說(shuō)，第一部分簡(jiǎn)要講述確定性控制系統(tǒng)相關(guān)內(nèi)容，如控制的基本問(wèn)題、最優(yōu)控制及其優(yōu)化算法設(shè)計(jì)以及價(jià)值函數(shù)近似等，特別是對(duì)何為控制問(wèn)題、控制理論到強(qiáng)化學(xué)習(xí)的演化關(guān)系、期望和方差的現(xiàn)實(shí)意義、優(yōu)化算法設(shè)計(jì)以及價(jià)值函數(shù)近似等問(wèn)題的闡述，別具特色，具有很強(qiáng)的啟發(fā)意義。第二部分講述存在噪聲或者處于某類馬爾可夫鏈描述情況下的隨機(jī)系統(tǒng)優(yōu)化設(shè)計(jì)問(wèn)題，主要包括馬爾可夫鏈的相關(guān)知識(shí)、基于馬爾可夫決策過(guò)程的隨機(jī)控制、隨機(jī)近似基礎(chǔ)知識(shí)、用于隨機(jī)優(yōu)化的幾類時(shí)間差分算法以及演員-評(píng)論家算法及其架構(gòu)等內(nèi)容，其中對(duì)于Watkins的Q學(xué)習(xí)、LQG、QSA、ZAP隨機(jī)近似以及隨機(jī)控制與強(qiáng)化學(xué)習(xí)之間的關(guān)系演化等內(nèi)容的闡述也很有見(jiàn)地，令人耳目一新。此外，本書(shū)對(duì)控制系統(tǒng)舞臺(tái)設(shè)計(jì)的演員-評(píng)論家算法架構(gòu)的闡述也非常生動(dòng)形象，展現(xiàn)出了自然系統(tǒng)和人文生活系統(tǒng)和諧地構(gòu)成天然的信息物理交互系統(tǒng)的圖景。這對(duì)于理解各種算法的由來(lái)以及功能大有裨益�？刂葡到y(tǒng)本身也是一類系統(tǒng)，更多強(qiáng)調(diào)的是如何協(xié)同或協(xié)調(diào)各要素之間的關(guān)系，以使得所設(shè)計(jì)的系統(tǒng)滿足預(yù)期的設(shè)定要求。這一點(diǎn)與生產(chǎn)力的本意相似，生產(chǎn)力是通過(guò)生產(chǎn)要素的組合運(yùn)用提供產(chǎn)品和服務(wù)的能力。協(xié)調(diào)各要素之間的關(guān)系涉及要素變量的選取和甄別、不同要素之間的權(quán)重組合以及這些組合的適應(yīng)性和可擴(kuò)展性等。擴(kuò)大應(yīng)用先進(jìn)和新型生產(chǎn)要素是控制系統(tǒng)持續(xù)健康發(fā)展的動(dòng)力之源，只有進(jìn)一步提高全要素生產(chǎn)率，建立起更高水平、更可持續(xù)的產(chǎn)業(yè)競(jìng)爭(zhēng)新優(yōu)勢(shì)，才能創(chuàng)造出更多控制策略或智能算法。如果僅基于對(duì)穩(wěn)定性的分析考慮控制系統(tǒng)，那么該主題屬于經(jīng)典控制理論范疇（包括頻域法和時(shí)域法的基礎(chǔ)理論）；如果再增加相應(yīng)的控制性能指標(biāo)和實(shí)時(shí)性，就發(fā)展成了解決較復(fù)雜過(guò)程的高級(jí)控制理論和技術(shù)；再考慮環(huán)境和對(duì)象模型的雙邊不確定性，特別是對(duì)象規(guī)模、性能指標(biāo)和邊界約束的增加，就使得控制策略從定常到時(shí)變、從魯棒到自適應(yīng)、從固定策略到學(xué)習(xí)策略、從最優(yōu)到近似最優(yōu)、從單一情境到復(fù)雜多情境的再生等，這一切既體現(xiàn)了認(rèn)知的與時(shí)俱進(jìn)、解決時(shí)代問(wèn)題的前沿性，也體現(xiàn)了控制理論從物理底層的局部回路調(diào)節(jié)演化到與應(yīng)用層和管理層通過(guò)網(wǎng)絡(luò)層實(shí)現(xiàn)半全局乃至全局的統(tǒng)籌規(guī)劃和運(yùn)籌帷幄，是逐漸從“硬件在回路”向“算法在回路”和“人在回路”的策略轉(zhuǎn)變，更加體現(xiàn)了人的能動(dòng)性在整個(gè)控制系統(tǒng)或管理系統(tǒng)中的作用。控制與學(xué)習(xí)的發(fā)展是隨著研究對(duì)象的變化而變化的，經(jīng)典的控制僅利用對(duì)象模型自身相關(guān)的確定信息來(lái)組成要素調(diào)節(jié)策略，而學(xué)習(xí)不僅要利用與對(duì)象自身相關(guān)的確定信息，還要在設(shè)計(jì)的預(yù)期目標(biāo)中考慮某些人為因素的投影，在適應(yīng)性和處理不確定性方面具有更大的自由度，從而能夠?qū)⑦@種學(xué)習(xí)模式遷移出去，體現(xiàn)出一種嵌入的能動(dòng)性或使能性。以上這些是我對(duì)控制系統(tǒng)與強(qiáng)化學(xué)習(xí)這個(gè)主題的一些認(rèn)識(shí)和理解，希望能為閱讀本書(shū)的讀者提供一個(gè)不一樣的“入門(mén)體驗(yàn)”。本書(shū)的翻譯分工如下：王秋富負(fù)責(zé)第1~5章以及前言和附錄的翻譯，葛伊陽(yáng)負(fù)責(zé)第6~10章的翻譯，王占山負(fù)責(zé)對(duì)全書(shū)譯文進(jìn)行審校�？紤]到譯者在控制系統(tǒng)，特別是強(qiáng)化學(xué)習(xí)方面的知識(shí)有限，以及原著語(yǔ)境口語(yǔ)化的特點(diǎn)，書(shū)中的翻譯可能存在紕漏和不足之處，敬請(qǐng)讀者批評(píng)指正。此外，感謝機(jī)械工業(yè)出版社編輯的及時(shí)溝通和努力合作，以及東北大學(xué)劉秀翀博士在我的討論班上對(duì)控制科學(xué)、智能科學(xué)以及哲學(xué)等方面給出的中肯見(jiàn)解和意見(jiàn)。王占山2024年8月于東北大學(xué)南湖校區(qū)前言在2020年春季學(xué)期，筆者正在教授隨機(jī)控制課程，該課程的最后幾周通常專注于強(qiáng)化學(xué)習(xí)（RL）主題。整個(gè)學(xué)期，筆者都在思考今年晚些時(shí)候要開(kāi)設(shè)的強(qiáng)化學(xué)習(xí)專題課程：計(jì)劃在巴黎和柏林開(kāi)設(shè)的兩個(gè)夏季課程，以及作為Simons（西蒙斯）研究所強(qiáng)化學(xué)習(xí)項(xiàng)目的一部分安排的另一門(mén)課程。2020年秋季課程的視頻和幻燈片現(xiàn)已公布在https://simons.berkeley.edu/programs/rl20網(wǎng)站上。DPLP即dynamic programming linear programming，動(dòng)態(tài)規(guī)劃的線性規(guī)劃�！�—譯者注春季學(xué)期結(jié)束后不久，筆者收到了劍橋大學(xué)出版社編輯Diana Gillooly的郵件。她寫(xiě)道：“有人提到你計(jì)劃講授關(guān)于強(qiáng)化學(xué)習(xí)的課程”，并問(wèn)筆者是否有興趣寫(xiě)一本關(guān)于這個(gè)主題的書(shū)。正是她這封簡(jiǎn)短的電子郵件推動(dòng)了本書(shū)的誕生。當(dāng)然，本書(shū)的歷史其實(shí)更加悠久——本書(shū)是筆者結(jié)合十多年來(lái)準(zhǔn)備的講義，以及更長(zhǎng)時(shí)間以來(lái)積累的零散資料而最終寫(xiě)成的。此外，筆者向Simons研究所RL項(xiàng)目的聯(lián)合組織者承諾，筆者將為初學(xué)者提供一門(mén)不需要大量數(shù)學(xué)背景的速成課程。筆者也保證，要寫(xiě)一本面向高年級(jí)本科生和研究生的可讀性較強(qiáng)的書(shū)。疫情引發(fā)了筆者的這些思考，使筆者覺(jué)得有必要闡明兩個(gè)主題：（i）在控制系統(tǒng)文獻(xiàn)中，有動(dòng)態(tài)規(guī)劃技術(shù)可以近似強(qiáng)化學(xué)習(xí)中出現(xiàn)的Q函數(shù)。特別是，這個(gè)“價(jià)值函數(shù)”是一個(gè)簡(jiǎn)單凸規(guī)劃的解（一個(gè)例子就是式（3.36）中闡釋的“DPLP”）。強(qiáng)化學(xué)習(xí)中的許多算法都是為近似相同的函數(shù)而設(shè)計(jì)的，但都是基于求根問(wèn)題，除了一些非常特殊的情況外，這些問(wèn)題往往難以被充分理解。這只是需要在控制和RL之間建立更好的溝通橋梁的一個(gè)例子。筆者不能聲稱這座橋已經(jīng)完全建成，但筆者希望這本書(shū)能夠基于不同學(xué)科的見(jiàn)解為未來(lái)的研究發(fā)現(xiàn)提供線索。（ii）隨機(jī)近似（SA）是分析遞歸算法最常用的方法。這種方法通常被稱為常微分方程（ODE）方法\[136,229,301,357\]。在沃特金斯（Watkins）引入Q學(xué)習(xí)\[169,352\]后不久，人們認(rèn)識(shí)到了RL和SA之間的關(guān)系。在過(guò)去的十年里，用于分析優(yōu)化算法的ODE方法變得越來(lái)越復(fù)雜\[198,318,335,375\]。相關(guān)的ODE方法是統(tǒng)計(jì)力學(xué)、遺傳學(xué)、流行病學(xué)（例如SIR模型）甚至投票的標(biāo)準(zhǔn)建�？蚣艿囊徊糠謀[24,122,225,276\]。本書(shū)將采用反向的敘述方式：書(shū)中的每個(gè)算法都從一個(gè)理想的ODE開(kāi)始，它被視為算法設(shè)計(jì)的“第一步”，而不是簡(jiǎn)單地將ODE視為一種分析工具。筆者相信這為算法綜合和分析提供了更好的見(jiàn)解。然而，使用SA來(lái)證明這種方法的合理性是高度技術(shù)性的，特別地，最近的學(xué)位論文和相關(guān)著述\[107,110\]（建立在類似的敘述之上）對(duì)隨機(jī)過(guò)程理論的應(yīng)用背景進(jìn)行了假設(shè)。在本書(shū)中，我們正式宣稱：只要你愿意使用正弦曲線或其他確定性探測(cè)信號(hào)而不是隨機(jī)過(guò)程，隨機(jī)近似就沒(méi)有本質(zhì)上的隨機(jī)性。第4章和第5章所研究的ODE方法就沒(méi)有提及概率論。這是筆者的第三本書(shū)，和前兩本書(shū)一樣，筆者也是基于新的發(fā)現(xiàn)才寫(xiě)成這本書(shū)的。在研究主題（i）時(shí)，筆者和同事Prashant Mehta發(fā)現(xiàn)，通過(guò)借鑒目前流行的批處理RL概念，凸Q學(xué)習(xí)可以變得更加實(shí)用。這個(gè)發(fā)現(xiàn)促使筆者開(kāi)始研究新的課題\[246,247\]以及開(kāi)展與Gergely Neu的新合作。你們會(huì)在第3章和第5章中找到這些論文的文本和方程。第4章主要討論ODE方法和準(zhǔn)隨機(jī)近似方面的內(nèi)容，該章建立在文獻(xiàn)\[40,41\]的基礎(chǔ)之上。在2020年夏天，筆者將所有這些材料整合起來(lái)，并就這些算法的收斂性和收斂速率創(chuàng)建了一個(gè)完整的理論，以更好地理解這些算法在RL的無(wú)梯度優(yōu)化和策略梯度技術(shù)中的應(yīng)用\[85��87\]。本書(shū)的第二部分涉及Q學(xué)習(xí)的Zap Zero（快速調(diào)零），以及對(duì)演員-評(píng)論家方法收斂速度的深刻見(jiàn)解等內(nèi)容。每章末的“注記”概述了各章主要結(jié)論的起源。許多剛接觸強(qiáng)化學(xué)習(xí)的人可能會(huì)失望地發(fā)現(xiàn)，本書(shū)中的理論和算法與大眾媒體描繪的“美好景象”相距甚遠(yuǎn)：強(qiáng)化學(xué)習(xí)通常被描述為一個(gè)在物理環(huán)境中互動(dòng)的“智能體”，并隨著經(jīng)驗(yàn)的積累而趨于成熟。不幸的是，考慮到當(dāng)今的技術(shù)水平，除了在線廣告等非常特殊的場(chǎng)景外，“從零開(kāi)始進(jìn)行控制”的過(guò)程不太可能成功。但是本書(shū)的基調(diào)完全不同：我們提出了一個(gè)最優(yōu)控制問(wèn)題，并展示了如何在設(shè)計(jì)探索策略和調(diào)整規(guī)則的基礎(chǔ)上獲得近似解。這不是筆者的怪癖，而是一種有嚴(yán)格要求的、被廣泛接受的方法，可以推導(dǎo)出強(qiáng)化學(xué)習(xí)的所有標(biāo)準(zhǔn)方法。特別是沃特金斯的Q學(xué)習(xí)算法及其擴(kuò)展被設(shè)計(jì)用于求解或近似20世紀(jì)50年代引入的“動(dòng)態(tài)規(guī)劃”方程。這個(gè)領(lǐng)域還很年輕，它的未來(lái)可能就像你在讀這篇前言之前所設(shè)想的那樣。希望在不久的將來(lái)，我們能發(fā)現(xiàn)RL的新范式，也許我們可以從智慧生物那里獲得靈感，而不是從20世紀(jì)的最優(yōu)方程中獲得靈感。筆者相信，如果沒(méi)有最優(yōu)控制范式的束縛，本書(shū)提及的基本原理在未來(lái)仍將很有價(jià)值！致謝一切要從30年前說(shuō)起。20世紀(jì)90年代中期，筆者（象征性地）中了彩票：一筆Fulbright獎(jiǎng)學(xué)金。我?guī)е�全家，包括我年幼的女兒Sydney和Sophie，來(lái)到了印度的班加羅爾。與Vivek Borkar在印度科學(xué)研究所（IISc）工作的9個(gè)月是我們富有成效的合作和長(zhǎng)期友誼的開(kāi)始。本書(shū)后半部分的幾乎每一頁(yè)的文字背后都有Vivek的影響和參與。當(dāng)Ben Van Roy在麻省理工學(xué)院（MIT）完成他的學(xué)位論文研究時(shí)，筆者也有幸與他進(jìn)行了互動(dòng)。他和John Tsitsiklis的合作絕對(duì)是一項(xiàng)壯舉，本書(shū)的許多方面都借鑒了他早期的強(qiáng)化學(xué)習(xí)（RL）研究。他目前的研究也可能會(huì)產(chǎn)生類似的長(zhǎng)期影響。Prashant Mehta曾對(duì)筆者說(shuō)：“我知道你是怎么做到的了！你周圍都是了不起的人！”了不起是對(duì)的，而他就處在了不起的最頂端。本書(shū)是與Vivek、Prashant和許多其他人（包括Ana BuiＢｕｉ!、ＫｅｎＤｕｆｆｙ、ＰｅｔｅｒＧｌｙｎｎ、ＩｏａｎｎｉｓＫｏｎｔｏｙｉａｎｎｉｓ、ＥｒｉｃＭｏｕｌｉｎｅｓ），以及聯(lián)合技術(shù)研究中心的許多老朋友（包括ＡｍｉｔＳｕｒａｎａ和ＧｅｏｒｇｅＭａｔｈｅｗ）合作的產(chǎn)物。筆者的博士指導(dǎo)老師ＰｅｔｅｒＣａｉｎｅｓ是筆者的第一位同事，也是筆者目前所遇到過(guò)的最好的同事之一，他熱情地支持筆者的馬爾可夫鏈理論研究，這為筆者在澳大利亞國(guó)立大學(xué)攻讀博士后期間與ＲｉｃｈａｒｄＴｗｅｅｄｉｅ的合作奠定了基礎(chǔ)。這些人都很了不起，所有人都會(huì)認(rèn)同這一點(diǎn)！對(duì)筆者的研究產(chǎn)生影響的一位優(yōu)秀青年學(xué)者是ＳｈｕｈａｎｇＣｈｅｎ，他是文獻(xiàn)［８８］（關(guān)于更精細(xì)ＯＤＥ方法的論文）的主要作者。非常感謝在讀研究生ＦａｎＬｕ對(duì)本書(shū)早期草稿提出的意見(jiàn)和在數(shù)值實(shí)驗(yàn)方面提供的幫助。ＰｒａｂｉｒＢａｒｏｏａｈ幫助筆者從伊利諾伊大學(xué)遷至佛羅里達(dá)大學(xué)生活。筆者從與其互動(dòng)以及與他的學(xué)生（包括ＮａｒｅｎＲａｍａｎ和ＡｕｓｔｉｎＣｏｆｆｍａｎ）的互動(dòng)中受益匪淺。ＭａｘＲａｇｉｎｓｋｙ幫助筆者收集和整理了一些筆者平時(shí)不太關(guān)注的文獻(xiàn)。他的建議以及Ｐｏｌｙａｋ最近的論文［１３６］幫助我了解了蘇聯(lián)學(xué)者在ＲＬ和ＳＡ方面的早期貢獻(xiàn)。ＭａｘＲａｇｉｎｓｋｙ的研究也給了筆者靈感：雖然本書(shū)中的許多地方都有對(duì)他研究成果的引用，但他的這些研究成果中的大部分內(nèi)容都更適用于學(xué)術(shù)專著。第２章和第３章的大部分內(nèi)容都是基于伊利諾伊大學(xué)決策與控制實(shí)驗(yàn)室開(kāi)設(shè)的狀態(tài)空間控制課程寫(xiě)成的。非常感謝ＢｉｌｌＰｅｒｋｉｎｓ、ＴａｍｅｒＢａｓａｒ和ＭａｘＲａｇｉｎｓｋｙ，感謝他們?cè)试S筆者使用文獻(xiàn)［２９］中的相關(guān)材料，還要感謝負(fù)責(zé)創(chuàng)新控制實(shí)驗(yàn)設(shè)計(jì)的實(shí)驗(yàn)室主任ＤａｎｉｅｌＢｌｏｃｋ。２０１８年，筆者有幸在美國(guó)國(guó)家可再生能源實(shí)驗(yàn)室（ＮＲＥＬ）度過(guò)了幾個(gè)月，在自主能源系統(tǒng)實(shí)驗(yàn)室進(jìn)行了研究。這些交流的一個(gè)成果就是促使筆者開(kāi)展有關(guān)隨機(jī)近似的研究，并發(fā)表了多篇文章［４０，４１，８５-８７，９３］。如果沒(méi)有在ＮＲＥＬ與ＡｎｄｒｅｙＢｅｒｎｓｔｅｉｎ、ＭａｒｃｅｌｌｏＣｏｌｏｍｂｉｎｏ、ＥｍｉｌｉａｎｏＤａｌｌ�穑粒睿澹螅逡约肮P者以前的研究生ＹｕｅＣｈｅｎ的合作，就不會(huì)有現(xiàn)在的這本書(shū)。在回顧第４章關(guān)于極值搜索控制的文獻(xiàn)時(shí)，筆者對(duì)研究文獻(xiàn)中普遍認(rèn)為這一想法始于２０世紀(jì)２０年代的說(shuō)法持懷疑態(tài)度。這段歷史中最令人信服的案例是在文獻(xiàn)［３４８］中提出的。筆者聯(lián)系了合著者ＩｖｅｎＭａｒｅｅｌｓ，他向筆者保證了這段歷史的準(zhǔn)確性。然后，在法國(guó)同事的幫助下，筆者找到并翻譯了１９２２年的文獻(xiàn)［２１７］，該文獻(xiàn)被認(rèn)為是這種優(yōu)化技術(shù)的來(lái)源。ＦｒａｎｋＬｅｗｉｓ是ＲＬ和控制理論交叉領(lǐng)域最偉大的“橋梁建設(shè)者”之一，他主導(dǎo)了關(guān)于這些主題的幾本論文集的創(chuàng)作。１０年前，當(dāng)他想到筆者并促成投稿時(shí)［１６５］，筆者感到很驚訝，而１０年后他邀請(qǐng)筆者為新書(shū)投稿時(shí)［１１０］，筆者非常高興地接受了。直到最近，筆者一直認(rèn)為ＲＬ是一種愛(ài)好，是復(fù)雜系統(tǒng)（如網(wǎng)絡(luò)［２５４］）簡(jiǎn)化模型的動(dòng)力，也是教授控制理論的工具。隨著ＡｄｉｔｈｙａＤｅｖｒａｊ來(lái)到佛羅里達(dá)大學(xué)，筆者的認(rèn)識(shí)發(fā)生了變化，他和筆者一起攻讀研究生，直到２０２０年春畢業(yè)后他去了斯坦福大學(xué)。他的好奇心和智慧在很多方面都給了我靈感，尤其是驅(qū)使筆者更多地了解了ＲＬ在過(guò)去十年中的演變。本書(shū)第二部分的許多數(shù)據(jù)和理論都來(lái)源于他的學(xué)位論文［１０７］，他還對(duì)本書(shū)中許多部分提出了改進(jìn)建議。筆者欠西蒙斯學(xué)院一筆很大的人情。２０１８年春天，筆者作為實(shí)時(shí)決策項(xiàng)目的長(zhǎng)期訪問(wèn)學(xué)者，有幸與ＡｎａＢｕ�lｉ!和ＡｄｉｔｈｙａＤｅｖｒａｊ開(kāi)展合作。我們從其他的訪問(wèn)學(xué)者和ＰｅｔｅｒＢａｒｔｌｅｔｔ（以及其他當(dāng)?shù)貙W(xué)者）那里學(xué)到了很多。我們當(dāng)時(shí)的討論推動(dòng)了２０２０年的ＲＬ項(xiàng)目，該項(xiàng)目Ⅸ　提供了一個(gè)關(guān)于該主題各個(gè)方面的大型速成課程，并著重強(qiáng)調(diào)了筆者試圖通過(guò)本書(shū)進(jìn)行探討的那種橋梁建設(shè)。２０２０年秋天，就在完成關(guān)于這個(gè)主題的第１０章之前，筆者觀看了關(guān)于最近演員－評(píng)論家技巧的教程。本書(shū)受益于ＧｅｒｇｅｌｙＮｅｕ、ＣｉａｒａＰｉｋｅＢｕｒｋｅ以及ＣｓａｂａＳｚｅｐｅｓｖｒｉ組織的強(qiáng)化學(xué)習(xí)虛擬研討會(huì)系列�棧�，該系列也受到了西蒙斯２０２０年ＲＬ項(xiàng)目的啟發(fā)�；氐浆F(xiàn)在：２０２１年春天，筆者在本書(shū)第一部分的基礎(chǔ)上開(kāi)設(shè)了一門(mén)新課程。許多學(xué)生都渴望參與控制系統(tǒng)和ＲＬ的簡(jiǎn)易入門(mén)學(xué)習(xí)，好在這些學(xué)生都挺過(guò)了困難重重的三個(gè)月。筆者很感激這學(xué)期收到的所有反饋，并且會(huì)盡力做出回應(yīng)。感謝ＡｒｉｅｌｌｅＳｔｅｖｅｎｓ，他糾正了前三章中許多表述不清晰的段落，并提出使用灰色方框來(lái)突出重要的概念。為了回應(yīng)其他學(xué)生（包括ＣａｌｅｂＢｏｗｙｅｒ、ＢｏＣｈｅｎ、ＡｕｓｔｉｎＣｏｆｆｍａｎ、ＣｈｅｔａｎＤｈｕｌｉｐａｌｌａ、ＷｅｉｈａｎＳｈｅｎ、ＺｅｔｏｎｇＸｕａｎ、Ｋｅｉ�玻裕幔椋伲鹾停伲铮睿纾�ｕＺｈａｎｇ）的意見(jiàn)，我們做出了更多改進(jìn)。這份名單上還有最近畢業(yè)的ＢｏｂＭｏｙｅ博士以及與筆者一起進(jìn)行ＲＬ和相關(guān)課題研究的在讀研究生：ＭａｒｉｏＢａｑｕｅｄａｎｏＡｇｕｉｌａｒ、ＣａｉｏＬａｕａｎｄ和ＡｍｉｎＭｏｒａｄｉ。2021年８月在Ｔｗｉｔｔｅｒ（現(xiàn)Ｘ）上發(fā)布草稿后不久，筆者還收到了在讀博士生ＶｅｋｔｏｒＤｅｗａｎｔｏ的大量反饋。當(dāng)然，筆者不會(huì)忘記自己的資助者。美國(guó)空軍科學(xué)研究辦公室（ＡＦＯＳＲ）的ＢｏｂＢｏｎｎｅａｕ資助了筆者和ＰｒａｓｈａｎｔＭｅｈｔａ在Ｑ學(xué)習(xí)、平均場(chǎng)博弈和非線性濾波方面的早期研究。美國(guó)陸軍研究辦公室的ＤｅｒｙａＣａｎｓｅｖｅｒ和ＰｕｒｕｓｈＩｙｅｒ資助了更多相關(guān)主題的研究。美國(guó)國(guó)家科學(xué)基金會(huì)（ＮＳＦ）資助了筆者最抽象、看似毫無(wú)價(jià)值的一些研究課題，希望這些課題能帶來(lái)一些有價(jià)值的東西。筆者在ＮＳＦ最可靠的盟友是Ｒａｄｈａｋｉｓａｎ（Ｋｉｓｈａｎ）Ｂａｈｅｔｉ，他為筆者的第一筆資助提供了資金（開(kāi)始于20世紀(jì)90年代初的自適應(yīng)控制課題）。Ｂａｈｅｔｉ是一位出色的導(dǎo)師，他始終對(duì)潛在的愚蠢想法保持著警覺(jué)，同時(shí)也懂得如何從那些新的、看似無(wú)用的研究方向中獲得啟發(fā)。他知道控制界中的每個(gè)人都在做什么！他還通過(guò)他的馬拉松長(zhǎng)跑以及對(duì)瑜伽的精通激勵(lì)著我們所有人。肖恩·梅恩2021年８月１日