推薦序

近年來，隨著大數(shù)據的出現(xiàn)和計算資源的飛速發(fā)展，深度學習成為人工智能領域一個重要的研究熱點，各種深度學習的模型、算法層出不窮，深度學習也在圖像、聲音和文本等應用領域取得了眾多革命性的突破與進展。圖數(shù)據是一種具有強大表達能力的數(shù)據類型，其應用范圍十分廣泛，小至納米級別的蛋白質分子，大到數(shù)億級別的社交網絡，都可以很自然地用圖數(shù)據表示。然而，由于圖數(shù)據的結構特殊性，給各大應用領域帶來深刻變革的深度學習技術并不能直接應用到圖數(shù)據領域，為了解決這一問題，圖深度學習應運而生。

圖深度學習旨在研究如何在圖上應用深度學習技術，學習優(yōu)質的圖表示，以較好地完成圖上的各類任務。到目前為止，圖深度學習的研究已經取得了不少重大突破，這些研究成果給圖上的任務解決模式帶來了巨大變革，并極大地推進了圖表示學習和圖機器學習的發(fā)展。在圖深度學習中，各類圖神經網絡模型在各大計算機相關領域的應用都取得了巨大成功，比如數(shù)據挖掘領域中的社交網絡分析任務、交通網絡預測任務，以及計算機科學領域的程序分析任務等。除此之外，圖神經網絡模型還為各類跨學科領域的研究帶來了革命性的突破，比如生物化學領域的蛋白質性質分析和藥物發(fā)現(xiàn)任務，以及物理科學領域的系統(tǒng)狀態(tài)預測任務等。

本書對圖深度學習進行了全面系統(tǒng)的介紹，結構清晰，內容豐富，深入淺出。本書共4 篇，包括基礎理論、模型方法、實際應用和前沿進展，構成了一個非常全面、系統(tǒng)的知識框架。其內容涵蓋了學習圖深度學習必須了解的基礎知識，圖深度學習中經典的模型方法，圖深度學習在實際中的應用方法，以及圖深度學習的研究熱點和前沿進展。同時，本書各章的結構也都非常優(yōu)美，從背景介紹、理論細節(jié)，到實際應用，再到總結與拓展，深入淺出，引人入勝。本書的作者在圖深度學習領域耕耘多年，擁有豐富的一線教學和研究經驗。本書凝結了作者團隊多年的教學及研究心得，極具閱讀和學習價值。

本書適合計算機科學、人工智能和機器學習等相關專業(yè)各個階段的學生學習，也可供信息領域相關從業(yè)者，包括工程師和研究人員閱讀。本書還適合跨學科研究者閱讀，可為其領域研究提供有價值的參考。

俞士綸

伊利諾大學芝加哥分校（UIC）計算機科學系特聘教授，國際計算機領域著名學者，ACM/IEEE 會士

前言

圖（Graph）經常用來表示包括社會科學、語言學、化學、生物學和物理學在內的很多不同領域的數(shù)據。同時，許多現(xiàn)實世界的應用都可以視為圖上的計算任務，例如特定地點的空氣質量預測可以視為節(jié)點分類任務，社交網絡中的朋友推薦可以視為鏈接預測任務，蛋白質性質預測可以視為圖分類任務。為了更好地利用現(xiàn)代機器學習模型完成圖上的計算任務，有效地學習圖的表示至關重要。表示圖的特征提取方法一般可分為兩種——特征工程和表示學習。特征工程依賴于手工設計的特征，這個過程很費時，而且手工設計的特征對于給定的下游任務通常不是最佳的。相對而言，表示學習可以自動地從圖上學習特征，這個過程需要最少的人力并可以靈活適用于給定的下游任務。因此，圖上的表示學習被大家廣泛研究。

在過去的幾十年中，圖表示學習領域取得了巨大的進展。這些進展大致可以劃分為圖表示學習的三個時代，即傳統(tǒng)圖嵌入、現(xiàn)代圖嵌入和圖深度學習。傳統(tǒng)圖嵌入作為第一代圖表示學習，是在經典的基于圖的降維技術的背景下研究的。傳統(tǒng)圖嵌入包括IsoMap、LLE 和eigenmap 等方法。Word2vec 是從大量文本中學習詞的表示的一種方法，這些生成的詞表示已推進了許多自然語言處理任務的進展。Word2vec 在圖域的成功擴展開啟了第二代圖表示學習——現(xiàn)代圖嵌入。鑒于深度學習技術在圖像和文本領域表示學習中取得的巨大成功，研究者已努力地將其推廣到圖域，從而開啟了圖表示學習的新篇章——圖深度學習。

越來越多的證據表明，第三代圖表示學習，尤其是圖神經網絡（GNN），極大地促進了包括側重于節(jié)點和側重于圖的各種圖上計算任務的發(fā)展。GNN 帶來的革命性進展也極大地促進了圖表示學習在現(xiàn)實場景中的廣泛應用。在推薦系統(tǒng)和社交網絡分析等經典領域中，GNN 帶來了最好的性能并為它們帶來新的研究課題。同時，GNN也不斷地應用到新的領域，例如組合優(yōu)化、物理和醫(yī)療健康。GNN 的這些廣泛應用為研究者提供了不同學科的多種貢獻和觀點，并使該研究領域真正成為跨學科領域。

圖表示學習是一個快速發(fā)展的領域，它吸引了來自不同領域研究者的大量關注，并已經積累了大量的文獻。因此，現(xiàn)在是系統(tǒng)地調查和總結該領域的好時機，本書的寫作動機就是實現(xiàn)這一目標。本書基于筆者在該領域多年的教學和研究經驗，旨在幫助研究人員了解圖表示學習的基本知識、進展、廣泛的應用及研究前沿成果。

全書概要

本書全面介紹了圖表示學習，重點講解圖深度學習尤其是GNN。本書由4 篇組成：基礎理論、模型方法、實際應用和前沿進展。基礎理論篇介紹了圖和深度學習的歷史背景和基本概念。模型方法篇涵蓋的主題包括現(xiàn)代圖嵌入、用于簡單圖和復雜圖的GNN、GNN 的健壯性和可擴展性及GNN 之外的圖深度模型。其中，每個主題都用一章介紹，內容包括有關該主題的基本概念和代表性算法的技術細節(jié)。實際應用篇介紹了GNN 在典型領域的應用，包括自然語言處理、計算機視覺、數(shù)據挖掘、生物化學和醫(yī)療健康，每個應用領域將用一章介紹。前沿進展篇討論了涌現(xiàn)的新方法和新的應用領域，每一章最后都包括針對更高級主題和新趨勢的擴展閱讀，感興趣的讀者可以進一步閱讀相關參考文獻。

目標讀者

盡管圖論、微積分、線性代數(shù)、概率論和統(tǒng)計學的基本背景可以幫助讀者更好地理解書中的技術細節(jié)，但本書的目的是盡可能地做到自成體系。因此，本書廣泛地適用于具有不同背景和不同閱讀目的的讀者。本書可以作為學習工具和參考書，供相關研究領域的高年級本科生或研究生學習。希望從事該領域研究的研究人員可以將本書作為起點。項目經理和從業(yè)人員可以從本書中學習如何在產品和平臺中應用GNN。計算機科學領域以外的研究人員可以從本書中找到大量將GNN 應用于不同學科的示例。

由于編者水平有限，書中不足之處在所難免，肯請廣大讀者批評指正。

馬耀

湯繼良

東蘭辛，密歇根州

2021 年4 月

致謝

本書在翻譯、校對和出版過程中，得到國內外眾多專家學者和出版人員的大力支持和幫助，我們衷心地感謝為本書做出了卓越貢獻的各位朋友：

感謝為本書撰寫推薦序的伊利諾伊大學芝加哥分校的俞士綸教授。

感謝為本書撰寫推薦語的多位專家學者，他們是（按照姓氏拼音排序）：清華大學崔鵬副教授、國防科技大學劉新旺教授、得克薩斯農工大學姬水旺教授、西蒙弗雷澤大學裴健教授、蒙特利爾大學唐建助理教授、清華大學唐杰教授、康奈爾大學王飛副教授、萬人計劃國家教學名師殷建平教授、悉尼科技大學張成奇教授、南京大學周志華教授和國防科技大學祝恩教授。

感謝為本書的校對和修改提出寶貴意見的各位老師和同學們，他們是（按照姓氏拼音排序）：桂林電子科技大學蔡國永教授及其團隊、重慶大學高旻副教授及其團隊、中國科技大學何向南教授及其團隊、南寧師范大學黃江濤副研究員及其團隊、北京理工大學禮欣副教授及其團隊、解放軍理工大學潘志松教授及其團隊、吉林大學王鑫副研究員及其團隊、山東大學余國先教授及其團隊、南京航空航天大學袁偉偉教授及其團隊、國防科技大學周思航老師及博士生涂文軒。

感謝為本書付出巨大努力的電子工業(yè)出版社的宋亞東編輯以及全體工作人員。

感謝一直以來關注本書出版進展的熱心人士。

感謝正在閱讀此書的你。

最后，衷心地感謝我們的親人摯友，感謝你們一路溫暖的相伴、真摯的理解和堅強的支持。

祝大家學有所得，心想事成！

王怡琦，金衛(wèi)，馬耀，湯繼良

2021年4月