前言近年來(lái)數(shù)字化已經(jīng)極大地改變了我們的生活方式，社交媒體、流媒體直播和智能手機(jī)僅僅是冰山一角，而且這個(gè)變化速度仍在加快。數(shù)字化轉(zhuǎn)型影響到音樂(lè)和電視、購(gòu)物和旅游等許多行業(yè)，同時(shí)在人工智能和機(jī)器學(xué)習(xí)的推動(dòng)下，像無(wú)人機(jī)和自動(dòng)駕駛汽車這樣的自動(dòng)化機(jī)器（autonomous machine）的也在迅速增長(zhǎng)。那么是什么推動(dòng)了這個(gè)數(shù)字社會(huì)的發(fā)展呢？答案是數(shù)據(jù)。在20 世紀(jì)，石油曾是世界上最有價(jià)值的資源。如今，數(shù)據(jù)成為了新的石油。隨著分析的增長(zhǎng)，對(duì)數(shù)據(jù)的需求遲早會(huì)達(dá)到我們前所未見(jiàn)的水平。同時(shí)，數(shù)據(jù)不僅在飛速擴(kuò)充而且變得愈加復(fù)雜。云計(jì)算、API 管理、微服務(wù)、開(kāi)放數(shù)據(jù)、軟件即服務(wù)（SaaS）以及新的軟件交付模式等也正在興起，過(guò)去幾年涌現(xiàn)了無(wú)數(shù)新的數(shù)據(jù)庫(kù)和分析應(yīng)用程序。這些大量新的數(shù)據(jù)處理方法不斷分化（fragment）數(shù)字景觀。我們看到了更多的點(diǎn)對(duì)點(diǎn)接口、無(wú)休止的關(guān)于數(shù)據(jù)質(zhì)量和所有權(quán)的討論，以及眾多與隱私和安全有關(guān)的道德和法律困境。敏捷性、系統(tǒng)長(zhǎng)期的穩(wěn)定性和清晰的數(shù)據(jù)治理的理念與迅速發(fā)展新業(yè)務(wù)的需求互相沖突。我們行業(yè)迫切需要一個(gè)關(guān)于數(shù)據(jù)管理和數(shù)據(jù)集成未來(lái)發(fā)展的清晰愿景。本書(shū)關(guān)于數(shù)據(jù)管理和數(shù)據(jù)集成的觀點(diǎn)得益于我的個(gè)人經(jīng)驗(yàn)。作為一家大型企業(yè)的首席數(shù)據(jù)架構(gòu)師，我推動(dòng)了數(shù)據(jù)架構(gòu)議程。這一角色幫助我清楚地看到了良好的數(shù)據(jù)策略可以對(duì)大型組織產(chǎn)生何種影響。在這之前，我還曾擔(dān)任戰(zhàn)略顧問(wèn)，設(shè)計(jì)了許多架構(gòu)，并參與了大型數(shù)據(jù)管理項(xiàng)目，同時(shí)作為自由職業(yè)應(yīng)用開(kāi)發(fā)人員將這些心得付諸實(shí)踐。簡(jiǎn)而言之，我在最近十年一直在尋找能幫助企業(yè)成為數(shù)據(jù)驅(qū)動(dòng)的最佳方案。如今，我的雇主荷蘭銀行（ABO AMRO）注1 正在構(gòu)建大家描述的未來(lái)狀態(tài)架構(gòu)注2。我們已經(jīng)將本書(shū)的想法付諸于生產(chǎn)，并從實(shí)踐中積累經(jīng)驗(yàn)。我知道并且已經(jīng)了解了其中哪些行之有效，哪些無(wú)效。這些經(jīng)驗(yàn)使我能為你呈現(xiàn)一種開(kāi)創(chuàng)性的數(shù)據(jù)管理和數(shù)據(jù)集成方法，此方法遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)方法。在這里，你將發(fā)現(xiàn)新的方法和發(fā)展趨勢(shì)正不斷相互對(duì)接和融合，這其中包括了企業(yè)架構(gòu)、業(yè)務(wù)架構(gòu)、軟件架構(gòu)、領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)、應(yīng)用集成、微服務(wù)和云計(jì)算。本書(shū)是一本關(guān)于構(gòu)建現(xiàn)代化、可拓展數(shù)據(jù)景觀的綜合指南。它提供了豐富的藍(lán)圖、原則、標(biāo)準(zhǔn)化模式、觀察、示例和最佳實(shí)踐。它將教你如何避開(kāi)復(fù)雜且緊密耦合的數(shù)據(jù)景觀陷阱，以及怎樣把敏捷和控制注入組織的DNA 中。它從多個(gè)盡可能新的角度審視了數(shù)據(jù)管理和數(shù)據(jù)集成。你可以根據(jù)你組織的成熟情況來(lái)選擇適合自己的操作。無(wú)數(shù)的公司在如何妥善進(jìn)行數(shù)據(jù)管理方面失敗了，考慮到持續(xù)變化的數(shù)據(jù)景觀、迅猛增加的數(shù)據(jù)量和隨之而來(lái)的集成挑戰(zhàn)，這是可以理解的。在本書(shū)中我都牢記這點(diǎn)，并密切關(guān)注常見(jiàn)的障礙。值得一提的是，我設(shè)想的內(nèi)容能通過(guò)許多不同的方式來(lái)實(shí)現(xiàn)。我將會(huì)提到一些產(chǎn)品和供應(yīng)商，但總體理念還是保持技術(shù)中立譯注1。有些概念會(huì)特別復(fù)雜，所以很難開(kāi)發(fā)。由于數(shù)據(jù)管理領(lǐng)域和數(shù)據(jù)集成在許多方面高度交織在一起，因此我將慢慢構(gòu)建本書(shū)的愿景，從定義數(shù)據(jù)管理的核心學(xué)科開(kāi)始，回顧整體架構(gòu)，然后深入各個(gè)領(lǐng)域。我所設(shè)想的是一種持久的、現(xiàn)代的、基于領(lǐng)域的分布式架構(gòu)，它能幫助組織快速找到和集成數(shù)據(jù)來(lái)滿足業(yè)務(wù)對(duì)敏捷性的需求，同時(shí)保持對(duì)數(shù)據(jù)的控制。我稱之為可拓展架構(gòu)�？赏卣辜軜�(gòu)和其他架構(gòu)的不同之處在于它能務(wù)實(shí)地（pragmatically）得到創(chuàng)建。其各個(gè)組成部分可以獨(dú)立且逐步地設(shè)計(jì)，而無(wú)需大量的前期投資。這也是我所推薦的，從小處著手，觀察進(jìn)展情況，然后繼續(xù)前進(jìn)。這種方法與許多執(zhí)行失敗的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目形成了鮮明對(duì)比，后者可能數(shù)年都無(wú)法產(chǎn)生價(jià)值。本書(shū)面向的讀者對(duì)象這個(gè)可拓展架構(gòu)是為了大型企業(yè)服務(wù)的，然而較小的組織也可以從中發(fā)現(xiàn)很多有價(jià)值的內(nèi)容。本書(shū)尤其適合于：? 管理層和架構(gòu)師：首席數(shù)據(jù)官，首席科技官，企業(yè)架構(gòu)師和數(shù)據(jù)架構(gòu)師。? 合規(guī)以及監(jiān)管團(tuán)隊(duì)：首席信息安全官，數(shù)據(jù)保護(hù)官，信息安全分析師，數(shù)據(jù)專家和商業(yè)分析師。? 分析團(tuán)隊(duì)：數(shù)據(jù)科學(xué)家，數(shù)據(jù)工程師，數(shù)據(jù)分析師，以及分析管理者。? 開(kāi)發(fā)團(tuán)隊(duì)：數(shù)據(jù)工程師，商業(yè)智能工程師，數(shù)據(jù)建模師和設(shè)計(jì)師以及其他數(shù)據(jù)專業(yè)人士。我能學(xué)到什么學(xué)完本書(shū)之后，你將理解：? 什么是數(shù)據(jù)管理及為何它很重要。? 哪些數(shù)據(jù)景觀的內(nèi)容受到了業(yè)務(wù)和技術(shù)趨勢(shì)的影響。? 數(shù)據(jù)管理的核心部分是哪些，以及它們是如何互相影響的。? 如何大規(guī)模地管理復(fù)雜的數(shù)據(jù)景觀。? 為何數(shù)據(jù)集成如此困難。? 為何企業(yè)數(shù)據(jù)倉(cāng)庫(kù)不再能滿足其目的。? 你需要哪些工具才能搭建大規(guī)模的數(shù)據(jù)架構(gòu)。? 如何理解分發(fā)數(shù)據(jù)的核心模式、它們的特征和一些用例。? 在管理架構(gòu)中元數(shù)據(jù)扮演了何種角色。? 如何在大規(guī)模應(yīng)用中實(shí)施主數(shù)據(jù)和參考數(shù)據(jù)的管理。? 如何利用自助模式來(lái)擴(kuò)展數(shù)據(jù)消費(fèi)。? 混合云和跨網(wǎng)絡(luò)將如何影響你的架構(gòu)。? 如何應(yīng)用最佳實(shí)踐以及在各式環(huán)境下最適宜的模式。本書(shū)的組織結(jié)構(gòu)本書(shū)第1 章提供了一個(gè)背景視角，它展示了什么是數(shù)據(jù)管理以及正在發(fā)生怎樣的變化。這個(gè)視角評(píng)估了2020 年初數(shù)據(jù)管理的當(dāng)前狀態(tài)，并追溯了企業(yè)中央數(shù)據(jù)平臺(tái)的興起與衰落。在第2 章，我們將深入探討可拓展架構(gòu)的細(xì)節(jié)。此章介紹了該架構(gòu)，并為模型搭建提供了理論基礎(chǔ)。后續(xù)章節(jié)將討論構(gòu)成整體數(shù)據(jù)架構(gòu)的各種集成架構(gòu)的具體細(xì)節(jié)，其中第3 章聚焦于只讀數(shù)據(jù)架構(gòu)，第4 章討論API 架構(gòu)，第5 章涵蓋流式架構(gòu)。第6 章將所有內(nèi)容整合在一起，提供了一個(gè)全面的總覽。隨后的章節(jié)將更深入地探討這種架構(gòu)是如何運(yùn)用數(shù)據(jù)管理和其各個(gè)分支更高級(jí)的內(nèi)容。第7 章考察了即使在快速變化的時(shí)代，該如何以實(shí)用且可持續(xù)的方式處理數(shù)據(jù)治理和安全問(wèn)題。第8 章討論了可拓展架構(gòu)的業(yè)務(wù)案例，準(zhǔn)確展示了它如何幫企業(yè)將數(shù)據(jù)轉(zhuǎn)化成價(jià)值。第9 章提供了關(guān)于使用主數(shù)據(jù)管理來(lái)保持分布式、廣泛資產(chǎn)中數(shù)據(jù)一致性的指導(dǎo)，而第10 章深入探討了元數(shù)據(jù)的使用、重要性以及民主化的潛力。第11 章以對(duì)數(shù)據(jù)管理和企業(yè)架構(gòu)未來(lái)的展望結(jié)束了本書(shū)。排版約定本書(shū)使用了下述排版約定。斜體（Italic）表示新術(shù)語(yǔ)、URL、電子郵件地址、文件名擴(kuò)展名。等寬字體（Constant Width）用于程序列表（program listing），以及在段落中引用程序元素，如變量或函數(shù)名稱、數(shù)據(jù)庫(kù)、數(shù)據(jù)類型、環(huán)境變量、語(yǔ)句和關(guān)鍵字。OReilly 在線學(xué)習(xí)平臺(tái)（OReilly Online Learning）近40 年來(lái)，OReilly Media 致力于提供技術(shù)和商業(yè)培訓(xùn)、知識(shí)和卓越見(jiàn)解，來(lái)幫助眾多公司取得成功。公司獨(dú)有的專家和改革創(chuàng)新者網(wǎng)絡(luò)通過(guò)OReilly 書(shū)籍、文章以及在線學(xué)習(xí)平臺(tái)，分享他們的專業(yè)知識(shí)和實(shí)踐經(jīng)驗(yàn)。OReilly 在線學(xué)習(xí)平臺(tái)按照您的需要提供實(shí)時(shí)培訓(xùn)課程、深入學(xué)習(xí)渠道、交互式編程環(huán)境以及來(lái)自O(shè)Reilly 和其他200 多家出版商的大量書(shū)籍與視頻資料。更多信息，請(qǐng)?jiān)L問(wèn)網(wǎng)站：https://www.oreilly.com/。聯(lián)系我們?nèi)魏斡嘘P(guān)本書(shū)的意見(jiàn)或疑問(wèn)，請(qǐng)按照以下地址聯(lián)系出版社。美國(guó)：OReilly Media, Inc.1005 Gravenstein Highway NorthSebastopol, CA 95472中國(guó)：北京市西城區(qū)西直門南大街2 號(hào)成銘大廈C 座807 室（100035）奧萊利技術(shù)咨詢（北京）有限公司本書(shū)有一個(gè)專屬網(wǎng)頁(yè)，在那里我們列出了勘誤表、示例和任何附加信息。你可以通過(guò)https://oreil.ly/data-mgmt-at-scale 來(lái)訪問(wèn)。如有意見(jiàn)或詢問(wèn)技術(shù)問(wèn)題請(qǐng)發(fā)送郵件至errata@oreilly.com.cn。如尋求關(guān)于我們書(shū)籍、課程、會(huì)議和消息的更多信息，請(qǐng)?jiān)L問(wèn)我們的網(wǎng)站 http://www.oreilly.com。我們的Facebook：http://facebook.com/oreilly。我們的Twitter：http://twitter.com/oreillymedia。我們的YouTube：http://youtube.com/oreillymedia。致謝我想感謝Jessica Strengholt-geitenbeek 允許我來(lái)寫這本書(shū)。在這個(gè)寫作過(guò)程中，她一直支持我，照顧孩子并騰出空間讓我可以工作，她是我生活中的摯愛(ài)。我還想感謝ABN AMRO 銀行的首席架構(gòu)師和數(shù)據(jù)管理負(fù)責(zé)人Santhosh Pillai，感謝他的信任和在我的職業(yè)生涯中的指導(dǎo)。很多想法源于他的思考。如果沒(méi)有他和我之間的無(wú)數(shù)的討論，這本書(shū)不會(huì)出現(xiàn)。此外，還有許多其他人給本書(shū)提供了支持和反饋：特別是Bas Van Gils、Danny Greefhorst、Gabriele Rossi、Noor Spanjaard、Bas Van Holsenbeck、Jacek Offierski、Robbert Naastepad、Neil Baxter，以及所有提供支持的人。最后我想感謝OReilly 團(tuán)隊(duì)的所有人的支持和信任，他們非常杰出。Sarah Grey，和你一同工作非常愉快，你的積極能量、敏銳的觀察和開(kāi)心的微笑激勵(lì)我完成這本書(shū)。Kim Sandoval，謝謝你的全局的宏觀視角，Katherine Tozer，非常感激你在最后階段對(duì)本書(shū)的管理。Michelle Smith 和Melissa Potter，感謝你們?cè)谌肼毱陂g的支持。