分布式技術(shù)“上位”進(jìn)行時(shí)

原標(biāo)題：分布式技術(shù)“上位”進(jìn)行時(shí)

我們身處數(shù)據(jù)大爆炸的時(shí)期，想必沒(méi)人會(huì)質(zhì)疑這一點(diǎn)。網(wǎng)絡(luò)用戶(hù)規(guī)模越來(lái)越大，由此產(chǎn)生的訪(fǎng)問(wèn)數(shù)據(jù)也在指數(shù)倍增長(zhǎng)，最典型的，每逢大型年度購(gòu)物節(jié)、流量明星出軌、春晚?yè)尲t包等特殊事件，都如同一場(chǎng)服務(wù)器系統(tǒng)性能的“極限挑戰(zhàn)”，某幾家互聯(lián)網(wǎng)公司總會(huì)被拉出來(lái)示眾，成則頂禮膜拜，敗則集體吐槽。

如何在極限繁忙的情況下，依然能流暢、安全地提供服務(wù)，又不過(guò)度增加服務(wù)器成本？想要解決這一問(wèn)題，傳統(tǒng)的服務(wù)器架構(gòu)就有些力不從心了。

分布式技術(shù)，作為一種專(zhuān)門(mén)針對(duì)海量數(shù)據(jù)場(chǎng)景的解決方案，就成為了一劑“特效藥”。

在基礎(chǔ)“療效”之外，更關(guān)鍵的是，技術(shù)本身還埋藏著交給未來(lái)的“彩蛋”。

分布式技術(shù)為什么“上位”？

如果關(guān)注一下互聯(lián)網(wǎng)公司的技術(shù)趨勢(shì)，會(huì)發(fā)現(xiàn)大規(guī)模或超大規(guī)模的分布式應(yīng)用已經(jīng)成為主流，而隨著云計(jì)算逐步向大眾生活滲透，中小規(guī)模的分布式應(yīng)用也在各個(gè)領(lǐng)域開(kāi)始廣泛出現(xiàn)。最為直接的體現(xiàn)就是，今天的開(kāi)發(fā)工程師想要找到一份工作，“熟悉分布式系統(tǒng)”“能對(duì)分布式常用技術(shù)進(jìn)行合理應(yīng)用”等都是常規(guī)要求了。

但對(duì)于非專(zhuān)業(yè)人群來(lái)說(shuō)，恐怕就有不少疑問(wèn)了，分布式技術(shù)為什么會(huì)上位，它是如何運(yùn)行的，相比傳統(tǒng)系統(tǒng)究竟強(qiáng)在哪里，又是如何影響我們的“沖浪”體驗(yàn)的？

簡(jiǎn)單來(lái)說(shuō)，所謂分布式（distributed），就是將不同的服務(wù)模塊部署在多臺(tái)不同的服務(wù)器上，然后通過(guò)遠(yuǎn)程調(diào)用協(xié)同工作，共同對(duì)外提供服務(wù)。對(duì)于用戶(hù)來(lái)說(shuō)，就像是一臺(tái)計(jì)算機(jī)在服務(wù)一樣。

我們知道，初代的服務(wù)器架構(gòu)往往比較簡(jiǎn)單，應(yīng)用程序、數(shù)據(jù)庫(kù)、文件、代碼等所有資源都放在一臺(tái)服務(wù)器上，也就是單機(jī)結(jié)構(gòu)。隨著企業(yè)業(yè)務(wù)量的增多，一臺(tái)服務(wù)器已經(jīng)難以滿(mǎn)足數(shù)據(jù)處理的需求了，那么就對(duì)單機(jī)進(jìn)行“復(fù)制粘貼”，就能收獲一個(gè)處理能力高出好幾倍的“服務(wù)器集群”。

不過(guò)，集群式擴(kuò)展很容易到達(dá)物理上限，最直接的反映就是無(wú)論怎么增加節(jié)點(diǎn)，整個(gè)集群的性能似乎也沒(méi)有被提升多少，這時(shí)候，就需要分布式系統(tǒng)登場(chǎng)了。

在實(shí)際業(yè)務(wù)中，分布式系統(tǒng)可以將不同的業(yè)務(wù)功能對(duì)應(yīng)到一個(gè)個(gè)獨(dú)立的子系統(tǒng)中去，比如針對(duì)電商平臺(tái)，可以將用戶(hù)服務(wù)、產(chǎn)品服務(wù)、店鋪管理、數(shù)據(jù)分析等不同的數(shù)據(jù)處理項(xiàng)目部署在不同的計(jì)算機(jī)集群上。這些獨(dú)立的集群可能是在不同的機(jī)房，甚至是不同的城市中，有的大型數(shù)據(jù)中心還會(huì)分布在不同的國(guó)家和地區(qū)。它們之間通過(guò)RPC消息傳遞進(jìn)行通信和協(xié)調(diào)，再向用戶(hù)提供服務(wù)。

通過(guò)幾種架構(gòu)的運(yùn)行邏輯不難發(fā)現(xiàn)，分布式系統(tǒng)至少具備三個(gè)特點(diǎn)：

首先是能夠?qū)崿F(xiàn)高并發(fā)、低延遲的網(wǎng)絡(luò)服務(wù)需求。面對(duì)超大規(guī)模的訪(fǎng)問(wèn)請(qǐng)求，很容易造成網(wǎng)頁(yè)打開(kāi)很慢、游戲擁堵卡頓甚至App直接宕機(jī)的情況。這時(shí)候需要多臺(tái)服務(wù)器共同高效協(xié)作，去處理盡可能多的任務(wù)，才能達(dá)到相應(yīng)流量的吞吐量。這就要企業(yè)需要將多個(gè)服務(wù)器部署在不同的地域，才有可能規(guī)避全球用戶(hù)可能導(dǎo)致的網(wǎng)絡(luò)擁堵和延遲問(wèn)題。換句話(huà)說(shuō)，分布式系統(tǒng)是全球網(wǎng)絡(luò)業(yè)務(wù)發(fā)展的基礎(chǔ)前提。

另外，分布式系統(tǒng)的可擴(kuò)展性能夠大幅度降低企業(yè)的網(wǎng)絡(luò)成本。由于分布式系統(tǒng)的多臺(tái)計(jì)算機(jī)可以在空間位置上隨意分布，機(jī)器性能也可以獨(dú)立運(yùn)行和隨時(shí)變動(dòng)，這就使得多個(gè)獨(dú)立服務(wù)可以得到針對(duì)性地升級(jí)，而不是傳統(tǒng)架構(gòu)下的“大鍋飯”。比如在商城大促期間，只需要針對(duì)產(chǎn)品系統(tǒng)、訂單系統(tǒng)等跟下單量級(jí)直接相關(guān)的節(jié)點(diǎn)，其他服務(wù)模塊維持原有水平，可以有效降低網(wǎng)絡(luò)使用成本。一些基礎(chǔ)模塊也可以為其他新增服務(wù)所復(fù)用，無(wú)需重復(fù)開(kāi)發(fā)，又進(jìn)一步降低了企業(yè)的經(jīng)營(yíng)風(fēng)險(xiǎn)?？梢哉f(shuō)，在各行業(yè)競(jìng)爭(zhēng)進(jìn)入精益時(shí)期和白熱化的當(dāng)下，分布式系統(tǒng)無(wú)疑是競(jìng)爭(zhēng)力的前提。

更關(guān)鍵的一點(diǎn)，是分布式系統(tǒng)的高安全性。由于該系統(tǒng)中計(jì)算機(jī)沒(méi)有主／從之分，也就是說(shuō)所有計(jì)算機(jī)節(jié)點(diǎn)都是對(duì)等的，在對(duì)外服務(wù)時(shí)分布式系統(tǒng)都會(huì)對(duì)數(shù)據(jù)和服務(wù)進(jìn)行副本處理，從而直接有效地防止了企業(yè)關(guān)鍵數(shù)據(jù)丟失無(wú)法找回等“慘劇”，也因此成為網(wǎng)絡(luò)防災(zāi)的重要保障。

正是出于這些技術(shù)特征，毫不夸張地說(shuō)，計(jì)算機(jī)系統(tǒng)正在經(jīng)歷一場(chǎng)從集中式向分布式過(guò)渡的整體變革。

分布式云計(jì)算：受益人與鼓吹手

如果說(shuō)分布式系統(tǒng)代表著網(wǎng)絡(luò)服務(wù)的發(fā)展方向，那么云計(jì)算的社會(huì)化，可能是其快速普及的重要推手。

今天，我們?cè)谥T多云服務(wù)商的技術(shù)架構(gòu)里，能夠看到不少分布式技術(shù)的身影，比如分布式存儲(chǔ)、分布式數(shù)據(jù)庫(kù)、分布式消息中間件等等。某種程度上，分布式系統(tǒng)在資源池化、硬件故障容錯(cuò)能力、性能提升等方面的技術(shù)優(yōu)勢(shì)，賦予了云計(jì)算真正觸摸服務(wù)市場(chǎng)的可能性。

這種影響，主要體現(xiàn)在三個(gè)關(guān)鍵環(huán)節(jié)：

一是分布式存儲(chǔ)。云服務(wù)作為智能化的輸出載體，對(duì)數(shù)據(jù)的存儲(chǔ)和分析是不可或缺的能力之一，而傳統(tǒng)的數(shù)據(jù)存儲(chǔ)模式往往都有容量大小限制或是空間局限，云端需要的可支撐龐大數(shù)據(jù)的存儲(chǔ)方案恰恰只有分布式能夠?qū)崿F(xiàn)，比如 Apache Hadoop HDFS。

二是分布式計(jì)算。資源池的規(guī)模越大，對(duì)于資源使用效率，即計(jì)算效率的要求也就提出了更高的要求。傳統(tǒng)的集群結(jié)構(gòu)采用的并行計(jì)算往往需要耗費(fèi)相當(dāng)長(zhǎng)的時(shí)間，而分布式計(jì)算會(huì)將任務(wù)拆分成諸多子任務(wù)再分配給多臺(tái)計(jì)算機(jī)，這種高效率的計(jì)算方式也有效提升了云服務(wù)的整體性能。

三是分布式管理。我們知道，云服務(wù)的核心價(jià)值之一，就是能夠幫助客戶(hù)隨時(shí)獲得IT資源及應(yīng)用，并且按需付費(fèi)。這意味著云廠商的應(yīng)用和服務(wù)，也需要基于可擴(kuò)張性、靈活性與可靠性來(lái)進(jìn)行設(shè)計(jì)。因此，能夠?qū)⒉煌?wù)模塊進(jìn)行分割、復(fù)用的分布式框架就顯得非常必要了。

當(dāng)然，除了以受益人角色不斷與分布式技術(shù)產(chǎn)生化學(xué)反應(yīng)之外，云服務(wù)商也成為企業(yè)部署分布式系統(tǒng)的最佳選擇。

之所以大部分企業(yè)需要借助云廠商的力量，核心原因還是在于分布式系統(tǒng)的復(fù)雜性，大大提升了網(wǎng)絡(luò)運(yùn)維和調(diào)用的難度。

對(duì)于大中型企業(yè)來(lái)說(shuō)，越來(lái)越多的服務(wù)和業(yè)務(wù)被切割和部署在不同的網(wǎng)絡(luò)計(jì)算單元上時(shí)，服務(wù)間的依賴(lài)關(guān)系也因此變得錯(cuò)蹤復(fù)雜，不僅管理配置的難度變得越來(lái)越大，有時(shí)候甚至連編寫(xiě)系統(tǒng)的架構(gòu)師都不能完整描述應(yīng)用之間的關(guān)系，分不清應(yīng)用啟動(dòng)的先后順序，進(jìn)而引發(fā)一系列擴(kuò)容、調(diào)用、線(xiàn)路故障等問(wèn)題。

另外，敏捷開(kāi)發(fā)模式要求工程師不斷更新程序，來(lái)滿(mǎn)足新業(yè)務(wù)、新功能的網(wǎng)絡(luò)需求。要讓企業(yè)自己緊跟IT產(chǎn)業(yè)的前沿技術(shù)，及時(shí)引入最新算法模型，修正安全bug，并對(duì)成千上百個(gè)服務(wù)器完成迭代升級(jí)，無(wú)疑是一個(gè)極其龐大且效率低下的工作。

在這種背景下，引入云服務(wù)模式，借助虛擬服務(wù)器操作系統(tǒng)，即SaaS技術(shù)，在云服務(wù)商的統(tǒng)一運(yùn)行環(huán)境下實(shí)現(xiàn)部署，就大大降低了需要維護(hù)的硬件數(shù)量，從而讓分布式系統(tǒng)管理不再消耗企業(yè)大量時(shí)間和精力。

從這個(gè)角度來(lái)講，云計(jì)算和分布式技術(shù)捆綁在一起，兩種技術(shù)方案相互補(bǔ)益，成就了新數(shù)據(jù)規(guī)模背景下最佳收益比的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。

走入“硬件虛擬化”的美妙時(shí)代

前面我們感受到了云計(jì)算與分布式技術(shù)相結(jié)合所蘊(yùn)含的可能性，隨著基礎(chǔ)設(shè)施迭代升級(jí)的完成，技術(shù)如何向應(yīng)用端釋放自己的迷人之處，恐怕才是我等普通人真正關(guān)心的焦點(diǎn)。

目前看來(lái)，分布式系統(tǒng)與云計(jì)算結(jié)合，首先帶來(lái)的就是服務(wù)能力的共享。

云端計(jì)算能力結(jié)合虛擬化技術(shù)，能夠?qū)⒃S多業(yè)務(wù)端模型抽象成的固定軟件統(tǒng)一起來(lái)，進(jìn)而利用分布式系統(tǒng)進(jìn)行管理和輸出。

許多原本需要專(zhuān)門(mén)開(kāi)發(fā)對(duì)應(yīng)應(yīng)用才能實(shí)現(xiàn)的功能，比如AI運(yùn)算，通過(guò)云端進(jìn)行虛擬化之后就能夠變成共享資源。比如Nvidia 與 VMWare 針對(duì) VMWare Cloud on AWS 推出的GPU加速服務(wù)，就能夠讓AWS的客戶(hù)將各種VMware vSphere 的應(yīng)用與容器無(wú)需變更即可無(wú)縫轉(zhuǎn)移至云端，實(shí)現(xiàn)AI運(yùn)算分析。

除此之外，終端能力也可以被虛擬化到云端，再通過(guò)分布式技術(shù)釋放給其他硬件。

舉個(gè)例子，智能音箱的語(yǔ)音功能、智能手機(jī)的視頻功能、無(wú)人機(jī)的實(shí)時(shí)拍攝功能、筆記本電腦的多功能操作，這些原本各自獨(dú)立的終端能力通過(guò)云端虛擬化之后，再借助分布式系統(tǒng)進(jìn)行調(diào)用，就能夠?qū)崿F(xiàn)終端之間不同能力的靈活組裝。

比如手機(jī)來(lái)電可以通過(guò)車(chē)載音箱來(lái)接聽(tīng)，無(wú)人機(jī)畫(huà)面可以實(shí)時(shí)通過(guò)視頻通話(huà)直播，手機(jī)與電腦無(wú)縫傳輸……對(duì)于用戶(hù)來(lái)說(shuō)，不再需要浪費(fèi)精力去考慮某個(gè)產(chǎn)品的性能，只需要看當(dāng)下場(chǎng)景需要什么硬件能力發(fā)出調(diào)用指令就好。同時(shí)，分布式系統(tǒng)的分工協(xié)同調(diào)用，能將硬件設(shè)備之間通訊的功耗降到最低。

從為不同場(chǎng)景設(shè)計(jì)不同硬件，到不同硬件主動(dòng)適配不同場(chǎng)景，AIoT智能互聯(lián)后可能面臨的跨終端體驗(yàn)割裂問(wèn)題，正在被分布式技術(shù)消弭于無(wú)形之中。

同時(shí)，分布式系統(tǒng)也讓不同機(jī)器之間的安全通訊成為可能，從而進(jìn)一步推動(dòng)萬(wàn)物智聯(lián)的到來(lái)。

我們知道，如果攻擊者利用漏洞獲取對(duì)整個(gè)主機(jī)的存取權(quán)，那么在很長(zhǎng)一段時(shí)間內(nèi)就可以攻擊主機(jī)上運(yùn)行的其他每個(gè)設(shè)備，從而危害整個(gè)系統(tǒng)的安全。由于這種攻擊方式很難被標(biāo)準(zhǔn)的IDS/IPS檢測(cè)到，正在變得越來(lái)越流行。

試想一下，如果在車(chē)聯(lián)網(wǎng)、工業(yè)物聯(lián)等場(chǎng)景中發(fā)生遷移式攻擊，亦或是黑客通過(guò)空調(diào)/咖啡機(jī)訪(fǎng)問(wèn)家中任何一個(gè)聯(lián)網(wǎng)設(shè)備，這將會(huì)引發(fā)怎樣可怕的連鎖反應(yīng)？

因此，不少云服務(wù)商和硬件廠商都已經(jīng)開(kāi)始著手將分布式技術(shù)引入安全服務(wù)。一方面分布式系統(tǒng)各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)之間之間通訊都需要驗(yàn)證并批準(zhǔn)，能夠有效保護(hù)和控制復(fù)雜設(shè)備網(wǎng)絡(luò)，在惡意軟件進(jìn)行控制之前實(shí)現(xiàn)檢測(cè)和隔離；與此同時(shí)，分布式網(wǎng)絡(luò)的“副本”模式，也能夠很好地保證數(shù)據(jù)被復(fù)制并存儲(chǔ)在每個(gè)設(shè)備中，避免因黑客入侵而發(fā)生無(wú)可挽回的損失。

今天，我們看到萬(wàn)物智聯(lián)已經(jīng)在AI、5G、云計(jì)算等基礎(chǔ)設(shè)施的共同鋪陳下，展示出了越來(lái)越清晰的未來(lái)圖景。

如何讓其變得可靠、可用、可信，還需要像分布式技術(shù)這樣的助攻攙扶下，邁出實(shí)用化的關(guān)鍵一步。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。