KubeCon大會(huì)獨(dú)家分享——來(lái)自阿里巴巴的神秘架構(gòu)

在介紹阿里巴巴的神秘架構(gòu)之前，我們需要先了解一下Hadoop Yarn。

Hadoop Yarn 是一個(gè)運(yùn)行 MapReduce、Spark 等大數(shù)據(jù)應(yīng)用的資源管理系統(tǒng)，分布式的Hadoop集群的資源管理系統(tǒng)。用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤(pán)等。換句話(huà)說(shuō)，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。

Hadoop 2.0對(duì)MapReduce框架做了徹底的設(shè)計(jì)重構(gòu)，我們稱(chēng)Hadoop2.0中的MapReduce為MRv2或者Yarn?；仡^看一下Hadoop1.x對(duì)MapReduce job的調(diào)度管理方式，它主要包括兩部分功能：ResourceManagement 資源管理和 JobScheduling/JobMonitoring 任務(wù)調(diào)度監(jiān)控。

到了Hadoop2.x也就是Yarn，它的目標(biāo)是將這兩部分功能分開(kāi)，也就是分別用兩個(gè)進(jìn)程來(lái)管理這兩個(gè)任務(wù)：ResourceManger和ApplicationMaster。

在Yarn中我們把job的概念換成了application，因?yàn)樵谛碌腍adoop2.x中，運(yùn)行的應(yīng)用不只是MapReduce了，還有可能是其它應(yīng)用如一個(gè)DAG。Yarn的另一個(gè)目標(biāo)就是拓展Hadoop，使得它不僅僅可以支持MapReduce計(jì)算，還能很方便的管理諸如Hive、Hbase、Pig、Spark/Shark等應(yīng)用。這種新的架構(gòu)設(shè)計(jì)能夠使得各種類(lèi)型的應(yīng)用運(yùn)行在Hadoop上面，并通過(guò)Yarn從系統(tǒng)層面進(jìn)行統(tǒng)一的管理，也就是說(shuō)，有了Yarn，各種應(yīng)用就可以互不干擾的運(yùn)行在同一個(gè)Hadoop系統(tǒng)中，共享整個(gè)集群資源。

Yarn主要由以下幾個(gè)組件組成：

ResourceManager：Global(全局)的進(jìn)程

NodeManager：運(yùn)行在每個(gè)節(jié)點(diǎn)上的進(jìn)程

ApplicationMaster：Application-specific(應(yīng)用級(jí)別)的進(jìn)程

- *Scheduler：是ResourceManager的一個(gè)組件*

- *Container：節(jié)點(diǎn)上一組CPU和內(nèi)存資源*

Container是Yarn對(duì)計(jì)算機(jī)計(jì)算資源的抽象，它其實(shí)就是一組CPU和內(nèi)存資源，所有的應(yīng)用都會(huì)運(yùn)行在Container中。ApplicationMaster是對(duì)運(yùn)行在Yarn中某個(gè)應(yīng)用的抽象，它其實(shí)就是某個(gè)類(lèi)型應(yīng)用的實(shí)例，ApplicationMaster是應(yīng)用級(jí)別的，它的主要功能就是向ResourceManager(全局的)申請(qǐng)計(jì)算資源(Containers)并且和NodeManager交互來(lái)執(zhí)行和監(jiān)控具體的task。Scheduler是ResourceManager專(zhuān)門(mén)進(jìn)行資源管理的一個(gè)組件，負(fù)責(zé)分配N(xiāo)odeManager上的Container資源，NodeManager也會(huì)不斷發(fā)送自己Container使用情況給ResourceManager。

ResourceManager和NodeManager兩個(gè)進(jìn)程主要負(fù)責(zé)系統(tǒng)管理方面的任務(wù)。

ResourceManager有一個(gè)Scheduler，負(fù)責(zé)各個(gè)集群中應(yīng)用的資源分配。對(duì)于每種類(lèi)型的每個(gè)應(yīng)用，都會(huì)對(duì)應(yīng)一個(gè)ApplicationMaster實(shí)例，ApplicationMaster通過(guò)和ResourceManager溝通獲得Container資源來(lái)運(yùn)行具體的job，并跟蹤這個(gè)job的運(yùn)行狀態(tài)、監(jiān)控運(yùn)行進(jìn)度。

下面我們看一下整個(gè)Yarn的架構(gòu)圖：

Yarn架構(gòu)

Yarn其在架構(gòu)上有別于適合長(zhǎng)時(shí)間運(yùn)行服務(wù)的 Kubernetes。很多公司同時(shí)擁有兩者，以滿(mǎn)足不同類(lèi)型的工作負(fù)載。然而，這將會(huì)導(dǎo)致驚人的工作量和硬件開(kāi)銷(xiāo)。

注意這兩種類(lèi)型工作負(fù)載的區(qū)別，有沒(méi)有辦法讓它們?cè)谧寖蓚€(gè)資源管理系統(tǒng)和諧工作的同時(shí)共享一個(gè)集群?有哪些要求，需要克服哪些困難?

在本次大會(huì)上，將由來(lái)自阿里巴巴的兩位軟件工程師Bushuang Gao和Jian He為大家介紹一個(gè)框架，此框架能在一個(gè)具有彈性資源共享性能的集群中無(wú)縫運(yùn)行 Kubernetes 和 Hadoop。

在此之前，Bushuang Gao曾在容器平臺(tái)團(tuán)隊(duì)工作，在 Kubernetes 和容器領(lǐng)域擁有豐富經(jīng)驗(yàn)。而Jian He曾在Hortonworks YARN團(tuán)隊(duì)工作，并且是Yarn社區(qū)的早期成員。

由此可見(jiàn)，此框架是兩位工程師的豐富經(jīng)驗(yàn)的結(jié)晶。

此外，他們還將分享一些在管理Kubernetes 和 Hadoop時(shí)的經(jīng)驗(yàn)教訓(xùn)，都是用在阿里巴巴大規(guī)模商業(yè)平臺(tái)上的一些實(shí)操經(jīng)驗(yàn)，滿(mǎn)滿(mǎn)的干貨分享值得期待。

如果你對(duì)此感興趣，請(qǐng)?jiān)?1月14日下午到大會(huì)現(xiàn)場(chǎng)來(lái)聽(tīng)，我們?cè)谶@里等你，不見(jiàn)不散。

本期則隆重推薦：

Craig Box ， Google 云原生支持主管

Craig Box 負(fù)責(zé)領(lǐng)導(dǎo)谷歌云(Google Cloud)云原生支持(Kubernetes 與 Istio)團(tuán)隊(duì)。2014 年推出 Kubernetes 以來(lái)，他一直與客戶(hù)和社區(qū)合作，在六大洲發(fā)表多場(chǎng)研究，其中包括 KubeCon 歐盟大會(huì)的主題報(bào)告。谷歌 Kubernetes Podcast 由他聯(lián)合創(chuàng)辦。

Craig Box 最初在系統(tǒng)管理領(lǐng)域工作，在全球研發(fā)、部署、開(kāi)發(fā)運(yùn)營(yíng)、咨詢(xún)、支持與管理領(lǐng)域擁有 15 年豐富經(jīng)驗(yàn)。

Aaron Crickenberger ， Google高級(jí)測(cè)試工程師

Aaron Crickenberger 分別從 2007 年、2009 年和 2015 年開(kāi)始參與開(kāi)源、云和 Kubernetes 工作。2017 年，他當(dāng)選 Kubernetes 指導(dǎo)委員會(huì)成員。

他是 Kubernetes Testing SIG 的聯(lián)合創(chuàng)始人，在架構(gòu)、貢獻(xiàn)者體驗(yàn)、發(fā)布和 SIGs 擴(kuò)展領(lǐng)域是活躍的參與者。如果您參加每周的 Kubernetes 社區(qū)會(huì)議，一定有機(jī)會(huì)碰見(jiàn)他(或者至少看到他的標(biāo)志性胡須。)從 V1.4 版本開(kāi)始，他曾參加 Kubernetes 每一個(gè)版本的發(fā)布會(huì)，負(fù)責(zé)的關(guān)鍵角色包括：發(fā)布說(shuō)明、issue triage 和 CI 信號(hào)。

他曾在公共云作為服務(wù)提供者執(zhí)行數(shù)據(jù)庫(kù)，管理 cloud foundry 部署團(tuán)隊(duì)，負(fù)責(zé)艦艇容器內(nèi)的黑鷹飛行模擬器工作。

Kubernetes官方論壇首次登陸中國(guó)，機(jī)不可失時(shí)不再來(lái)，錯(cuò)過(guò)這次就只能去西雅圖參加下一場(chǎng)了，時(shí)間成本這么高，很不劃算的。

來(lái)吧，加入這場(chǎng)盛會(huì)，本次論壇報(bào)名通道早已開(kāi)啟，會(huì)議更多信息及注冊(cè)請(qǐng)點(diǎn)擊文末 閱讀原文 了解!

老規(guī)矩，注冊(cè)越早優(yōu)惠越大!很遺憾，如今已經(jīng)錯(cuò)過(guò)了早鳥(niǎo)票的購(gòu)買(mǎi)時(shí)間。

標(biāo)準(zhǔn)票價(jià)格如下：

標(biāo)準(zhǔn)注冊(cè)從1500元漲價(jià)到2000元(晚注冊(cè)則需2400元);

貴賓注冊(cè)從3750元漲價(jià)到5000元(晚注冊(cè)則需6000元);

學(xué)術(shù)或愛(ài)好者注冊(cè)從375元漲價(jià)到500元;(需要發(fā)送電子郵件至events@cncf.io申請(qǐng)批準(zhǔn))

云原生終端用戶(hù)還可以用更優(yōu)惠的價(jià)格為更多人注冊(cè)!更多精彩內(nèi)容請(qǐng)搜索 KubeCon 前往官網(wǎng)進(jìn)行了解!

—————————————感謝活動(dòng)贊助商—————————————

鉆石贊助商

阿里云

華為云

IBM Cloud

Tencent Cloud

鉑金贊助商

靈雀云

才云

Google Cloud

英特爾

京東

Microsoft

Rancher

VMware

黃金贊助商

SUSE

白銀贊助商

BoCloud

Cloud Foundry

DaoCloud

EasyStack

Eclipse Foundation

Elastic

GitLab

Mesosphere

Red Hat

YAHOO! JAPAN

初創(chuàng)企業(yè)贊助商

Aljabr

AMPERE

CStack

EMQ

Giant Swarm

諧云科技

inwinSTACK

KONTENA

LF DEEP LEARNING

PlanetScale

時(shí)速云

睿云智合

媒體合作伙伴

開(kāi)源中國(guó)社區(qū)

極客邦科技 / InfoQ

THENEWSTACK

社區(qū)合作伙伴

異步社區(qū)

掘金

開(kāi)源社

云計(jì)算開(kāi)源產(chǎn)業(yè)聯(lián)盟

WOMEN WHO CODE

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。