KubeCon大會獨家分享——來自阿里巴巴的神秘架構

在介紹阿里巴巴的神秘架構之前，我們需要先了解一下Hadoop Yarn。

Hadoop Yarn 是一個運行 MapReduce、Spark 等大數據應用的資源管理系統，分布式的Hadoop集群的資源管理系統。用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內存、IO、網絡、磁盤等。換句話說，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。

Hadoop 2.0對MapReduce框架做了徹底的設計重構，我們稱Hadoop2.0中的MapReduce為MRv2或者Yarn?；仡^看一下Hadoop1.x對MapReduce job的調度管理方式，它主要包括兩部分功能：ResourceManagement 資源管理和 JobScheduling/JobMonitoring 任務調度監(jiān)控。

到了Hadoop2.x也就是Yarn，它的目標是將這兩部分功能分開，也就是分別用兩個進程來管理這兩個任務：ResourceManger和ApplicationMaster。

在Yarn中我們把job的概念換成了application，因為在新的Hadoop2.x中，運行的應用不只是MapReduce了，還有可能是其它應用如一個DAG。Yarn的另一個目標就是拓展Hadoop，使得它不僅僅可以支持MapReduce計算，還能很方便的管理諸如Hive、Hbase、Pig、Spark/Shark等應用。這種新的架構設計能夠使得各種類型的應用運行在Hadoop上面，并通過Yarn從系統層面進行統一的管理，也就是說，有了Yarn，各種應用就可以互不干擾的運行在同一個Hadoop系統中，共享整個集群資源。

Yarn主要由以下幾個組件組成：

ResourceManager：Global(全局)的進程

NodeManager：運行在每個節(jié)點上的進程

ApplicationMaster：Application-specific(應用級別)的進程

- *Scheduler：是ResourceManager的一個組件*

- *Container：節(jié)點上一組CPU和內存資源*

Container是Yarn對計算機計算資源的抽象，它其實就是一組CPU和內存資源，所有的應用都會運行在Container中。ApplicationMaster是對運行在Yarn中某個應用的抽象，它其實就是某個類型應用的實例，ApplicationMaster是應用級別的，它的主要功能就是向ResourceManager(全局的)申請計算資源(Containers)并且和NodeManager交互來執(zhí)行和監(jiān)控具體的task。Scheduler是ResourceManager專門進行資源管理的一個組件，負責分配NodeManager上的Container資源，NodeManager也會不斷發(fā)送自己Container使用情況給ResourceManager。

ResourceManager和NodeManager兩個進程主要負責系統管理方面的任務。

ResourceManager有一個Scheduler，負責各個集群中應用的資源分配。對于每種類型的每個應用，都會對應一個ApplicationMaster實例，ApplicationMaster通過和ResourceManager溝通獲得Container資源來運行具體的job，并跟蹤這個job的運行狀態(tài)、監(jiān)控運行進度。

下面我們看一下整個Yarn的架構圖：

Yarn架構

Yarn其在架構上有別于適合長時間運行服務的 Kubernetes。很多公司同時擁有兩者，以滿足不同類型的工作負載。然而，這將會導致驚人的工作量和硬件開銷。

注意這兩種類型工作負載的區(qū)別，有沒有辦法讓它們在讓兩個資源管理系統和諧工作的同時共享一個集群?有哪些要求，需要克服哪些困難?

在本次大會上，將由來自阿里巴巴的兩位軟件工程師Bushuang Gao和Jian He為大家介紹一個框架，此框架能在一個具有彈性資源共享性能的集群中無縫運行 Kubernetes 和 Hadoop。

在此之前，Bushuang Gao曾在容器平臺團隊工作，在 Kubernetes 和容器領域擁有豐富經驗。而Jian He曾在Hortonworks YARN團隊工作，并且是Yarn社區(qū)的早期成員。

由此可見，此框架是兩位工程師的豐富經驗的結晶。

此外，他們還將分享一些在管理Kubernetes 和 Hadoop時的經驗教訓，都是用在阿里巴巴大規(guī)模商業(yè)平臺上的一些實操經驗，滿滿的干貨分享值得期待。

如果你對此感興趣，請在11月14日下午到大會現場來聽，我們在這里等你，不見不散。

本期則隆重推薦：

Craig Box ， Google 云原生支持主管

Craig Box 負責領導谷歌云(Google Cloud)云原生支持(Kubernetes 與 Istio)團隊。2014 年推出 Kubernetes 以來，他一直與客戶和社區(qū)合作，在六大洲發(fā)表多場研究，其中包括 KubeCon 歐盟大會的主題報告。谷歌 Kubernetes Podcast 由他聯合創(chuàng)辦。

Craig Box 最初在系統管理領域工作，在全球研發(fā)、部署、開發(fā)運營、咨詢、支持與管理領域擁有 15 年豐富經驗。

Aaron Crickenberger ， Google高級測試工程師

Aaron Crickenberger 分別從 2007 年、2009 年和 2015 年開始參與開源、云和 Kubernetes 工作。2017 年，他當選 Kubernetes 指導委員會成員。

他是 Kubernetes Testing SIG 的聯合創(chuàng)始人，在架構、貢獻者體驗、發(fā)布和 SIGs 擴展領域是活躍的參與者。如果您參加每周的 Kubernetes 社區(qū)會議，一定有機會碰見他(或者至少看到他的標志性胡須。)從 V1.4 版本開始，他曾參加 Kubernetes 每一個版本的發(fā)布會，負責的關鍵角色包括：發(fā)布說明、issue triage 和 CI 信號。

他曾在公共云作為服務提供者執(zhí)行數據庫，管理 cloud foundry 部署團隊，負責艦艇容器內的黑鷹飛行模擬器工作。

Kubernetes官方論壇首次登陸中國，機不可失時不再來，錯過這次就只能去西雅圖參加下一場了，時間成本這么高，很不劃算的。

來吧，加入這場盛會，本次論壇報名通道早已開啟，會議更多信息及注冊請點擊文末 閱讀原文 了解!

老規(guī)矩，注冊越早優(yōu)惠越大!很遺憾，如今已經錯過了早鳥票的購買時間。

標準票價格如下：

標準注冊從1500元漲價到2000元(晚注冊則需2400元);

貴賓注冊從3750元漲價到5000元(晚注冊則需6000元);

學術或愛好者注冊從375元漲價到500元;(需要發(fā)送電子郵件至events@cncf.io申請批準)

云原生終端用戶還可以用更優(yōu)惠的價格為更多人注冊!更多精彩內容請搜索 KubeCon 前往官網進行了解!

—————————————感謝活動贊助商—————————————

鉆石贊助商

阿里云

華為云

IBM Cloud

Tencent Cloud

鉑金贊助商

靈雀云

才云

Google Cloud

英特爾

京東

Microsoft

Rancher

VMware

黃金贊助商

SUSE

白銀贊助商

BoCloud

Cloud Foundry

DaoCloud

EasyStack

Eclipse Foundation

Elastic

GitLab

Mesosphere

Red Hat

YAHOO! JAPAN

初創(chuàng)企業(yè)贊助商

Aljabr

AMPERE

CStack

EMQ

Giant Swarm

諧云科技

inwinSTACK

KONTENA

LF DEEP LEARNING

PlanetScale

時速云

睿云智合

媒體合作伙伴

開源中國社區(qū)

極客邦科技 / InfoQ

THENEWSTACK

社區(qū)合作伙伴

異步社區(qū)

掘金

開源社

云計算開源產業(yè)聯盟

WOMEN WHO CODE

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。