9月23日至25日，華為全聯(lián)接2021以“深耕數(shù)字化”為主題，各行業(yè)領(lǐng)軍人物分享最新成果與實(shí)踐。其中在“華為云FusionInsight智能數(shù)據(jù)湖打造千行百業(yè)數(shù)據(jù)底座”專題演講中，華為云FusionInsight技術(shù)專家，發(fā)表“華為云FusionInsight智能數(shù)據(jù)湖版本新能力解讀”演講。
進(jìn)入智能數(shù)據(jù)時(shí)代，業(yè)界建設(shè)數(shù)據(jù)湖的十大共識(shí)
經(jīng)過數(shù)十年的快速發(fā)展，大數(shù)據(jù)處理技術(shù)已日漸成熟，圍繞數(shù)據(jù)湖衍生技術(shù)多如繁星，業(yè)界在多年的探索之中，也對未來數(shù)據(jù)湖形態(tài)有了十個(gè)重要共識(shí)，如充分利用云技術(shù)實(shí)現(xiàn)云原生的數(shù)據(jù)分析，支持混合云及多云部署，各種類型的數(shù)據(jù)、支持更多的數(shù)據(jù)用戶類型，提供不同的數(shù)據(jù)引擎、不同的數(shù)據(jù)處理能力等，這些需求對大數(shù)據(jù)技術(shù)創(chuàng)新提出了諸多挑戰(zhàn)。
面對這些挑戰(zhàn)，華為云FusionInsight發(fā)布智能數(shù)據(jù)湖最新版本8.1.0去應(yīng)對新時(shí)代對大數(shù)據(jù)的這些技術(shù)訴求。
華為云FusionInsight提供湖倉一體的解決方案，兼顧歷史與未來
華為云FusionInisght智能數(shù)據(jù)湖為企業(yè)客戶提供完整的大數(shù)據(jù)云服務(wù)產(chǎn)品組合，有單集群最大支持5W節(jié)點(diǎn)的云原生數(shù)據(jù)湖MRS服務(wù)和全球最大的商用部署的云數(shù)據(jù)倉庫DWS服務(wù)，MRS和DWS既可以靈活按需部署，也可以融合演進(jìn)到湖倉一體的架構(gòu);同時(shí)面向不斷增長的數(shù)據(jù)探索分析、新型的圖分析、可信計(jì)算等訴求，提供了完全托管式的DLI數(shù)據(jù)湖探索服務(wù)，完全自研的高性能一體化的GES圖計(jì)算服務(wù)、創(chuàng)新的可信智能計(jì)算服務(wù)TICS，并提供源自華為自身數(shù)字化轉(zhuǎn)型經(jīng)驗(yàn)沉淀的DGC數(shù)據(jù)湖治理中心服務(wù)，用于海量數(shù)據(jù)的數(shù)據(jù)治理、離線分析、實(shí)時(shí)分析、數(shù)倉集市、多模分析等場景，幫助客戶構(gòu)建一站式的大數(shù)據(jù)分析平臺(tái)，釋放企業(yè)數(shù)據(jù)價(jià)值。
MRS云原生數(shù)據(jù)湖提供三湖一集市能力，讓數(shù)據(jù)分析更敏捷
MRS云原生數(shù)據(jù)湖作為FusionInsight主打的云服務(wù)，是一款Lakehouse架構(gòu)的云原生數(shù)據(jù)湖服務(wù)，解決傳統(tǒng)大數(shù)據(jù)平臺(tái)零散式建設(shè)、供數(shù)鏈路長、人工搬遷慢等問題，一個(gè)架構(gòu)實(shí)現(xiàn)離線、實(shí)時(shí)、邏輯三種數(shù)據(jù)湖：
• 離線數(shù)據(jù)湖：提供交互式、BI、AI等多個(gè)計(jì)算引擎，基于云原生存儲(chǔ)實(shí)現(xiàn)存算分離架構(gòu)，使得云原生數(shù)據(jù)湖的架構(gòu)更靈活，業(yè)務(wù)更敏捷。同時(shí)還支持單集群5萬(通過集群聯(lián)邦，支持10萬+規(guī)模)節(jié)點(diǎn)的超大規(guī)模，支持集群滾動(dòng)升級，保障關(guān)鍵業(yè)務(wù)升級不中斷。
• 實(shí)時(shí)數(shù)據(jù)湖：提供生成數(shù)據(jù)CDL實(shí)時(shí)捕獲入湖、Hudi數(shù)據(jù)湖存儲(chǔ)引擎、ClickHouse毫秒級OLAP分析等構(gòu)建實(shí)時(shí)更新處理能力，使得供數(shù)時(shí)效從T+1到T+0。
• 邏輯數(shù)據(jù)湖：HetuEngine提供跨湖、跨倉、跨云的協(xié)同分析，實(shí)現(xiàn)湖倉一體，減少80%數(shù)據(jù)搬遷，協(xié)同分析提效50倍。
MRS云原生數(shù)據(jù)湖實(shí)現(xiàn)數(shù)據(jù)全鏈路實(shí)時(shí)分析，價(jià)值兌現(xiàn)從T+1走向T+0
在華為云FusionInsight 8.1.0 新版本中，MRS云原生數(shù)據(jù)湖實(shí)現(xiàn)了數(shù)據(jù)全鏈路實(shí)時(shí)分析，讓價(jià)值兌現(xiàn)從T+1走向T+0。傳統(tǒng)方案從數(shù)據(jù)接入、數(shù)據(jù)入湖到數(shù)據(jù)入湖，不支持增量數(shù)據(jù)更新，數(shù)據(jù)處理采用離線批處理方式，數(shù)據(jù)分析則需提前制定各種CUBE，預(yù)聚合的方式費(fèi)時(shí)費(fèi)力，導(dǎo)致數(shù)據(jù)分析時(shí)效性T+1，無法滿足新時(shí)代的業(yè)務(wù)訴求。
為解決上述問題，MRS云原生數(shù)據(jù)湖通過創(chuàng)新的CDL組件支持直接讀取Binlog日志實(shí)時(shí)入湖，結(jié)合Flink/Spark實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)合并、實(shí)時(shí)加工，打通信息生產(chǎn)到分析平臺(tái)的最后一公里;通過引入Hudi，支持?jǐn)?shù)據(jù)更新、數(shù)據(jù)刪除，還有ACID能力，保證數(shù)據(jù)實(shí)時(shí)入湖更新操作;通過引入ClickHouse，可以把數(shù)據(jù)拉到一個(gè)大寬表內(nèi)去做分析，只需要對接后端的BI工具，就可以自助式的完成報(bào)表開發(fā)。同時(shí)，ClickHouse支持實(shí)時(shí)OLAP，可實(shí)現(xiàn)毫秒級實(shí)時(shí)分析，且ClickHouse不需要建Cube，只要對接BI工具就能輕松完成新業(yè)務(wù)的開發(fā)。
MRS云原生數(shù)據(jù)湖通過CDL+Hudi+Clickhouse的新方案，實(shí)現(xiàn)全鏈路實(shí)時(shí)分析，快速構(gòu)筑實(shí)時(shí)數(shù)據(jù)湖能力。
IoTDB工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫，云邊端協(xié)同輕松構(gòu)建時(shí)序數(shù)據(jù)集市
MRS云原生數(shù)據(jù)湖提供一架構(gòu)三湖能力的同時(shí)，還支持構(gòu)建多模態(tài)數(shù)據(jù)集市，在新版本中引入了MRS IoTDB工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫，實(shí)現(xiàn)云邊端協(xié)同輕松構(gòu)建時(shí)序數(shù)據(jù)集市。MRS IoTDB是由華為云FusionInsight團(tuán)隊(duì)與是清華大學(xué)共同開發(fā)，聚焦工業(yè)物聯(lián)網(wǎng)領(lǐng)域的工業(yè)復(fù)雜時(shí)序數(shù)據(jù)的處理，如千萬級超大規(guī)模測點(diǎn)處理、亂序處理、多序列對齊、序列分割、子序列匹配、旋轉(zhuǎn)門壓縮、降采樣存儲(chǔ)等專業(yè)時(shí)序需求，解決通用數(shù)據(jù)庫在超大規(guī)模復(fù)雜時(shí)序場景的功能短板和性能瓶頸，高效管理海量工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)，形成跨越端、邊、云的工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)的利器，在海量時(shí)序數(shù)據(jù)處理場景發(fā)揮其“專、快、穩(wěn)、省、易”能力。在實(shí)際應(yīng)用落地中，一臺(tái)IoTDB實(shí)例就能替代13臺(tái)傳統(tǒng)時(shí)序數(shù)據(jù)庫，性能優(yōu)勢明顯。
災(zāi)備：兩地三中心高可用，確保業(yè)務(wù)連續(xù)性，SLA 99.999%
在增強(qiáng)數(shù)據(jù)湖平臺(tái)全鏈路實(shí)時(shí)分析與工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)庫能力的基礎(chǔ)上，MRS云原生數(shù)據(jù)湖在數(shù)據(jù)可靠性上再次進(jìn)行增強(qiáng)，提供了三個(gè)容災(zāi)方案：
提供原有的數(shù)據(jù)備份能力，支持將關(guān)鍵數(shù)據(jù)備份到異地中，一旦出現(xiàn)集群故障導(dǎo)致數(shù)據(jù)丟失，則可以將備份數(shù)據(jù)恢復(fù)回來。
新增了單集群跨AZ高可用方案：支持將一個(gè)集群部署在多個(gè)機(jī)房中，通過副本放置策略確保數(shù)據(jù)副本存放在不同的機(jī)房，通過YARN的任務(wù)調(diào)度機(jī)制的優(yōu)化確保任務(wù)優(yōu)先訪問任務(wù)所在機(jī)房的數(shù)據(jù)副本，當(dāng)一個(gè)機(jī)房出現(xiàn)故障后，任務(wù)會(huì)自動(dòng)切換到其他機(jī)房的機(jī)器上，從而確保單AZ故障時(shí)數(shù)據(jù)不丟失，關(guān)鍵業(yè)務(wù)不中斷。
同時(shí)，還新增了異地主備容災(zāi)方案：也就是分別建設(shè)主、備兩個(gè)MRS集群，主集群數(shù)據(jù)會(huì)周期或?qū)崟r(shí)自動(dòng)同步到備集群上。當(dāng)主集群故障時(shí)，將業(yè)務(wù)倒換到備集群上，確保業(yè)務(wù)快速恢復(fù)。
通過以上三種方案，MRS云原生數(shù)據(jù)湖可以實(shí)現(xiàn)從簡單的數(shù)據(jù)備份到跨AZ高可用，到異地容災(zāi)的完整場景覆蓋，業(yè)務(wù)可以根據(jù)自身業(yè)務(wù)特點(diǎn)以及需要應(yīng)對的故障場景，靈活選擇適合自己的方案。
DWS：新一代全場景云數(shù)據(jù)倉庫
華為云FusionInsight智能數(shù)據(jù)湖另一主打云服務(wù)為DWS云數(shù)據(jù)倉庫，它是一款具備分析及混合負(fù)載能力的云數(shù)據(jù)倉庫服務(wù)，具有高性能、高擴(kuò)展、高可用等特點(diǎn)，廣泛應(yīng)用于汽車、制造、零售、互聯(lián)網(wǎng)、金融、政府、電信等行業(yè)的核心分析決策系統(tǒng)。它不僅僅是把數(shù)倉搬上云這么簡單，而是真正面向未來的云原生架構(gòu)的數(shù)倉服務(wù)。
作為全球最大的金融數(shù)倉，DWS通過了信通院單集群2048節(jié)點(diǎn)的規(guī)模認(rèn)證，當(dāng)前已經(jīng)商用的最大集群有480個(gè)節(jié)點(diǎn)。
DWS通過一套內(nèi)核一套架構(gòu)同時(shí)支持標(biāo)準(zhǔn)數(shù)倉、實(shí)時(shí)數(shù)倉和云數(shù)倉，匹配了用戶全場景需求。
DGC：一站式數(shù)據(jù)開發(fā)與治理，讓開發(fā)者輕松駕馭數(shù)據(jù)
華為云FusionInsight智能數(shù)據(jù)湖不僅為政企客戶提供湖倉一體的架構(gòu)，還有DGC數(shù)據(jù)湖治理中心服務(wù)，提供一站式數(shù)據(jù)開發(fā)集成管理平臺(tái)，提供統(tǒng)一的數(shù)據(jù)治理工具，加速數(shù)據(jù)資產(chǎn)沉淀。
DGC的特性主要集中在平臺(tái)能力和生態(tài)兩個(gè)方面：
在平臺(tái)能力方面：DGC提供一站式數(shù)據(jù)開發(fā)集成管理平臺(tái)，支持40多種異構(gòu)數(shù)據(jù)源、全拖拽式開發(fā)、多維實(shí)時(shí)搜索、0代碼API開發(fā)等能力;并提供基于華為10多年數(shù)據(jù)治理經(jīng)驗(yàn)沉淀出的數(shù)據(jù)架構(gòu)、標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量等數(shù)據(jù)治理能力;
在生態(tài)建設(shè)方面：DGC通過開放API，使能行業(yè) ISV 快速集成開發(fā);通過合作伙伴提供數(shù)據(jù)標(biāo)準(zhǔn)、模型、指標(biāo)、接口等行業(yè)數(shù)據(jù)模型，幫助企業(yè)快速構(gòu)筑數(shù)據(jù)治理能力。
華為云FusionInsight深耕大數(shù)據(jù)10年+，持續(xù)創(chuàng)新引領(lǐng)大數(shù)據(jù)技術(shù)發(fā)展
華為云FusionInsight持續(xù)投入10年+，堅(jiān)持開放路線，在扎根社區(qū)的同時(shí)，也積極回饋社區(qū)，為行業(yè)新技術(shù)發(fā)展貢獻(xiàn)力量;同時(shí)，華為云FusionInsight智能數(shù)據(jù)湖將持續(xù)貫徹“平臺(tái)+生態(tài)”戰(zhàn)略，攜手800+合作伙伴，服務(wù)于全球60+國家和地區(qū)3000+政企客戶，已廣泛應(yīng)用于政府、金融、運(yùn)營商、大企業(yè)等行業(yè)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
