4月20日，袋鼠云成功舉行了以“數(shù)實(shí)融合，韌性生長”為主題的2023春季生長大會。會上，袋鼠云自主研發(fā)的一站式大數(shù)據(jù)基礎(chǔ)軟件——數(shù)棧V6.0產(chǎn)品矩陣全新發(fā)布。對旗下大數(shù)據(jù)基礎(chǔ)平臺、大數(shù)據(jù)開發(fā)與治理、數(shù)據(jù)智能分析與洞察三大模塊的全線產(chǎn)品進(jìn)行全新升級，并重點(diǎn)發(fā)布了企業(yè)級數(shù)據(jù)計(jì)算與存儲平臺——自研大數(shù)據(jù)引擎 EasyMR。(免費(fèi)試用產(chǎn)品https://www.dtstack.com/dtengine/easymr?src=dsygzh)
袋鼠云作為國內(nèi)領(lǐng)先的數(shù)字化基礎(chǔ)軟件與應(yīng)用服務(wù)商，自始自終堅(jiān)持自主創(chuàng)新，專注大數(shù)據(jù)基礎(chǔ)軟件研發(fā)，利用先進(jìn)技術(shù)賦能更多行業(yè)客戶數(shù)字化轉(zhuǎn)型，助力發(fā)掘和釋放數(shù)據(jù)資源的潛在價(jià)值。
全新發(fā)布數(shù)棧V6.0產(chǎn)品矩陣
袋鼠云產(chǎn)研負(fù)責(zé)人思樞首先介紹了數(shù)棧V6.0全新產(chǎn)品矩陣的落地進(jìn)展以及產(chǎn)品升級方向。通過對多年數(shù)字化實(shí)踐沉淀的梳理、重構(gòu)和升級，數(shù)棧V6.0形成了大數(shù)據(jù)基礎(chǔ)平臺層+大數(shù)據(jù)開發(fā)與治理層+數(shù)據(jù)分析與洞察平臺層的全新數(shù)字化產(chǎn)品矩陣，以迭代的新組合、新能力、新技術(shù)，為數(shù)實(shí)融合應(yīng)用注入更強(qiáng)勁的“數(shù)棧”驅(qū)動(dòng)力。
整個(gè)矩陣中，大數(shù)據(jù)基礎(chǔ)平臺是底座，包含全新升級的兩款產(chǎn)品：大數(shù)據(jù)計(jì)算引擎EasyMR 和湖倉一體EasyLake。EasyMR 主要提供 Hadoop、Spark、Flink、HBase、Trino 等一鍵式組件的安裝、運(yùn)維、部署。EasyLake 則主要提供面向數(shù)據(jù)湖的統(tǒng)一元數(shù)據(jù)管理，及數(shù)據(jù)服務(wù)和分析。大數(shù)據(jù)基礎(chǔ)平臺旨在為各行業(yè)的數(shù)字化轉(zhuǎn)型提供隨時(shí)可用的強(qiáng)勁動(dòng)力和堅(jiān)實(shí)基礎(chǔ)。
中間層大數(shù)據(jù)開發(fā)與治理，它融合了 DataOps 數(shù)據(jù)理念，包含離線開發(fā)BatchWorks、實(shí)時(shí)開發(fā)StreamWorks、數(shù)據(jù)服務(wù)DataAPI、數(shù)據(jù)資產(chǎn)DataAssets和指標(biāo)管理DataIndex 五大模塊。以自主可控、安全創(chuàng)新為技術(shù)內(nèi)核，將全域數(shù)據(jù)資產(chǎn)進(jìn)行匯聚、加?、治理、服務(wù)、分析，為客戶提供安全、穩(wěn)定、易?的?數(shù)據(jù)平臺，加速釋放數(shù)據(jù)價(jià)值，賦能數(shù)智應(yīng)用。
最上層的數(shù)據(jù)智能分析與洞察層，提供客戶數(shù)據(jù)洞察UserInsight和數(shù)據(jù)可視化分析EasyBI兩大應(yīng)用功能。助力企業(yè)構(gòu)建以業(yè)務(wù)價(jià)值為導(dǎo)向的數(shù)據(jù)分析與應(yīng)用體系，驅(qū)動(dòng)業(yè)務(wù)增長。
EasyMR：大數(shù)據(jù)計(jì)算引擎
EasyMR 內(nèi)包含 Hadoop、Hive、Spark、Trino、HBase、Kafka 等計(jì)算組件，完全兼容 Apache 開源生態(tài)，一鍵開啟 LDAP+Kerberos+Ranger 認(rèn)證權(quán)限體系，支持庫/表/行/列級權(quán)限控制，提供企業(yè)級安全管控。
EasyMR 的集群管理包括以下五大功能：
l主機(jī)管理：可以對接x86服務(wù)器、ARM 服務(wù)器、Kubernetes 集群等主機(jī)類型，進(jìn)行包括批量接入、主機(jī)下架、主機(jī)監(jiān)控等在內(nèi)的主機(jī)操作
l安裝部署：包含自動(dòng)部署、手動(dòng)部署、補(bǔ)丁包升/降級、組件回滾等豐富功能
l集群運(yùn)維：包含組件啟停、健康檢查、服務(wù)日志查看等功能，以及根據(jù)客戶業(yè)務(wù)側(cè)的使用情況實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)縮容
l監(jiān)控告警：隨著業(yè)務(wù)的運(yùn)行，發(fā)生主機(jī)運(yùn)行的異常情況，能夠?qū)崿F(xiàn)自動(dòng)告警
l基礎(chǔ)管理：包括用戶管理、操作權(quán)限管理、審計(jì)日志等功能
EasyMR 的豐富功能能夠幫助企業(yè)，更全面、更智能、更安全地運(yùn)用數(shù)據(jù)，加速企業(yè)數(shù)字化轉(zhuǎn)型。
EasyMR 的核心特性
l信創(chuàng)國產(chǎn)化
EasyMR 完成了與主流信創(chuàng)生態(tài)廠商的適配互認(rèn)工作，支持統(tǒng)信UOS、龍蜥、麒麟等國產(chǎn)操作系統(tǒng)，鯤鵬920、飛騰等國產(chǎn)芯片，長城擎天CF520、華為公有云等國產(chǎn)服務(wù)器的適配，以及大部分國產(chǎn)數(shù)據(jù)庫、國產(chǎn)中間件的適配。
l開源/自主可控
EasyMR 作為袋鼠云自研的大數(shù)據(jù)基礎(chǔ)平臺，其大數(shù)據(jù)組件100%基于開源 Hadoop，完全兼容 Apache 開源生態(tài)，與開源社區(qū)同步迭代，時(shí)刻保持技術(shù)的領(lǐng)先性。并且 EasyMR 對 Spark、Flink、Trino、Iceberg 等部分組件特性進(jìn)行優(yōu)化增強(qiáng)，回饋社區(qū)，以開放心態(tài)共建 Hadoop 生態(tài)。
l運(yùn)維托管服務(wù)
EasyMR 提供大數(shù)據(jù)集群監(jiān)控告警、安全保障、數(shù)據(jù)質(zhì)量保障以及平臺運(yùn)維服務(wù);提供定期巡檢、深度體檢、成本優(yōu)化以及高階調(diào)優(yōu)服務(wù);以及提供包括大數(shù)據(jù)集群遷移、集群容災(zāi)建設(shè)、架構(gòu)設(shè)計(jì)規(guī)劃等在內(nèi)的實(shí)施服務(wù)，全鏈路一站式運(yùn)維托管服務(wù)。
l安全
通過 LDAP+Kerberos+Ranger 這套認(rèn)證權(quán)限體系，對庫/表/行/列級進(jìn)行權(quán)限控制，實(shí)現(xiàn)企業(yè)級安全管控。
EasyMR 國產(chǎn)化適配：
Hive 的子組件 Hive Metastore，在開源的方案中通過 redis 進(jìn)行緩存加速，而現(xiàn)在可以通過寶蘭德BCS 這樣的國產(chǎn)中間件對 redis 進(jìn)行國產(chǎn)化替代。
Hive Metastore 本身的元數(shù)據(jù)信息在開源方案中存儲在 MySQL 和 OracleSQL 中，現(xiàn)在也可以通過適配國產(chǎn)數(shù)據(jù)庫，如 TDSQL、OceanBase，對開源數(shù)據(jù)庫進(jìn)行替代?；诖?，EasyMR 實(shí)現(xiàn)真正的國產(chǎn)化，完全自主可控。
EasyMR 深知只有實(shí)現(xiàn)關(guān)鍵技術(shù)的自主化、國產(chǎn)化，才能真正實(shí)現(xiàn)技術(shù)創(chuàng)新，攻克“卡脖子”難題。
EasyMR 對大數(shù)據(jù)組件的功能增強(qiáng)
袋鼠云作為國內(nèi)領(lǐng)先的數(shù)字化基礎(chǔ)軟件與應(yīng)用服務(wù)商，十分重視強(qiáng)化產(chǎn)品的基礎(chǔ)能力和技術(shù)能力，在開源技術(shù)的基礎(chǔ)上，EasyMR 對 Spark、Flink、Trino、Iceberg 等多個(gè)大數(shù)據(jù)核心組件進(jìn)行了功能及性能增強(qiáng)。具體優(yōu)化見下圖：
僅在2022年袋鼠云技術(shù)同學(xué)就完成了上百次的 commit，為 Hadoop 生態(tài)的技術(shù)發(fā)展貢獻(xiàn)了屬于袋鼠云的力量。
贈(zèng)人玫瑰手有余香，回饋社區(qū)的同時(shí)袋鼠云實(shí)現(xiàn)了對整個(gè) Hadoop 體系核心代碼的完全自主掌握，對于 EasyMR 大數(shù)據(jù)平臺遷移、大數(shù)據(jù)組件維保等做到了100%自主可控。
EasyMR 自主研發(fā)能力：技術(shù)開源
從2016年數(shù)棧V1.0發(fā)布開始，到如今的數(shù)棧V6.0，數(shù)棧已經(jīng)歷經(jīng)了七年六個(gè)大版本的迭代實(shí)踐。隨著對技術(shù)能力的不懈探索，數(shù)棧內(nèi)部也沉淀了一些優(yōu)秀的大數(shù)據(jù)組件，如流批一體的數(shù)據(jù)同步集成組件ChunJun，DAG分布式任務(wù)調(diào)度組件Taier、大數(shù)據(jù)平臺運(yùn)維組件ChengYing等，這些組件數(shù)棧已經(jīng)全部貢獻(xiàn)給了Github，下面是袋鼠云開源的地址，歡迎使用。
Github地址：https://github.com/DTStack
技術(shù)無界，創(chuàng)新不止。袋鼠云數(shù)棧技術(shù)團(tuán)隊(duì)連續(xù)兩年榮獲“年度優(yōu)秀開源技術(shù)團(tuán)隊(duì)”的稱號，ChunJun 也順利晉級“2022 年中國開源創(chuàng)新大賽”決賽，并榮獲“優(yōu)秀開源項(xiàng)目/社區(qū)”獎(jiǎng)項(xiàng)。這些鼓勵(lì)都源于數(shù)棧技術(shù)團(tuán)隊(duì)出眾的產(chǎn)品技術(shù)能力和自主研發(fā)能力。
CDP/CDH 平滑遷移到 EasyMR 解決方案
基于國家對于國產(chǎn)信創(chuàng)的政策要求，以及 CDH 停止服務(wù)(EoS)，用戶沒辦法再獲取售后支持的大背景，各行各業(yè)的大數(shù)據(jù)平臺底座需要進(jìn)行國產(chǎn)化替代的需求越來越強(qiáng)烈。基于此，數(shù)棧支持 CDP/CDH 平滑遷移到 EasyMR 的解決方案，大大降低企業(yè)遷移成本低。
生產(chǎn)業(yè)務(wù)不能停，該方案支持雙軌運(yùn)行，即客戶的原 CDH 集群和信創(chuàng)的 EasyMR 集群可以同時(shí)運(yùn)行。整個(gè)遷移過程操作簡單，配置靈活，通過4步即可完成所有的遷移工作。
第一步，進(jìn)行計(jì)算平臺和開發(fā)套件的替換。
第二步，進(jìn)行數(shù)據(jù)遷移。包括歷史數(shù)據(jù)和元數(shù)據(jù)的遷移，在遷移過程中，EasyMR 支持?jǐn)?shù)據(jù)檢驗(yàn)，保證在數(shù)據(jù)遷移過程中的數(shù)據(jù)一致。
第三步，執(zhí)行任務(wù)遷移。包括采集任務(wù)、數(shù)據(jù)加工任務(wù)、任務(wù)依賴關(guān)系以及分析引擎。
第四步，業(yè)務(wù)切割。包含集群的切換，及老服務(wù)器下線，新服務(wù)器上線等動(dòng)作切換，最終達(dá)到 CDP/CDH 平滑遷移到 EasyMR 的目的，并且實(shí)現(xiàn)對客戶側(cè)的業(yè)務(wù)無感知。
EasyMR 積累了大量的遷移成功案例，經(jīng)驗(yàn)豐富，可以保障整個(gè)遷移過程安全可靠。
Hadoop 平滑升級解決方案
大數(shù)據(jù)組件每年的版本更新速度比較快，不少企業(yè)還停留在 Hadoop2.0 的階段。許多客戶想升級到 Hadoop3.0 版本，體驗(yàn)新的特性和性能優(yōu)化，但是客戶的業(yè)務(wù)在版本更新中又不能停止，這時(shí)應(yīng)該怎么做?
EasyMR 可實(shí)現(xiàn)節(jié)點(diǎn)的動(dòng)態(tài)替換，將一個(gè)節(jié)點(diǎn)先升級到 Hadoop3.0 的節(jié)點(diǎn)，在這個(gè)節(jié)點(diǎn)上印證沒有問題之后，再進(jìn)行剩下節(jié)點(diǎn)的逐步替換，這樣就真正實(shí)現(xiàn)了 Hadoop 的無感知平滑升級。
EasyMR 的實(shí)踐應(yīng)用
在介紹完 EasyMR 的具體功能和特性之后，下文將為大家介紹2個(gè) EasyMR 的經(jīng)典實(shí)踐應(yīng)用落地，更深地感受 EasyMR 是如何幫助企業(yè)更高效、平滑、安全地實(shí)現(xiàn)實(shí)現(xiàn)國外進(jìn)口產(chǎn)品的國產(chǎn)化替代。
某全國性股份制商業(yè)銀行：CDH 遷移至 EasyMR
某全國性股份制商業(yè)銀行，為解決分行數(shù)據(jù)應(yīng)用建設(shè)效率差等問題，數(shù)棧幫助該客戶實(shí)現(xiàn)了 CDH 平滑遷移至 EasyMR，并且為該客戶建立了“總行統(tǒng)一調(diào)度+分行數(shù)據(jù)協(xié)同共享”的數(shù)據(jù)應(yīng)用云平臺。
EasyMR 使用 Trino 替換 Impala，解決了客戶 Impala 內(nèi)存過度占用導(dǎo)致節(jié)點(diǎn)宕機(jī)的問題，提升查詢性能，實(shí)現(xiàn)了資源動(dòng)態(tài)隔離;并且采用「云平臺」的模式，總行+各個(gè)分行是平臺上的單獨(dú)租戶，底層存儲、計(jì)算資源共享提升數(shù)據(jù)下發(fā)效率，數(shù)據(jù)權(quán)限隔離保證安全，不用再擔(dān)心出現(xiàn)分行數(shù)據(jù)誤刪除、丟失等安全問題。EasyMR 兼容信創(chuàng)生態(tài)體系，平滑遷移至國產(chǎn)化環(huán)境，符合金融行業(yè)的信創(chuàng)國產(chǎn)化要求。
通過 EasyMR 大數(shù)據(jù)基礎(chǔ)平臺的建設(shè)，該全國性股份制商業(yè)銀行實(shí)現(xiàn)了成本管理和業(yè)務(wù)管控的雙效提升。
某支付行業(yè)云服務(wù)品牌：EasyMR + 數(shù)棧Saas化
金融行業(yè)正逐漸從數(shù)字化時(shí)代邁向智能化時(shí)代，該客戶的需求是將 EasyMR 和數(shù)棧進(jìn)行 Saas 化，依托數(shù)據(jù)中臺產(chǎn)品，賦能客戶，加快走向智能化時(shí)代的步伐。
面對客戶需求，數(shù)棧 + EasyMR 與云平臺的網(wǎng)絡(luò)架構(gòu)、服務(wù)器、云平臺的統(tǒng)一權(quán)限管控等各項(xiàng)內(nèi)容實(shí)現(xiàn)全面兼容適配，保證在客戶開通權(quán)限資源后，依然能夠保障 EasyMR 的穩(wěn)定運(yùn)行。并且數(shù)棧 + EasyMR 實(shí)現(xiàn)了「訂購—自動(dòng)化部署—一鍵擴(kuò)縮容」等各類操作。
作為大數(shù)據(jù)基礎(chǔ)軟件國產(chǎn)化的重要推動(dòng)者之一，數(shù)棧還擁有大量成熟大數(shù)據(jù)解決方案，可以更好地支持各行業(yè)智能化、數(shù)字化應(yīng)用建設(shè)。
首發(fā)數(shù)棧V6.0產(chǎn)品白皮書
此外，會上還發(fā)布了《數(shù)棧產(chǎn)品白皮書》(獲取地址：https://fs80.cn/zt4sp6)，從數(shù)字技術(shù)、產(chǎn)品能力、應(yīng)用實(shí)踐、服務(wù)支持四個(gè)方面進(jìn)行深度研判，針對性克服數(shù)字化轉(zhuǎn)型短板，從數(shù)據(jù)治理、湖倉一體、數(shù)據(jù)集成、DataOps 等八個(gè)方面進(jìn)行解決方案解讀，重點(diǎn)提升客戶數(shù)據(jù)管控能力。此外，本白皮書總結(jié)了有效的大數(shù)據(jù)基礎(chǔ)軟件建設(shè)經(jīng)驗(yàn)，為各行業(yè)企業(yè)的數(shù)字化轉(zhuǎn)型提供參考和指導(dǎo)。
數(shù)棧始終堅(jiān)持自主可控，積極致力于幫助客戶打造國產(chǎn)創(chuàng)新的企業(yè)級大數(shù)據(jù)基礎(chǔ)軟件，幫助客戶夯實(shí)數(shù)據(jù)基座，建立從數(shù)據(jù)獲取生產(chǎn)到數(shù)據(jù)消費(fèi)利用的全生命周期管理體系，使數(shù)據(jù)“可見、可用、可管”，洞察數(shù)字化機(jī)遇，明確轉(zhuǎn)型方向，創(chuàng)造數(shù)據(jù)新價(jià)值。
今后，數(shù)棧產(chǎn)品也將更加貼合實(shí)際場景，用數(shù)智化方式解題，踐行“用數(shù)據(jù)產(chǎn)生價(jià)值”的使命。
(獲取地址：https://fs80.cn/zt4sp6)
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
