華為云大數(shù)據(jù)解決方案，助力斗魚打破數(shù)據(jù)孤島、創(chuàng)造價(jià)值

華為在GIV 2025報(bào)告中指出，預(yù)計(jì)到2025年，全球每年新增數(shù)據(jù)存儲(chǔ)量為180ZB，企業(yè)的數(shù)據(jù)利用率將會(huì)達(dá)到86%?？梢钥闯觯诨ヂ?lián)網(wǎng)快速發(fā)展的當(dāng)下，數(shù)據(jù)存儲(chǔ)計(jì)算的需求與日俱增。

更多大數(shù)據(jù)應(yīng)用的創(chuàng)新，隨著5G、IoT、VR/AR、自動(dòng)駕駛等技術(shù)的發(fā)展，會(huì)不斷涌現(xiàn)出來，面對(duì)諸多挑戰(zhàn)，比如海量數(shù)據(jù)分析帶來的算力需求不均、數(shù)據(jù)結(jié)構(gòu)的多樣化、高并發(fā)作業(yè)等，傳統(tǒng)大數(shù)據(jù)平臺(tái)主要基于本地HDFS作為大數(shù)據(jù)存儲(chǔ)，存算一體耦合在同一集群。

隨著存儲(chǔ)量的增長(zhǎng)，這種存算一體的大數(shù)據(jù)技術(shù)架構(gòu)，計(jì)算成本也隨之線性增長(zhǎng)，需要通過大數(shù)據(jù)計(jì)算存儲(chǔ)分離方案來解決，否則無法靈活配置存儲(chǔ)及算力，也難以滿足企業(yè)海量數(shù)據(jù)分析追求極致性價(jià)比的一些典型場(chǎng)景。

在一些為了提高效率的場(chǎng)景中，有時(shí)需要關(guān)閉閑置的計(jì)算集群，但由于計(jì)算集群中存在數(shù)據(jù)，關(guān)閉閑置的計(jì)算集群會(huì)導(dǎo)致數(shù)據(jù)丟失，無法實(shí)現(xiàn)真正的彈性計(jì)算，存算分離可保證數(shù)據(jù)不丟失。

在日志留存場(chǎng)景中，存儲(chǔ)周期變長(zhǎng)(例如2個(gè)月變成6個(gè)月)，但算力并不需要顯著增加，通過大數(shù)據(jù)計(jì)算分離方案可降低計(jì)算的配置和成本。

在離線分析場(chǎng)景中，對(duì)存儲(chǔ)和算力需求不一，離線批處理，分析類型多，數(shù)據(jù)量大，大數(shù)據(jù)開發(fā)需求爆發(fā)式增長(zhǎng)。企業(yè)在存儲(chǔ)空間或計(jì)算資源不足時(shí)，只能同時(shí)對(duì)兩者進(jìn)行擴(kuò)容，雖然能保證性能最優(yōu)，但利用率低，因?yàn)榇嫠阗Y源，擴(kuò)容成本高。通過大數(shù)據(jù)計(jì)算存儲(chǔ)分離方案，最大限度降低企業(yè)使用成本，提升資源利用率，計(jì)算不夠擴(kuò)計(jì)算，存儲(chǔ)不夠擴(kuò)存儲(chǔ)，計(jì)算資源根據(jù)任務(wù)負(fù)載動(dòng)態(tài)擴(kuò)縮容機(jī)器。

斗魚作為國(guó)內(nèi)首家彈幕式直播分享網(wǎng)站，以游戲直播為主，涵蓋了體育、綜藝、娛樂等多種直播內(nèi)容，每天都在為成千上萬的觀眾分享歡樂，已成為國(guó)內(nèi)排名第一的電競(jìng)娛樂一站式直播分享平臺(tái)。

據(jù)頭榜2019年12月數(shù)據(jù)顯示，斗魚每月都會(huì)產(chǎn)生PB級(jí)數(shù)據(jù)量，日均活躍觀眾1485.56萬人次，累積彈幕總數(shù)9億7073萬，活躍主播32.38萬人次，平均在線時(shí)長(zhǎng)達(dá)5小時(shí)以上，累積付費(fèi)禮物4億6146萬。

但是，直播黑產(chǎn)也越來越猖獗，包括主播刷榜、渠道推廣、非法充值等等，斗魚自建的大數(shù)據(jù)分析平臺(tái)，在有限的投入下提升斗魚風(fēng)控平臺(tái)投訴排查效率，面臨數(shù)據(jù)量和計(jì)算量大但要嚴(yán)格控制成本的困難。

“斗魚大數(shù)據(jù)分析平臺(tái)目前是自建集群基于開源CDH，隨著業(yè)務(wù)規(guī)模越來越大，面臨數(shù)據(jù)量大、計(jì)算量大，維護(hù)成本高的困難，需要尋求穩(wěn)定高性價(jià)比的解決方案。”這是在HUAWEI CONNECT 2019大會(huì)期間，李瑞(斗魚風(fēng)控代表)強(qiáng)調(diào)的重點(diǎn)。

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案，通過嚴(yán)格的業(yè)務(wù)模擬、比拼測(cè)試后，適用斗魚大數(shù)據(jù)數(shù)據(jù)增速快于計(jì)算的業(yè)務(wù)場(chǎng)景。其整體性能得到大幅提升，在讀寫性能、復(fù)雜計(jì)算、簡(jiǎn)單計(jì)算、數(shù)據(jù)傾斜等方面均優(yōu)于IDC本地大數(shù)據(jù)計(jì)算集群。

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案為直播代表斗魚帶來的價(jià)值：

華為云存算分離性價(jià)比高，極致彈性

針對(duì)傳統(tǒng)存算一體大數(shù)據(jù)架構(gòu)中擴(kuò)容困難、資源利用率低等問題，華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案，采用計(jì)算存儲(chǔ)分離架構(gòu)。

華為云數(shù)據(jù)存儲(chǔ)部分基于OBS的跨AZ等能力實(shí)現(xiàn)更高可靠性，無需擔(dān)心地震、挖斷光纖等突發(fā)事件;計(jì)算資源支持0~N彈性擴(kuò)縮，百節(jié)點(diǎn)3分鐘發(fā)放。存算分離后，計(jì)算節(jié)點(diǎn)可實(shí)現(xiàn)真正的極致彈性伸縮;存儲(chǔ)基于公有云對(duì)象存儲(chǔ)實(shí)現(xiàn)11個(gè)9的高可靠，無限容量，支撐企業(yè)數(shù)據(jù)量持續(xù)增長(zhǎng)。

華為云存儲(chǔ)和計(jì)算資源可以靈活配置，可使資源匹配更精準(zhǔn)、更合理，根據(jù)業(yè)務(wù)需要各自獨(dú)立進(jìn)行彈性擴(kuò)展，讓大數(shù)據(jù)集群資源利用率大幅提升，幫助斗魚實(shí)現(xiàn)性價(jià)比最優(yōu)，綜合分析成本降低50%。

同時(shí)，華為云通過高性能shuffle、高效的SQL優(yōu)化器，實(shí)現(xiàn)計(jì)算引擎加速;支持多數(shù)據(jù)源的計(jì)算下壓，性能相比開源提升1倍;通過分布式高性能緩存，異構(gòu)存儲(chǔ)模型，支持熱數(shù)據(jù)加速訪問，實(shí)現(xiàn)緩存加速;通過高性能的計(jì)算存儲(chǔ)分離架構(gòu)，針對(duì)對(duì)象存儲(chǔ)數(shù)據(jù)訪問效率深度優(yōu)化(元數(shù)據(jù)操作、寫入算法優(yōu)化等)，實(shí)現(xiàn)存儲(chǔ)加速。

華為云基于多級(jí)加速技術(shù)支持，助力斗魚離線大數(shù)據(jù)分析效率不斷提升。

華為云鯤鵬加持，為大數(shù)據(jù)提供更高算力

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案在計(jì)算層，基于鯤鵬處理器的多核高并發(fā)能力、自研EulerOS，可為用戶提供多種粒度的大數(shù)據(jù)算力，包括裸金屬服務(wù)器，云服務(wù)器，容器和Serverless等等，大數(shù)據(jù)分布式場(chǎng)景性能可提升25%，可輕松處理PB級(jí)數(shù)據(jù)作業(yè)，為斗魚在海量數(shù)據(jù)多并發(fā)作業(yè)提供可擴(kuò)展的分析能力，幫助斗魚解決IDC算力不夠的問題。

華為云開放生態(tài)，全面兼容,0改造上云

華為云堅(jiān)持開放生態(tài)路線，讓斗魚大數(shù)據(jù)應(yīng)用從IDC“0改造”平滑移植上華為云，“存算分離+鯤鵬”大數(shù)據(jù)解決方案完全兼容開源原生接口，全面兼容主流的大數(shù)據(jù)生態(tài)。

同時(shí)華為云提供一份數(shù)據(jù)支持多引擎的能力，即同一份數(shù)據(jù)存放在OBS上供多引擎調(diào)度，包括傳統(tǒng)批、流、交互式，以及AI引擎，減少數(shù)據(jù)冗余，數(shù)據(jù)“0”搬遷，支持多種業(yè)務(wù)計(jì)算訴求，實(shí)現(xiàn)真正數(shù)據(jù)湖，幫助斗魚輕松應(yīng)對(duì)海量存儲(chǔ)，減少重復(fù)投資，提升業(yè)務(wù)分析效率。未來在AI，視頻云服務(wù)，5G+Cloud+直播創(chuàng)新等領(lǐng)域，雙方還將進(jìn)一步合作，打造更好的用戶體驗(yàn)。

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案，使得客戶和伙伴可以更加聚焦業(yè)務(wù)，創(chuàng)造價(jià)值，打破數(shù)據(jù)孤島，助力企業(yè)數(shù)字化轉(zhuǎn)型，為客戶和伙伴提供的高性價(jià)比、極致彈性伸縮、多元計(jì)算引擎的業(yè)界領(lǐng)先大數(shù)據(jù)解決方案，受到了廣泛贊譽(yù)和好評(píng)。

關(guān)注華為云官網(wǎng)，立即體驗(yàn)數(shù)據(jù)湖探索DLI吧!

AI時(shí)代，OCR先行，華為云智能OCR服務(wù)提供多種卡證票據(jù)識(shí)別能力和自定義OCR能力，助力企業(yè)構(gòu)建智能影像識(shí)別平臺(tái)，多元計(jì)算+ AI，打造企業(yè)級(jí)智能數(shù)據(jù)湖。最近華為云推出的一款A(yù)I大數(shù)據(jù)產(chǎn)品，已加入到華為云開年采購(gòu)季活動(dòng)中?；诖嫠惴蛛x+鯤鵬的創(chuàng)新解決方案，提供高性價(jià)比的大數(shù)據(jù)服務(wù)，助力企業(yè)降本提效。

想了解具OCR是什么?可添加華為云小助手，微信號(hào)：xiaoxiaoyu0908回復(fù)“直播”，進(jìn)入交流群優(yōu)惠活動(dòng)火爆進(jìn)行中，觀看直播還有專屬福利。3月6號(hào)(周五)15：00-16：30，主播OCR技術(shù)總監(jiān)Sean和大數(shù)據(jù)解決方案專家略哥與您不見不散。

直播間鏈接：https://huaweicloud.bugu.mudu.tv/watch/lmzkj0vm

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。