云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

我們正處在一個(gè)數(shù)據(jù)高速增長(zhǎng)的“大數(shù)據(jù)”時(shí)代,海量數(shù)據(jù)呈指數(shù)性增長(zhǎng),但當(dāng)前客戶的業(yè)務(wù)數(shù)據(jù)呈現(xiàn)煙囪式分布,業(yè)務(wù)分析需求日益增長(zhǎng),傳統(tǒng)的開發(fā)模式成本高、分析慢、靈活性低,該如何存儲(chǔ)管理與應(yīng)用這些數(shù)據(jù)面臨著新的挑戰(zhàn)與機(jī)遇。

河南云帆電子科技有限公司(以下簡(jiǎn)稱“云帆”)自成立以來(lái),始終緊扣客戶需求和技術(shù)發(fā)展趨勢(shì),依托云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)及視頻圖像分析等技術(shù),為客戶提供從頂層設(shè)計(jì)、方案規(guī)劃、定制開發(fā)、項(xiàng)目實(shí)施、運(yùn)維服務(wù)全方位一站式軟硬件整體解決方案,內(nèi)容包括:主機(jī)、存儲(chǔ)、備份、容災(zāi)、云計(jì)算等信息系統(tǒng)基礎(chǔ)架構(gòu)建設(shè),結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)管理、大數(shù)據(jù)管理、數(shù)據(jù)挖掘等數(shù)據(jù)管理方案,樹立起了以服務(wù)和技術(shù)為核心的業(yè)務(wù)主導(dǎo)模式。

云帆開發(fā)的數(shù)據(jù)魔方系統(tǒng)是一款基于大規(guī)模并行數(shù)據(jù)庫(kù)的數(shù)據(jù)應(yīng)用工具,是一款通用數(shù)據(jù)查詢、分析軟件。

云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

通過(guò)可視化建模方式,圖形化地反應(yīng)數(shù)據(jù)分析思路,滿足多層次用戶的通用數(shù)據(jù)查詢、分析軟件。從而實(shí)現(xiàn)了精準(zhǔn)數(shù)據(jù)篩選、靈活碰撞分析,滿足不同無(wú)技術(shù)背景用戶對(duì)數(shù)據(jù)的應(yīng)用需求,從根本上改變了傳統(tǒng)軟件的開發(fā)模式,讓新需求在短時(shí)間內(nèi)得到實(shí)現(xiàn)。

技術(shù)架構(gòu):

云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

技術(shù)架構(gòu)

在計(jì)算分析層,通過(guò)部署多臺(tái)華為TaiShan服務(wù)器,組成計(jì)算集群。華為TaiShan服務(wù)器是基于鯤鵬處理器的高性能數(shù)據(jù)中心處理器,采用多核計(jì)算架構(gòu),主要應(yīng)用于大數(shù)據(jù)、分布式存儲(chǔ)、ARM原生應(yīng)用等場(chǎng)景。鯤鵬處理器擁有64個(gè)內(nèi)核,主頻可達(dá)2.6GHz,支持8通道DDR4,內(nèi)存帶寬可以超過(guò)主流46%,集成100G RoCE以太網(wǎng)卡功能,具有高性能、高吞吐、高集成、高能效等特點(diǎn),滿足數(shù)據(jù)魔方系統(tǒng)對(duì)于計(jì)算和分析需求。

在大數(shù)據(jù)層面,部署華為Gauss DB 數(shù)據(jù)庫(kù)軟件,它采用Shared Nothing 的列式數(shù)據(jù)存儲(chǔ) MPP 架構(gòu),在TaiShan服務(wù)器多線程、高性能特性支持下,基于分布式多協(xié)調(diào)節(jié)點(diǎn)的集群架構(gòu),支持全分布式并行執(zhí)行,提升并發(fā)性能和可靠性,支持協(xié)調(diào)節(jié)點(diǎn)的負(fù)載均衡能力;支持SQL92、 SQL2003 標(biāo)準(zhǔn),支持 JDBC、 ODBC、ADO.NET、 Python 等標(biāo)準(zhǔn)訪問(wèn)接口;支持基本的通過(guò) SQL語(yǔ)句增、刪、改(對(duì)任何列)功能。數(shù)據(jù)魔方系統(tǒng)的成功融合,證明了華為TaiShan服務(wù)器在計(jì)算性能、穩(wěn)定性等方面已滿足大數(shù)據(jù)應(yīng)用的要求,對(duì)于十億級(jí)的數(shù)據(jù)統(tǒng)計(jì)分析實(shí)現(xiàn)了結(jié)果秒級(jí)展現(xiàn)。

使用TaiShan服務(wù)器的優(yōu)勢(shì)

²高性能:基于鯤鵬多核架構(gòu)+多核調(diào)度優(yōu)化算法,在OLAP數(shù)據(jù)庫(kù)場(chǎng)景下,性能提升40%;

²高吞吐:基于華為智能網(wǎng)卡的RoCE方案,卸載CPU負(fù)載;在OLTP數(shù)據(jù)庫(kù)場(chǎng)景下,網(wǎng)絡(luò)數(shù)據(jù)吞吐能力提升25%;通過(guò)在數(shù)據(jù)鎖、原子寫等基礎(chǔ)的優(yōu)化,以及基于鯤鵬處理器的高性能庫(kù),如DMA的memory庫(kù)、達(dá)到IO加速的目的。

數(shù)據(jù)魔方的方案價(jià)值

²快速統(tǒng)一數(shù)據(jù)源,實(shí)現(xiàn)對(duì)各類資源的匯聚,打破數(shù)據(jù)壁壘;

²源于靈活、便捷產(chǎn)品特點(diǎn),用戶基于自己思路將數(shù)據(jù)重新的組合,實(shí)現(xiàn)可視化數(shù)據(jù)自主分析;

²與華為TaiShan服務(wù)器深度融合,采用分布式部署,加速數(shù)據(jù)的分析性能,從而能夠整體上提升公安辦公效能;

²降低數(shù)據(jù)分析的技術(shù)門檻,通過(guò)模型共享,實(shí)現(xiàn)用戶所思所想,同時(shí),經(jīng)驗(yàn)得到積累和分享。

云帆公司表示,面對(duì)著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)及視頻圖像技術(shù)等應(yīng)用的不斷普及和深化,面對(duì)著機(jī)遇和挑戰(zhàn),云帆將繼續(xù)基于TaiShan服務(wù)器硬件基礎(chǔ)和生態(tài),不斷開發(fā)出分析能力強(qiáng)、靈活性高的數(shù)據(jù)管理、數(shù)據(jù)挖掘等數(shù)據(jù)管理產(chǎn)品和方案,打造出更多更好的大數(shù)據(jù)產(chǎn)品。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-12-16
云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合
我們正處在一個(gè)數(shù)據(jù)高速增長(zhǎng)的“大數(shù)據(jù)”時(shí)代,海量數(shù)據(jù)呈指數(shù)性增長(zhǎng),但當(dāng)前客戶的業(yè)務(wù)數(shù)據(jù)呈現(xiàn)煙囪式分布,業(yè)務(wù)分析需求日益增長(zhǎng),傳統(tǒng)的開發(fā)模

長(zhǎng)按掃碼 閱讀全文