云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

我們正處在一個數(shù)據(jù)高速增長的“大數(shù)據(jù)”時代,海量數(shù)據(jù)呈指數(shù)性增長,但當(dāng)前客戶的業(yè)務(wù)數(shù)據(jù)呈現(xiàn)煙囪式分布,業(yè)務(wù)分析需求日益增長,傳統(tǒng)的開發(fā)模式成本高、分析慢、靈活性低,該如何存儲管理與應(yīng)用這些數(shù)據(jù)面臨著新的挑戰(zhàn)與機(jī)遇。

河南云帆電子科技有限公司(以下簡稱“云帆”)自成立以來,始終緊扣客戶需求和技術(shù)發(fā)展趨勢,依托云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)及視頻圖像分析等技術(shù),為客戶提供從頂層設(shè)計、方案規(guī)劃、定制開發(fā)、項目實施、運維服務(wù)全方位一站式軟硬件整體解決方案,內(nèi)容包括:主機(jī)、存儲、備份、容災(zāi)、云計算等信息系統(tǒng)基礎(chǔ)架構(gòu)建設(shè),結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)管理、大數(shù)據(jù)管理、數(shù)據(jù)挖掘等數(shù)據(jù)管理方案,樹立起了以服務(wù)和技術(shù)為核心的業(yè)務(wù)主導(dǎo)模式。

云帆開發(fā)的數(shù)據(jù)魔方系統(tǒng)是一款基于大規(guī)模并行數(shù)據(jù)庫的數(shù)據(jù)應(yīng)用工具,是一款通用數(shù)據(jù)查詢、分析軟件。

云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

通過可視化建模方式,圖形化地反應(yīng)數(shù)據(jù)分析思路,滿足多層次用戶的通用數(shù)據(jù)查詢、分析軟件。從而實現(xiàn)了精準(zhǔn)數(shù)據(jù)篩選、靈活碰撞分析,滿足不同無技術(shù)背景用戶對數(shù)據(jù)的應(yīng)用需求,從根本上改變了傳統(tǒng)軟件的開發(fā)模式,讓新需求在短時間內(nèi)得到實現(xiàn)。

技術(shù)架構(gòu):

云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合

技術(shù)架構(gòu)

在計算分析層,通過部署多臺華為TaiShan服務(wù)器,組成計算集群。華為TaiShan服務(wù)器是基于鯤鵬處理器的高性能數(shù)據(jù)中心處理器,采用多核計算架構(gòu),主要應(yīng)用于大數(shù)據(jù)、分布式存儲、ARM原生應(yīng)用等場景。鯤鵬處理器擁有64個內(nèi)核,主頻可達(dá)2.6GHz,支持8通道DDR4,內(nèi)存帶寬可以超過主流46%,集成100G RoCE以太網(wǎng)卡功能,具有高性能、高吞吐、高集成、高能效等特點,滿足數(shù)據(jù)魔方系統(tǒng)對于計算和分析需求。

在大數(shù)據(jù)層面,部署華為Gauss DB 數(shù)據(jù)庫軟件,它采用Shared Nothing 的列式數(shù)據(jù)存儲 MPP 架構(gòu),在TaiShan服務(wù)器多線程、高性能特性支持下,基于分布式多協(xié)調(diào)節(jié)點的集群架構(gòu),支持全分布式并行執(zhí)行,提升并發(fā)性能和可靠性,支持協(xié)調(diào)節(jié)點的負(fù)載均衡能力;支持SQL92、 SQL2003 標(biāo)準(zhǔn),支持 JDBC、 ODBC、ADO.NET、 Python 等標(biāo)準(zhǔn)訪問接口;支持基本的通過 SQL語句增、刪、改(對任何列)功能。數(shù)據(jù)魔方系統(tǒng)的成功融合,證明了華為TaiShan服務(wù)器在計算性能、穩(wěn)定性等方面已滿足大數(shù)據(jù)應(yīng)用的要求,對于十億級的數(shù)據(jù)統(tǒng)計分析實現(xiàn)了結(jié)果秒級展現(xiàn)。

使用TaiShan服務(wù)器的優(yōu)勢

²高性能:基于鯤鵬多核架構(gòu)+多核調(diào)度優(yōu)化算法,在OLAP數(shù)據(jù)庫場景下,性能提升40%;

²高吞吐:基于華為智能網(wǎng)卡的RoCE方案,卸載CPU負(fù)載;在OLTP數(shù)據(jù)庫場景下,網(wǎng)絡(luò)數(shù)據(jù)吞吐能力提升25%;通過在數(shù)據(jù)鎖、原子寫等基礎(chǔ)的優(yōu)化,以及基于鯤鵬處理器的高性能庫,如DMA的memory庫、達(dá)到IO加速的目的。

數(shù)據(jù)魔方的方案價值

²快速統(tǒng)一數(shù)據(jù)源,實現(xiàn)對各類資源的匯聚,打破數(shù)據(jù)壁壘;

²源于靈活、便捷產(chǎn)品特點,用戶基于自己思路將數(shù)據(jù)重新的組合,實現(xiàn)可視化數(shù)據(jù)自主分析;

²與華為TaiShan服務(wù)器深度融合,采用分布式部署,加速數(shù)據(jù)的分析性能,從而能夠整體上提升公安辦公效能;

²降低數(shù)據(jù)分析的技術(shù)門檻,通過模型共享,實現(xiàn)用戶所思所想,同時,經(jīng)驗得到積累和分享。

云帆公司表示,面對著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)及視頻圖像技術(shù)等應(yīng)用的不斷普及和深化,面對著機(jī)遇和挑戰(zhàn),云帆將繼續(xù)基于TaiShan服務(wù)器硬件基礎(chǔ)和生態(tài),不斷開發(fā)出分析能力強(qiáng)、靈活性高的數(shù)據(jù)管理、數(shù)據(jù)挖掘等數(shù)據(jù)管理產(chǎn)品和方案,打造出更多更好的大數(shù)據(jù)產(chǎn)品。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-12-16
云帆數(shù)據(jù)魔方與華為TaiShan服務(wù)器深度融合
我們正處在一個數(shù)據(jù)高速增長的“大數(shù)據(jù)”時代,海量數(shù)據(jù)呈指數(shù)性增長,但當(dāng)前客戶的業(yè)務(wù)數(shù)據(jù)呈現(xiàn)煙囪式分布,業(yè)務(wù)分析需求日益增長,傳統(tǒng)的開發(fā)模

長按掃碼 閱讀全文