第十屆DTCC在京舉行 浪潮inData破解PB級(jí)數(shù)據(jù)挑戰(zhàn)

5月8-10日，中國數(shù)據(jù)庫技術(shù)大會(huì)DTCC2019在北京舉行，鉆石贊助商浪潮在大會(huì)上展出了數(shù)據(jù)庫一體機(jī)inData系統(tǒng)，該系統(tǒng)是一款成熟的HTAP方案，適合于海量事務(wù)實(shí)時(shí)處理與數(shù)據(jù)實(shí)時(shí)分析的混合負(fù)載業(yè)務(wù)場(chǎng)景，可以處理PB級(jí)數(shù)據(jù)量，解決了大型企業(yè)數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)挑戰(zhàn)。

企業(yè)數(shù)字轉(zhuǎn)型的數(shù)據(jù)挑戰(zhàn)

DTCC是中國數(shù)據(jù)庫和大數(shù)據(jù)領(lǐng)域規(guī)模最大、最具影響力的技術(shù)峰會(huì)，本屆大會(huì)的主題是“數(shù)據(jù)風(fēng)云 十年變遷”，會(huì)議議題集中于過去十年的數(shù)據(jù)庫互聯(lián)網(wǎng)化演進(jìn)以及未來的發(fā)展趨勢(shì)。在過去的十年中，傳統(tǒng)關(guān)系型數(shù)據(jù)庫產(chǎn)品一直在不斷采用互聯(lián)網(wǎng)技術(shù)，以應(yīng)對(duì)企業(yè)日益增長的訪問壓力和數(shù)據(jù)量。據(jù)IDC預(yù)測(cè)，2020年，全球數(shù)據(jù)量會(huì)達(dá)到44ZB，2035年會(huì)達(dá)到1.9萬ZB?！　?/p>

浪潮inData產(chǎn)品負(fù)責(zé)人表示，很多企業(yè)的數(shù)據(jù)量達(dá)到幾百TB的規(guī)模時(shí)，數(shù)據(jù)庫的并發(fā)處理能力和處理延時(shí)等技術(shù)指標(biāo)就會(huì)下降得很厲害，inData數(shù)據(jù)庫一體機(jī)能幫助用戶有效地解決這一問題。

橫向擴(kuò)展的數(shù)據(jù)系統(tǒng)

inData采用了配置KAS存儲(chǔ)虛擬化模塊的浪潮K-DB11g軟件和優(yōu)化的X86服務(wù)器、Flash存儲(chǔ)以及InfiniBand等加速硬件，具備智能分布式存儲(chǔ)、軟硬件極致優(yōu)化器、一體化資源管理等高級(jí)功能。

相比于共享統(tǒng)一存儲(chǔ)的傳統(tǒng)數(shù)據(jù)庫，inData最大特點(diǎn)是采用了分布式架構(gòu)，由縱向擴(kuò)展轉(zhuǎn)變?yōu)闄M向擴(kuò)展，從而可以承載PB級(jí)數(shù)據(jù)量、處理海量并發(fā)訪問。系統(tǒng)分為計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三個(gè)軟硬件緊耦合的資源池，多個(gè)數(shù)據(jù)庫計(jì)算節(jié)點(diǎn)構(gòu)成RAC集群，配置I/O加速系統(tǒng)的服務(wù)器在KAS統(tǒng)一管理下構(gòu)成存儲(chǔ)池，所有的計(jì)算、存儲(chǔ)設(shè)備通過2臺(tái)或以上的InfiniBand交換機(jī)連接。

存儲(chǔ)虛擬化KAS 讀寫百萬IOPS

KAS采用了多副本、分布式的數(shù)據(jù)存儲(chǔ)管理技術(shù)，數(shù)據(jù)會(huì)有2-3重副本，數(shù)據(jù)及副本被同時(shí)寫入多組磁盤，系統(tǒng)I/O性能會(huì)隨著磁盤數(shù)量的增加線性增長，解決了長期以來的數(shù)據(jù)庫磁盤性能瓶頸，而且，多副本技術(shù)還隔離磁盤故障對(duì)于系統(tǒng)的影響，磁盤發(fā)生故障后，系統(tǒng)會(huì)繼續(xù)從其他節(jié)點(diǎn)讀取數(shù)據(jù)。

另外，inData會(huì)自動(dòng)統(tǒng)計(jì)數(shù)據(jù)的訪問頻次，將經(jīng)常被訪問的“熱點(diǎn)數(shù)據(jù)”存儲(chǔ)在熱點(diǎn)盤——PCIe SSD閃存卡中，不經(jīng)常訪問的數(shù)據(jù)則會(huì)存儲(chǔ)在大容量機(jī)械磁盤中，兼顧了成本與性能。

性能優(yōu)化，每分鐘數(shù)百萬事務(wù)處理

inData系統(tǒng)能輕松實(shí)現(xiàn)百萬級(jí)IOPS、海量吞吐與微妙延遲，而且浪潮對(duì)于系統(tǒng)進(jìn)行細(xì)致的整體優(yōu)化，這些優(yōu)化技術(shù)很好地降低了磁盤I/O頻次，減少了數(shù)據(jù)熱區(qū)，并且讓系統(tǒng)負(fù)載更合理地分配，讓系統(tǒng)的在線事務(wù)處理能力達(dá)到了每分鐘數(shù)百萬次。

例如獨(dú)特的智能過濾技術(shù)。inData在處理需要Full Scan全表掃描的復(fù)雜請(qǐng)求時(shí)，計(jì)算節(jié)點(diǎn)接收到的大SQL語句會(huì)拆分為多個(gè)小SQL語句，隨后卸載到各存儲(chǔ)節(jié)點(diǎn)進(jìn)行處理，存儲(chǔ)節(jié)點(diǎn)處理完畢后將結(jié)果集返回計(jì)算節(jié)點(diǎn)進(jìn)行整合，然后響應(yīng)給用戶，這樣可以更為有效地利用存儲(chǔ)節(jié)點(diǎn)的計(jì)算資源，提高系統(tǒng)性能。　　

大會(huì)上，浪潮介紹了inData在政府行業(yè)的應(yīng)用案例，該用戶的數(shù)據(jù)來源復(fù)雜，包括人物關(guān)聯(lián)表、區(qū)域監(jiān)控錄像、交易記錄、語音、征信等十幾種，數(shù)據(jù)量也十分驚人，浪潮為用戶開發(fā)定制版的inData系統(tǒng)，將原來的OLTP、OLAP整合為統(tǒng)一的HTAP系統(tǒng)，用戶的項(xiàng)目開發(fā)周期縮短了2個(gè)月，并減少了50%的數(shù)據(jù)實(shí)例節(jié)點(diǎn)。目前，該系統(tǒng)數(shù)據(jù)量為180TB，每天加載數(shù)據(jù)1TB，數(shù)據(jù)生命周期為180天，數(shù)據(jù)量將逐步達(dá)到峰值400TB。

下一代，融合HTAP與Big Data

伴隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入，越來越多的企業(yè)開始用HTAP來替代原有的OLAP和OLTP系統(tǒng)。inData為一站交付式設(shè)計(jì)，可以開箱即用，并且界面化操作，簡潔易用。浪潮還提供原廠的全程技術(shù)服務(wù)和技術(shù)培訓(xùn)，可以讓用戶更快地跨過應(yīng)用門檻。而且，inData兼容目前各個(gè)數(shù)據(jù)庫行業(yè)通行的標(biāo)準(zhǔn)，很好地融入了當(dāng)前的數(shù)據(jù)生態(tài)，降低了后續(xù)維護(hù)的技術(shù)復(fù)雜度和成本支出。　　

據(jù)浪潮inData產(chǎn)品負(fù)責(zé)人透露，浪潮正在開發(fā)下一代inData數(shù)據(jù)庫系統(tǒng)，新一代產(chǎn)品將完成HTAP與Big Data的融合處理能力，集成AI，并且將系統(tǒng)性提升一個(gè)數(shù)量級(jí)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。