5G、IoT、AI等眾多新技術的涌現(xiàn)，人們的工作和生活都發(fā)生了極大的變化，一個智能數(shù)據(jù)時代正在到來。這不僅進一步凸顯了大數(shù)據(jù)的底座價值，也給數(shù)據(jù)的分析利用帶來了更多的挑戰(zhàn)。
在今日的在華為云TechWave大數(shù)據(jù)專題日上，華為云人工智能領域總裁賈永利解讀了最新的發(fā)展趨勢，分享了FusionInsight智能數(shù)據(jù)湖解決方案等華為云在大數(shù)據(jù)技術上的實踐與創(chuàng)新，以幫助千行百業(yè)“管好數(shù)據(jù)、用好數(shù)據(jù)”，充分釋放數(shù)據(jù)的價值。
數(shù)據(jù)分析利用面臨多重挑戰(zhàn)
回首從90年代到今天，人類經(jīng)歷了PC時代、互聯(lián)網(wǎng)時代、移動互聯(lián)網(wǎng)時代，隨著不同技術的演進，數(shù)據(jù)也發(fā)生了巨大的變化。
賈永利解讀說，首先，數(shù)據(jù)的規(guī)模越來越大。近年來，無論是面向ToB領域、還是ToC領域，隨著技術的發(fā)展、需求的增長，企業(yè)、個人、設備都在時時刻刻產(chǎn)生數(shù)據(jù)，數(shù)據(jù)的體積越來越大。
同時，數(shù)據(jù)種類越來越多，逐步走向多樣性。除了我們熟悉的結構化數(shù)據(jù)，出現(xiàn)了更多的非結構化數(shù)據(jù)，比如視頻、圖像、語音、文本等，并且這些多樣性的數(shù)據(jù)需要用多樣性的算力去處理，這也給數(shù)據(jù)處理帶來了更加復雜的挑戰(zhàn)。
第三，應用對數(shù)據(jù)處理的時效性要求越來越高。很多場景下，我們需要數(shù)據(jù)進入系統(tǒng)時就可以被查詢、被分析，這個時間差要求越來越短。比如在工業(yè)領域，設備的持續(xù)數(shù)據(jù)處理要求就非常高；在金融領域，交易信息、風控信息對數(shù)據(jù)處理的時延要求亦遠超以往。
最后，對于數(shù)據(jù)融合分析的要求也越來越高。很多場景下，我們希望不止分析當前數(shù)據(jù)，更希望歷史數(shù)據(jù)和實時數(shù)據(jù)進行聯(lián)合分析，隨著分析和交易越發(fā)緊密、融合，分析的結果、規(guī)則越來越多地被注入到實時交易系統(tǒng)中。
不同行業(yè)的數(shù)據(jù)特點與訴求
在解讀數(shù)據(jù)變化以及隨之而來的挑戰(zhàn)的同時，賈永利亦在發(fā)言中剖析了不同行業(yè)數(shù)據(jù)的特點與他們的訴求。
以運營商為例，隨著5G的到來，產(chǎn)生的數(shù)據(jù)、需要處理的數(shù)據(jù)顯著增加。有預測認為，5G的到來將帶來至少8倍以上的數(shù)據(jù)體積膨脹，那么就需要很多處理系統(tǒng)，需要從單集群走向多集群——能不能處理好數(shù)據(jù)成為一個首要目標。
從廣大政企行業(yè)來看，越來越多的多樣性數(shù)據(jù)如何統(tǒng)一處理，是否遵循同一套標準、規(guī)范，從而能夠讓整個數(shù)據(jù)在處理過程中可管可控，更高效協(xié)同不同組織、不同廠家進行開發(fā)，也極為關鍵。而像金融領域、工業(yè)領域?qū)?shù)據(jù)處理的實時性要求極為苛刻，為了避免業(yè)務中斷過程造成的損失，實時性就成為了核心訴求。
此外，為了高效挖掘數(shù)據(jù)價值，千行百業(yè)的數(shù)據(jù)融合分析已成大勢所趨。是否可以通過一站式的分析平臺，全局使用一份數(shù)據(jù)，從而能夠更全面、精準地進行分析，從海量數(shù)據(jù)中找到客戶真正想要的價值，變得越來越重要。
圍繞數(shù)據(jù)全生命周期提供整體解決方案
為了應對企業(yè)面臨的各種挑戰(zhàn)，在數(shù)據(jù)域，華為云提出了FusionInsight智能數(shù)據(jù)湖解決方案，圍繞客戶“采、存、算、管、用”等數(shù)據(jù)全生命周期提供整體解決方案。
從架構上來看，華為云FusionInsight智能數(shù)據(jù)湖解決方案是一個開放的架構，充分利用了數(shù)據(jù)域的處理能力和云自身的云原生（Cloud－Native）能力進行融合，率先做到了真正的基于云原生存算分離的架構和實現(xiàn)，讓數(shù)據(jù)規(guī)?？晒芾聿辉偈且粋€難題。
華為云FusionInsight智能數(shù)據(jù)湖方案主要包含MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫、GES圖計算、一站式數(shù)據(jù)運營平臺DAYU等云服務。其中，華為云FusionInsight MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫，可助力客戶在數(shù)字化轉(zhuǎn)型中構建堅實的數(shù)據(jù)底座，并通過HetuEngine數(shù)據(jù)虛擬化引擎簡化用數(shù)，提高效率。
同時，為標準化多樣性數(shù)據(jù)，一站式數(shù)據(jù)運營平臺DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù)，基于多樣性算力與CarbonData實現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲；向上為伙伴開發(fā)50＋數(shù)據(jù)集成開發(fā)API，使能數(shù)據(jù)，攜手生態(tài)伙伴打造各行業(yè)應用。
目前，華為云FusionInsight已廣泛應用于政府、金融、運營商、大企業(yè)、互聯(lián)網(wǎng)等行業(yè)，攜手800多家合作伙伴，為全球60多個國家和地區(qū)的3000多家政企客戶提供服務。
華為云重磅發(fā)布實時數(shù)倉產(chǎn)品
為響應政企用戶在IoT和運維監(jiān)控等場景下對數(shù)據(jù)倉庫時效性的需求，華為云發(fā)布了GaussDB（DWS） 實時數(shù)倉新品，引入了HetuEngine和CarbonDate兩個重要引擎，具備快、易、簡、省四大特點。
HetuEngine可以幫助企業(yè)構建一個虛擬化數(shù)據(jù)分析引擎，有了這個引擎就可以分析多元、多域更為復雜場景下的數(shù)據(jù)。CarbonDate可以圍繞數(shù)據(jù)的存儲進行一系列優(yōu)化和數(shù)據(jù)格式組織，從而實現(xiàn)全局一份數(shù)據(jù)、以統(tǒng)一的格式存儲，能夠給北向提供更加豐富的開發(fā)API，使數(shù)據(jù)集成更容易、使用更高效。
在“快”方面，GaussDB（DWS）實時數(shù)倉時序數(shù)據(jù)單機入庫性能支持每秒10萬條數(shù)據(jù)、每秒60萬條流數(shù)據(jù)持續(xù)計算入庫，并可線性擴展。這樣無論在工業(yè)領域、金融領域，抑或物聯(lián)網(wǎng)領域，都可以解決很多目前所無法解決的問題。
在“易”方面，GaussDB（DWS） 實時數(shù)倉支持基于SQL完成復雜流式計算語義定義，簡化開發(fā)。以Druid監(jiān)控的一個場景為例，僅用150行SQL代碼就實現(xiàn)了原有1900行Druid腳本同樣的功能，實現(xiàn)超過十倍的提升。
在“簡”方面，GaussDB（DWS） 實時數(shù)倉實現(xiàn)了1 ＝ N。在一個平臺內(nèi)，同時實現(xiàn)Flink／Spark Streaming（流數(shù)據(jù)處理）＋Druid（流數(shù)據(jù)預聚合）＋InfluxDB（時序數(shù)據(jù)處理），簡化了開發(fā)和運維工作。
在“省”方面，時序數(shù)據(jù)經(jīng)過實時數(shù)倉的自適應壓縮算法，最高可達40：1的壓縮比，將多維度行列存儲優(yōu)化，數(shù)據(jù)冷熱溫自動分區(qū)，從而極大地減少存儲空間，節(jié)省用戶成本。
“華為云將圍繞數(shù)據(jù)持續(xù)進行創(chuàng)新，聯(lián)合客戶和合作伙伴，通過更好的技術，幫助千行百業(yè)真正管好自己的數(shù)據(jù)、用好自己的數(shù)據(jù)，釋放數(shù)據(jù)的價值?！痹诎l(fā)言的最后，賈永利如是說道。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
