（魏德齡/文）從隨手滑動網(wǎng)頁時的廣告，或是突然收到的銀行理財推薦，再到出門在外到處掃一掃的各種“碼”，生活中越發(fā)能夠感受到大數(shù)據(jù)所帶來的變化。企業(yè)正試圖通過大數(shù)據(jù)來拉近與消費者間的距離，優(yōu)化自身生產(chǎn)效率。
據(jù)賽迪顧問預計，到2023年，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將達到1萬億元，到2027年，將會達到1.8萬億元。隨著產(chǎn)業(yè)規(guī)模的持續(xù)增長，企業(yè)機構(gòu)對于大數(shù)據(jù)的業(yè)務需求也更加深化。“沒有一套完整的系統(tǒng)保證這條鏈路高效運轉(zhuǎn)的話，就很難保證從數(shù)據(jù)中提煉出有價值的信息和知識?！鼻嘣芉ingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風表示“打通大數(shù)據(jù)全鏈路”已經(jīng)成為了客戶的重要訴求，而若想實現(xiàn)這種“打通”能力，自然需要在大數(shù)據(jù)領域的常年積累。
與大數(shù)據(jù)時代同頻共振
“與大數(shù)據(jù)時代同頻共振，青云大數(shù)據(jù)一直在行動?！眲⑿埏L介紹稱，從2014年到2018年，青云先從廣度上實現(xiàn)了數(shù)據(jù)產(chǎn)品和服務的全覆蓋。自2018年以來，又持續(xù)從深度入手，對各個產(chǎn)品性能、服務質(zhì)量、服務范圍等方面進行全方位提升。
截至目前，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務，同時集成優(yōu)秀的合作伙伴應用，形成了包括數(shù)據(jù)庫與緩存、消息隊列與中間件、大數(shù)據(jù)服務、數(shù)據(jù)倉庫與BI、對象存儲在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)，從而讓青云具備了構(gòu)建一個完整的、可插拔的、全流程的大數(shù)據(jù)平臺的能力。
與此同時，大數(shù)據(jù)產(chǎn)業(yè)也迎來了快速增長。例如中小型互聯(lián)網(wǎng)或者移動互聯(lián)網(wǎng)企業(yè)開始通過積累大量用戶數(shù)據(jù)，來進行用戶畫像分析，從而提供匹配個性化需求的內(nèi)容、資訊、商品信息服務。智慧工廠通過對物聯(lián)網(wǎng)設備的實時數(shù)據(jù)分析來提升生產(chǎn)效率，通過實時風控來提升安全性。科研機構(gòu)通過分工協(xié)作進行多維度計算，實現(xiàn)挖掘?qū)崟r科研數(shù)據(jù)、數(shù)據(jù)處理，并輸出科研分析報告。
劉雄風觀察到如今客戶的需求也從最初的“底層資源”問題逐步進階到“數(shù)據(jù)層”問題，例如云平臺上已有的數(shù)據(jù)庫、數(shù)據(jù)倉庫、消息隊列等服務中的數(shù)據(jù)，需要數(shù)據(jù)同步服務來打通彼此之間孤立關系。數(shù)據(jù)計算的實時性也與企業(yè)的效率越來越呈現(xiàn)正相關，企業(yè)希望擁有獨立的實時計算平臺來加快數(shù)據(jù)上云后的實時計算速度，進而發(fā)揮最大的數(shù)據(jù)價值。另外在數(shù)據(jù)開發(fā)和作業(yè)運維調(diào)度層面上也呈現(xiàn)出新的需求。這種情況下，過往所提供的組件類產(chǎn)品和服務就難以充分滿足需求。
打通大數(shù)據(jù)全鏈路
基于客戶的多種真實需求反饋和實時數(shù)據(jù)處理的新挑戰(zhàn)，青云大數(shù)據(jù)工作臺應運而生。其初衷在于打通大數(shù)據(jù)全鏈路，整合青云完整的數(shù)據(jù)產(chǎn)品和服務，為客戶提供一個一站式智能大數(shù)據(jù)開發(fā)和治理平臺。
打通大數(shù)據(jù)全鏈路的意義在于，大數(shù)據(jù)技術可以形象的看作對最原始的數(shù)據(jù)進行集成、處理、加工、提煉，由數(shù)據(jù)、信息、知識、智慧所構(gòu)成的金字塔，每上一層數(shù)據(jù)量就越小，對業(yè)務的影響價值卻更大更快。而要從海量“數(shù)據(jù)”中最終提煉出“智慧”，要經(jīng)過一條很長的數(shù)據(jù)流鏈路，這條鏈路的高效與否，將最終決定企業(yè)的數(shù)據(jù)掘金效率。
青云大數(shù)據(jù)工作臺包含了數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一存儲和服務這三個環(huán)節(jié)的鏈路流程，接駁了由數(shù)據(jù)到智慧的整個過程，為企業(yè)數(shù)據(jù)價值挖掘提供支持。該工作臺基于云原生架構(gòu)，以 Flink 流批一體的計算引擎為基礎，同時兼容多種計算引擎為一體的計算資源服務。提供全生命周期的數(shù)據(jù)開發(fā)服務與高效的數(shù)據(jù)同步服務，可幫助客戶應對豐富的業(yè)務場景，包括BI商業(yè)智能分析、用戶畫像、增長分析和數(shù)據(jù)大屏等應用，能夠支持精細化運營分析場景、實時計算場景、可視化開發(fā)運維場景、構(gòu)建數(shù)倉場景四大使用場景。
青云大數(shù)據(jù)工作臺所提供的完整功能模塊，可以幫助企業(yè)輕松完成大數(shù)據(jù)開發(fā)與治理全流程的部署、運行和管理。數(shù)據(jù)上云模塊可將數(shù)據(jù)安全地同步到云端，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源。數(shù)據(jù)上云完成后便可進行數(shù)據(jù)開發(fā)，通過可視化的界面，可以讓客戶用拖拽的方式部署每一個工作節(jié)點，并直觀的了解其中的依賴關系。處理完的結(jié)果數(shù)據(jù)可以根據(jù)不同特性，存儲在不同的存儲介質(zhì)當中，可通過向?qū)酵交蚰_本式同步兩種方式進行。接下來的作業(yè)運維調(diào)度工作中，通過青云自主研發(fā)的調(diào)度和任務管理模塊，可以同時根據(jù)任務維護和資源分配維度進行分別監(jiān)控，實時跟蹤計算的飽和度，提醒企業(yè)根據(jù)需求調(diào)整計算資源。最后通過云端全托管Flink集群，幾分鐘即可完成計算集群的創(chuàng)建和部署。
在青云大數(shù)據(jù)工作臺未來規(guī)劃中，廣與深的升級理念還將進一步延續(xù)，一方面將會加入數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)兩大功能模塊，完善大數(shù)據(jù)的全鏈路流程。另外還將優(yōu)化體驗，針對不同的開發(fā)視角和操作，在客戶體驗、數(shù)據(jù)運行、穩(wěn)定性、容錯性方面，進行整體的優(yōu)化和提升。
提及大數(shù)據(jù)類產(chǎn)品的版本更迭，很多人都容易想到不少大數(shù)據(jù)公司在產(chǎn)品架構(gòu)上越發(fā)復雜化的升級，以及缺少一定自由度與彈性的問題。青云大數(shù)據(jù)工作臺則在面世之初，就已經(jīng)呈現(xiàn)出了明顯的比較優(yōu)勢。
高效自由的青云大數(shù)據(jù)工作臺
作為一家以“云之基石·自由計算”為初心的云計算企業(yè)所打造的大數(shù)據(jù)產(chǎn)品——青云大數(shù)據(jù)工作臺優(yōu)勢也充分體現(xiàn)在此，兼顧了云服務的輕松部署與彈性，同時又開放自由，具有極高的兼容性。
客戶一方面可以依托青云公有云提供的天然 Demo，實現(xiàn)開箱即用，幾分鐘即可完成環(huán)境的創(chuàng)建和部署，使用中還能快速進行迭代升級，享受到云平臺本身的彈性計費和靈活擴縮容。而如果是使用大數(shù)據(jù)公司的產(chǎn)品，往往需要在搭建部署，以及后續(xù)升級上花費較長的時間，并缺少在遇到增量波動時的資源靈活性。
另一方面，客戶還能如同使用大數(shù)據(jù)公司的產(chǎn)品一樣，獲得良好的跨平臺兼容性。青云大數(shù)據(jù)工作臺依托 KubeSphere 云原生容器平臺能力，所提供的大數(shù)據(jù)服務更加自由，可以兼容不同容器平臺進行獨立部署。通過擁抱開源，青云大數(shù)據(jù)工作臺還實現(xiàn)了百分百兼容Apache Flink，讓客戶輕松實現(xiàn)遷移。借助生態(tài)整合，又能使云平臺上的數(shù)據(jù)流轉(zhuǎn)更加便捷。
同時，面對目前很多大數(shù)據(jù)產(chǎn)品愈發(fā)功能復雜化的趨勢，以及一些產(chǎn)品體系中負載越來越重的歷史包袱，青云在需求方面，基于真實的客戶場景，抽取最大化的公共需求，聚焦業(yè)務問題，優(yōu)化產(chǎn)品使用體驗，以極簡的操作步驟，解決用戶的核心業(yè)務問題。
青云大數(shù)據(jù)工作臺+KubeSphere+IoT “三位一體”技術方案
面向最終的場景落地，青云大數(shù)據(jù)工作臺能夠與青云的KubeSphere容器平臺和IoT平臺形成合力，構(gòu)建“三位一體”的技術方案。例如，在目前采用該方案的某中國環(huán)保行業(yè)領導者的實踐中，青云大數(shù)據(jù)工作臺能夠?qū)た財?shù)據(jù)實時處理、分發(fā)、脫敏，熱數(shù)據(jù)存儲在數(shù)據(jù)倉庫，全量數(shù)據(jù)存儲在對象存儲，最后將數(shù)據(jù)進行應用和展示。
另一工業(yè)自動化測試設備與整線系統(tǒng)解決方案廠商也通過與青云合作，建設統(tǒng)一的“物聯(lián)網(wǎng)+大數(shù)據(jù)”平臺。針對不同數(shù)據(jù)源，由IoT平臺進行“云、網(wǎng)、邊、端”的統(tǒng)一控制，客戶可以將數(shù)據(jù)通過消息中間件統(tǒng)一傳輸?shù)酱髷?shù)據(jù)工作臺上，再做原始庫數(shù)據(jù)集成的操作。原始庫可單獨對外提供數(shù)據(jù)權限、數(shù)據(jù)存儲和數(shù)據(jù)查詢的服務，或進行二次加工，形成最終結(jié)果庫。
據(jù)悉，通過深耕工業(yè)、交通等細分領域，目前青云已經(jīng)形成了一整套相對標準的體系和方案，未來將會覆蓋智慧工業(yè)、智慧零售、智慧政務和智慧校園四個“數(shù)智”化場景。
青云大數(shù)據(jù)工作臺無疑是青云在與行業(yè)“同頻共振”的新節(jié)點，秉承打通大數(shù)據(jù)全鏈路的理念，與行業(yè)場景深入適配，展現(xiàn)出不同于以往大數(shù)據(jù)產(chǎn)品比較優(yōu)勢的全新突破成果。劉雄風最后這樣表示：“我們所追求的是幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價值，加速更多企業(yè)數(shù)智化進程的青云大數(shù)據(jù)正在路上?！?/p>
免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。
