大數(shù)據(jù)產(chǎn)品深度與廣度并舉，騰訊云為數(shù)據(jù)價(jià)值釋放帶來最優(yōu)解

云原生正在重新定義大數(shù)據(jù)平臺？

目前看的確如此。從2021年Apache Spark和Confluent Kafka宣布支持Kubernetes，到騰訊云等云服務(wù)商積極推出多款云原生大數(shù)據(jù)產(chǎn)品，產(chǎn)業(yè)界近年來都在積極探索：如何利用高速發(fā)展的云原生技術(shù)去解決傳統(tǒng)大數(shù)據(jù)平臺的諸多問題，從而進(jìn)一步降低大數(shù)據(jù)技術(shù)、產(chǎn)品和服務(wù)的使用門檻，幫助用戶更好地釋放數(shù)據(jù)價(jià)值。

如今，云原生大數(shù)據(jù)平臺成為大勢所趨。作為國內(nèi)最早布局云原生大數(shù)據(jù)領(lǐng)域的廠商，騰訊云在2018就發(fā)布初具云原生能力的彈性MapReduce（EMR），到2021年流計(jì)算產(chǎn)品Oceanus Serverless版，再到2022年上線EMR容器版……

在2023騰訊全球數(shù)字生態(tài)大會上，騰訊云并未停下腳步，又密集發(fā)布Elasticsearch serverless版、數(shù)據(jù)湖計(jì)算DLC、TCHouse-C云原生彈性版等多款產(chǎn)品，其兼具廣度與深度的云原生大數(shù)據(jù)產(chǎn)品完整版圖日漸清晰。

傳統(tǒng)大數(shù)據(jù)平臺亟待突破

大數(shù)據(jù)發(fā)展初期，多數(shù)企業(yè)數(shù)據(jù)規(guī)模不大、業(yè)務(wù)響應(yīng)速度要求不高，以Hadoop為代表的傳統(tǒng)大數(shù)據(jù)技術(shù)體系對于釋放數(shù)據(jù)價(jià)值發(fā)揮了關(guān)鍵作用。

但隨著數(shù)字經(jīng)濟(jì)持續(xù)發(fā)展，數(shù)據(jù)驅(qū)動(dòng)型業(yè)務(wù)場景加速涌現(xiàn)，用戶們對于大數(shù)據(jù)開發(fā)需求產(chǎn)生了根本性變化，多租戶環(huán)境下的大數(shù)據(jù)開發(fā)、大數(shù)據(jù)資源高效利用、新技術(shù)快速集成等一系列全新需求。

而傳統(tǒng)大數(shù)據(jù)生態(tài)復(fù)雜，松耦合的開發(fā)方式雖然有靈活、適應(yīng)面廣等優(yōu)勢，但也不可避免的會遇到組件之間匹配成熟度、版本沖突、集成測試?yán)щy等挑戰(zhàn)，用戶在使用時(shí)需要耗費(fèi)大量精力在部署、組件配置等工作上；另外，像一些大數(shù)據(jù)平臺的商業(yè)發(fā)行版復(fù)雜度極高，太多組件不僅缺乏靈活性，還容易帶來使用和運(yùn)維上的額外工作。

Gartner在技術(shù)成熟度曲線報(bào)告中也指出Hadoop發(fā)行版諸多問題近年來處于愈演愈烈的趨勢。目前看，云原生技術(shù)恰是突破的那味“良藥”。眾所周知，云原生是最近十年數(shù)據(jù)中心領(lǐng)域最重要的技術(shù)趨勢之一，正在對傳統(tǒng)技術(shù)棧產(chǎn)生顛覆性的影響。在大數(shù)據(jù)領(lǐng)域，容器、K8S等云原生技術(shù)對于大數(shù)據(jù)產(chǎn)品影響巨大。Gartner就預(yù)測，到2025年，部署在云原生平臺上的數(shù)據(jù)應(yīng)用將增長到95%，這意味著云原生大數(shù)據(jù)平臺未來將勢不可擋 。

不過，云原生大數(shù)據(jù)平臺的落地絕非一蹴而就，依然面臨著眾多技術(shù)難題和產(chǎn)品挑戰(zhàn)。目前看，在眾多大數(shù)據(jù)廠商中，以騰訊云為代表的云服務(wù)商憑借諸多優(yōu)勢，正成為云原生大數(shù)據(jù)平臺領(lǐng)域的引領(lǐng)者。

因?yàn)?，云服?wù)商并非簡單地從單個(gè)產(chǎn)品或者單點(diǎn)技術(shù)的思維角度來解決傳統(tǒng)大數(shù)據(jù)平臺的問題，而是以系統(tǒng)性的整體思維推動(dòng)云原生大數(shù)據(jù)的高效落地。

云服務(wù)商的這種整體性思維不僅可以讓大數(shù)據(jù)應(yīng)用的開發(fā)、部署和運(yùn)維更加簡單，還能充分發(fā)揮公有云分布式架構(gòu)彈性、靈活、高效等諸多優(yōu)勢；更加重要的是，如今的云不僅僅是一個(gè)IT資源的集中地，更像是云、數(shù)、智的融合體，云服務(wù)商可以推動(dòng)云原生大數(shù)據(jù)與AI等新技術(shù)、服務(wù)進(jìn)行融合，從而幫助用戶更加高效地釋放數(shù)據(jù)價(jià)值。

深度與廣度并舉：騰訊云構(gòu)建完整云原生大數(shù)據(jù)版圖

就像石油需要經(jīng)過提煉才能被廣泛使用一樣，數(shù)據(jù)也需要經(jīng)過采集整合、拉通共享和分析應(yīng)用等才能充分釋放價(jià)值。因此，數(shù)據(jù)價(jià)值的釋放需要經(jīng)過數(shù)據(jù)生命周期的完整鏈路，絕非單個(gè)產(chǎn)品或者技術(shù)就能完成。

過去十年，移動(dòng)化、社交化帶來了數(shù)據(jù)指數(shù)級增長、數(shù)據(jù)來源廣泛化、數(shù)據(jù)類型多元化，而像5G、物聯(lián)網(wǎng)、邊緣計(jì)算的興起，讓現(xiàn)代數(shù)據(jù)應(yīng)用的復(fù)雜性進(jìn)一步提升。而云原生大數(shù)據(jù)平臺最大的價(jià)值就是讓數(shù)據(jù)價(jià)值釋放過程更加簡單和方便，幫助用戶利用好數(shù)據(jù)和聚焦應(yīng)用創(chuàng)新。

一直以來，騰訊云都致力于構(gòu)建完整的云原生大數(shù)據(jù)版圖，從數(shù)據(jù)湖計(jì)算DLC、云數(shù)據(jù)倉庫TChouse、檢索分析引擎Elasticsearch Service等數(shù)據(jù)基礎(chǔ)設(shè)施，到涵蓋數(shù)據(jù)開發(fā)治理的DataOps數(shù)據(jù)工具Wedata，再到騰訊云BI等的數(shù)據(jù)應(yīng)用分析服務(wù)，以層層遞進(jìn)來幫助用戶降低數(shù)據(jù)使用難度和形成數(shù)據(jù)資產(chǎn)體系。

在2023騰訊全球數(shù)字生態(tài)大會上，騰訊云又發(fā)布了ES-Serverless版、數(shù)據(jù)湖計(jì)算DLC、TCHouse-C云原生彈性版等多款極富競爭力的產(chǎn)品，進(jìn)一步擴(kuò)大和完善了云原生大數(shù)據(jù)的產(chǎn)品版圖。

例如，騰訊云此次對云數(shù)據(jù)倉庫TCHouse進(jìn)行了品牌全面升級，TCHouse劃分為TCHouse-C、TCHouse-D和TCHouse-P三大產(chǎn)品系列，共同構(gòu)成性能與易用性兼具的企業(yè)級云數(shù)倉體系，有效滿足用戶在不同業(yè)務(wù)場景中的選擇。

這其中，針對數(shù)據(jù)來源廣泛、數(shù)據(jù)價(jià)值潛力巨大的半結(jié)構(gòu)化數(shù)據(jù)為主的業(yè)務(wù)場景，騰訊云發(fā)布了TCHouse-C云原生彈性版本。該版本基于ClickHouse 內(nèi)核，采用存算分離的全新架構(gòu)，分布式大規(guī)模并行處理 MPP 框架可充分利用硬件，Schema-less無需預(yù)先定義數(shù)據(jù)結(jié)構(gòu)和模式，帶來巨大的靈活性與擴(kuò)展性，實(shí)現(xiàn)日志檢索、APM等場景下非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)分析性能20倍提升；另外，通過控制臺分鐘級構(gòu)建 ClickHouse 分析集群，簡單操作即可快速實(shí)現(xiàn)集群擴(kuò)、縮容和節(jié)點(diǎn)變配等；支持獨(dú)立部署和VPC私有網(wǎng)絡(luò)隔離，數(shù)據(jù)訪問安全和集群高可用有保障的同時(shí)，實(shí)現(xiàn)使用成本的大幅下降。

又如，騰訊云還發(fā)布了基于自研云原生 Serverless 技術(shù)架構(gòu)打造的云端一站式全托管 Elasticsearch 服務(wù)：ES-Serverless版本。開源Elasticsearch存在彈性能力較弱、穩(wěn)定性不足、資源成本與運(yùn)維管理成本高等顯著缺陷，ES-Serverless版本則支持自動(dòng)彈性、完全免運(yùn)維、按需付費(fèi)，提供從數(shù)據(jù)接入到索引存儲、檢索分析的端到端一站式體驗(yàn)，有效解決日志分析、指標(biāo)監(jiān)控等業(yè)務(wù)場景下波峰波谷導(dǎo)致的資源成本高等問題。

再如，騰訊云大數(shù)據(jù)發(fā)布了基于Spark、Presto、Iceberg構(gòu)建的云原生Serverless湖倉分析服務(wù)：數(shù)據(jù)湖計(jì)算DLC。騰訊云數(shù)據(jù)湖計(jì)算DLC覆蓋湖場景和倉應(yīng)用場景，兼具數(shù)據(jù)湖與數(shù)據(jù)倉庫的優(yōu)勢，采用為降本而設(shè)計(jì)的云原生存算分離架構(gòu)，計(jì)算和存儲均按需使用，并提供高效率實(shí)時(shí)急速分析能力，內(nèi)業(yè)首個(gè)支持百萬級/秒 QPS實(shí)時(shí)入湖以及端到端分鐘級時(shí)延，廣泛適應(yīng)于BI、交互式分析，AI、科學(xué)計(jì)算等多種大數(shù)據(jù)應(yīng)用場景分析；并且作為云原生Serverless產(chǎn)品形態(tài)，數(shù)據(jù)湖計(jì)算DLC實(shí)現(xiàn)開箱即用，免底層運(yùn)維，大幅降低使用門檻和成本。

如今，隨著數(shù)據(jù)應(yīng)用的豐富性和復(fù)雜性持續(xù)提升，云原生大數(shù)據(jù)平臺的演進(jìn)路徑也已愈發(fā)清晰，即像騰訊云大數(shù)據(jù)那樣，在產(chǎn)品層面實(shí)現(xiàn)深度與廣度并舉的策略，通過構(gòu)建完整、領(lǐng)先的云原生大數(shù)據(jù)產(chǎn)品與服務(wù)，來幫助用戶解決復(fù)雜數(shù)據(jù)問題、充分釋放數(shù)據(jù)價(jià)值。

AI融合，讓數(shù)據(jù)價(jià)值釋放更從容

從技術(shù)層面來看，云計(jì)算、大數(shù)據(jù)以及AI具備天然融合的特性。過去十年，云計(jì)算的快速發(fā)展和普及，為大數(shù)據(jù)帶來彈性、靈活、高效以及堅(jiān)實(shí)的基礎(chǔ)設(shè)施保障；未來十年，AI是大數(shù)據(jù)發(fā)展的最大驅(qū)動(dòng)力，大數(shù)據(jù)與AI的融合有望讓數(shù)據(jù)價(jià)值釋放更加從容。

尤其是AI大模型的興起，所展示的強(qiáng)大能力和較強(qiáng)的泛用性，正在全球范圍內(nèi)引爆新一輪的數(shù)據(jù)變革，基于大模型的應(yīng)用在辦公、會議、對話、搜索、廣告等領(lǐng)域嶄露頭角，將極大地推動(dòng)了大數(shù)據(jù)與AI的融合。因?yàn)椋竽Ｐ蛻?yīng)用的核心是高質(zhì)量數(shù)據(jù)，數(shù)據(jù)的質(zhì)量又決定著算法的性能、泛化能力和應(yīng)用效果，而高質(zhì)量的數(shù)據(jù)又十分依賴大數(shù)據(jù)平臺來解決與數(shù)據(jù)相關(guān)的“清洗、治理、傳輸”等環(huán)節(jié)。

事實(shí)上，騰訊云是最早探索與布局大數(shù)據(jù)與AI融合的廠商之一。騰訊云Elasticsearch serverless 8.8.1版本具備云端AI增強(qiáng)與向量檢索能力，將檢索能力與大語言模型的自然語言理解能力結(jié)合，提供與大模型集成的端到端的搜索與分析體驗(yàn)，實(shí)現(xiàn)大數(shù)據(jù)與AI的協(xié)同與融合。

例如，大語言模型應(yīng)用當(dāng)前存在知識停滯和缺乏特定領(lǐng)域?qū)I(yè)知識的兩個(gè)典型挑戰(zhàn)。為此，Elasticsearch serverless 8.8.1充分利用向量檢索和大模型結(jié)合，把問題和通過向量檢索得到的結(jié)果集發(fā)送給大模型，大模型可以對私域知識進(jìn)行語言組織，給出一個(gè)人性化的高質(zhì)量回答。

另外，針對大模型場景，騰訊云還強(qiáng)化了DLC ，依托其Serverless形態(tài)下免運(yùn)維、輕量化、低門檻的特性，以及內(nèi)置對Pyspark支持與優(yōu)化、對Jupyter良好集成性，可以高效、穩(wěn)定地支持大規(guī)模的數(shù)據(jù)預(yù)處理，大幅降低大模型對于底層數(shù)據(jù)基礎(chǔ)設(shè)施的投入成本，成為AIGC場景首選的大數(shù)據(jù)底座。

綜合觀察，騰訊云大數(shù)據(jù)產(chǎn)品近年來獲得了市場的廣泛認(rèn)可，多次入圍Forrester、沙利文、賽迪等國內(nèi)外研究機(jī)構(gòu)的大數(shù)據(jù)權(quán)威報(bào)告，其背后離不開騰訊云對于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展痛點(diǎn)的洞察、用戶行業(yè)場景的實(shí)踐以及新技術(shù)的持續(xù)探索。面向未來，騰訊云已經(jīng)構(gòu)建起深度與廣度并舉的云原生大數(shù)據(jù)產(chǎn)品版圖，并且加速推動(dòng)大數(shù)據(jù)與AI的融合，未來有望為用戶的數(shù)據(jù)價(jià)值釋放帶來最優(yōu)解。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。