“云邊+端”三管齊下,“有蓉”數據庫助力四川氣象進入天擎時代

原標題:“云邊+端”三管齊下,“有蓉”數據庫助力四川氣象進入天擎時代

《華陽國志巴志》中曾記載:蜀國“山林澤魚,苑囿瓜果,世代節(jié)熟,靡不有焉”,適宜的氣候孕育了豐富的物產,滋養(yǎng)了擅長調制百味的巴蜀人民,也鍛煉出了駕馭自然、明辨天時的能力。

諸葛亮“夜觀天象,知天下大事”的本領,讓人贊嘆不已。而今天,四川正在用尖端的計算科學來把握風云變幻。

國內老牌數據庫廠商虛谷偉業(yè)基于開源數據庫openGauss,研發(fā)的商業(yè)發(fā)行版數據庫——有蓉,就被應用于四川氣象局,助力氣象服務。兩者結合,將會炮制出怎樣的川味氣象體驗?又能為四川人民的生活帶來怎樣的新氣象?

數據這份“食材”的時代挑戰(zhàn)

一個好的氣象系統(tǒng)能帶來什么,答案可能是:為農林牧副漁等產業(yè)提供安全生產的有力支持,把惡劣天氣和極端事件可能帶來的負面影響降到最低;對氣候和環(huán)境的監(jiān)測與了解,也能為當地的可持續(xù)發(fā)展提供指導。

目前,已有多個省市將“完善氣象基礎設施”納入地方“十四五”規(guī)劃綱要,為防汛、防火提供氣象技術服務,確保人民生命財產安全。

這樣一盤利國利民的好菜,數據“食材”自然也要跟得上。而這,就給IT基礎設施中的基礎——數據庫提出了諸多挑戰(zhàn)。比如說:

氣象數據的來源多維,既有模式數據,也有氣象站、衛(wèi)星、傳感器獲取的實況數據,傳統(tǒng)數據庫架構面臨的挑戰(zhàn)越來越大;

時空精度要求的提升,也對氣象數據計算量級、存儲容量、吞吐量等提出了新的需求;

氣象涉及到公共服務的重要數據,因此數據安全,數據可控和數據主權是氣象數據庫的關鍵需求。

這一背景下,2019年7月,國家級氣象大數據云平臺“天擎”上線,就具備海量數據存儲、全業(yè)務貫通、數據高效應用的能力,成為氣象關鍵IT基礎設施,支撐各類氣象業(yè)務應用的云化,四川的氣象數據也通過“天擎”省級數據庫來承載。

“有蓉”調制出川味氣象基建特別滋味

精準的氣象服務,依賴于豐富龐雜的天氣數據和實時高效的計算量級。天擎“云+端”的標準架構,原理是把所有數據集中在云端,也意味著全網任何一個業(yè)務操作,均需要云端數據庫配合,這對云端的性能,數據吞吐能力和數據安全性提出了前所未有挑戰(zhàn)。

因此,四川氣象基于“天擎”得“云邊+端”方案,賦予了“有蓉”數據庫獨特的味道。

首先,專門調制的“云邊+端”方案,打造極致性能、業(yè)務吞吐與數據安全的業(yè)務架構鐵三角。

一方面,端側集中提供本地應用服務,邊側數據中心也能提供匯聚數據服務并按需與云上保持一致,解決了數據統(tǒng)一集中在云端而導致數據吞吐量過大的問題。

另一方面,邊與端直面向區(qū)域用戶提供服務,可以做到數據隔離,降低數據安全風險。這樣服務下沉,分散到各點后,性能壓力分散,減輕云上的業(yè)務性能壓力。

此外,多項獨家“配方”的應用,讓“有蓉”可以更安心地應對氣象大數據挑戰(zhàn)。

作為“天擎”系統(tǒng)核心TP數據庫的產品服務商,虛谷公司十分重視核心技術創(chuàng)新,虛谷數據庫源代碼自有率達到了99.5%。全套國產化軟硬件,可以避免基礎軟件層面的不確定性,安心承載重要數據。

“有蓉”的出現,讓云時代的氣象數據和服務,被賦予更多新的風味與可能。

支撐數字山河,憑借先進的數據庫產品構筑創(chuàng)新底座

更深一步,搞清楚“有蓉”背后的創(chuàng)新因果與邏輯,能幫助我們更清晰地理解,數字變局需要怎樣的數據底座?具體表現為四個特征:

第一,邊側數據庫的引入,為數據服務搭建了“高速通道”。

以“有蓉”數據庫為例,數據可以被快速匯總,各種氣象傳感器的數據源以更短路徑發(fā)送到端側數據庫中;數據快速存儲,集中在云、邊的訪問量被分散在邊側,可以快速把數據入庫;基于鯤鵬全棧的方案(鯤鵬服務器+openEuler操作系統(tǒng)+有蓉數據庫〈openGauss〉)提供強大的數據處理服務,操作響應更快,綜合提升氣象數據的服務體驗。

數據顯示,依托鯤鵬計算平臺的多核高性能,結合有蓉自身領先的高性能內核,可讓數據匯聚速度提升約30%,從而保障前端業(yè)務的實時響應。

第二,“云邊端”的高效協(xié)同,數據分級同步提升效率。

在數據同步上,一是按特征同步,時效數據會被實時同步到云端匯總;二是按需求同步,對數據進行分類,只同步云端需要數據,其余數據本地留存;三是跨區(qū)域同步,沒有及時同步到云端的數據,可以跨區(qū)域點對點端側同步。按照架構的特點,端側數據庫熱數據提供本地實時氣象服務,全省數據分析匯總和精確預報則在云端完成。

“云邊端”協(xié)同分工,是四川氣象邁向智慧化氣象服務的關鍵。

第三,IT基礎設施的穩(wěn)定,決定了氣象服務的業(yè)務連續(xù)性與可靠性。

氣象服務之于國計民生的重要性,也對數據庫的可靠性提出了挑戰(zhàn)。為此,有蓉數據庫基于鯤鵬多核高NUMA-Aware能力,加上數據庫內核的無鎖化設計等一系列技術,在氣象數據高并發(fā)、高頻數據寫入和查詢的同時,即使系統(tǒng)資源占用近80%,仍能穩(wěn)定提供服務。

此外,有蓉數據庫還具有金融級的、多地多中心的容災能力,在部分數據節(jié)點宕機后,其他數據庫節(jié)點迅速接管業(yè)務,保證業(yè)務連續(xù)性,降低數據丟失風險。

最后,則是降低整套系統(tǒng)的部署和運維成本。

氣象業(yè)務每天會產生數GB甚至TB的時序數據,給運維帶來很大的困難。為了讓氣象這一“大國重器”更具經濟效益和社會價值,“有蓉”數據庫高度支持HTAP混合負載能力,可以一份數據輸出兩種業(yè)務模型結果,減輕高吞吐壓力的同時,極大的節(jié)省了業(yè)務改造和運維成本。

數據庫是IT行業(yè)的重要基礎軟件,越是基礎,要翻越技術大山就越難,對產業(yè)生態(tài)的要求也更高。虛谷偉業(yè)公司秉承著“虛懷若谷,有容乃大”的理念,不僅僅自研出了自主可控的虛谷數據庫,也完美的吸納高性能高安全的openGauss內核,研制出具有巨大優(yōu)勢的有蓉數據庫,在國產數據庫在市場上突破技術壁壘、走向應用,并擔負國家公共基礎服務走向數字化、智慧化,更好服務社會的重任。

隨著一道道“中國味”的基礎軟件加入數據經濟的盛宴,深入變革氣象服務等基礎民生領域,改變著每一個人息息相關的日常生活,才讓數字山河間飄蕩出科技的人間煙火味。

縱然無法像諸葛孔明一般神機妙算,亦能借助數據的力量,洞察氣象萬千、風云變幻。

極客網企業(yè)會員

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2021-06-21
“云邊+端”三管齊下,“有蓉”數據庫助力四川氣象進入天擎時代
以“有蓉”數據庫為例,數據可以被快速匯總,各種氣象傳感器的數據源以更短路徑發(fā)送到端側數據庫中;數據快速存儲,集中在云、邊的訪問量被分散在邊側,可以快速把數據入庫;基于鯤鵬全棧的方案(鯤鵬服務器+op

長按掃碼 閱讀全文