宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

9月9日下午,2020 GIS 軟件技術大會主題大會在北京國際會議中心舉行。會上,超圖集團總裁、董事宋關福博士作《分布式GIS與空間區(qū)塊鏈技術探索》報告,分享了超圖“BitDC”五大技術體系之分布式GIS技術體系,并介紹了超圖在空間區(qū)塊鏈方面的最新探索。

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

宋關福在GTC 2020主題大會作報告

宋關福認為,GIS軟件技術的發(fā)展史,就是不斷與膨脹的空間數據戰(zhàn)斗的歷史。2011年-2015年,超圖先后在64位計算、多線程計算、GPU計算等高性能計算技術方面進行了探索,以滿足不斷激增的空間數據處理需求。這一階段,利用單機算力提升GIS性能的集中式GIS是主流。

隨著數據采集技術的不斷進步,新一代測繪與設計數據和空間大數據愈發(fā)膨脹,GIS軟件對其存儲、處理和分析面臨巨大挑戰(zhàn):分析處理性能驟降,基本無法管理類似手機信令的流式空間大數據。超圖在GIS高性能計算上開辟新路徑:從集中式GIS轉向分布式GIS。

分布式GIS技術是利用多機分布式協同技術和計算資源的橫向擴展能力,完成大量并發(fā)請求,或分解完成單一復雜任務的GIS技術。事實上,“分布式GIS”不是新概念,20年前就有學者提出,但一直未有真正商業(yè)化產品。

今天的分布式GIS技術由多項零散的技術演化而成。超圖整合2004年至今的研究成果,構建了分布式GIS技術體系,結構如下:

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

分布式GIS技術體系的五大技術

1、邊緣GIS技術

宋關福用一幅有趣的章魚圖來比喻邊緣GIS技術:章魚只有40%神經元在大腦里,60%分布在八個爪里,所以它的思考是“分布式”的。邊緣GIS技術跟章魚類似,在經典的云和端環(huán)境中,分布式的邊緣服務器是對云中心的補充,是一種協同。

“過去,端直接訪問云中心,會有一定的網絡延時,效率比較低。為了解決這個問題,我們就在靠近端的邊緣地帶部署了邊緣服務器,一些訪問、數據、計算不再直接發(fā)往云中心,而是交給邊緣服務器去處理,如有處理不了的,邊緣服務器再發(fā)往云中心,如此就可以降低網絡延時,提高響應效率。

相比帶寬消耗較高、實時性比較差的集中式的云GIS,邊緣GIS在邊緣的地方分解了帶寬的壓力,有著低帶寬消耗、低網絡延時的特點,大大提升了系統(tǒng)響應的速度,整體價值體現為:高性能。”

SuperMap GIS 10i(2020)新版本中的邊緣服務器,新增支持三維數據分發(fā)的工具,包括地形瓦片、S3M瓦片、影像瓦片,可以大幅提升三維服務器的性能。

2、云原生GIS技術

早在三年前,超圖就發(fā)布了云原生GIS技術:原生為云設計、充分發(fā)揮云的彈性和分布式優(yōu)勢的GIS技術,可以讓云更好地發(fā)揮作用。微服務、容器化、自動編排、持續(xù)交付、DevOps是云原生GIS五要素。

早期的Web GIS是單體架構,所有操作在一個程序中啟動。微服務化把它拆成若干個模塊,每個模塊都可以單獨部署、單獨啟動。

容器化部署就是讓微服務的小模塊在不同的機器上協同開展工作。這樣的架構有著細粒度、高彈性、相互獨立、故障隔離的特點,大大提高了可用性。

在2018年第一次推出微服務后,今年超圖推出了更微的GIS服務:此前,組件和C++內核未解耦分包,現在,組件和C++內核可實現解耦分包。分解得更細致之后,資源消耗更低。如下圖三個指標對比:

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

SuperMap iServer微服務資源消耗

假設單體架構2017為100%,更微的GIS服務出現之后,部署包大小減少至42%,占用內存減少至47%,啟動時間縮減至28%。

以云原生的云南地質大數據系統(tǒng)為例,系統(tǒng)有著400TB數據、400+服務實例,數據量非常大。如何調度成百上千的服務實例?這就需要應用SuperMap GIS云原生技術,用SuperMap iManager和kubernetes來實現自動化編排,對多個容器自動化運維管理,可以做到負載均衡、服務自愈、彈性伸縮。

云原生的價值可總結為:高彈性、高可用、高并發(fā)。所謂高彈性,就是粒度小了,彈性就高了,當某一個模塊訪問量大的時候,只要重新啟動模塊容器即可;高可用,指的是故障發(fā)生的頻率降低,不容易宕機;高并發(fā)是指同樣多的計算資源,可以支撐更多的實例運行,并發(fā)能力提高。

3、分布式空間分析與處理技術

分布式空間分析與處理技術是基于Spark并行計算框架,把單一復雜的任務分解成多個子任務,發(fā)送到不同的服務器中去協同計算,再把結果匯總起來,這樣可以數量級提升分析處理性能。

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

分布式空間分析與處理技術的外延

SuperMap GIS 10i(2020)新版本中,分布式空間分析與處理技術新增支撐對三維數據的分布式處理,例如地形、影像數據等多元數據,在數據接入、數據處理、服務發(fā)布環(huán)節(jié),都可以使用分布式的技術來提升性能。

這其中不得不提支持Web和分布式計算的Geoprocessing,它提供了一種圖示化的、所見即所得的方式,用來構建空間數據分析流程、處理建模,還支持分布式處理算子,可用分布式的算法提高性能。同時,它提供了純Web版本(Web GP),可以與桌面的GP協同。這在國際范圍內是一種創(chuàng)新的嘗試。

分布式空間分析與處理技術的價值體現為:高性能,即提高分析處理算法的性能,降低時間消耗。

超圖做了某省土地利用(矢量數據)區(qū)域匯總分析的測試,4389萬記錄數據+省區(qū)劃面數據,如此大量的數據采用傳統(tǒng)單機方法需要耗時14.5小時,改為6節(jié)點的分布式計算模式后,只需要耗時22分鐘,性能提升了40倍。

4、分布式空間數據引擎技術

分布式空間數據引擎技術,就是利用多機協同的分布式數據存儲技術,突破空間數據庫容量瓶頸。以前數據庫記錄數超過一個億時,性能就急劇下降。這就需要分布式空間數據引擎技術,來提高空間數據存儲管理性能。

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

SuperMap分布式空間數據引擎

SuperMap GIS 10i(2020)新版本中,分布式空間數據引擎技術新增支持分布式三維緩存瓦片存儲。如傾斜攝影建模數據、點云數據等多源數據,可以把三維瓦片數據存放在MongoDB中,以提高緩存讀寫的性能。

同時,分布式還能賦能三維GIS游戲引擎,“實力派”三維GIS可以為游戲引擎提供大場景三維數據和GIS分析處理能力,“偶像派”游戲引擎可以為三維GIS提供高仿真渲染效果。

超圖還聯合Unreal Engine、Unity兩大游戲引擎公司,研發(fā)了三維GIS插件——超圖三維GIS游戲引擎開發(fā)包(SuperMap Scene SDKs 10i(2020) for game engines)。未來的數字孿生,也許就要借助這樣的方式,來實現更好的可視化效果。

分布式空間數據引擎技術的價值可總結為:大容量和高性能。大容量,就是突破大容量數據的管理;高性能,是指數據大的時候,索引查詢的性能大幅度提高。

5、空間區(qū)塊鏈技術

數據存儲量、性能都很高了,怎么防止別人去篡改數據?這就需要超圖今年新發(fā)布的空間區(qū)塊鏈(Geo-Blockchain)技術。

高安全、可追溯、高可信的區(qū)塊鏈,是一種特殊的分布式的數據存儲方式,與GIS融合后,就形成了空間區(qū)塊鏈,達成了高可信的分布式空間數據庫??臻g區(qū)塊鏈技術的價值就是:高可信。超圖空間區(qū)塊鏈技術框架選擇了擴展性好、流行度高、開源可商用的聯盟鏈Hyperledger Fabric。

由于空間區(qū)塊鏈要解決防篡改的問題,性能比較低,空間消耗比較大,重復存儲要消耗十幾倍的空間消耗,目前還不能做到把所有的空間數據都上鏈,只能把關鍵的、要保護的數據上鏈。如果數據量較大,則需要通過IPFS作為外部存儲來配合上鏈。

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

空間區(qū)塊鏈技術

未來的一段時間,空間區(qū)塊鏈技術可應用到國土空間規(guī)劃與用途管制、不動產登記與交易、自然資源資產與權益管理等自然資源管理相關領域,以及食品、藥品監(jiān)督與溯源、重要物品物流位置管理、城管執(zhí)法管理等領域中,帶來新的應用價值。宋關福說,區(qū)塊鏈與GIS的結合才剛剛開始,精彩正在展開。

宋關??偨Y說,上述五項技術都有著各自的價值。高性能的邊緣GIS技術,高可用、高并發(fā)、高彈性的云原生GIS技術,高性能的分布式空間分析與處理技術,大容量、高性能的分布式空間數據引擎技術,高可信的空間區(qū)塊鏈技術,它們共同組成了分布式GIS技術體系,所以分布式GIS的價值可以總結為“五高、一大”。這些技術和價值將給地理信息技術和應用創(chuàng)造更多可能。

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

分布式GIS的價值“五高、一大”

會上,超圖正式發(fā)布了SuperMap GIS 10i (2020),推出了新的GIS基礎軟件五大技術體系(BitDC),即大數據GIS、人工智能GIS、新一代三維GIS、分布式GIS和跨平臺GIS技術體系,豐富和革新了GIS理論與技術,為各行業(yè)信息化賦能更強大的地理智慧。

宋關福:面對爆發(fā)式增長的空間數據,GIS的“分布式”戰(zhàn)術

SuperMap GIS 2020 五大技術體系(BitDC)

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )