從前的人們很難想象,有朝一日我們能夠利用遙感衛(wèi)星從太空窺探深藏大地的“秘密”。
6月初,大理州劍川縣的劍湖單看像一片月牙,給人一種圓潤的美感。加上被旁筆直的阡陌、錯落的村莊以及綠油油的田野包圍,劍湖又好似一個正在孕育中的“寶寶”。
8月中旬,一片呈螺旋性旋轉(zhuǎn)的巨大云團以每秒數(shù)十米的強風速呈逆時針方向旋轉(zhuǎn)的同時,又以每小時數(shù)十公里的運行速度向我國沿海城市襲來……
這些遙感衛(wèi)星不僅能生動形象地展示祖國的秀麗河山還能監(jiān)測臺風。當然,遙感衛(wèi)星的作用遠不止于此:天氣預報、國防建設、城市規(guī)劃、森林火災監(jiān)測、洪澇災害監(jiān)測等也是遙感衛(wèi)星的重要應用領域,國內(nèi)某衛(wèi)星單位幾十年如一日的做著這些事情,為我國的經(jīng)濟建設和社會發(fā)展作出了重要貢獻。
國內(nèi)某衛(wèi)星單位成立于1991年,承擔著我國對地觀測衛(wèi)星數(shù)據(jù)處理、存檔、分發(fā)和服務設施建設與運行管理。例如,在礦產(chǎn)勘察工作中,該單位通過遙感圖像數(shù)據(jù)收集、數(shù)據(jù)預處理、信息提取、遙感異常圈定和遙感地質(zhì)編圖等處理步驟,實現(xiàn)礦場資源預測評價。
經(jīng)過多年發(fā)展,該單位的衛(wèi)星系統(tǒng)已經(jīng)從過去單一類型的衛(wèi)星轉(zhuǎn)變?yōu)楝F(xiàn)在的陸地觀測和高分系列衛(wèi)星,業(yè)務范圍也從過去只專注于國內(nèi)需求,轉(zhuǎn)向國內(nèi)和國際。迄今為止,該單位運行管理著資源系列、環(huán)境減災系列、高分系列等十余顆衛(wèi)星;有將近3000個法人單位,1萬多個注冊用戶。截至目前,該單位分發(fā)的數(shù)據(jù)量已超過1000萬件,已經(jīng)成為國家陸地、氣象、海洋三大衛(wèi)星數(shù)據(jù)中心之一。
海量數(shù)據(jù)的存儲、檢索、分發(fā)是難題
遙感衛(wèi)星收集的影像數(shù)據(jù),需要在地面進行集中處理和分發(fā)。2005年,該單位的數(shù)據(jù)處理系統(tǒng)主要有三個,即:CBERS衛(wèi)星實驗系統(tǒng)用戶服務分系統(tǒng)、CBERS-02B衛(wèi)星用戶服務分系統(tǒng)和全國陸地觀測衛(wèi)星數(shù)據(jù)分發(fā)分系統(tǒng)。海量的數(shù)據(jù)需要高效的地面數(shù)據(jù)處理系統(tǒng)。2011年,該單位在資源三號衛(wèi)星和資源02C衛(wèi)星地面系統(tǒng)建設時,將上述所有分系統(tǒng)數(shù)據(jù)進行了整合,建成了統(tǒng)一對外服務的數(shù)據(jù)分發(fā)服務分系統(tǒng)。
以往的影像數(shù)據(jù)是對歷史真實、客觀的記錄,隨著時間推移會越來越珍貴,需要永久留存,而多顆衛(wèi)星同時運作,需要存檔的數(shù)據(jù)就會越來越多。據(jù)統(tǒng)計,2015年9月,該單位衛(wèi)星的在線數(shù)據(jù)存儲達到了10拍,這些衛(wèi)星每天還會產(chǎn)生超過10太的數(shù)據(jù)需要存儲。
當前對地觀測衛(wèi)星的主要特點表現(xiàn)在高空間分辨率、高光譜分辨率、回訪周期短、影像條帶寬、立體成像能力和多種成像模式等方面,越來越多的不同平臺搭載的觀測傳感器使得人們可以獲得近乎連續(xù)高維度數(shù)據(jù),這種信息采集的爆炸式增長給分發(fā)服務系統(tǒng)帶來了巨大的壓力,該系統(tǒng)逐漸暴露出了效率和服務等各種問題,而且隨著新型載荷不斷發(fā)展,對分發(fā)服務的服務模式也提出了更多要求。
為了更好地開展對海量數(shù)據(jù)的大數(shù)據(jù)分析與挖掘,該單位想在私有云上使用搜索引擎和數(shù)據(jù)庫等應用。部署的時候,IT團隊發(fā)現(xiàn),這些應用與原有的虛擬化環(huán)境并不能很好的兼容,要解決這個問題需要對現(xiàn)有的虛擬化云平臺以及裸機平臺進行統(tǒng)一的資源管理,營造一個隨時、隨需的申請和使用存儲、計算資源的云實施環(huán)境。
基于Animbus打造“即申即用”的云環(huán)境
為此,該單位早前就采用了九州云Animbus平臺,該平臺基于OpenStack、Ceph、外接EMC商業(yè)存儲為其構建了一個內(nèi)部OpenStack私有云平臺。私有云平臺對現(xiàn)有的網(wǎng)絡交換機、X86服務器、Isilon存儲等硬件資源進行了集成,軟件層面則提供前臺門戶、虛機定制、流程審批、分布式存儲和對象存儲等功能。具體如下圖所示:
私有云平臺的搭建,一方面實現(xiàn)了異構資源統(tǒng)一納管,兼顧傳統(tǒng)網(wǎng)絡和云網(wǎng)絡的無縫對接、平滑過渡和統(tǒng)一管理,幫助該單位減小了云平臺的運維難度;另一方面,該單位已經(jīng)形成了基于專線、電子政務網(wǎng)和互聯(lián)網(wǎng)“三網(wǎng)合一”的不同層次、多類用戶的數(shù)據(jù)分發(fā)體系,該平臺的使用也實現(xiàn)了資源實時推送管理分發(fā),為信息共享提供了數(shù)據(jù)保障。具體效果如下:
專線:與國土資源部、環(huán)境保護部、水利部、住建部、減災委、交通部等國家部委建設了21條專線,實現(xiàn)了數(shù)據(jù)的自動推送服務;
電子政務網(wǎng):覆蓋范圍擴展到京內(nèi)85家部委行業(yè)用戶以及京外31個省、自治區(qū)、直轄市和新疆建設兵團;
互聯(lián)網(wǎng):所有互聯(lián)網(wǎng)連接的用戶都可通過互聯(lián)網(wǎng)方便快捷地獲得數(shù)據(jù)。
擴容升級,讓遙感衛(wèi)星數(shù)據(jù)更好地“落地”
然而隨著時間的推移,遙感衛(wèi)星存儲的數(shù)據(jù)越來越多,該單位用戶的需求也越來越多元化,原有的資源和性能已經(jīng)無法滿足業(yè)務增長的需要,分發(fā)系統(tǒng)的擴容已經(jīng)迫在眉睫。為了使遙感衛(wèi)星數(shù)據(jù)能夠高效、便捷、穩(wěn)定的為廣大互聯(lián)網(wǎng)用戶和其他企業(yè)用戶提供更好的服務,2019年,該單位聯(lián)合九州云對分發(fā)服務系統(tǒng)云服務進行了升級改造,具體包括分發(fā)服務分系統(tǒng)虛擬化平臺、Hadoop分布式計算集群和在線數(shù)據(jù)分布式云存儲系統(tǒng)。
九州云對上述需求進行了綜合考慮后,決定采用軟件定義數(shù)據(jù)中心技術,充分利用該單位原有的硬件計算、存儲和網(wǎng)絡設備進行分別擴展,保證靈活、高效的同時,又不被存儲和網(wǎng)絡廠商鎖定。
在硬件的利舊上,保留原有分發(fā)系統(tǒng)、內(nèi)網(wǎng)、外網(wǎng)以及安全等設備,原有設備連接到華三的千兆核心交換上,九州云虛擬化平臺,包括服務器和集中存儲連接到四個萬兆交換機上。華三核心交換機和新的萬兆交換機通過萬兆線路連接。
這樣一來,既保留了原有的功能,又保障了新增功能的網(wǎng)絡帶寬。同時多線路冗余也為系統(tǒng)提供了更高級別的系統(tǒng)高可用性,九州云從底層網(wǎng)絡架構到上層應用都做了相應的規(guī)劃,全面保障業(yè)務的持久性。
在網(wǎng)絡規(guī)劃中,九州云充分利用千兆/萬兆/4萬兆的通信速率,提供盡可能低的收斂比,保障流暢的虛機間通信和服務訪問。連接示意圖如下:
在升級擴展過程中,為保障業(yè)務的連續(xù)性,該單位使用九州云Animbus 云平臺統(tǒng)一納管新舊業(yè)務,建立統(tǒng)一的主機、集群、虛擬機、存儲、網(wǎng)路和數(shù)據(jù)監(jiān)控管理平臺。同時傳統(tǒng)業(yè)務和數(shù)據(jù)也將轉(zhuǎn)移至新集群,完成全面的業(yè)務整合升級。此外,九州云還利用 Animbus Ironic組件,將裸機資源也一并進行管理,結合VMware納管功能,建設統(tǒng)一的綜合云平臺,方便客戶在一個平臺上管控多種資源。
在大數(shù)據(jù)分析業(yè)務方面,九州云使用了Sahara組件,Sahara旨在幫助客戶能夠在Openstack平臺上創(chuàng)建和管理Hadoop以及其他計算框架集群,實現(xiàn)類似AWS的EMR服務。該單位只需要提供簡單的參數(shù),如版本信息、集群拓撲、節(jié)點硬件信息等,利用Sahara服務能夠在數(shù)分鐘時間內(nèi)快速地部署Hadoop、Spark、Storm集群。
助力客戶服務全球
此番,九州云聯(lián)合該單位共同突破了多項技術難關,實現(xiàn)了多項技術管理創(chuàng)新。升級擴容完成之后,該單位的私有云平臺支持一鍵創(chuàng)建Hadoop分布式計算集群,將Hadoop部署在虛擬化環(huán)境中,實現(xiàn)了可靠的和性能優(yōu)化的虛擬化Hadoop集群。在Hadoop集群基礎之上,能開發(fā)基于Spack的用戶查詢條件統(tǒng)計分析功能,從而統(tǒng)計出用戶查詢位置信息的頻度數(shù)據(jù)和每天查詢訂購的峰值信息。
在分發(fā)系統(tǒng)中,由于對象存儲是最為關鍵的一部分,九州云對整個云存儲系統(tǒng)架構做了特別規(guī)劃:系統(tǒng)采用雙存儲策略,使用9臺服務器和一套ECM Isilon存儲搭建了一個Ceph分布式存儲集群,配置存儲策略使EMC Isilon和基于服務器的分布式存儲方案兩者共存于同一個存儲集群之中,各節(jié)點通過2個H3C交換機,2個Mellonix萬兆交換機相連,交換機系統(tǒng)內(nèi)部互聯(lián)。
存儲系統(tǒng)采用完全對稱、面向資源的分布式系統(tǒng)架構設計無中心節(jié)點,所有部分都可擴展,避免了因單點失效而擴散并影響整個系統(tǒng)運轉(zhuǎn)。通信方式采用非阻塞式I/O模式,提高了系統(tǒng)吞吐和響應能力,以滿足實際使用中的性能問題。云存儲提供了標準API、認證服務、賬戶服務、對象服務和審計服務,全面覆蓋了整個對象存儲的使用、管理和監(jiān)控。
九州云通過對該單位已有硬件資源進行體系結構設計、硬件資源分配和網(wǎng)絡設計,保證了其云存儲環(huán)境正常運行的同時,完成了容量超400T的在線數(shù)據(jù)分布式云存儲系統(tǒng)的擴容。對內(nèi),給該單位提供了對象存儲的標準API操作接口;對外,該單位的用戶可以通過分發(fā)服務系統(tǒng)下載近期產(chǎn)品數(shù)據(jù)。
一直以來,該單位都積極貫徹落實國家關于陸地觀測衛(wèi)星發(fā)展的戰(zhàn)略部署,該單位的主任曾表示,農(nóng)、林、水、土、城、環(huán)、災等各應用行業(yè)都離不開衛(wèi)星數(shù)據(jù)的支持。接下來,在該單位聯(lián)合九州云打造的私有云平臺基礎上,前者將為全國用戶提供三千余萬衛(wèi)星數(shù)據(jù)產(chǎn)品,廣泛應用于我國農(nóng)業(yè)、林業(yè)、水利、國土資源、城市規(guī)劃、環(huán)境保護、災害監(jiān)測和國防建設等眾多領域,創(chuàng)造出更多的經(jīng)濟效益和社會價值。
如今,我國的遙感服務早已走出國門,成為“全球民用陸地觀測衛(wèi)星在軌數(shù)量最多的國家級遙感衛(wèi)星數(shù)據(jù)中心”是該單位的發(fā)展目標。未來,該單位將繼續(xù)擴大國際層面的合作,為其他有需要的國家提供遙感數(shù)據(jù)服務。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
