華大基因牽手華為云，云端解密基因奧秘

“我就是那個(gè)統(tǒng)計(jì)學(xué)上渺小到無(wú)關(guān)緊要、但沒(méi)人可以抹去的1%。”這句出自《Gattaca》的經(jīng)典臺(tái)詞讓無(wú)數(shù)影迷淚目。

《Gattaca》電影海報(bào)

這部22年前上映的科幻電影,講述了這樣一個(gè)故事:不久的未來(lái),科技的力量勝于一切,基因決定著命運(yùn),有基因缺陷的主人公追逐夢(mèng)想的故事。雖然人和人基因組序列的差異不到1%,但人類的外貌、性格和疾病等正是由這1%的基因差異導(dǎo)致的。雖然電影中探討的基因決定論目前仍是生物學(xué)界辯論的主題,但對(duì)于基因的“測(cè)定”與“解讀”是近些年生命科學(xué)領(lǐng)域最熱門的一項(xiàng)研究。

實(shí)際上,人類對(duì)于生命科學(xué)的熱情從20世紀(jì)中葉就已經(jīng)開(kāi)始。1990年,“人類基因組計(jì)劃”的提出標(biāo)志著生命科學(xué)進(jìn)入了一個(gè)新紀(jì)元,而電影所設(shè)定的那個(gè)“未來(lái)”,如今卻已然近在咫尺。

人類基因組計(jì)劃的決心不亞于“把人送上月球”,但它是一項(xiàng)跨國(guó)跨學(xué)科的復(fù)雜工程。上個(gè)世紀(jì)90年代,幾位科學(xué)家代表中國(guó)承擔(dān)了人類基因組計(jì)劃的1%工作,而中國(guó)也成為了“人類基因組計(jì)劃”的第六個(gè)參與國(guó)。1999年,他們成立了中國(guó)第一家基因組學(xué)研發(fā)機(jī)構(gòu)——華大基因。

2019年,是中國(guó)參與“人類基因組計(jì)劃”20周年,也是華大基因成立的20周年。

解讀“生命奧妙”征程中的困惑

華大基因秉承“基因科技造福人類”的愿景,以推動(dòng)生命科學(xué)研究進(jìn)展、生命大數(shù)據(jù)應(yīng)用和提高全球醫(yī)療健康水平為出發(fā)點(diǎn),基于基因領(lǐng)域研究成果及精準(zhǔn)檢測(cè)技術(shù)在民生健康方面的應(yīng)用,致力于加速科技創(chuàng)新,減少出生缺陷,加強(qiáng)腫瘤防控,抑制重大疾病對(duì)人類的危害,實(shí)現(xiàn)精準(zhǔn)治愈感染,全面助力精準(zhǔn)醫(yī)學(xué)。

如今的基因測(cè)序已經(jīng)走入了尋常百姓家,技術(shù)的力量讓測(cè)序的時(shí)長(zhǎng)不斷壓縮、價(jià)格也越來(lái)越親民。然而,在基因測(cè)序的流程中,需要龐大的算力支持。從某種意義上說(shuō),生命科學(xué)的研究競(jìng)賽,很多時(shí)候已經(jīng)演變成一場(chǎng)算力的比拼,甚至如今已經(jīng)普及應(yīng)用的產(chǎn)前檢測(cè),腫瘤檢測(cè)等醫(yī)療檢測(cè)的背后也是大量的算力支持?；驕y(cè)序?qū)λ懔Φ男枨蟾?且往往是波動(dòng)的,一段時(shí)間的消耗量大而一段時(shí)間又變小。同時(shí),對(duì)于不同生物的基因組,需要的算力也不同,傳統(tǒng)的數(shù)據(jù)中心計(jì)算集群無(wú)法滿足快速的擴(kuò)縮容。

具體到華大基因,過(guò)去計(jì)算資源比較緊張,在使用峰值時(shí),任務(wù)經(jīng)常需要排隊(duì)等候;同時(shí)科技服務(wù)有很多復(fù)雜基因組,客戶需要借助不同規(guī)格的計(jì)算資源,所以,“上云”成了華大基因的必經(jīng)之路。

基因的“云端”之旅

華大基因清晰地意識(shí)到,只有云計(jì)算才能夠應(yīng)對(duì)以上的種種挑戰(zhàn)。此后,經(jīng)過(guò)反復(fù)的調(diào)研和綜合細(xì)致的考察,華大選擇了華為云。

早在2018年,針對(duì)基因測(cè)序行業(yè)的困難與挑戰(zhàn),華為云推出了以Kubernetes為基礎(chǔ)的基因容器服務(wù)GCS(Gene Container Service)。據(jù)悉,GCS將基因測(cè)序和容器技術(shù)完美結(jié)合,是對(duì)基因企業(yè)來(lái)說(shuō)“更省、更快、更輕松”的云科學(xué)計(jì)算平臺(tái)。

借助于華為云GCS服務(wù),以及華為云專門為華大基因的常用軟件進(jìn)行了一系列優(yōu)化,通過(guò)46人/天的駐場(chǎng)時(shí)間,60人/月的工程師遠(yuǎn)程支持,15+新特性的研發(fā)…..雙方打通上云流程,目前,雙方已完成超過(guò)300萬(wàn)核時(shí)計(jì)算,平穩(wěn)運(yùn)行超過(guò)100天。此外,環(huán)境部署從原來(lái)的3-5天縮短為20分鐘; 應(yīng)對(duì)業(yè)務(wù)的波動(dòng)實(shí)現(xiàn)了資源的按需調(diào)度使用;高并發(fā)釋放2萬(wàn)核資源池;靈活的彈性大大節(jié)約了成本。

GCS還提供了全自動(dòng)化測(cè)序分析能力,其亮點(diǎn)體現(xiàn)在:

GCS提供了生物信息流設(shè)計(jì)器,再?gòu)?fù)雜的業(yè)務(wù)也可以編排到一個(gè)流程中,一鍵搞定測(cè)序任務(wù);

針對(duì)國(guó)內(nèi)生信人設(shè)計(jì)的流程控制語(yǔ)法,結(jié)構(gòu)簡(jiǎn)練、易懂,既滿足了流程編寫的易用性,同時(shí)也保證了流程遷移的方便性;

再次,用非常直觀的流程熱力圖的方式隨時(shí)了解測(cè)序進(jìn)展,精確掌握資源消耗走勢(shì),指導(dǎo)優(yōu)化方向;

可根據(jù)判斷條件選擇執(zhí)行分支,從而滿足企業(yè)復(fù)雜流程的管理的需要。

賦能基因行業(yè),華為云在路上

除了創(chuàng)新的華為云GCS服務(wù),針對(duì)基因行業(yè)的普遍痛點(diǎn),華為云打造了完整的基因測(cè)序解決方案,該方案基于“標(biāo)準(zhǔn)架構(gòu)+持續(xù)創(chuàng)新”的思路,擁有諸多亮點(diǎn)。

華為云基因行業(yè)解決方案全景圖/來(lái)源:華為云官網(wǎng)

具體來(lái)說(shuō):

在數(shù)據(jù)收集階段,提供了多通道完成本地-云和云-云間的數(shù)據(jù)交互,實(shí)現(xiàn)OBS最低0.033元/GB/月的低成本、可達(dá)4個(gè)9可用性、11個(gè)9持久性的3AZ特性,提供OBS-Browser、obsutil和SDK等多種配套工具,適配Windows/Linux操作系統(tǒng),可與本地業(yè)務(wù)流無(wú)縫對(duì)接,基于公有云內(nèi)網(wǎng)交付一站式傳輸,多級(jí)防護(hù),訪問(wèn)隔離。

在測(cè)序分析階段,公有云HPC可無(wú)縫移植本地IDC架構(gòu),提供高性能的計(jì)算實(shí)例和簡(jiǎn)化存儲(chǔ)流程,GCS(基因容器服務(wù))提供一鍵式生信分析平臺(tái),支持普通任務(wù)+GPU任務(wù)混合調(diào)度、支持Spark等加速軟件、支持OBS、SFS、EVS存儲(chǔ)的容器化掛載,流程設(shè)計(jì)器輕松可視化設(shè)計(jì)復(fù)雜流程、提供資源消耗熱力圖和標(biāo)準(zhǔn)流程或自定義流程, 提供秒級(jí)彈性伸縮能力、按需按秒計(jì)費(fèi)、支持任務(wù)親和性調(diào)度,自動(dòng)釋放閑置資源。

在數(shù)據(jù)交付階段,OBS提供了快速交付通道。POSIX功能可將OBS直接掛載至測(cè)序分析平臺(tái),平臺(tái)可直接寫入分析數(shù)據(jù),華為云內(nèi)網(wǎng)傳輸,大帶寬讓客戶獲取數(shù)據(jù)后可直接開(kāi)展分析,提供多種配套工具,適配Windows/Linux操作系統(tǒng)、工具一鍵式完成子賬戶數(shù)據(jù)訪問(wèn)權(quán)限配置;上傳下載提供MD5校驗(yàn)、保證數(shù)據(jù)的安全可靠。

專注在底層技術(shù)上的持續(xù)創(chuàng)新、聯(lián)合頂尖企業(yè)共同建設(shè)整個(gè)基因技術(shù)生態(tài)決心。華為云持續(xù)為基因行業(yè)賦能,為推動(dòng)人類基因的藍(lán)圖實(shí)現(xiàn)打造了一個(gè)又一個(gè)鮮活的實(shí)踐案例。

寫在最后:未來(lái)已來(lái)

人類對(duì)1%的探索征途才剛剛開(kāi)始。筆者相信,不遠(yuǎn)的未來(lái),解讀基因密碼,人類或許能夠找出生命的出路,讓科技造福人類。華為云將為基因測(cè)序鋪好“上云”的跑道,助力基因測(cè)序行業(yè)騰飛。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。