開源馬太效應(yīng)增強(qiáng),華為將持續(xù)開源創(chuàng)新、使能產(chǎn)業(yè)

5 月 27 日至 28 日,2023 全球開源技術(shù)峰會(Global Open-source Technology Conference,GOTC)在上海張江科學(xué)會堂隆重舉行。華為攜多個議題亮相峰會,在眾多業(yè)界精英和技術(shù)愛好者面前展示其在人工智能、AI 編程、eBPF、Rust、開源安全、大前端、云原生、汽車等領(lǐng)域的最新成果和研究進(jìn)展。

峰會主論壇之上,華為首席開源聯(lián)絡(luò)官 、CNCF 基金會董事 、開源安全委員會副主席任旭東提出觀點(diǎn):大型科技企業(yè)成為開源的主力軍,開源的馬太效應(yīng)正在進(jìn)一步增強(qiáng)。如何駕馭開源,將會是未來開發(fā)者、公司之間最大的差別的主要因素。

在華為,開源是戰(zhàn)略和業(yè)務(wù)驅(qū)動的結(jié)果。一方面,華為持續(xù)開源創(chuàng)新,踐行可持續(xù)開源,推動開源生態(tài)繁榮,另一方面,華為開源使能產(chǎn)業(yè)升級,推動智能世界加速到來。

華為的開源實踐,已有十多年的時間,是最早把 Linux 基金會帶到國內(nèi)的企業(yè)之一。之后,華為又陸續(xù)加入了Apache 軟件基金會、Eclipse 基金會等25家國際主流開源基金會??梢哉f,華為是最早的積極融入國際化社區(qū)的一家企業(yè)。華為在2008年已成立開源能力中心,逐步建立了開源可信社區(qū)體系,鼓勵公司開發(fā)者為上游社區(qū)積極貢獻(xiàn)代碼。在公司內(nèi)部,為了更好地擴(kuò)大代碼共享和分享機(jī)制,華為持續(xù)開展內(nèi)部開源能力的建設(shè)。近幾年,華為基于在 ICT 行業(yè)幾十年的積累,聚焦基礎(chǔ)軟件開源,并加大對上游社區(qū)的回饋和建設(shè)。

本次峰會之上,多位來自華為的技術(shù)專家,開源項目、社區(qū)負(fù)責(zé)人介紹了華為在具體開源項目上所做的努力與成果。

云原生未來

華為云云原生團(tuán)隊開源技術(shù)專家、Google Open Source Peer Bonus 獲得者徐中虎暢談了 Istio 新模式 Ambient Mesh 的相關(guān)特性與未來發(fā)展。

Istio 新模式 Ambient Mesh 是與 Sidecar 完全不同的新模式。自 2017 年 istio 開源以來,Sidecar 一直被視為零入侵代理的革命性創(chuàng)新。然而,五年過去了,用戶發(fā)現(xiàn)有許多副作用很難通過 Sidecar 解決。除了 Sidecar 之外,Istio 社區(qū)前不久宣布了另一種數(shù)據(jù)平面模式 Ambient Mesh,它旨在簡化操作、更廣泛的應(yīng)用程序兼容性和降低基礎(chǔ)架構(gòu)成本。

徐中虎將對 Ambient 模式進(jìn)行了整體介紹,并與 Sidecar 模式進(jìn)行比較,事實上二者在安全方面幾乎一樣安全。徐中虎表示,Ambient 現(xiàn)在還存在一些問題,Ambient 2023 年年底 GA,屆時會重點(diǎn)補(bǔ)齊標(biāo)準(zhǔn) Istio API 的功能 GAP。而采用 Ambient Mesh 的時間或許在更遠(yuǎn)的 2024 年。

華為云高級軟件工程師、Volcano 社區(qū) member 汪洋介紹了一種基于 Volcano 的輕量級編排引擎 JobFlow。工作流編排引擎廣泛應(yīng)用于高性能計算、AI、生物醫(yī)藥、圖片處理、美顏、游戲 AGI、科學(xué)計算等場景,幫助用戶簡潔化管理多個任務(wù)的并行與依賴關(guān)系,大幅度提升整體計算效率。

現(xiàn)下,云原生批量計算面臨著作業(yè)管理、領(lǐng)域框架支持、調(diào)度和性能等方面的挑戰(zhàn),Volcano 雖然提供了優(yōu)秀的基于作業(yè)的任務(wù)編排功能,但缺乏作業(yè)編排能力。

JobFlow 恰恰是一種輕量化的任務(wù)流編排引擎,專注于云原生批量計算平臺 Volcano 的作業(yè)編排,為 Volcano 提供多樣化作業(yè)依賴類型。目前,JobFlow 已經(jīng)可以應(yīng)用在多個場景中,如 AI 模型訓(xùn)練推理一體化、多任務(wù)的復(fù)雜依賴場景等等。

華為云高級工程師,KubeEdge 社區(qū) Member 趙然博士介紹了一款云原生邊緣智能設(shè)備管理框架:KubeEdge DMI。來自上海道客網(wǎng)絡(luò)科技有限公司研發(fā)工程師、KubeEdge 社區(qū) Member 劉琛林與趙然共同完成此次分享。

KubeEdge 是基于 Kubernetes 構(gòu)建的云原生邊緣計算開源平臺,已成為 CNCF 的孵化項目。KubeEdge 支持復(fù)雜邊云網(wǎng)絡(luò)環(huán)境下的云邊應(yīng)用協(xié)同,并提供邊緣設(shè)備管理框架 (DMI),以云原生數(shù)字孿生模型的形式支持多種協(xié)議的邊緣設(shè)備管理。

在 DMI 框架設(shè)計下,設(shè)備不再是單純的數(shù)據(jù)源,而是被抽象為微服務(wù),以云原生的方式為設(shè)備數(shù)據(jù)消費(fèi)者提供數(shù)據(jù)服務(wù)。DMI 框架下的設(shè)備數(shù)據(jù)訪問支持多種場景,非常靈活。DMI 框架可以為基于 KubeEdge 的邊緣智能設(shè)備云原生化管理提供有力支持。

華為云高級軟件工程師,Sermant 社區(qū) Committer 李來分享了云原生微服務(wù)治理技術(shù)朝無代理架構(gòu)的演進(jìn)之路,以及華為的相關(guān)實踐。李來認(rèn)為,云原生的歸納,業(yè)界從來沒有停止過演進(jìn)。但是總體來講,微服務(wù)和容器化基本上是兩個永恒不變的話題。

李來重點(diǎn)講述了微服務(wù)架構(gòu)的演進(jìn),對各個架構(gòu)的局限性和優(yōu)勢進(jìn)行剖析,并引出當(dāng)前以及未來演進(jìn)的云原生無代理微服務(wù)架構(gòu)形態(tài)和代表性開源項目 Sermant。Sermant 是基于 JavaAgent 無代理的服務(wù)網(wǎng)格技術(shù)。其利用 JavaAgent 為宿主應(yīng)用程序提供增強(qiáng)的服務(wù)治理功能,以解決大規(guī)模微服務(wù)體系結(jié)構(gòu)中的服務(wù)治理問題。

Sermant 的愿景還包括構(gòu)建插件開發(fā)生態(tài)系統(tǒng),以幫助開發(fā)人員更容易地開發(fā)服務(wù)治理功能,同時不干擾業(yè)務(wù)代碼。

openGemini 社區(qū)運(yùn)營總監(jiān)向宇分享了 openGemini 高性能背后的核心技術(shù)設(shè)計。隨著物聯(lián)網(wǎng)技術(shù)在各行業(yè)快速發(fā)展,大數(shù)據(jù)存儲和分析正逐漸成為各行業(yè)的新業(yè)態(tài),傳統(tǒng)數(shù)據(jù)庫已無法滿足業(yè)務(wù)對海量遙測數(shù)據(jù)存儲和分析的性能要求,一種具備高并發(fā)、高吞吐、低成本和低時延的時序數(shù)據(jù)庫正受到越來越多企業(yè)的關(guān)注。openGemini 是一款開源的國產(chǎn)時序數(shù)據(jù)庫,它具備卓越的性能。

openGemini 兼容 InfluxDB、Prometheus 生態(tài) API,具有高性能、高擴(kuò)展、存儲-分析一體化、運(yùn)維成本低、高數(shù)據(jù)壓縮率等 5 大優(yōu)勢。可應(yīng)用在運(yùn)維監(jiān)控方面,實時監(jiān)控,洞察所有系統(tǒng)運(yùn)行狀態(tài)。在物聯(lián)網(wǎng)方面,openGemini 具有高性能、分布式、部署靈活等特性,支持億級時間線管理和納秒級時間精度,可滿足工業(yè)物聯(lián)網(wǎng)領(lǐng)域中海量數(shù)據(jù)存儲、高吞吐量數(shù)據(jù)讀寫的需求。

大模型方案與應(yīng)用

華為資深開源工程師何蘆微帶來了昇思大模型的實踐分享。

人工智能發(fā)展到今天,已經(jīng)從”大煉模型“逐步邁向”煉大模型“。相比傳統(tǒng)針對特定應(yīng)用場景需求進(jìn)行訓(xùn)練的模型,大模型泛化能力強(qiáng),不再局限于單一特定場景,也因此它需要更大更廣數(shù)據(jù)量的”投喂“,需要更強(qiáng)的算力訓(xùn)練,這些都需要巨量的成本,絕大部分開發(fā)者基本無法承擔(dān),如何降低大模型的訓(xùn)練和應(yīng)用門檻成了新的難題。

而昇思 MindSpore 社區(qū)打造的一站式大模型平臺,帶來一站式的易用體驗。何蘆微介紹,昇思上承應(yīng)用下接芯片,承擔(dān)了人工智能操作系統(tǒng)的關(guān)鍵角色。它集模型選型、在線推理、在線訓(xùn)練為一體,支持大模型的在線體驗及微調(diào),讓開發(fā)者零距離接觸紫東·太初以文生文,悟空畫畫以文生圖,Luojia 遙感檢測等大模型應(yīng)用。同時,昇思大模型平臺還堅持打造大模型開源生態(tài),使能垂直行業(yè),賦能百萬開發(fā)者。

華為云 Dev AI Lab Leader、智能化研發(fā)算法技術(shù)專家馬宇馳博士詳細(xì)介紹了華為代碼大模型的方案與應(yīng)用。OpenAI 的報告顯示,未來 47-56% 的工作內(nèi)容將受 LLM 沖擊,其中編程受沖擊最大。而隨著大模型技術(shù)和 Copilot 的逐步普及,AI 平臺能力將會越來越強(qiáng)。

華為云 CodeArts Snap 智能編程助手沉淀了華為自主研發(fā)的代碼大模型和軟件分析技術(shù),賦能開發(fā)者高效、可信開發(fā),支持主流編程語言和 IDE 生態(tài)。CodeArts Snap 可實現(xiàn) FastAPI 調(diào)用實現(xiàn) MongoDB 數(shù)據(jù)庫查詢,數(shù)據(jù)讀取與流水線構(gòu)建,腳本運(yùn)行上傳 OBS。

未來,馬宇馳認(rèn)為新時代軟件研發(fā)由三個關(guān)鍵角色即可組成未來完整的軟件研發(fā)全棧團(tuán)隊:產(chǎn)品專家、架構(gòu)專家、OA 專家,大量軟件研發(fā)工作將協(xié)同 AI 完成,極速開發(fā)迭代,智能高效測試,無人化運(yùn)維管理。

大前端新趨勢

華為終端軟件部應(yīng)用開發(fā)框架首席架構(gòu)師、華為 Web 技術(shù) C-TMG 主任余枝強(qiáng)分享了關(guān)于萬物智聯(lián)下的應(yīng)用框架 ArkUI 的思考和探索。

應(yīng)用框架是操作系統(tǒng)連接開發(fā)者生態(tài),實現(xiàn)用戶體驗的關(guān)鍵基礎(chǔ)設(shè)施。其中,開發(fā)效率和運(yùn)行體驗是永恒的訴求,業(yè)界也在持續(xù)不斷的發(fā)展和演進(jìn)。余枝強(qiáng)重點(diǎn)圍繞移動應(yīng)用框架,梳理其關(guān)鍵發(fā)展脈絡(luò),并分析其背后的技術(shù)演進(jìn)思路以及目前的局限;同時,進(jìn)一步結(jié)合萬物智聯(lián)的新場景和新生態(tài),圍繞相應(yīng)的應(yīng)用框架的設(shè)計和演進(jìn)。

ArkUI 是鴻蒙生態(tài)的原生開發(fā)框架。ArkUI 設(shè)計是在 TS 的基礎(chǔ)上演進(jìn)出可對標(biāo)原聲體驗的聲明式開發(fā)框架,而 ArkUI 生態(tài)可分層對接架構(gòu)、具備跨 OS 平臺能力。

華為公共開發(fā)部 CTO 辦公室前端架構(gòu)師陳超濤介紹了一款 DOM 級別精準(zhǔn)更新的類 React 前端框架 Horizon。使用傳統(tǒng) Hooks 容易出現(xiàn)過期閉包,導(dǎo)致 useEffect 使用到的數(shù)據(jù)不是最新數(shù)據(jù)等痛點(diǎn),因此需要響應(yīng)式框架來解決問題。Horizon 沿用了虛擬 DOM,提供與 React 一致的 API 特性,做到無縫兼容相關(guān)生態(tài)。 同時也提供了另外一套細(xì)粒度的響應(yīng)式 API,基于不同的渲染方式,使頁面能夠獲得更好的性能表現(xiàn)。

此外,在配套設(shè)施上, Horizon 配備應(yīng)用開發(fā)最常用 4 款組件,瀏覽器調(diào)試工具,以及編譯器優(yōu)化插件。陳超濤還介紹了 Horizon 的寓意,Horizon 為地平線,寓意我國的軟件像太陽一樣從地平線冉冉升起!

華為 Web 前端開發(fā)專家莫春輝帶來企業(yè)級前端開源組件庫 OpenTiny 的相關(guān)分享。OpenTiny是一套跨端跨框架的企業(yè)級組件庫解決方案,提供華為沉淀多年的前端應(yīng)用開發(fā)基礎(chǔ)設(shè)施;不僅提供 Vue 組件庫,還提供 Angular 組件庫、主題配置系統(tǒng)、腳手架 CLI 工具等;OpenTiny 還與華為工業(yè)軟件云產(chǎn)品部門合作,挖掘生態(tài)伙伴,打造企業(yè)用戶案例,開展社區(qū)運(yùn)營。

莫春輝還重點(diǎn)介紹了 OpenTiny 的 Vue 版本組件庫 TinyVue,TinyVue 具備三大核心競爭力:第一個是配置式,既支持傳統(tǒng)組件庫的聲明標(biāo)簽式用法,也支持屬性配置式用法。第二個是提供 150 多個組件的功能特性,覆蓋了華為內(nèi)部 IT 超過 90% 領(lǐng)域的應(yīng)用場景,目前有超過 3000 個華為內(nèi)部用戶。另外具備跨端跨主題的能力,支持一套代碼同時適配 PC 端和移動端,并且實現(xiàn)業(yè)界首創(chuàng)一個組件庫同時支持 Vue2 和 Vue3 版本。

開源生態(tài)與產(chǎn)業(yè)

華為 開源管理中心工程師、LF CHAOSS Board 王曄暉帶來了 OSS-Compass 模型解讀與新功能發(fā)布的相關(guān)分享。

王曄暉介紹,OSS-Compass 的愿景和使命是通過構(gòu)建可持續(xù)演進(jìn)的開源生態(tài)評估體系和通用平臺;為圍繞開源生態(tài)可持續(xù)發(fā)展制定的各種決策,提供深入、持續(xù)和可靠的數(shù)據(jù)洞察,形成共識。王曄暉帶來了一些新功能,包括評估模型、洞察報告訂閱系統(tǒng)、開發(fā)者里程模型和 Compass lab 等。

報告訂閱系統(tǒng)可方便用戶及時獲取管理或關(guān)心社區(qū)的評估報告;開發(fā)者里程模型則幫助用戶了解開源社區(qū)中不同環(huán)節(jié)的體驗和晉升渠道是否通暢,以及軟件版本迭代和運(yùn)營活動對開發(fā)者的影響;最后,Compass Lab 能夠幫助社區(qū)決策者定制適用于其社區(qū)的評估看板,更好地了解社區(qū)健康狀況。

華為開源安全咨詢獨(dú)立顧問王智共同帶來“防微杜漸,構(gòu)筑企業(yè)開源安全防御體系”專題演講。

全球化 4.0 時代,開源蓬勃發(fā)展,也成為企業(yè)技術(shù)創(chuàng)新的有效手段。但開源軟件供應(yīng)鏈?zhǔn)盏綇V泛的安全威脅。華為在擁抱開源基礎(chǔ)上,也積極投入資源進(jìn)行開源安全工具及治理。華為針對軟件供應(yīng)鏈安全的分析和實踐,包括基于 SBOM 的實踐,如 CI/CD 構(gòu)建自動生成,合規(guī)和漏洞分析等,以及其他安全防護(hù)措施。

王智還分享了 5 個具體的開源安全工具鏈關(guān)鍵技術(shù),包括實現(xiàn)“重復(fù)可構(gòu)建”,供應(yīng)鏈安全得到極大保障;實現(xiàn)“惡意軟件掃描”,有效遏制惡意攻擊場景;“SBOM服務(wù)”從源代碼溯源保障安全;漏洞排查與感知服務(wù),提升軟件安全防護(hù)水平;數(shù)字簽名,提供軟件制品一致性安全保障。未來,華為將打造可信開源安全體系,構(gòu)建開源安全產(chǎn)業(yè)生態(tài)。

除卻開源社區(qū)生態(tài)評估與開源安全建設(shè)外,開源技術(shù)在各產(chǎn)業(yè)中的落地實踐也尤為重要。

華為云云原生開源負(fù)責(zé)人王澤鋒分享了 KubeEdge 車云協(xié)同平臺創(chuàng)新實踐。

隨著智能化與網(wǎng)聯(lián)化的迅速發(fā)展,汽車應(yīng)用與云端的聯(lián)系日趨緊密,借助云原生技術(shù),電子架構(gòu)可從單車架構(gòu)快速發(fā)展為車云協(xié)同架構(gòu)。KubeEdge 即 Kube+Edge,顧名思義就是依托 K8s 的容器編排能力和調(diào)度能力,實現(xiàn)云邊協(xié)同、計算下沉、海量設(shè)備的平滑接入。

KubeEdge 通過云原生與汽車應(yīng)用的結(jié)合,實現(xiàn)車云協(xié)同平臺的創(chuàng)新架構(gòu),構(gòu)建滿足汽車行業(yè)需求的云原生技術(shù)生態(tài)。

華為智能車基礎(chǔ)軟件技術(shù)專家丁天虹分享了基于 Linux 的汽車系統(tǒng)的安全。

Linux 在車載系統(tǒng)中被廣泛使用,特別是在電動汽車中,可以很好地處理信息娛樂系統(tǒng),例如智能座艙的 IVI,然而信息娛樂系統(tǒng)只是整個汽車軟件系統(tǒng)的一部分,車載研發(fā)工程師會質(zhì)疑 Linux 在關(guān)鍵系統(tǒng)(例如數(shù)字儀表盤、ADAS 和自動駕駛)上的功能安全表現(xiàn),考慮到 Linux 擁有豐富的 AI、圖形和中間件生態(tài)系統(tǒng),許多公司(包括華為)正在嘗試找到一種新的使用方式,使 Linux 能夠同時滿足安全和生態(tài)系統(tǒng)要求。

丁天虹還提出了一些 Linux 安全解決方案建設(shè)建議,比如一個簡單的規(guī)則——不進(jìn)行重大的更改就不可能使 Linux 合格;需要更多思考的問題——操作系統(tǒng)內(nèi)核并不是人工智能輔助駕駛軟件的首要任務(wù);以及改變維度應(yīng)該遵從安全是一個系統(tǒng)屬性的原則……

eBPF 與 Rust 技術(shù)實踐

華為高級軟件工程師鄭振宇分享了eBPF 與私密計算的生態(tài)結(jié)合及落地實踐。鄭振宇介紹,云原生時代,將業(yè)務(wù)運(yùn)行在云平臺上意味著要信任各類供應(yīng)商,這帶來了新的安全挑戰(zhàn)。而機(jī)密計算正是由機(jī)密計算聯(lián)盟 (CCC) 定義的一個行業(yè)術(shù)語:通過在基于硬件的受信任執(zhí)行環(huán)境 (TEE) 中執(zhí)行計算來保護(hù)使用中的數(shù)據(jù)。eBPF 作為一種跨平臺技術(shù),可以運(yùn)行沙盒程序來擴(kuò)展特權(quán)系統(tǒng)組件”,如在 TEE 環(huán)境中,代碼是特權(quán)系統(tǒng)組件;在設(shè)計時場景中,設(shè)計一個擴(kuò)展程序,將其部署到現(xiàn)有的保密虛擬機(jī)/容器/進(jìn)程/庫中;在運(yùn)行時場景中,可根據(jù)管理員輸入即時創(chuàng)建一個擴(kuò)展程序,以在現(xiàn)有的保密虛擬機(jī)/容器/進(jìn)程/庫中運(yùn)行。

二者結(jié)合,便可有效提升安全性。鄭振宇以 openEuler 為例,openEuler 作為一個高性能、高安全、易運(yùn)維數(shù)字基礎(chǔ)設(shè)施開源操作系統(tǒng),提供了機(jī)密計算框架 secGear,實現(xiàn)軟硬件協(xié)同,提升安全優(yōu)勢。此外,結(jié)合 eBPF 技術(shù),openEuler 也在將內(nèi)核能力、硬件加速能力服務(wù)化、集市化,惠及更多的社區(qū)用戶。

華為 Rust 開源技術(shù)專家李原分享了 Rust 并行編譯的挑戰(zhàn)與突破。編譯效率緩慢問題是 Rust 語言逐漸走向規(guī)模開發(fā)的道路中,必須面臨的挑戰(zhàn)。如今 Rust 的單線程編譯效率優(yōu)化已面臨瓶頸,并行編譯則成為了突破瓶頸的關(guān)鍵技術(shù)。但并行編譯技術(shù)也面臨著挑戰(zhàn),包括消減共享數(shù)據(jù)結(jié)構(gòu)效率損失、并行環(huán)境內(nèi)存分配器的設(shè)計、緩存系統(tǒng)訪問熱點(diǎn)效率瓶頸。當(dāng)然,面對這些問題,業(yè)內(nèi)也已經(jīng)有了一些應(yīng)對方案,如使用多線程內(nèi)存分配器、線程分而治之來應(yīng)對并行環(huán)境內(nèi)存分配器方面的問題。

未來,李原認(rèn)為,Rust 并行編譯的未來會從四個方面展開,包括抹平共享數(shù)據(jù)結(jié)構(gòu)造成的性能差距,多線程環(huán)境下的編譯器度量方案,針對并行環(huán)境的編譯器測試,深化編譯器并行化。

經(jīng)過在開源領(lǐng)域多年的積累與實踐,華為逐漸形成了自己的開源理念和價值主張,其核心是:深耕基礎(chǔ)軟件、持續(xù)開源創(chuàng)新、積極開源回饋、踐行可持續(xù)開源、使能產(chǎn)業(yè)升級、共培開源文化。

未來,華為也將持續(xù)深耕開源領(lǐng)域。通過持續(xù)貢獻(xiàn),攜手伙伴,共建世界級開源社區(qū),加速軟件創(chuàng)新和共享生態(tài)繁榮。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )