5 月 27 日至 28 日,2023 全球開源技術峰會(Global Open-source Technology Conference,GOTC)在上海張江科學會堂隆重舉行。華為攜多個議題亮相峰會,在眾多業(yè)界精英和技術愛好者面前展示其在人工智能、AI 編程、eBPF、Rust、開源安全、大前端、云原生、汽車等領域的最新成果和研究進展。
峰會主論壇之上,華為首席開源聯(lián)絡官 、CNCF 基金會董事 、開源安全委員會副主席任旭東提出觀點:大型科技企業(yè)成為開源的主力軍,開源的馬太效應正在進一步增強。如何駕馭開源,將會是未來開發(fā)者、公司之間最大的差別的主要因素。
在華為,開源是戰(zhàn)略和業(yè)務驅(qū)動的結果。一方面,華為持續(xù)開源創(chuàng)新,踐行可持續(xù)開源,推動開源生態(tài)繁榮,另一方面,華為開源使能產(chǎn)業(yè)升級,推動智能世界加速到來。
華為的開源實踐,已有十多年的時間,是最早把 Linux 基金會帶到國內(nèi)的企業(yè)之一。之后,華為又陸續(xù)加入了Apache 軟件基金會、Eclipse 基金會等25家國際主流開源基金會??梢哉f,華為是最早的積極融入國際化社區(qū)的一家企業(yè)。華為在2008年已成立開源能力中心,逐步建立了開源可信社區(qū)體系,鼓勵公司開發(fā)者為上游社區(qū)積極貢獻代碼。在公司內(nèi)部,為了更好地擴大代碼共享和分享機制,華為持續(xù)開展內(nèi)部開源能力的建設。近幾年,華為基于在 ICT 行業(yè)幾十年的積累,聚焦基礎軟件開源,并加大對上游社區(qū)的回饋和建設。
本次峰會之上,多位來自華為的技術專家,開源項目、社區(qū)負責人介紹了華為在具體開源項目上所做的努力與成果。
云原生未來
華為云云原生團隊開源技術專家、Google Open Source Peer Bonus 獲得者徐中虎暢談了 Istio 新模式 Ambient Mesh 的相關特性與未來發(fā)展。
Istio 新模式 Ambient Mesh 是與 Sidecar 完全不同的新模式。自 2017 年 istio 開源以來,Sidecar 一直被視為零入侵代理的革命性創(chuàng)新。然而,五年過去了,用戶發(fā)現(xiàn)有許多副作用很難通過 Sidecar 解決。除了 Sidecar 之外,Istio 社區(qū)前不久宣布了另一種數(shù)據(jù)平面模式 Ambient Mesh,它旨在簡化操作、更廣泛的應用程序兼容性和降低基礎架構成本。
徐中虎將對 Ambient 模式進行了整體介紹,并與 Sidecar 模式進行比較,事實上二者在安全方面幾乎一樣安全。徐中虎表示,Ambient 現(xiàn)在還存在一些問題,Ambient 2023 年年底 GA,屆時會重點補齊標準 Istio API 的功能 GAP。而采用 Ambient Mesh 的時間或許在更遠的 2024 年。
華為云高級軟件工程師、Volcano 社區(qū) member 汪洋介紹了一種基于 Volcano 的輕量級編排引擎 JobFlow。工作流編排引擎廣泛應用于高性能計算、AI、生物醫(yī)藥、圖片處理、美顏、游戲 AGI、科學計算等場景,幫助用戶簡潔化管理多個任務的并行與依賴關系,大幅度提升整體計算效率。
現(xiàn)下,云原生批量計算面臨著作業(yè)管理、領域框架支持、調(diào)度和性能等方面的挑戰(zhàn),Volcano 雖然提供了優(yōu)秀的基于作業(yè)的任務編排功能,但缺乏作業(yè)編排能力。
JobFlow 恰恰是一種輕量化的任務流編排引擎,專注于云原生批量計算平臺 Volcano 的作業(yè)編排,為 Volcano 提供多樣化作業(yè)依賴類型。目前,JobFlow 已經(jīng)可以應用在多個場景中,如 AI 模型訓練推理一體化、多任務的復雜依賴場景等等。
華為云高級工程師,KubeEdge 社區(qū) Member 趙然博士介紹了一款云原生邊緣智能設備管理框架:KubeEdge DMI。來自上海道客網(wǎng)絡科技有限公司研發(fā)工程師、KubeEdge 社區(qū) Member 劉琛林與趙然共同完成此次分享。
KubeEdge 是基于 Kubernetes 構建的云原生邊緣計算開源平臺,已成為 CNCF 的孵化項目。KubeEdge 支持復雜邊云網(wǎng)絡環(huán)境下的云邊應用協(xié)同,并提供邊緣設備管理框架 (DMI),以云原生數(shù)字孿生模型的形式支持多種協(xié)議的邊緣設備管理。
在 DMI 框架設計下,設備不再是單純的數(shù)據(jù)源,而是被抽象為微服務,以云原生的方式為設備數(shù)據(jù)消費者提供數(shù)據(jù)服務。DMI 框架下的設備數(shù)據(jù)訪問支持多種場景,非常靈活。DMI 框架可以為基于 KubeEdge 的邊緣智能設備云原生化管理提供有力支持。
華為云高級軟件工程師,Sermant 社區(qū) Committer 李來分享了云原生微服務治理技術朝無代理架構的演進之路,以及華為的相關實踐。李來認為,云原生的歸納,業(yè)界從來沒有停止過演進。但是總體來講,微服務和容器化基本上是兩個永恒不變的話題。
李來重點講述了微服務架構的演進,對各個架構的局限性和優(yōu)勢進行剖析,并引出當前以及未來演進的云原生無代理微服務架構形態(tài)和代表性開源項目 Sermant。Sermant 是基于 JavaAgent 無代理的服務網(wǎng)格技術。其利用 JavaAgent 為宿主應用程序提供增強的服務治理功能,以解決大規(guī)模微服務體系結構中的服務治理問題。
Sermant 的愿景還包括構建插件開發(fā)生態(tài)系統(tǒng),以幫助開發(fā)人員更容易地開發(fā)服務治理功能,同時不干擾業(yè)務代碼。
openGemini 社區(qū)運營總監(jiān)向宇分享了 openGemini 高性能背后的核心技術設計。隨著物聯(lián)網(wǎng)技術在各行業(yè)快速發(fā)展,大數(shù)據(jù)存儲和分析正逐漸成為各行業(yè)的新業(yè)態(tài),傳統(tǒng)數(shù)據(jù)庫已無法滿足業(yè)務對海量遙測數(shù)據(jù)存儲和分析的性能要求,一種具備高并發(fā)、高吞吐、低成本和低時延的時序數(shù)據(jù)庫正受到越來越多企業(yè)的關注。openGemini 是一款開源的國產(chǎn)時序數(shù)據(jù)庫,它具備卓越的性能。
openGemini 兼容 InfluxDB、Prometheus 生態(tài) API,具有高性能、高擴展、存儲-分析一體化、運維成本低、高數(shù)據(jù)壓縮率等 5 大優(yōu)勢??蓱迷谶\維監(jiān)控方面,實時監(jiān)控,洞察所有系統(tǒng)運行狀態(tài)。在物聯(lián)網(wǎng)方面,openGemini 具有高性能、分布式、部署靈活等特性,支持億級時間線管理和納秒級時間精度,可滿足工業(yè)物聯(lián)網(wǎng)領域中海量數(shù)據(jù)存儲、高吞吐量數(shù)據(jù)讀寫的需求。
大模型方案與應用
華為資深開源工程師何蘆微帶來了昇思大模型的實踐分享。
人工智能發(fā)展到今天,已經(jīng)從”大煉模型“逐步邁向”煉大模型“。相比傳統(tǒng)針對特定應用場景需求進行訓練的模型,大模型泛化能力強,不再局限于單一特定場景,也因此它需要更大更廣數(shù)據(jù)量的”投喂“,需要更強的算力訓練,這些都需要巨量的成本,絕大部分開發(fā)者基本無法承擔,如何降低大模型的訓練和應用門檻成了新的難題。
而昇思 MindSpore 社區(qū)打造的一站式大模型平臺,帶來一站式的易用體驗。何蘆微介紹,昇思上承應用下接芯片,承擔了人工智能操作系統(tǒng)的關鍵角色。它集模型選型、在線推理、在線訓練為一體,支持大模型的在線體驗及微調(diào),讓開發(fā)者零距離接觸紫東·太初以文生文,悟空畫畫以文生圖,Luojia 遙感檢測等大模型應用。同時,昇思大模型平臺還堅持打造大模型開源生態(tài),使能垂直行業(yè),賦能百萬開發(fā)者。
華為云 Dev AI Lab Leader、智能化研發(fā)算法技術專家馬宇馳博士詳細介紹了華為代碼大模型的方案與應用。OpenAI 的報告顯示,未來 47-56% 的工作內(nèi)容將受 LLM 沖擊,其中編程受沖擊最大。而隨著大模型技術和 Copilot 的逐步普及,AI 平臺能力將會越來越強。
華為云 CodeArts Snap 智能編程助手沉淀了華為自主研發(fā)的代碼大模型和軟件分析技術,賦能開發(fā)者高效、可信開發(fā),支持主流編程語言和 IDE 生態(tài)。CodeArts Snap 可實現(xiàn) FastAPI 調(diào)用實現(xiàn) MongoDB 數(shù)據(jù)庫查詢,數(shù)據(jù)讀取與流水線構建,腳本運行上傳 OBS。
未來,馬宇馳認為新時代軟件研發(fā)由三個關鍵角色即可組成未來完整的軟件研發(fā)全棧團隊:產(chǎn)品專家、架構專家、OA 專家,大量軟件研發(fā)工作將協(xié)同 AI 完成,極速開發(fā)迭代,智能高效測試,無人化運維管理。
大前端新趨勢
華為終端軟件部應用開發(fā)框架首席架構師、華為 Web 技術 C-TMG 主任余枝強分享了關于萬物智聯(lián)下的應用框架 ArkUI 的思考和探索。
應用框架是操作系統(tǒng)連接開發(fā)者生態(tài),實現(xiàn)用戶體驗的關鍵基礎設施。其中,開發(fā)效率和運行體驗是永恒的訴求,業(yè)界也在持續(xù)不斷的發(fā)展和演進。余枝強重點圍繞移動應用框架,梳理其關鍵發(fā)展脈絡,并分析其背后的技術演進思路以及目前的局限;同時,進一步結合萬物智聯(lián)的新場景和新生態(tài),圍繞相應的應用框架的設計和演進。
ArkUI 是鴻蒙生態(tài)的原生開發(fā)框架。ArkUI 設計是在 TS 的基礎上演進出可對標原聲體驗的聲明式開發(fā)框架,而 ArkUI 生態(tài)可分層對接架構、具備跨 OS 平臺能力。
華為公共開發(fā)部 CTO 辦公室前端架構師陳超濤介紹了一款 DOM 級別精準更新的類 React 前端框架 Horizon。使用傳統(tǒng) Hooks 容易出現(xiàn)過期閉包,導致 useEffect 使用到的數(shù)據(jù)不是最新數(shù)據(jù)等痛點,因此需要響應式框架來解決問題。Horizon 沿用了虛擬 DOM,提供與 React 一致的 API 特性,做到無縫兼容相關生態(tài)。 同時也提供了另外一套細粒度的響應式 API,基于不同的渲染方式,使頁面能夠獲得更好的性能表現(xiàn)。
此外,在配套設施上, Horizon 配備應用開發(fā)最常用 4 款組件,瀏覽器調(diào)試工具,以及編譯器優(yōu)化插件。陳超濤還介紹了 Horizon 的寓意,Horizon 為地平線,寓意我國的軟件像太陽一樣從地平線冉冉升起!
華為 Web 前端開發(fā)專家莫春輝帶來企業(yè)級前端開源組件庫 OpenTiny 的相關分享。OpenTiny是一套跨端跨框架的企業(yè)級組件庫解決方案,提供華為沉淀多年的前端應用開發(fā)基礎設施;不僅提供 Vue 組件庫,還提供 Angular 組件庫、主題配置系統(tǒng)、腳手架 CLI 工具等;OpenTiny 還與華為工業(yè)軟件云產(chǎn)品部門合作,挖掘生態(tài)伙伴,打造企業(yè)用戶案例,開展社區(qū)運營。
莫春輝還重點介紹了 OpenTiny 的 Vue 版本組件庫 TinyVue,TinyVue 具備三大核心競爭力:第一個是配置式,既支持傳統(tǒng)組件庫的聲明標簽式用法,也支持屬性配置式用法。第二個是提供 150 多個組件的功能特性,覆蓋了華為內(nèi)部 IT 超過 90% 領域的應用場景,目前有超過 3000 個華為內(nèi)部用戶。另外具備跨端跨主題的能力,支持一套代碼同時適配 PC 端和移動端,并且實現(xiàn)業(yè)界首創(chuàng)一個組件庫同時支持 Vue2 和 Vue3 版本。
開源生態(tài)與產(chǎn)業(yè)
華為 開源管理中心工程師、LF CHAOSS Board 王曄暉帶來了 OSS-Compass 模型解讀與新功能發(fā)布的相關分享。
王曄暉介紹,OSS-Compass 的愿景和使命是通過構建可持續(xù)演進的開源生態(tài)評估體系和通用平臺;為圍繞開源生態(tài)可持續(xù)發(fā)展制定的各種決策,提供深入、持續(xù)和可靠的數(shù)據(jù)洞察,形成共識。王曄暉帶來了一些新功能,包括評估模型、洞察報告訂閱系統(tǒng)、開發(fā)者里程模型和 Compass lab 等。
報告訂閱系統(tǒng)可方便用戶及時獲取管理或關心社區(qū)的評估報告;開發(fā)者里程模型則幫助用戶了解開源社區(qū)中不同環(huán)節(jié)的體驗和晉升渠道是否通暢,以及軟件版本迭代和運營活動對開發(fā)者的影響;最后,Compass Lab 能夠幫助社區(qū)決策者定制適用于其社區(qū)的評估看板,更好地了解社區(qū)健康狀況。
華為開源安全咨詢獨立顧問王智共同帶來“防微杜漸,構筑企業(yè)開源安全防御體系”專題演講。
全球化 4.0 時代,開源蓬勃發(fā)展,也成為企業(yè)技術創(chuàng)新的有效手段。但開源軟件供應鏈收到廣泛的安全威脅。華為在擁抱開源基礎上,也積極投入資源進行開源安全工具及治理。華為針對軟件供應鏈安全的分析和實踐,包括基于 SBOM 的實踐,如 CI/CD 構建自動生成,合規(guī)和漏洞分析等,以及其他安全防護措施。
王智還分享了 5 個具體的開源安全工具鏈關鍵技術,包括實現(xiàn)“重復可構建”,供應鏈安全得到極大保障;實現(xiàn)“惡意軟件掃描”,有效遏制惡意攻擊場景;“SBOM服務”從源代碼溯源保障安全;漏洞排查與感知服務,提升軟件安全防護水平;數(shù)字簽名,提供軟件制品一致性安全保障。未來,華為將打造可信開源安全體系,構建開源安全產(chǎn)業(yè)生態(tài)。
除卻開源社區(qū)生態(tài)評估與開源安全建設外,開源技術在各產(chǎn)業(yè)中的落地實踐也尤為重要。
華為云云原生開源負責人王澤鋒分享了 KubeEdge 車云協(xié)同平臺創(chuàng)新實踐。
隨著智能化與網(wǎng)聯(lián)化的迅速發(fā)展,汽車應用與云端的聯(lián)系日趨緊密,借助云原生技術,電子架構可從單車架構快速發(fā)展為車云協(xié)同架構。KubeEdge 即 Kube+Edge,顧名思義就是依托 K8s 的容器編排能力和調(diào)度能力,實現(xiàn)云邊協(xié)同、計算下沉、海量設備的平滑接入。
KubeEdge 通過云原生與汽車應用的結合,實現(xiàn)車云協(xié)同平臺的創(chuàng)新架構,構建滿足汽車行業(yè)需求的云原生技術生態(tài)。
華為智能車基礎軟件技術專家丁天虹分享了基于 Linux 的汽車系統(tǒng)的安全。
Linux 在車載系統(tǒng)中被廣泛使用,特別是在電動汽車中,可以很好地處理信息娛樂系統(tǒng),例如智能座艙的 IVI,然而信息娛樂系統(tǒng)只是整個汽車軟件系統(tǒng)的一部分,車載研發(fā)工程師會質(zhì)疑 Linux 在關鍵系統(tǒng)(例如數(shù)字儀表盤、ADAS 和自動駕駛)上的功能安全表現(xiàn),考慮到 Linux 擁有豐富的 AI、圖形和中間件生態(tài)系統(tǒng),許多公司(包括華為)正在嘗試找到一種新的使用方式,使 Linux 能夠同時滿足安全和生態(tài)系統(tǒng)要求。
丁天虹還提出了一些 Linux 安全解決方案建設建議,比如一個簡單的規(guī)則——不進行重大的更改就不可能使 Linux 合格;需要更多思考的問題——操作系統(tǒng)內(nèi)核并不是人工智能輔助駕駛軟件的首要任務;以及改變維度應該遵從安全是一個系統(tǒng)屬性的原則……
eBPF 與 Rust 技術實踐
華為高級軟件工程師鄭振宇分享了eBPF 與私密計算的生態(tài)結合及落地實踐。鄭振宇介紹,云原生時代,將業(yè)務運行在云平臺上意味著要信任各類供應商,這帶來了新的安全挑戰(zhàn)。而機密計算正是由機密計算聯(lián)盟 (CCC) 定義的一個行業(yè)術語:通過在基于硬件的受信任執(zhí)行環(huán)境 (TEE) 中執(zhí)行計算來保護使用中的數(shù)據(jù)。eBPF 作為一種跨平臺技術,可以運行沙盒程序來擴展特權系統(tǒng)組件”,如在 TEE 環(huán)境中,代碼是特權系統(tǒng)組件;在設計時場景中,設計一個擴展程序,將其部署到現(xiàn)有的保密虛擬機/容器/進程/庫中;在運行時場景中,可根據(jù)管理員輸入即時創(chuàng)建一個擴展程序,以在現(xiàn)有的保密虛擬機/容器/進程/庫中運行。
二者結合,便可有效提升安全性。鄭振宇以 openEuler 為例,openEuler 作為一個高性能、高安全、易運維數(shù)字基礎設施開源操作系統(tǒng),提供了機密計算框架 secGear,實現(xiàn)軟硬件協(xié)同,提升安全優(yōu)勢。此外,結合 eBPF 技術,openEuler 也在將內(nèi)核能力、硬件加速能力服務化、集市化,惠及更多的社區(qū)用戶。
華為 Rust 開源技術專家李原分享了 Rust 并行編譯的挑戰(zhàn)與突破。編譯效率緩慢問題是 Rust 語言逐漸走向規(guī)模開發(fā)的道路中,必須面臨的挑戰(zhàn)。如今 Rust 的單線程編譯效率優(yōu)化已面臨瓶頸,并行編譯則成為了突破瓶頸的關鍵技術。但并行編譯技術也面臨著挑戰(zhàn),包括消減共享數(shù)據(jù)結構效率損失、并行環(huán)境內(nèi)存分配器的設計、緩存系統(tǒng)訪問熱點效率瓶頸。當然,面對這些問題,業(yè)內(nèi)也已經(jīng)有了一些應對方案,如使用多線程內(nèi)存分配器、線程分而治之來應對并行環(huán)境內(nèi)存分配器方面的問題。
未來,李原認為,Rust 并行編譯的未來會從四個方面展開,包括抹平共享數(shù)據(jù)結構造成的性能差距,多線程環(huán)境下的編譯器度量方案,針對并行環(huán)境的編譯器測試,深化編譯器并行化。
經(jīng)過在開源領域多年的積累與實踐,華為逐漸形成了自己的開源理念和價值主張,其核心是:深耕基礎軟件、持續(xù)開源創(chuàng)新、積極開源回饋、踐行可持續(xù)開源、使能產(chǎn)業(yè)升級、共培開源文化。
未來,華為也將持續(xù)深耕開源領域。通過持續(xù)貢獻,攜手伙伴,共建世界級開源社區(qū),加速軟件創(chuàng)新和共享生態(tài)繁榮。
(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )