華為云田奇:如何煉成盤古行業(yè)大模型

在華為開發(fā)者大會2023(Cloud)上,華為云人工智能領域首席科學家田奇演講中表示,華為云將踐行AI for Industries,將盤古大模型打造成行業(yè)大模型,助力千行百業(yè)智能化升級。

華為云人工智能領域首席科學家田奇

田奇表示,生成式AI是智能化升級的新浪潮,大模型是生成式AI的核心。但目前全球基于大模型開發(fā)ToB應用的企業(yè)還不到三分之一,行業(yè)中的海量業(yè)務場景迫切需要更多專業(yè)的大模型和專業(yè)的AI應用來解決,來彌補通用大模型落地行業(yè)的不足。

他認為,通用大模型落地行業(yè)需要解決專業(yè)性、技能和數(shù)據(jù)安全合規(guī)三方面的挑戰(zhàn)。

首先,通用大模型雖然通用性強,但專業(yè)性弱,需要具備行業(yè)專業(yè)知識才能給出專業(yè)準確的回答。其次,通用大模型雖然知識面廣,但技能不足,企業(yè)場景復雜,需要模型具備多種技能。最后,數(shù)據(jù)安全合規(guī)也是一個挑戰(zhàn),因為數(shù)據(jù)是企業(yè)的核心資產(chǎn)之一,訓練和使用大模型需要保障企業(yè)的數(shù)據(jù)安全合規(guī)。

為了應對這一挑戰(zhàn),華為云基于實踐打造了分層解耦的大模型架構(gòu),加速大模型落地千行百業(yè)。該架構(gòu)分為三層:L0、L1和L2。L0層是基礎大模型,包括語言、視覺、多模態(tài)、預測、科學計算等五大基礎模型,以及基于有監(jiān)督微調(diào)和強化學習的上百種能力集。L1層是行業(yè)大模型,基礎大模型學習行業(yè)知識,適配行業(yè)工作流程,形成具備專業(yè)能力的行業(yè)大模型。L2層是場景模型服務,提供開箱即用的AI應用。

田奇介紹了華為深耕行業(yè),讓盤古大模型從“知”到“行”的四大關(guān)鍵舉措:

沉淀行業(yè)知識:學習10多個行業(yè)的公開數(shù)據(jù)和專有數(shù)據(jù),掌握豐富的行業(yè)知識和機理。

淬煉行業(yè)技能:結(jié)合專家和行業(yè)數(shù)字環(huán)境的反饋進行強化學習,以達到符合行業(yè)應用的最佳結(jié)果。

對話專業(yè)工具:打通10多個行業(yè)插件,包括數(shù)學計算、知識圖譜、求解器等,讓大模型能重用大量行業(yè)資產(chǎn)、行業(yè)工具。

保障安全合規(guī):提供公有云、混合云、大模型專區(qū)三種部署模式,保障安全部署;建立長效機制,確保數(shù)據(jù)集來源和使用合規(guī)、數(shù)據(jù)全生命周期安全、構(gòu)建完整的數(shù)據(jù)標注以及審核機制、構(gòu)建模型合規(guī)使用政策、確保模型使用邊界。

此外,田奇還展示了華為云盤古大模型工程化套件,覆蓋了數(shù)據(jù)處理、模型訓練和應用開發(fā)三大環(huán)節(jié)。該套件提供了基于模板的Prompt在線輔助撰寫功能、多人Rank在線標注和任務分撥功能等數(shù)據(jù)工程能力;提供了自監(jiān)督預訓練、有監(jiān)督SFT訓練、強化學習訓練等三種工作流,支持一站式開發(fā);提供了多種API和可調(diào)用工具,支撐企業(yè)分鐘級構(gòu)建大模型原生應用。

田奇表示,盤古大模型工程化套件把復雜的大模型開發(fā)過程,流程化,標準化,簡單化,幫助行業(yè)用戶一鍵啟動,實現(xiàn)一站式開發(fā)?;谌A為云盤古大模型工程化套件,完成一個千億行業(yè)模型端到端的開發(fā),從過去需要5個月縮短到現(xiàn)在1個月,整體速度提升5倍。田奇以學習和共建語言范式的盤古阿拉伯語大模型、發(fā)現(xiàn)和預測自然規(guī)律的盤古氣象大模型以及理解和驅(qū)動行業(yè)升級的盤古鐵路大模型這三個行業(yè)大模型為例,介紹了華為云如何以沉淀的工作方法和工程套件,為這些行業(yè)帶來的全新革新。

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )