王海峰：文心大模型訓練效率提升到5.1倍 推理105倍

4月16日，以“創(chuàng)造未來”為主題的Create 2024百度AI開發(fā)者大會在深圳國際會展中心成功舉辦。百度首席技術官王海峰以“技術筑基，星河璀璨”為題，發(fā)表演講，解讀了智能體、代碼、多模型等多項文心大模型的關鍵技術和最新進展。

自去年3月16日發(fā)布知識增強大語言模型文心一言以來，百度不斷迭代升級文心大模型，技術創(chuàng)新不斷，從知識增強、檢索增強，進一步發(fā)展出知識點增強；基于更大的算力、更多的數(shù)據(jù)和更強的算法，依托飛槳平臺，從文心3.0、3.5，到4.0，文心大模型能力愈加強大，效果和性能全面提升。

王海峰表示，智能體是重要的發(fā)展方向，會帶來更多的應用爆發(fā)。智能體是在基礎模型上，進一步進行思考增強訓練，包括思考過程的有監(jiān)督精調(diào)、行為決策的偏好學習、結(jié)果反思的增強學習，進而得到思考模型。智能體的思考模型像人一樣，會閱讀說明書，學習工具的使用方法，進而可以調(diào)用工具來完成任務。

王海峰解讀了智能體的思考過程，演示了智能體如何經(jīng)過思考調(diào)用工具。在文心大模型4.0工具版上，提問“我要到大灣區(qū)出差一周。想了解一下天氣變化，好決定帶什么衣服。請幫我查一下未來一周北京和深圳的溫度，告訴我出差應該帶什么衣服，并整理成表格?！敝悄荏w就像人一樣，通過思考、規(guī)劃，把用戶需求拆解成多個子任務，首先調(diào)用“高級聯(lián)網(wǎng)”工具來查詢天氣信息，然后調(diào)用“代碼解釋器”畫溫度趨勢圖，根據(jù)未來一周的天氣情況，選擇了合適的衣物，最后對結(jié)果進行思考、確認，并自動匯總成一個表格。

從萬億級訓練數(shù)據(jù)中，文心大模型既學到了自然語言的能力，也學到了代碼能力，打通從思考到執(zhí)行的過程?；谖男拇竽Ｐ偷倪@兩種能力，百度開發(fā)了代碼智能體和智能代碼助手。王海峰表示：“代碼智能體，讓大家都能做之前只有程序員才能做的事，人人都可以成為程序員；智能代碼助手，則幫助專業(yè)的程序員更高效地寫出更好的代碼，可以說是程序員的AI同儕。”

代碼智能體是在“用模型寫代碼讓復雜的任務變簡單”，思考模型加上代碼解釋器，構(gòu)成了代碼智能體。首先，思考模型理解用戶需求，經(jīng)過思考，把完成任務的指令和相關信息整合成提示，輸入給代碼解釋器；然后，代碼解釋器根據(jù)提示，把自然語言表達的用戶需求翻譯成代碼并執(zhí)行，得到執(zhí)行結(jié)果或者調(diào)試信息；接著，思考模型對代碼解釋器的執(zhí)行結(jié)果進行反思確認，如果正確，就把結(jié)果返回給用戶，不正確就繼續(xù)進行自主迭代更新。

王海峰演示了用代碼智能體為本次Create大會嘉賓定制邀請函，代碼智能體首先理解了邀請函模版內(nèi)容，然后生成代碼并執(zhí)行，把嘉賓姓名填寫到合適位置，新生成的邀請函文件以嘉賓的名字命名，最后輸出打包好的多張邀請函。

大會現(xiàn)場，王海峰進一步透露，在模型效果不斷提升的基礎上，百度進一步構(gòu)建了上下文增強、私域知識增強、流程無縫集成等能力。目前智能代碼助手Comate整體采納率達到了46%，新增代碼中生成的比例已經(jīng)達到了27%。Comate把代碼理解、生成、優(yōu)化等能力無縫集成到研發(fā)流程的各個環(huán)節(jié)，就像助理一樣，幫助提升代碼開發(fā)質(zhì)量和效率。Comate展示了幫助工程師接手代碼的過程，通過一條簡單的指令，就可以快速了解整個代碼的架構(gòu)，甚至是每一個模塊的具體實現(xiàn)邏輯，還可以根據(jù)當前的項目代碼以及第三方代碼自動生成滿足要求的新代碼。

王海峰現(xiàn)場還分享了多模型技術。他表示，在大模型應用落地過程中，效果，效率和成本都很重要。在實際應用中，需要從場景需求出發(fā)，選擇最適合的模型。一方面，是高效低成本的模型生產(chǎn)；另一方面，是多模型推理。高效低成本模型生產(chǎn)方面，百度研制了大小模型協(xié)同的訓練機制，可以有效進行知識繼承，高效生產(chǎn)高質(zhì)量小模型，也可以利用小模型實現(xiàn)對比增強，幫助大模型的訓練。同時，建設了種子模型矩陣，數(shù)據(jù)提質(zhì)與增強機制，以及從預訓練、精調(diào)對齊、模型壓縮到推理部署的配套工具鏈。高效低成本模型生產(chǎn)機制，助力應用速度更快、成本更低、效果更好。多模型推理方面，百度研制了基于反饋學習的端到端多模型推理技術，構(gòu)建了智能路由模型，進行端到端反饋學習，充分發(fā)揮不同模型處理不同任務的能力，達到效果、效率和成本的最佳平衡。

除了智能體、代碼和多模型技術，文心大模型在其他方面也持續(xù)創(chuàng)新，包括基于模型反饋閉環(huán)的數(shù)據(jù)體系、基于自反饋增強的大模型對齊技術，以及多模態(tài)技術等。王海峰現(xiàn)場公布，文心大模型4.0的效果持續(xù)提升，發(fā)布后的半年時間，又提升了52.5%。

文心大模型的持續(xù)快速進化，得益于百度在芯片、框架、模型和應用上的全棧布局，尤其是飛槳深度學習平臺和文心的聯(lián)合優(yōu)化。文心大模型的周均訓練有效率達到98.8%，相比一年前文心一言發(fā)布時，訓練效率提升到當時的5.1倍，推理105倍。截至目前，飛槳文心生態(tài)已凝聚1295萬開發(fā)者，服務24.4萬家企事業(yè)單位，基于飛槳和文心創(chuàng)建89.5萬個模型。

王海峰表示，文心一言累計用戶規(guī)模已達2億，日均調(diào)用量也達到了2億，高效滿足了用戶工作、生活和學習需求。

最后，王海峰介紹了百度AI人才計劃的最新進展，百度在2020年提出了5年為全社會培養(yǎng)500萬AI人才，目前這一目標已提前達成。他表示，“未來，我們將繼續(xù)投身人才培養(yǎng)，讓人才的點點星光，匯成璀璨星河。智能時代，人人都是開發(fā)者，人人都是創(chuàng)造者，讓我們一起，創(chuàng)造美好未來?！?/p>

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。