網易攜手昇騰AI打造玉知-悟空圖文理解大模型,做更“懂你”的產品

不少人都有過這樣的“心動”體驗:上班路上打開網易新聞,推薦內容恰好是自己最近關注的行業(yè)動態(tài);下班途中打開網易云音樂,驚喜的發(fā)現了幾個小眾寶藏歌手,忍不住直呼“網易云真是太懂我了!”

個性化的推薦機制像一個貼心的朋友,在互聯網的海量信息中,總能捕捉到最合你心意的那個。

個性化推薦機制的背后:多模態(tài)大模型保駕護航

作為國內專業(yè)從事游戲與泛娛樂AI研究和應用的頂尖機構,網易伏羲于2021年起著力打造“玉知”多模態(tài)理解大模型?;趫D片-文本雙塔結構,先后訓練了2億、4億、9億參數的“玉知”版本。同時,利用網易伏羲開源的EET高效推理框架,對模型壓縮、算法適配、硬件底層等方面進行優(yōu)化,使其推理速度提升4倍,滿足了線上的高并發(fā)需求,降低了部署資源的損耗。

在業(yè)務數據集的zero-shot評測中,“玉知”多模態(tài)理解大模型優(yōu)于Chinese-CLIP的CN-CLIPViT-H/14。

 “玉知”多模態(tài)理解大模型目前已在網易的多個業(yè)務場景中落地驗證,為個性化推薦機制保駕護航:網易新聞基于“玉知”構建的圖文內容表征,在推薦環(huán)節(jié)采用基于該圖文向量的dropoutnet召回優(yōu)化,對召回源、列表頁視頻試投、列表頁試投整體等效果明顯改進,實現視頻和整體大盤的業(yè)務指標提升;網易云音樂基于“玉知”構建的內容表征引擎和內容相似檢索引擎,在云音樂視頻、長音頻、廣告等多個業(yè)務中,實現了對內容冷啟動效率、CTR預估模型的優(yōu)化,帶來顯著收益。


網易+昇騰AI:創(chuàng)造1+1>2的智能體驗

為了更好的使能大模型應用創(chuàng)新,昇騰AI構建了從規(guī)劃、開發(fā)到產業(yè)化的大模型全流程使能體系,并于2022年正式發(fā)布了昇騰AI大模型開發(fā)使能平臺,打通了大模型從開發(fā)到部署的全流程。

在大模型的開發(fā)上,通過昇思MindSpore提供的自動混合并行API來加速訓練過程,利用高階的Transformer API,百行代碼實現千億級參數的模型開發(fā),同時獲得更好的模型性能;為加速大模型場景化適配,打造了豐富的微調套件,已成功應用于紫東太初大模型開放服務平臺建設,支持小樣本訓練和模型一鍵微調;在大模型的推理部署上,昇騰AI提供的模型壓縮工具,在精度基本無損的情況下,降低了70%計算量,提升了20%以上的推理性能。

為了給用戶帶來更好的智能體驗,網易伏羲聯合昇思MindSpore及華為諾亞團隊,充分分析互聯網行業(yè)數據集特性,對多模態(tài)模型結構進行優(yōu)化,優(yōu)選合適編碼器并采用多階段訓練模式,基于昇騰AI大模型開發(fā)使能平臺,共同打造了玉知-悟空圖文理解大模型。

玉知-悟空圖文理解大模型可廣泛應用在互聯網推薦搜索等業(yè)務中,通過提取圖文的特征進行相關的檢索。在網易視頻推薦業(yè)務的應用中,玉知-悟空圖文理解大模型在核心算法指標中得到近5%的提升,效果遠超預期。未來,聯合團隊將進一步將成果應用到網易新聞、網易云音樂等更豐富的業(yè)務場景中,提升最終用戶的個性化體驗。

當被輸入豐富的行業(yè)知識時,更精更專的大模型將顯現出巨大的應用價值。昇騰AI大模型開發(fā)使能平臺,已經具備了支持大模型開發(fā)所需的各項核心技術,同時提供了一整套高效、易用的大模型使能套件,形成了端到端的使能大模型開發(fā)能力。未來,昇騰AI將聯合網易以及更多行業(yè)伙伴共建共享,助力大模型創(chuàng)新,為繁榮AI產業(yè)生態(tài)鋪就一條信心之路。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )

贊助商
2023-03-17
網易攜手昇騰AI打造玉知-悟空圖文理解大模型,做更“懂你”的產品
不少人都有過這樣的“心動”體驗:上班路上打開網易新聞,推薦內容恰好是自己最近關注的行業(yè)動態(tài);下班途中打開網易云音樂,驚喜的發(fā)現了幾個小眾寶藏歌手,忍不住直呼“網易云真是太懂我了!”個性化的推薦機制像一個貼心的朋友,在互聯網的海量信息中,總能捕捉到最合你心意的那個...

長按掃碼 閱讀全文