北京時間 5 月 9 日晚,ICLR 2024 會場,GLM大模型技術團隊受邀發(fā)表題為 The ChatGLM's Road to AGI 的主旨演講,全面闡述GLM大模型面向 AGI 三大技術趨勢。
第一,GLM-4的后續(xù)升級版本即GLM-4.5及其升級模型,應當基于超級認知(Superintelligence)和超級對齊(Superalignment)技術。
GLM大模型團隊認為,文本是構建大模型最關鍵的基礎,但下一步則應該把文本、圖像、視頻、音頻等多種模態(tài)混合在一起訓練,構建真正原生的多模態(tài)模型,同時超級對齊(Superalignment)技術將協(xié)助提升大模型的安全性。
第二,為解決更加復雜的問題,GLM大模型團隊提出GLM-OS概念,即以大模型為中心的通用計算系統(tǒng)。在ICLR現場,GLM大模型團隊詳細闡述了GLM-OS的實現方式:基于已有 All-Tools 能力加上內存記憶(memory)和自我反饋(self-reflection) 機制,GLM-OS 有望實現模仿人類的Plan-Do-Check-Act 循環(huán)。
首先做出計劃,然后初步嘗試形成反饋,基于反饋結果調整規(guī)劃,然后再行動以期達到更好的效果。大模型依靠PDCA循環(huán)機制形成自我反饋和自我提升——恰如人類自己所做一樣。
第三,GLM大模型團隊還在現場講解了自2019年以來團隊就一直在研究的名為GLM-zero的技術。GLM-zero旨在研究人類的“無意識”學習機制。“當人在睡覺的時候,大腦依然在無意識地學習。”GLM大模型團隊表示,“無意識”學習機制是人類認知能力的重要組成部分,包括自我學習(self-instruct)、自我反思(self-reflection)和自我批評(self-critics)。
人腦中存在著反饋 (feedback) 和決策 (decision-making) 兩個系統(tǒng),分別對應著大模型和內存記憶兩大部分,GLM-zero的相關研究將進一步拓展人類對意識、知識、學習行為的理解,換而言之,盡管還處于非常早期的研究階段,但GLM-zero可以視為通向AGI的必經之路,這是GLM大模型團隊第一次向外界公開這一技術趨勢。
除了闡述GLM大模型面向AGI的三大技術趨勢,GLM大模型技術團隊在ICLR主旨演講中還回顧了國產自研大模型 ChatGLM 的演進之路,向現場近2000名與會嘉賓與學者介紹了GLM系列大模型多項前沿研究成果,涵蓋數學、文生圖、圖像理解、視覺UI理解、Agent智能體、涌現現象等領域。這是中國大模型團隊首度登上 ICLR 主旨演講環(huán)節(jié)。
ICLR 國際學習表征會議由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 在2013年牽頭舉辦,與ICML、NeurIPS 并稱為機器學習領域水平最高會議之一。5月7日,ICLR 2024 在奧地利維也納會展中心開幕,受新一波人工智能浪潮推動,本屆ICLR在參展人數、展覽規(guī)模、論文數量上均創(chuàng)新高。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )