1月3日,上海市“人工智能+”行動推進大會暨中國—金磚國家人工智能發(fā)展與合作中心基地啟用儀式舉辦。中國電信CTO、首席科學家、中國電信人工智能研究院(TeleAI)院長李學龍教授受邀參會并發(fā)表主旨演講,分享了人工智能領域的一項落地關鍵技術——智傳網(AI Flow)。
李學龍介紹,“連接”是人工智能發(fā)展的關鍵,落實“人工智能+”行動正是要將技術創(chuàng)新與產業(yè)需求緊密連接。智傳網讓“智能”也可以連接起來,擺脫設備和平臺的限制,在端、邊、云之間自由流動,隨需響應,隨處而至。
在研發(fā)布局上,中國電信擁有云網融合、AI、量子與安全等技術優(yōu)勢,且在算力、數據方面構建了“息壤”一體化智算平臺、“星?!睌祿悄苤信_?;诖?,TeleAI重點進行智能光電、智能體、智傳網、AI治理的研究,形成“三智”+“一治”的戰(zhàn)略布局。
智傳網是通過網絡分層架構,基于智能體間的連接,以及智能體和人的交互,實現智能傳遞和涌現。它可以打通由AI驅動的“三大空間”,即賽博空間、臨地空間、廣域空間,是下一代人工智能發(fā)展的必經之路。
智傳網提供了一種新的服務模式,能夠發(fā)揮中國電信網絡優(yōu)勢,解決數據傳輸延遲高、網絡帶寬占用大等問題。人們的未來生活將無不充滿智能的流動,所有指令都通過可穿戴設備交互完成,一切都是高效的、有序的、便捷的。
然而,智傳網面臨著一個非常重要的問題,就是在不同的應用場景中,所需要的“智能”各不相同;在不同的計算平臺中,能提供的“智能”上限亦不同。那么,如何去量化這種“智能”,從而按需所???
TeleAI在智傳網的研究中,引入了一系列基礎理論,這其中包含一個重要概念——“信容定律”。
信容是信息量與數據量的比值,即單位數據的信息表示能力。在信容定律中,信息量是數據集的平均熵與模型訓練損失交叉熵的差,再乘以數據集 Token 的數量。如果以模型的參數量作為數據量,那么兩者之比,就是模型的信容。
信容定律為AI的發(fā)展指明了航向,智能是可以被度量的,是可以被連接的,是可以被傳遞的。當拿到一個數據集的時候,不是只看它的大小,而是根據目標訓練的模型規(guī)模,為它匹配相應大小的數據集,并評估數據質量,從而去度量模型的智能水平。進而可以根據不同任務、不同計算資源,去定制出一系列大小不等且同源的家族模型,從而提升模型的效率。這正是智傳網的第一個關鍵點,即通過家族模型協(xié)同,實現向上或向下兼容,以多種方式進行切換。
與普通的大小模型協(xié)同不同,在智傳網中家族模型的特征是對齊的,不需要額外的中間件(Middleware)就可以流暢地共享信息。當把多個家族模型部署在網絡的不同層上,還能實現分布式計算,大幅提升模型的推理效率。
智傳網的第二個關鍵點是基于連接和交互的智能涌現。大模型的發(fā)展依賴于數據驅動下的智能涌現,根據行業(yè)預測,高質量數據資源正在枯竭,不久的將來,新數據生成的速度會遠遠趕不上數據的消耗速度,這將限制AI能力的進一步提升。為了突破這個瓶頸,智傳網實現了基于數據的智能涌現邁向基于連接和交互的智能涌現。通過模型間的連接協(xié)作、知識共享及與外部環(huán)境的交互,將表現出超越單個模型能力上限的智能涌現能力。
智傳網的第三個關鍵點是模型復刻和智能萃取,可以類比成將智能種植到一個新的大腦。這個過程不是簡單的知識蒸餾或遺忘學習(Unlearning),而是剔除老模型中的無效信息,萃取最精華的智能,從而得到更加精煉、與之同源且能不斷成長的模型,以適應變化的環(huán)境、場景和需求。
據了解,專注于人工智能創(chuàng)新與應用的中國電信人工智能研究院(TeleAI)2024年5月在上海落成,目標是發(fā)展有場景、能落地,規(guī)?;腁I技術,并打造可信任的國家人工智能基座,面向世界的舞臺,讓AI既能創(chuàng)造科學價值,又能創(chuàng)造經濟價值。
免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。