Meta發(fā)布最強(qiáng)開源模型Llama 3.1 405B，扎克伯格：明年開源大模型全面領(lǐng)先閉源

7月24日消息，Meta推出開源模型Llama 3.1，包括3個(gè)大小版本，分別是迄今為止最強(qiáng)大的開源模型Llama 3.1 405B，以及全新升級(jí)的Llama 3.1 70B和8B模型。

Meta CEO扎克伯格的公開信也在官網(wǎng)貼出，他指出，開源大模型正在迅速縮小差距。去年，Llama 2 還只能與上一代閉源模型性能相當(dāng)；今年，Llama 3 與最先進(jìn)的模型相媲美，并在某些領(lǐng)域處于領(lǐng)先地位；從明年開始，預(yù)計(jì)未來的Llama模型將成為業(yè)內(nèi)最先進(jìn)的。

同時(shí)，Meta AI宣布已接入Llama 3.1 405B，并推出AI圖片編輯、AI編程等新功能。

Llama 3.1 405B性能超GPT-4o，采用超16000個(gè)H100 GPU訓(xùn)練

Meta在公開文檔中介紹，Llama 3.1將上下文長度擴(kuò)展到 128K，增加了對八種語言的支持。

其中，Llama 3.1 405B在基于15萬億個(gè)Tokens、超16000個(gè)H100 GPU上進(jìn)行訓(xùn)練，這是Meta有史以來第一個(gè)以這種規(guī)模進(jìn)行訓(xùn)練的Llama模型。

Llama 3.1 405B 在常識(shí)、可操縱性、數(shù)學(xué)、工具使用和多語言翻譯方面的最先進(jìn)能力方面可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等頂級(jí) AI 模型相媲美。

最新推出的Llama 3.1 8B 和 70B 模型的升級(jí)版本，支持相同的128K Tokens上下文窗口、多語言、改進(jìn)的推理和最先進(jìn)的工具使用，能夠支持高級(jí)應(yīng)用，例如長篇文本摘要、多語言對話代理和編碼助手。

升級(jí)后的Llama 3.1 8B和70B模型，相比于同樣參數(shù)大小的模型如Gemma2 9B、GPT3.5 Turbo等性能表現(xiàn)也更好。

另外，在現(xiàn)實(shí)場景中，Llama 3.1 405B進(jìn)行了與人工評估的比較，總體表現(xiàn)優(yōu)于GPT-4o和Claude 3.5 Sonnet。

Meta還對許可證進(jìn)行了更改，允許開發(fā)人員使用 Llama 模型（包括 405B）的輸出來改進(jìn)其他模型。

從今天開始，Meta將在 llama.meta.com 和 Hugging Face 上提供這些模型供下載，用戶可在合作伙伴平臺(tái)生態(tài)系統(tǒng)上立即開發(fā)。

扎克伯格：通過封閉大模型來防止中國獲得AI優(yōu)勢，行不通

在Llama 3.1發(fā)布之際，扎克伯格還發(fā)表了題為《開源AI是前進(jìn)的道路》的署名文章。

扎克伯格認(rèn)為，今天，幾家科技公司正在開發(fā)領(lǐng)先的閉源模型，但開源正在迅速縮小差距。

去年，Llama 2 還只能與上一代閉源模型相當(dāng)；今年，Llama 3 與最先進(jìn)的模型相媲美，并在某些領(lǐng)域處于領(lǐng)先地位。從明年開始，預(yù)計(jì)未來的 Llama 模型將成為業(yè)內(nèi)最先進(jìn)的。

在文章中，扎克伯格從三個(gè)方面談到了開源AI的好處，以下為重點(diǎn)摘要：

1、為什么開源AI對開發(fā)人員有好處

我們需要掌控自己的命運(yùn)，而不是被鎖定在封閉的供應(yīng)商身上。許多組織不想依賴他們無法運(yùn)行和控制的模型。他們不希望封閉模型提供商能夠更改他們的模型、更改他們的使用條款，甚至完全停止為他們提供服務(wù)。他們也不想被鎖定在擁有模型專有權(quán)的單一云中。開源使擁有兼容工具鏈的廣泛公司生態(tài)系統(tǒng)成為可能，您可以輕松地在這些工具鏈之間移動(dòng)。

我們需要保護(hù)我們的數(shù)據(jù)。許多組織處理需要保護(hù)的敏感數(shù)據(jù)，并且不能通過云 API 將其發(fā)送到封閉模型。其他組織根本不信任封閉模型提供商處理他們的數(shù)據(jù)。開源通過允許開發(fā)者在任何地方運(yùn)行模型來解決這些問題。人們普遍認(rèn)為，開源模型往往更安全，因?yàn)樗拈_發(fā)更加透明。

2、為什么開源AI對Meta有利

人們經(jīng)常問我是否擔(dān)心開源 Llama 會(huì)使得Meta失去技術(shù)優(yōu)勢，但我認(rèn)為這忽略了大局，原因如下：

首先，為了確保我們能夠使用最好的技術(shù)，并且不會(huì)長期被鎖定在封閉的生態(tài)系統(tǒng)中，Llama 需要發(fā)展成為一個(gè)完整的生態(tài)系統(tǒng)。如果我們是唯一一家使用 Llama 的公司，這個(gè)生態(tài)系統(tǒng)就不會(huì)發(fā)展。

其次，我預(yù)計(jì)人工智能開發(fā)將繼續(xù)非常具有競爭力，這意味著開源任何給定的模型并不會(huì)放棄當(dāng)時(shí)相對于下一個(gè)最佳模型的巨大優(yōu)勢。Llama 成為行業(yè)標(biāo)準(zhǔn)的道路是一代又一代地保持競爭力、效率和開放。

第三，Meta 和封閉模型提供商之間的一個(gè)關(guān)鍵區(qū)別是，出售人工智能模型的訪問權(quán)限不是我們的商業(yè)模式。這意味著公開發(fā)布 Llama 不會(huì)像閉源模型提供商那樣削弱我們的收入、可持續(xù)性或投資研究的能力。（這也是一些閉源模型提供商不斷游說政府反對開源的原因之一。）

最后，Meta 擁有悠久的開源項(xiàng)目和成功歷史。我們通過開放計(jì)算項(xiàng)目發(fā)布我們的服務(wù)器、網(wǎng)絡(luò)和數(shù)據(jù)中心設(shè)計(jì)，并讓供應(yīng)鏈在我們的設(shè)計(jì)上實(shí)現(xiàn)標(biāo)準(zhǔn)化，從而節(jié)省了數(shù)十億美元。我們通過開源領(lǐng)先的工具（如 PyTorch、React 等）從生態(tài)系統(tǒng)的創(chuàng)新中受益。只要我們長期堅(jiān)持，這種方法就一直對我們有效。

3、為什么開源AI對世界有益

與任何其他現(xiàn)代技術(shù)相比，AI 更具有潛力提高人類的生產(chǎn)力、創(chuàng)造力和生活質(zhì)量，并加速經(jīng)濟(jì)增長，同時(shí)推動(dòng)醫(yī)學(xué)和科學(xué)研究的進(jìn)步。開源將確保全世界更多的人能夠享受 AI 帶來的好處和機(jī)會(huì)，權(quán)力不會(huì)集中在少數(shù)公司手中，并且該技術(shù)可以更均勻、更安全地部署到整個(gè)社會(huì)。

有些人認(rèn)為，我們必須封閉我們的模型，以防止中國獲得這些模型，但我認(rèn)為這行不通，只會(huì)讓美國及其盟友處于不利地位。

將美國創(chuàng)新限制在封閉開發(fā)中，增加了我們完全無法領(lǐng)先的可能性。相反，我認(rèn)為我們最好的策略是建立一個(gè)強(qiáng)大的開放生態(tài)系統(tǒng)，讓我們的領(lǐng)先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進(jìn)展，并在長期內(nèi)實(shí)現(xiàn)可持續(xù)的先發(fā)優(yōu)勢。

我相信 Llama 3.1 版本將成為行業(yè)的一個(gè)轉(zhuǎn)折點(diǎn)，大多數(shù)開發(fā)人員將開始主要使用開源。

接入Llama 3.1 405B的Meta AI

最后，再看看已經(jīng)接入Llama 3.1 405B大模型的Meta AI還能怎么玩兒。此次推出的一批新的Meta AI創(chuàng)意工具主要聚焦視覺生成、數(shù)學(xué)和編碼等領(lǐng)域。Meta AI也放出了一些演示視頻。

以復(fù)雜推理為例，根據(jù)提示：“我有 3 件襯衫、5 條短褲和 1 件太陽裙。我要旅行 10 天，我的假期夠穿嗎？”，Meta AI能給出一些好的建議。

或者通過編碼助手，Meta AI能創(chuàng)建一個(gè)使用遞歸回溯算法或深度優(yōu)先搜索算法生成完美迷宮的程序，具有可自定義的大小和復(fù)雜性。（果青）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。