2月11日消息，近日，IBM科技記者Aili McConnon發(fā)表一篇題為《DeepSeek’s reasoning AI shows power of small models, efficiently trained》（《DeepSeek 推理型AI盡顯高效訓(xùn)練的小模型之威》）的文章。其中多位IBM專家盛贊DeepSeek的推理能力及開源策略。
目前，DeepSeek-R1的Llama 3.1 8B 和 Llama 3.3 70b 蒸餾版本已在 IBM 的企業(yè)級 AI 開發(fā)平臺 watsonx.ai 上提供，支持用戶部署專用實例進(jìn)行安全推理。
在上述文章中，IBM AI 硬件部門的一位首席研究科學(xué)家兼經(jīng)理 Kaoutar El Maghraoui 說：”DeepSeek 無疑正在重塑人工智能的格局，它以開源的雄心和最先進(jìn)的創(chuàng)新技術(shù)向巨頭們發(fā)起挑戰(zhàn)?！?/p>
IBM杰出工程師Chris Hay說："他們在模型成本方面所做的工作，以及他們訓(xùn)練模型所花費的時間，確實令人印象深刻。"
IBM 院士（IBM Fellow）Kush Varshney說：”真正令人印象深刻的是DeepSeek模型的推理能力。”推理模型本質(zhì)上是自我驗證或檢查，代表了一種 “元認(rèn)知“或 “關(guān)于思考的思考”。 “我們正開始將智慧融入到這些模型中，這是巨大的進(jìn)步，” Varshney 說。
Kush Varshney還認(rèn)為，全球AI競賽中的地緣政治差異，可能沒有人們想象的那么重要，他說："一旦模型開源，它源自何處在很多方面就不再重要了。"
以下為《DeepSeek 推理型AI盡顯高效訓(xùn)練的小模型之威》全文：
DeepSeek-R1 是中國初創(chuàng)公司 DeepSeek 推出的人工智能模型，不久前，在人工智能開源平臺 Hugging Face 上發(fā)布數(shù)小時，便躍居下載量和活躍度最高模型的榜首；同時因其促使投資者重新考慮英偉達(dá)（NVIDIA）等芯片制造商的估值，以及AI巨頭為擴(kuò)大其AI業(yè)務(wù)規(guī)模而進(jìn)行的巨額投資，從而給金融市場也帶來了震蕩。
為何掀起如此大的波瀾？DeepSeek-R1 是一款所謂 "推理模型 "的數(shù)字助理，在某些數(shù)學(xué)和編碼任務(wù)的人工智能基準(zhǔn)測試中，它的表現(xiàn)與 OpenAI 的 o1 不相上下；而據(jù)該公司稱，訓(xùn)練該系統(tǒng)所使用的芯片數(shù)量卻要少得多，使用成本低約 96%。
IBM AI 硬件部門的一位首席研究科學(xué)家兼經(jīng)理 Kaoutar El Maghraoui 說："DeepSeek 無疑正在重塑人工智能的格局，它以開源的雄心和最先進(jìn)的創(chuàng)新技術(shù)向巨頭們發(fā)起挑戰(zhàn)。"
與此同時，TikTok 母公司、中國科技巨頭字節(jié)跳動最近發(fā)布了自己的推理型代理（智能體）UI-TARS，并聲稱該智能體在某些基準(zhǔn)測試中優(yōu)于 OpenAI 的 GPT-4o、Anthropic 的 Claude 和谷歌的 Gemini。字節(jié)跳動的智能體可以讀取圖形界面，進(jìn)行推理，并采取自主和一步接一步的行動。
從初創(chuàng)公司到成熟巨頭，中國的人工智能公司似乎正在縮小與美國競爭對手的差距，這在很大程度上要歸功于它們愿意開源或與其他企業(yè)和軟件開發(fā)商共享底層軟件代碼。IBM花崗巖（Granite）模型高級技術(shù)產(chǎn)品經(jīng)理Abraham Daniels說："DeepSeek已經(jīng)能夠在整個社區(qū)推廣一些相當(dāng)強(qiáng)大的模型。DeepSeek真的有可能加速人工智能的民主化。"DeepSeek-R1在 Hugging Face 上提供，根據(jù)MIT 許可證，允許不受限制地用于商業(yè)用途。
去年夏天，中國公司快手（Kuaishou）發(fā)布了一款視頻生成工具，它與 OpenAI 的索拉（Sora）類似，但公眾可以直接使用。Sora 于去年 2 月亮相，但直到 12 月才正式發(fā)布，即便如此，也只有訂閱了 ChatGPT Pro 的用戶才能使用其全部功能。Hugging Face 上的開發(fā)者還搶購了中國科技巨頭騰訊和阿里巴巴的新開源模式。雖然 Meta 已將其 Llama 模型開源，但 OpenAI 和谷歌在模型開發(fā)方面都主要采用閉源方式。
除了開源帶來的好處外，DeepSeek 工程師在訓(xùn)練系統(tǒng)時使用的英偉達(dá)（NVIDIA）高度專業(yè)化芯片也僅為美國競爭對手的一小部分。例如，DeepSeek 工程師在發(fā)布 DeepSeek-V3 模型時發(fā)表的研究論文稱，他們只需要 2000 個 GPU（圖形處理單元）或芯片就能訓(xùn)練出他們的模型。
推理模型
IBM 院士（IBM Fellow） Kush Varshney說："真正令人印象深刻的是DeepSeek模型的推理能力。"推理模型本質(zhì)上是自我驗證或檢查，代表了一種 "元認(rèn)知"或 "關(guān)于思考的思考"。 "我們正開始將智慧融入到這些模型中，這是巨大的進(jìn)步，" Varshney 說。
去年 9 月，當(dāng) OpenAI 預(yù)覽其 o1 推理模型時，推理模型成為熱門話題。與以往只給出答案而不解釋推理過程的人工智能模型不同，它通過將復(fù)雜問題分成幾個步驟來解決。推理模型可能需要多花幾秒或幾分鐘來回答問題，因為它們會一步一步或以 "思維鏈"的方式來反思自己的分析。
強(qiáng)化學(xué)習(xí)
DeepSeek-R1將思維鏈推理與強(qiáng)化學(xué)習(xí)相結(jié)合，在強(qiáng)化學(xué)習(xí)中，自主智能體在沒有人類用戶任何指令的情況下，通過反復(fù)試錯學(xué)會執(zhí)行任務(wù)。強(qiáng)化學(xué)習(xí)有別于更常用的學(xué)習(xí)形式，如監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，前者使用人工標(biāo)注的數(shù)據(jù)進(jìn)行預(yù)測或分類，后者旨在從無標(biāo)注的數(shù)據(jù)中發(fā)現(xiàn)和學(xué)習(xí)隱藏的模式。
DeepSeek-R1 質(zhì)疑了這樣一種假設(shè)，即通過對正確或錯誤行為的標(biāo)記示例進(jìn)行訓(xùn)練，或者從隱藏模式中提取信息，模型的推理能力就會得到提高。密歇根州立大學(xué)博士生張逸驊撰寫了數(shù)十篇機(jī)器學(xué)習(xí)方面的論文，他說："它的核心假設(shè)很簡約，卻不那么簡單：我們能否只通過獎勵信號來教會模型正確回答，從而讓它自己摸索出最優(yōu)的思考方式？"
張逸驊說，對于他和像他一樣習(xí)慣了傳統(tǒng)監(jiān)督微調(diào)的專家而言，"眼見DeepSeek這樣的大型語言模型僅靠強(qiáng)化學(xué)習(xí)獎勵就能學(xué)會‘更好地思考'，著實令人驚艷"，尤其是看到"模型出現(xiàn)真正的‘a(chǎn)ha(頓悟)時刻'，它能后退一步，發(fā)現(xiàn)錯誤并自我糾正"。
成本計算
DeepSeek 引發(fā)的熱議部分源于其低廉的價格。根據(jù)該公司發(fā)布的技術(shù)報告，在圣誕節(jié)當(dāng)天發(fā)布的 DeepSeek-V3 的訓(xùn)練成本為 550 萬美元，而對于希望試用它的開發(fā)人員來說，價格要便宜得多。 IBM杰出工程師Chris Hay說："他們在模型成本方面所做的工作，以及他們訓(xùn)練模型所花費的時間，確實令人印象深刻。"
然而，IBM研究院Granite技術(shù)產(chǎn)品管理總監(jiān)Kate Soule表示，低廉的價格標(biāo)簽可能并不是故事的全部。她說，550 萬美元的成本 "只代表了所需計算量的一小部分"。她說，這還不包括公司即使采用開源模型也要保持專有的成本細(xì)節(jié)，比如 "強(qiáng)化學(xué)習(xí)、數(shù)據(jù)消減和超參數(shù)搜索的計算成本"。
無可置疑的是，DeepSeek 通過使用專家混合（MoE）架構(gòu)實現(xiàn)了更高的成本效益，而這種架構(gòu)大大降低了訓(xùn)練所需的資源。MoE 架構(gòu)將人工智能模型劃分為不同的子網(wǎng)絡(luò)（或 "專家"），每個子網(wǎng)絡(luò)專門處理輸入數(shù)據(jù)的一個子集。模型只激活特定任務(wù)所需的特定專家，而不是激活整個神經(jīng)網(wǎng)絡(luò)。因此，MoE 架構(gòu)大大降低了預(yù)訓(xùn)練期間的計算成本，并在推理期間實現(xiàn)了更快的性能。在過去一年中，包括法國領(lǐng)先的人工智能公司 Mistral 和 IBM 在內(nèi)的全球多家公司著力推廣了MoE 架構(gòu)，并通過將 MoE 與開源相結(jié)合實現(xiàn)了更高的效率。（例如，IBM在2024年Think大會宣布與紅帽一起推出 InstructLab，一個推動大模型開源創(chuàng)新的革命性大模型對齊方法。）
就 IBM 的一系列開源 Granite 模型（采用 MoE 架構(gòu)開發(fā)）而言，企業(yè)能夠以極低的成本實現(xiàn)前沿模型的性能，因為他們可以針對特定應(yīng)用或用例調(diào)整大型預(yù)訓(xùn)練模型，從而有效創(chuàng)建更小的適用模型。將強(qiáng)大的功能集成到更小的稠密模型上，意味著這些模型可用于智能手機(jī)和其他在邊緣運行的移動設(shè)備，如汽車計算機(jī)或工廠車間的智能傳感器。
這種采用較大模型并將其蒸餾成資源密集度較低的較小模型的過程也為 DeepSeek 的成功做出了貢獻(xiàn)。在發(fā)布其標(biāo)志性的 R1 模型的同時，這家中國初創(chuàng)公司還發(fā)布了一系列更小的適合不同用途的模型。有趣的是，他們用實踐證明，與一開始就對小型模型進(jìn)行強(qiáng)化學(xué)習(xí)相比，將大型模型蒸餾成小型模型的推理效果更好。
全球性的人工智能洗牌？
隨著這些新模型在某些基準(zhǔn)測試中與老一代競爭對手相抗衡或超越它們時，它們將如何影響全球人工智能格局？El Maghraoui 說："全球人工智能格局不只關(guān)乎基準(zhǔn)測試的原始性能，更關(guān)系到是否能以安全和道德的方式對這些模型進(jìn)行端到端的整合。" 因此，El Maghraoui 表示，現(xiàn)在判斷 DeepSeek-R1 及其他產(chǎn)品是否會 "改變?nèi)祟惢?、技術(shù)和企業(yè)應(yīng)用 "，還為時尚早。
最終，"開發(fā)人員的采用率將決定 DeepSeek 模型的受歡迎程度，" Daniels說。他表示期待"看到他們?yōu)槟Ｐ桶l(fā)掘出的各種用例"。
在IBM 院士 Kush Varshney 看來，全球AI競賽中的地緣政治差異，可能沒有人們想象的那么重要，他說："一旦模型開源，它源自何處在很多方面就不再重要了。"（宜月）
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
