英偉達發(fā)布AI芯片H200:性能飆升90%,Llama 2推理速度翻倍

11月14日消息,英偉達北京時間13日發(fā)布了下一代人工智能超級計算機芯片,這些芯片將在深度學習和大型語言模型(LLM)方面發(fā)揮重要作用,比如 OpenAI 的 GPT-4。

新芯片相比上一代有了顯著的飛躍,將被用于數(shù)據(jù)中心和超級計算機,處理諸如天氣和氣候預測、藥物發(fā)現(xiàn)、量子計算等任務。

此次發(fā)布的關鍵產(chǎn)品是基于英偉達的“Hopper”架構的 HGX H200 GPU,是 H100 GPU 的繼任者,也是該公司第一款使用 HBM3e 內存的芯片,這種內存速度更快,容量更大,因此更適合大型語言模型。

英偉達稱:“借助 HBM3e,英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 的內存,與 A100 相比,容量幾乎是其兩倍,帶寬增加了 2.4 倍?!?/p>

在人工智能方面,英偉達表示,HGX H200 在 Llama 2(700 億參數(shù) LLM)上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供,與 H100 系統(tǒng)中的軟件和硬件兼容。

它將適用于每一種類型的數(shù)據(jù)中心(本地、云、混合云和邊緣),并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署,將于 2024 年第二季度推出。

英偉達此次發(fā)布的另一個關鍵產(chǎn)品是 GH200 Grace Hopper“超級芯片(superchip)”,其將 HGX H200 GPU 和基于 Arm 的英偉達 Grace CPU 通過該公司的 NVLink-C2C 互連結合起來,官方稱其專為超級計算機設計,讓“科學家和研究人員能夠通過加速運行 TB 級數(shù)據(jù)的復雜 AI 和 HPC 應用程序,來解決世界上最具挑戰(zhàn)性的問題”。

GH200 將被用于“全球研究中心、系統(tǒng)制造商和云提供商的 40 多臺 AI 超級計算機”,其中包括戴爾、Eviden、惠普企業(yè)(HPE)、聯(lián)想、QCT 和 Supermicro。

其中值得注意的是,HPE 的 Cray EX2500 超級計算機將使用四路 GH200,可擴展到數(shù)萬個 Grace Hopper 超級芯片節(jié)點。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2023-11-14
英偉達發(fā)布AI芯片H200:性能飆升90%,Llama 2推理速度翻倍
用于深度學習和大模型。

長按掃碼 閱讀全文