英偉達(dá)發(fā)布AI芯片H200：性能飆升90%，Llama 2推理速度翻倍

11月14日消息，英偉達(dá)北京時(shí)間13日發(fā)布了下一代人工智能超級(jí)計(jì)算機(jī)芯片，這些芯片將在深度學(xué)習(xí)和大型語言模型（LLM）方面發(fā)揮重要作用，比如 OpenAI 的 GPT-4。

新芯片相比上一代有了顯著的飛躍，將被用于數(shù)據(jù)中心和超級(jí)計(jì)算機(jī)，處理諸如天氣和氣候預(yù)測(cè)、藥物發(fā)現(xiàn)、量子計(jì)算等任務(wù)。

此次發(fā)布的關(guān)鍵產(chǎn)品是基于英偉達(dá)的“Hopper”架構(gòu)的 HGX H200 GPU，是 H100 GPU 的繼任者，也是該公司第一款使用 HBM3e 內(nèi)存的芯片，這種內(nèi)存速度更快，容量更大，因此更適合大型語言模型。

英偉達(dá)稱：“借助 HBM3e，英偉達(dá) H200 以每秒 4.8 TB 的速度提供 141GB 的內(nèi)存，與 A100 相比，容量幾乎是其兩倍，帶寬增加了 2.4 倍。”

在人工智能方面，英偉達(dá)表示，HGX H200 在 Llama 2（700 億參數(shù) LLM）上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供，與 H100 系統(tǒng)中的軟件和硬件兼容。

它將適用于每一種類型的數(shù)據(jù)中心（本地、云、混合云和邊緣），并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署，將于 2024 年第二季度推出。

英偉達(dá)此次發(fā)布的另一個(gè)關(guān)鍵產(chǎn)品是 GH200 Grace Hopper“超級(jí)芯片（superchip）”，其將 HGX H200 GPU 和基于 Arm 的英偉達(dá) Grace CPU 通過該公司的 NVLink-C2C 互連結(jié)合起來，官方稱其專為超級(jí)計(jì)算機(jī)設(shè)計(jì)，讓“科學(xué)家和研究人員能夠通過加速運(yùn)行 TB 級(jí)數(shù)據(jù)的復(fù)雜 AI 和 HPC 應(yīng)用程序，來解決世界上最具挑戰(zhàn)性的問題”。

GH200 將被用于“全球研究中心、系統(tǒng)制造商和云提供商的 40 多臺(tái) AI 超級(jí)計(jì)算機(jī)”，其中包括戴爾、Eviden、惠普企業(yè)（HPE）、聯(lián)想、QCT 和 Supermicro。

其中值得注意的是，HPE 的 Cray EX2500 超級(jí)計(jì)算機(jī)將使用四路 GH200，可擴(kuò)展到數(shù)萬個(gè) Grace Hopper 超級(jí)芯片節(jié)點(diǎn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。