英特爾通過軟硬件為LIama2大模型提供加速

7月21日消息，在Llama 2發(fā)布之際，英特爾分享了70億和130億參數(shù)模型在英特爾AI產(chǎn)品組合上運行的結果，包括Habana Gaudi 2 深度學習加速器、第四代英特爾至強可擴展處理器、至強CPU Max系列和數(shù)據(jù)中心GPU Max系列等。

在近期發(fā)布的MLPerf基準測試中，Gaudi2在大語言模型上展現(xiàn)了出色的訓練性能，包括在384個Gaudi2加速器上訓練1750億參數(shù)的GPT-3模型所展現(xiàn)的結果。Gaudi2經(jīng)過驗證的高性能使其成為Llama和Llama 2模型訓練和推理的高能效解決方案。

下圖顯示了70億參數(shù)和130億參數(shù)Llama 2模型的推理性能。模型分別在一臺Habana Gaudi2設備上運行，batch size=1，輸出token長度256，輸入token長度不定，使用BF16精度。報告的性能指標為每個token的延遲（不含第一個）。

該測試使用optimum-habana文本生成腳本在Llama模型上運行推理。optimum-habana庫能夠幫助簡化在Gaudi加速器上部署此類模型的流程，僅需極少的代碼更改即可實現(xiàn)。

如圖所示，對于128至2000輸入token，在70億參數(shù)模型上Gaudi2的推理延遲范圍為每token 9.0-12.2毫秒，而對于130億參數(shù)模型，范圍為每token 15.5-20.4毫秒。

得益于更高的HBM2E帶寬，英特爾至強CPU Max系列為以上兩個模型提供了更低的延遲。而憑借英特爾AMX加速器，用戶可以通過更高的批量尺寸（batch size）來提高吞吐量。

對于70億和130億參數(shù)的模型，每個第四代至強插槽可提供低于100毫秒的延遲。用戶可以分別在兩個插槽上同時運行兩個并行實例，從而獲得更高的吞吐量，并獨立地服務客戶端。

亦或者，用戶可以通過英特爾PyTorch擴展包和DeepSpeed CPU，使用張量并行的方式在兩個第四代至強插槽上運行推理，從而進一步降低延遲或支持更大的模型。

英特爾在一個600瓦OAM形態(tài)的GPU上評估了Llama 2的70億參數(shù)模型和Llama 2的130億參數(shù)模型推理性能，這個GPU上封裝了兩個tile，而英特爾只使用其中一個tile來運行推理。

下圖顯示，對于輸入長度為32到2000的token，英特爾數(shù)據(jù)中心GPU Max系列的一個tile可以為70億參數(shù)模型的推理提供低于20毫秒的單token延遲，130億參數(shù)模型的單token延遲為29.2-33.8毫秒。

因為該GPU上封裝了兩個tile，用戶可以同時并行運行兩個獨立的實例，每個tile上運行一個，以獲得更高的吞吐量并獨立地服務客戶端。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。