9月15日消息，當(dāng)?shù)貢r(shí)間周三芯片公司英特爾、ARM和英偉達(dá)共同發(fā)布了一項(xiàng)所謂人工智能通用交換格式的規(guī)范草案，目的是使機(jī)器處理人工智能的過(guò)程速度更快、更高效。
英特爾、ARM和英偉達(dá)在草案中推薦人工智能系統(tǒng)使用8位的FP8浮點(diǎn)處理格式。他們表示，F(xiàn)P8浮點(diǎn)處理格式有可能優(yōu)化硬件內(nèi)存使用率，從而加速人工智能的發(fā)展。這種格式同時(shí)適用于人工智能訓(xùn)練和推理，有助于開(kāi)發(fā)速度更快、更高效的人工智能系統(tǒng)。
在開(kāi)發(fā)人工智能系統(tǒng)時(shí)，數(shù)據(jù)科學(xué)家面臨的關(guān)鍵問(wèn)題不僅是收集大量數(shù)據(jù)來(lái)訓(xùn)練系統(tǒng)。此外還需要選擇一種格式來(lái)表達(dá)系統(tǒng)權(quán)重，權(quán)重是人工智能從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到影響系統(tǒng)預(yù)測(cè)效果的重要因素。權(quán)重使得GPT-3這樣的人工智能系統(tǒng)能夠從一個(gè)長(zhǎng)句子提示自動(dòng)生成整個(gè)段落，還能讓DALL-E 2人工智能基于某個(gè)特定標(biāo)題生成逼真的肖像畫(huà)。
人工智能系統(tǒng)權(quán)重常用的格式有半精度浮點(diǎn)數(shù)FP16和單精度浮點(diǎn)數(shù)FP32，前者使用16位數(shù)據(jù)表示系統(tǒng)權(quán)重，后者則使用32位。半精度浮點(diǎn)數(shù)以及更低精度浮點(diǎn)數(shù)能減少了訓(xùn)練和運(yùn)行人工智能系統(tǒng)所需的內(nèi)存空間，同時(shí)還加快計(jì)算速度，甚至減少占用的帶寬資源和耗電量。但因?yàn)槲粩?shù)較單精度浮點(diǎn)數(shù)更少，準(zhǔn)確性會(huì)有所降低。
然而，包括英特爾、ARM和英偉達(dá)在內(nèi)的許多行內(nèi)公司都將8位的FP8浮點(diǎn)處理格式作為最佳選擇。英偉達(dá)產(chǎn)品營(yíng)銷(xiāo)總監(jiān)薩沙·納拉西姆漢（Shar Narasimhan）在一篇博客文章中指出，F(xiàn)P8浮點(diǎn)處理格式在計(jì)算機(jī)視覺(jué)和圖像生成系統(tǒng)等用例中的精度與半精度浮點(diǎn)數(shù)相當(dāng)，同時(shí)有“明顯”加速。
英偉達(dá)、ARM和英特爾表示，他們將讓FP8浮點(diǎn)處理格式成為一種開(kāi)放標(biāo)準(zhǔn)，其他公司無(wú)需許可證即可使用。三家公司在一份白皮書(shū)對(duì)FP8進(jìn)行了詳細(xì)描述。納拉西姆漢表示，這些規(guī)范都將提交給技術(shù)標(biāo)準(zhǔn)化組織IEEE，看FP8格式能否成為人工智能行業(yè)的通用標(biāo)準(zhǔn)。
納拉西姆漢說(shuō)：“我們相信，一個(gè)通用的交換格式將帶來(lái)硬件和軟件平臺(tái)的快速進(jìn)步，提高互操作性，從而推進(jìn)人工智能計(jì)算的進(jìn)步?！?/p>
當(dāng)然，三家公司之所以不遺余力推動(dòng)FP8格式成為通用交換格式也是出于自身研究的考慮。英偉達(dá)的GH100 Hopper架構(gòu)已經(jīng)實(shí)現(xiàn)對(duì)FP8格式的支持，英特爾的Gaudi2人工智能訓(xùn)練芯片組也支持FP8格式。
但通用的FP8格式也會(huì)使SambaNova、AMD、Groq、IBM、Graphcore和Cerebras等競(jìng)爭(zhēng)對(duì)手受益，這些公司都曾在開(kāi)發(fā)人工智能系統(tǒng)時(shí)試驗(yàn)或采用FP8格式。人工智能系統(tǒng)開(kāi)發(fā)商Graphcore聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙·諾爾斯（Simon Knowles）在今年7月份的一篇博客文章中寫(xiě)道，“8位浮點(diǎn)數(shù)的出現(xiàn)在處理性能和效率方面為人工智能計(jì)算帶來(lái)了巨大優(yōu)勢(shì)”。諾爾斯還稱，這是行業(yè)確定“單一開(kāi)放標(biāo)準(zhǔn)”的“一個(gè)機(jī)會(huì)”，比采取多種格式相互競(jìng)爭(zhēng)要好得多。（辰辰）
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
