機(jī)器訓(xùn)練新巔峰！IBM訓(xùn)練速度趕超打響指，比谷歌快46倍

高層速讀

IBM Research 宣布他們使用一組由 Criteo Labs發(fā)布的40多億個(gè)廣告數(shù)據(jù)集來訓(xùn)練邏輯回歸分類器，在POWER9服務(wù)器和GPU上運(yùn)行自身機(jī)器學(xué)習(xí)庫Snap ML，能夠在91.5秒內(nèi)訓(xùn)練出邏輯回歸分類器，比之前谷歌的最佳結(jié)果快46倍。

IBM希望讓機(jī)器學(xué)習(xí)的速度和打響指的速度一樣快。

在IBM THINK會(huì)議上，IBM Research 宣布他們使用一組由 Criteo Labs發(fā)布的40多億個(gè)廣告數(shù)據(jù)集來訓(xùn)練邏輯回歸分類器，在POWER9服務(wù)器和GPU上運(yùn)行自身機(jī)器學(xué)習(xí)庫Snap ML，能夠在91.5秒內(nèi)訓(xùn)練出邏輯回歸分類器，比之前谷歌的最佳結(jié)果快46倍，后者在Google Cloud平臺上使用TensorFlow在70分鐘內(nèi)訓(xùn)練出相同的模型。

英偉達(dá)CEO黃仁勛與IBM高級副總裁John Kelly

IBM研究公司負(fù)責(zé)非易失性存儲(chǔ)器的經(jīng)理Haris Pozidis在接受一家媒體采訪時(shí)表示，這篇論文概述的結(jié)果是最近幾年研究的頂峰。Pozidis說：“當(dāng)我們開始做這件事情的時(shí)候，是為了使機(jī)器學(xué)習(xí)更容易被人們接受，并且使機(jī)器學(xué)習(xí)比過去和現(xiàn)在快得多?！?/p>

這個(gè)由人工智能軟件提供動(dòng)力的新庫被稱為IBM Snap Machine Learning(簡稱Snap ML)，因?yàn)樗?xùn)練模型的速度“比你打拍子的速度快”，它為現(xiàn)代CPU/GPU計(jì)算系統(tǒng)上流行的機(jī)器學(xué)習(xí)模型提供了高速訓(xùn)練。由此帶來的好處包括降低了用戶的云成本、減少了精力投入和縮短了實(shí)現(xiàn)時(shí)間。

IBM的Snap ML有三個(gè)核心元素

分布式培訓(xùn)：該系統(tǒng)是作為一個(gè)數(shù)據(jù)并行框架構(gòu)建的，能夠在大型數(shù)據(jù)集上進(jìn)行擴(kuò)展和訓(xùn)練，這對于大型應(yīng)用程序是至關(guān)重要的。

GPU加速：IBM使用專門的解決方案來利用GPU的大規(guī)模并行體系結(jié)構(gòu)，同時(shí)尊重GPU內(nèi)存中的數(shù)據(jù)局部性，以避免大量的數(shù)據(jù)傳輸開銷。它還利用了最近在異構(gòu)學(xué)習(xí)方面的發(fā)展，使其具有可伸縮性，即使可以存儲(chǔ)在加速器內(nèi)存中的數(shù)據(jù)只有一小部分，也可以實(shí)現(xiàn)GPU加速。

稀疏數(shù)據(jù)結(jié)構(gòu)：在認(rèn)識到了人機(jī)學(xué)習(xí)數(shù)據(jù)集是稀疏的基礎(chǔ)上，IBM的系統(tǒng)對算法進(jìn)行了新的優(yōu)化。

IBM研究數(shù)學(xué)家Thomas Parnell說：“大多數(shù)機(jī)器都具有異構(gòu)的計(jì)算基礎(chǔ)設(shè)施，但是我們分配培訓(xùn)的方式，在某種程度上是為了減少培訓(xùn)的不同模式之間必須進(jìn)行的交流，這使我們能夠避免通過網(wǎng)絡(luò)傳送大量數(shù)據(jù)的開銷。”

Parnell說，對稀疏數(shù)據(jù)結(jié)構(gòu)的支持是相當(dāng)新穎的，在研究論文中進(jìn)一步概述了這一點(diǎn)，并與現(xiàn)有的用于執(zhí)行這類任務(wù)的庫進(jìn)行了一些比較。

IBM Research在91.5秒內(nèi)將一個(gè)包含40多億個(gè)訓(xùn)練示例的在線廣告數(shù)據(jù)集用于邏輯回歸分類器

特別地，IBM研究了Google的TensorFlow框架，該框架主要關(guān)注大規(guī)模線性模型上的機(jī)器學(xué)習(xí)。“TensorFlow非常靈活，”Parnell說，“它可以支持GPU加速，還可以從多個(gè)節(jié)點(diǎn)擴(kuò)展。但我們發(fā)現(xiàn)TensorFlow的缺點(diǎn)之一是它對稀疏數(shù)據(jù)結(jié)構(gòu)的支持相對有限。”

IBM研究人員的另一個(gè)發(fā)現(xiàn)是，在為這樣大規(guī)模的應(yīng)用程序部署GPU加速時(shí)，由于訓(xùn)練數(shù)據(jù)太大，而無法存儲(chǔ)在GPU可用的內(nèi)存中。這意味著在訓(xùn)練期間，需要有選擇地處理數(shù)據(jù)，并反復(fù)地將數(shù)據(jù)移入和移出GPU內(nèi)存。

在論文中，研究人員還探索了不同層次的平行性，IBM的研究員Celestine Duenner說：“第一個(gè)層次是將工作負(fù)載分布在集群中的不同節(jié)點(diǎn)上，第二層是在一個(gè)節(jié)點(diǎn)內(nèi)的不同計(jì)算單元之間分配工作負(fù)載，第三層是使用單個(gè)計(jì)算單元提供的所有并行性?！?/p>

通信必須通過網(wǎng)絡(luò)進(jìn)行，但是可以對不適合單個(gè)機(jī)器內(nèi)存的大型數(shù)據(jù)集進(jìn)行訓(xùn)練?！拔覀兪褂梅植际脚嘤?xùn)，這樣我們就可以使用多臺機(jī)器的聚合內(nèi)存，”Duenner說，“我們使用最先進(jìn)的技術(shù)來組織節(jié)點(diǎn)之間的工作，實(shí)現(xiàn)有效的通信。”

Parnell說，IBM最終的目標(biāo)是加快機(jī)器學(xué)習(xí)的速度，并使計(jì)算機(jī)基礎(chǔ)設(shè)施能夠盡快商業(yè)化。他說：“訓(xùn)練時(shí)間的長短非常關(guān)鍵，因?yàn)樵茖?shí)例通常按小時(shí)計(jì)費(fèi)，因此您使用它們的時(shí)間越長，您為它們支付的費(fèi)用就越多。”

預(yù)計(jì)今年下半年，作為Power AI技術(shù)組合的一部分，IBM Research所研究的成果將能夠商業(yè)化，IBM目前正在尋找對試點(diǎn)項(xiàng)目感興趣的客戶。

• 微信搜索【AI商業(yè)報(bào)道】，獲取國內(nèi)外AI巨頭新動(dòng)向及行業(yè)資訊！

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。