借助其定制的Inferentia芯片，Amazon的云計(jì)算服務(wù)部門Amazon Web Service（AWS）減少了對(duì)以前使用的NVIDIA圖形處理器的依賴。亞馬遜周四表示，它已將大部分處理工作從其個(gè)人助理Alexa轉(zhuǎn)移到了自己定制設(shè)計(jì)的專用集成電路（ASIC）芯片上，目的是使所有工作更快，更便宜，然后改善計(jì)算機(jī)的性能。語音助手。
亞馬遜開發(fā)人員Sebastien Stormacq在博客文章中寫道，將AWS Inferentia用于某些Alexa技能可將延遲時(shí)間縮短25％，成本估計(jì)便宜30％。
“今天，我們宣布，Amazon Alexa團(tuán)隊(duì)已將其基于GPU的機(jī)器學(xué)習(xí)推理工作量的絕大部分遷移到了Amazon Elastic Compute Cloud（EC2）Inf1實(shí)例，該實(shí)例由AWS Inferentia。與Alexa文本到語音工作負(fù)載的基于GPU的實(shí)例相比，這導(dǎo)致端到端延遲降低了25％，成本降低了30％。減少的延遲使Alexa工程師可以通過更復(fù)雜的算法進(jìn)行創(chuàng)新，并為我們的客戶改善Alexa的整體體驗(yàn)。
Stormacq對(duì)Inferentia的硬件設(shè)計(jì)進(jìn)行了如下描述：“ AWS Inferentia是由AWS構(gòu)建的定制芯片，用于加速機(jī)器學(xué)習(xí)推理工作負(fù)載并優(yōu)化其成本。每個(gè)AWS Inferentia芯片均包含四個(gè)NeuronCore。每個(gè)NeuronCore都實(shí)現(xiàn)了一個(gè)高性能的脈動(dòng)矩陣乘法引擎，該引擎大大加快了典型的深度學(xué)習(xí)操作的速度，例如卷積和轉(zhuǎn)換器。NeuronCores還配備了大容量的片上緩存，從而減少了對(duì)外部存儲(chǔ)器的訪問，從而顯著減少了延遲并提高了吞吐量。
Alexa是亞馬遜基于云的語音服務(wù)，可為Amazon Echo設(shè)備和超過14萬種型號(hào)的智能揚(yáng)聲器，燈光，插座，電視和攝像機(jī)提供動(dòng)力。據(jù)該公司稱，今天，客戶每天將超過1億臺(tái)設(shè)備連接到Alexa。但是，如果將這些設(shè)備安裝在辦公室或家庭中，那么Alexa的大腦就會(huì)部署在AWS上，這樣，當(dāng)擁有Echo或Echo點(diǎn)的人使用私人助手Alexa時(shí)，處理是在設(shè)備本身上執(zhí)行的。
主要基于人工智能的Alexa請(qǐng)求的工作負(fù)載
當(dāng)諸如Amazon的Echo系列智能揚(yáng)聲器之類的設(shè)備的用戶向語音助手詢問問題時(shí)，該設(shè)備會(huì)使用其自身的機(jī)載處理程序來檢測(cè)喚醒詞（Alexa），然后發(fā)送請(qǐng)求。到亞馬遜數(shù)據(jù)中心。然后，Echo將請(qǐng)求發(fā)送回Amazon的一個(gè)數(shù)據(jù)中心，以執(zhí)行多個(gè)處理步驟。當(dāng)Amazon的計(jì)算機(jī)確定響應(yīng)時(shí)，該響應(yīng)為文本形式，必須將其翻譯成語音助手的可聽語言。
在將請(qǐng)求發(fā)送到數(shù)據(jù)中心后，這些計(jì)算步驟始終得到簽名Nvidia的GPU的支持，該GPU精確定義了其人工智能策略通過調(diào)整其圖形芯片以適應(yīng)模型訓(xùn)練或推理所需的計(jì)算類型。GPU專門從事并行計(jì)算，在執(zhí)行這些任務(wù)方面比CPU效率高得多，因此很快被采用。
但是現(xiàn)在Alexa將使用Amazon開發(fā)的第一款芯片AWS AWS Inferencia，該芯片專門用于加速深度學(xué)習(xí)計(jì)算。亞馬遜回憶說：“ AWS Inferentia旨在在云中提供較高的推理性能，降低推理的總成本，并允許開發(fā)人員輕松地將機(jī)器學(xué)習(xí)與其業(yè)務(wù)應(yīng)用程序的功能集成在一起。”在他的博客文章中。由于這些芯片是專為這些任務(wù)而設(shè)計(jì)的，因此在完成任務(wù)時(shí)，它們甚至比GPU更為高效。
于2018年首次宣布，亞馬遜的芯片是定制設(shè)計(jì)的，可加快大量機(jī)器學(xué)習(xí)任務(wù)的速度，例如文本到語音翻譯或圖像識(shí)別。諸如亞馬遜，微軟和Alpahbet Inc.的Google之類的云計(jì)算客戶已經(jīng)成為計(jì)算機(jī)芯片的最大買家，從而導(dǎo)致英特爾，英偉達(dá)等公司與數(shù)據(jù)中心相關(guān)的銷售激增。
但是，渴望減少對(duì)兩家行業(yè)巨頭Nvidia和Intel的依賴的大型科技公司，正越來越多地放棄傳統(tǒng)的芯片廠商來設(shè)計(jì)自己的定制芯片。蘋果本周推出了首批三臺(tái)Mac電腦（MacBook Air，內(nèi)部設(shè)計(jì)了自己的基于ARM架構(gòu)的中央處理器。蘋果甚至表示，計(jì)劃在未來兩年內(nèi)將其所有Mac切換到其自己的處理器，而不再使用英特爾芯片。
個(gè)人助理Alexa并非唯一一個(gè)從Inferentia處理器中受益的人：該芯片為Amazon的AWS Inf1實(shí)例提供動(dòng)力，該實(shí)例可被公眾訪問并與由GPU提供動(dòng)力的Amazon G4實(shí)例競(jìng)爭(zhēng)。根據(jù)Stormacq的說法，亞馬遜的AWS Neuron SDK使機(jī)器學(xué)習(xí)開發(fā)人員可以將Inferentia用作流行的FrameWorks的目標(biāo)，其中包括TensorFlow，PyTorch和MXNet。
除了Alexa，Seb Stomarcq還指定亞馬遜的基于云的面部識(shí)別系統(tǒng)Rekognition也將配備該組織的芯片。在他的文章中，他列舉了一些使用Inferentia的外部客戶。其中，Snap Inc.用于其Snapchat應(yīng)用程序或CondéNast組。保險(xiǎn)公司Anthem也使用該芯片。
“從財(cái)富500強(qiáng)公司到初創(chuàng)公司的客戶都使用Inf1實(shí)例進(jìn)行機(jī)器學(xué)習(xí)推理。例如，Snap Inc.將機(jī)器學(xué)習(xí)集成到Snapchat的許多方面，而在這方面探索創(chuàng)新是他們的頭等大事。在得知了AWS Inferentia之后，他們與AWS合作采用Inf1實(shí)例，以使其更易于部署機(jī)器學(xué)習(xí)，尤其是在性能和成本方面。
“看到所有這些公司如何用自己的芯片'一無所獲'，讓自己擺脫被既有芯片公司控制的可能性（如本例中的NVIDIA），真是令人驚訝和激動(dòng)。也許這最終將滴入常規(guī)的PC和其他設(shè)備（例如Pi的設(shè)備）中。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
