擺脫基礎(chǔ)設(shè)施束縛，亞馬遜云科技提出生成式AI方法論

“未來近在咫尺，只不過時隱時現(xiàn) (The future is here, it's just not evenly distributed yet.)”--亞馬遜云科技全球產(chǎn)品副總裁Matt Wood博士引用“賽博朋克之父” William Gibson 的一句名言來表達生成式AI的發(fā)展現(xiàn)狀。

自去年底ChatGPT驚艷眾人開始，這場已經(jīng)持續(xù)半年并席卷全球的生成式AI浪潮并未有停止的跡象，反而是愈演愈烈，國內(nèi)甚至上演了百模大戰(zhàn)的盛況。越來越多公司或者行業(yè)用戶意識到大模型可能帶來的改變，于是紛紛躍躍欲試。但大模型是一項極為復(fù)雜的工程化問題，涉及一系列的難題，首當(dāng)其沖的就是基礎(chǔ)設(shè)施帶來的挑戰(zhàn)。

如何應(yīng)對生成式AI對于算力、數(shù)據(jù)、微服務(wù)等基礎(chǔ)設(shè)施領(lǐng)域一系列挑戰(zhàn)。在近日的2023年亞馬遜云科技中國峰會上，亞馬遜云科技全球產(chǎn)品副總裁Matt Wood博士、亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建等專家?guī)砹藖嗰R遜云科技的真知灼見。

面對井噴的算力需求，亞馬遜云科技是這么看的

毫無疑問，算力是當(dāng)下生成式AI面臨的首要難題。

都說算力、算法和數(shù)據(jù)是人工智能發(fā)展的三要素，雖然這些年AI算力占比在持續(xù)提升，但動輒需要消耗上萬CPU和GPU卡的大模型依然帶來了巨大的算力缺口，以及如何讓算力更好地與大模型、生成式AI應(yīng)用匹配、應(yīng)用。

“當(dāng)前，雖然生成式AI只有短短幾個月，但其超大規(guī)模人工智能模型和海量數(shù)據(jù)對高算力提出新要求，不斷拉動算力需求快速增長。”馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建如是說。

為解決生成式AI帶來的算力挑戰(zhàn)，亞馬遜云科技的思路是通過自研芯片、各種豐富且彈性的計算、網(wǎng)絡(luò)、存儲組合以及Serverless架構(gòu)，全面滿足用戶的多樣化的算力需求。另外對于全球布局，亞馬遜云科技提供從中心到邊緣的多種產(chǎn)品的解決方案，包括覆蓋全球的基礎(chǔ)架構(gòu)，以及快速部署穩(wěn)定系統(tǒng)的能力，還有全面支持全球各個國家和地區(qū)業(yè)務(wù)合規(guī)能力，為企業(yè)打造了堅實的底層架構(gòu)基石。

首先是亞馬遜云科技自身強大的基礎(chǔ)設(shè)施能力，提供包括Intel、AMD、英偉達，和自研的CPU及加速芯片等豐富的算力產(chǎn)品。在自研芯片方面，2015年開始，亞馬遜云科技開始布局自研芯片，如今已經(jīng)具備了包括虛擬化系統(tǒng)、云原生處理器和機器學(xué)習(xí)訓(xùn)練及推理等多款自研芯片。

比如，亞馬遜云科技自研芯片 Amazon Graviton，Graviton 目前已經(jīng)發(fā)展到 3E，相比之前的產(chǎn)品，Graviton3E 計算性能提高25%，浮點性能提高2倍，加密工作負載性能加快2倍；Graviton3E 特別關(guān)注向量計算的性能，跟前一代相比提升了35%。這個性能提升對于像 HPC、AI等應(yīng)用來說尤為重要。

其次，亞馬遜云科技提供豐富且高度彈性的算力資源，能夠提供豐富的計算實例以滿足生成式AI的多樣性算力續(xù)期。當(dāng)前，亞馬遜云科技提供600多種不同的計算實例，從處理器、網(wǎng)絡(luò)和存儲等各種服務(wù)都能夠與計算進行很好的結(jié)合，以積木的方式搭建出一個豐富靈活的計算實例的資源，滿足多種不同算力的要求。

Weta Digital（維塔數(shù)碼）是全球領(lǐng)先的綜合性視覺效果公司，亞馬遜云科技為Weta Digital提供了各種從算力資源到云上制作的堆棧，機器學(xué)習(xí)的堆棧等等一系列的服務(wù)，提供非常強的伸縮性以及很好的性價比：《阿凡達1》的時代花了整整14個月才看到了第一幀，《阿凡達2》8個月跑了33億個線程小時。

第三，針對大規(guī)模算力應(yīng)用帶來復(fù)雜性，亞馬遜云科技推動云服務(wù)全面邁向Serverless，亞馬遜云科技已經(jīng)實現(xiàn)了全棧數(shù)據(jù)服務(wù)的Serverless化，開啟了云服務(wù)全面Serverless的時代，讓企業(yè)無需預(yù)置或管理基礎(chǔ)設(shè)施，就可以運行幾乎任何類型的應(yīng)用程序或后端服務(wù)代碼，可最大限度減輕運維工作，并增加業(yè)務(wù)敏捷性，更好地應(yīng)對業(yè)務(wù)的各種不確定性。

如今，亞馬遜云科技已經(jīng)相繼發(fā)布了105多種 Serverless 新技術(shù)，包括：解決 Java 應(yīng)用冷啟動問題的 Lambda SnapStart，可視化編輯器 Application Composer 等。用戶可以根據(jù)應(yīng)用的類型來選擇不同的彈性和計算顆粒度。

第四，亞馬遜云科技自身具有全球領(lǐng)先的數(shù)據(jù)中心基礎(chǔ)設(shè)施布局，在全球擁有31個區(qū)域的99個可用區(qū)，已經(jīng)覆蓋了245個國家和地區(qū)，全方位助力企業(yè)實現(xiàn)全球化布局，可以將亞馬遜云科技的基礎(chǔ)架構(gòu)擴展到幾乎任何數(shù)據(jù)中心或用戶的本地設(shè)施，提供真正一致的混合體驗。另外，亞馬遜云科技在大部分服務(wù)中采用蜂窩架構(gòu)設(shè)計，把系統(tǒng)分割成多個蜂窩狀單元，通過控制爆炸半徑，降低故障發(fā)生時對整體系統(tǒng)的影響。隨機分片思路則對蜂窩架構(gòu)進行了進一步優(yōu)化，把故障影響降到更低。

比如，OPPO 希望全球業(yè)務(wù)獨立運作、區(qū)域合規(guī)自治，同時又有統(tǒng)一的管理。在使用亞馬遜云科技的 Cloud WAN 廣域網(wǎng)服務(wù)之后，OPPO 可通過本地網(wǎng)絡(luò)提供商，連接到亞馬遜云科技，通過中央控制面板和網(wǎng)絡(luò)策略在分鐘就可以建立起一個覆蓋全球的自己的專用網(wǎng)。

亞馬遜的生成式AI方法論

眾所周知，過去半年里，全球都看到了生成式AI的爆發(fā)，大語言模型可以接受復(fù)雜的輸入，并產(chǎn)生復(fù)雜的輸出。

事實上，生成式AI的爆發(fā)是大數(shù)據(jù)、深度學(xué)習(xí)、人工智能等技術(shù)發(fā)展到階段性之后的結(jié)果。那么，對于想進入到生成式AI領(lǐng)域的眾多用戶，是否會有一套先進的方法論來讓他們少走彎路？

對此，為客戶提供廣泛的機器學(xué)習(xí)能力方面有著悠久歷史的亞馬遜云科技總結(jié)出生成式AI的方法論。Matt 博士認為：“生成式AI在重塑各行各業(yè)，它可以突破以前無法突破的極限。比如創(chuàng)意輸出，如寫作、設(shè)計、編碼、建模等。解鎖生成式AI價值、云原生數(shù)據(jù)戰(zhàn)略、切實可行的方法是生成式AI發(fā)展的關(guān)鍵?！?/p>

如何抓住機遇、充分釋放生成式 AI 的核心價值？為了幫助更多用戶解鎖解鎖生成式AI的價值。亞馬遜云科技的應(yīng)對策略有四點：利用一流的基礎(chǔ)模型，構(gòu)建出色的生成式 AI 應(yīng)用程序；安全私密的環(huán)境，便于使用私有數(shù)據(jù)定制化這些模型；低成本、低延遲的技術(shù)，借助專門構(gòu)建的機器學(xué)習(xí)基礎(chǔ)設(shè)施；借助專業(yè)代碼生成工具，消除繁重工作并提高效率。

“ Amazon Bedrock，能夠幫助用戶將數(shù)據(jù)用基礎(chǔ)模型通過無服務(wù)器化的 API 來實現(xiàn)，無需管理相應(yīng)的基礎(chǔ)架構(gòu)；同時，也有為開發(fā)人員提供的代碼生成服務(wù)：基于機器學(xué)習(xí)的 Amazon CodeWhisperer，它能夠更快、更安全地構(gòu)建應(yīng)用程序，為構(gòu)建者提供簡單使用自然語言編寫的工具，幫助團隊高效率、高質(zhì)量完成任務(wù)?！盡att 博士介紹道。

此外，生成式AI需要海量數(shù)據(jù)進行訓(xùn)練。但海量數(shù)據(jù)的清晰、整理、訓(xùn)練和推理依然是一項極為復(fù)雜的工作。亞馬遜云科技認為，云原生數(shù)據(jù)戰(zhàn)略對于生成式AI具有重要作用。云原生戰(zhàn)略包括：云原生數(shù)據(jù)戰(zhàn)略的核心特征是： 全面的工具集，滿足現(xiàn)在和未來所需； 輕松集成，連接所有數(shù)據(jù)；構(gòu)建端到端的數(shù)據(jù)治理。

為此，亞馬遜云科技推出15種專門構(gòu)建的云上托管數(shù)據(jù)庫服務(wù)，為各類用戶的應(yīng)用場景提供完美契合的數(shù)據(jù)服務(wù)；亞馬遜云科技提出了Zero-ETL的愿景，致力于實現(xiàn)無縫的數(shù)據(jù)轉(zhuǎn)換和調(diào)用，而用戶不用編寫任何的代碼；亞馬遜云科技去年推出的一項全新的數(shù)據(jù)管理服務(wù)Amazon DataZone，可以讓客戶更快、更輕松地對存儲在亞馬遜云科技、客戶本地和第三方來源的數(shù)據(jù)進行編目、發(fā)現(xiàn)、共享和治理。

此外，Matt 博士認為，使用數(shù)據(jù)開啟生成式AI旅程還需要無條件：基于自己現(xiàn)有的數(shù)據(jù)戰(zhàn)略去做構(gòu)建；在組織內(nèi)實現(xiàn)更廣泛、更安全的生成式AI實驗；為需求場景定制化模型；攜手亞馬遜云科技，探索無限可能；選擇場景，即刻啟程，構(gòu)建未來。

“技術(shù)能力往往遵循S曲線。你永遠不知道你在S曲線上的位置，除非你向后看。明年回頭看的時候，我們看到生成式AI也許達到S曲線的頂點，達到快速爆發(fā)式發(fā)展的點，涌現(xiàn)出大量發(fā)明和應(yīng)用?！盡att 博士最后表示道。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。