生成式AI爆發(fā)為代表的這一輪AI創(chuàng)新潮，機(jī)遇和挑戰(zhàn)并存。丁科技網(wǎng)注意到，挑戰(zhàn)，對(duì)于AI技術(shù)創(chuàng)新者和AI服務(wù)創(chuàng)新者而言，很大程度上在于，AI技術(shù)的爆發(fā)直接推動(dòng)了對(duì)算力資源需求的井噴式增長(zhǎng)。

除了提供AI相關(guān)技術(shù)和生態(tài)賦能之外，針對(duì)算力需求井噴，亞馬遜云科技通過自研芯片創(chuàng)新、彈性的計(jì)算存儲(chǔ)組合以及Serverless架構(gòu)，幫助客戶簡(jiǎn)化運(yùn)維，以更高性價(jià)比滿足多樣算力需求，幫助客戶有效應(yīng)對(duì)由于AI創(chuàng)新技術(shù)帶來的IT壓力。

“2023亞馬遜云科技中國(guó)峰會(huì)”上，亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示，AI創(chuàng)新推動(dòng)算力需求井噴，有三個(gè)特點(diǎn)：一是，需要更高性價(jià)比的軟硬件解決方案以應(yīng)對(duì)算力資源緊缺；二是，云服務(wù)需要提供快速高效的彈性資源供給，以應(yīng)對(duì)生成式AI的迅速發(fā)展和快速變化的業(yè)務(wù)需求；三是，云服務(wù)需要進(jìn)一步降低使用門檻，讓客戶能快速上手。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

亞馬遜云科技的針對(duì)性策略是：

其一，針對(duì)算力需求緊缺，提供全面深入的基礎(chǔ)設(shè)施能力，包括Intel、AMD、英偉達(dá)，和自研的CPU及加速芯片產(chǎn)品。特別是，自研芯片產(chǎn)品，在不斷的創(chuàng)新迭代中。

Nitro，是亞馬遜云科技的第一款自研芯片產(chǎn)品，去年推出的第五代Nitro將每瓦性能提高了40%，提升性能、降低干擾、保證安全：

實(shí)現(xiàn)了非常輕量級(jí)的虛擬化，性能損耗極低，在此前業(yè)界經(jīng)常看到的虛擬化損耗通常在20-30%之間，Nitro通過硬件虛擬化，整個(gè)性能損耗不到1%；實(shí)現(xiàn)了網(wǎng)絡(luò)和存儲(chǔ)在硬件級(jí)別的隔離機(jī)制，讓用戶通信和擁有存儲(chǔ)的數(shù)據(jù)通信之間完全隔離，不會(huì)造成互相的干擾；在硬件層面實(shí)現(xiàn)了硬件的加密，任何進(jìn)出Nitro的數(shù)據(jù)包都會(huì)進(jìn)行硬件級(jí)別的加密，最大限度保證用戶數(shù)據(jù)通信的安全。

Graviton，Arm架構(gòu)的通用處理器Graviton 3與上一代產(chǎn)品相比，計(jì)算性能提高25%，浮點(diǎn)性能提高2倍，加密工作負(fù)載性能最多加快2倍；第四代產(chǎn)品Gravtion3E在針對(duì)高性能計(jì)算應(yīng)用場(chǎng)景的向量計(jì)算性能上，再提升了35%。

機(jī)器學(xué)習(xí)訓(xùn)練芯片Trainium，HuggingFace BERT模型作為案例來看，基于Trainium的Trn1實(shí)例和通用的GPU實(shí)例對(duì)比，在訓(xùn)練的吞吐率上面，單節(jié)點(diǎn)的吞吐率可以提升1.2倍，而多節(jié)點(diǎn)集群的吞吐率可以提升1.5倍，從成本考慮，單節(jié)點(diǎn)成本可以降低1.8倍，集群的成本更是降低了2.3倍。增強(qiáng)型Trn1n實(shí)例的網(wǎng)絡(luò)帶寬躍升至1.6Tbps，可將萬余個(gè)Trainium芯片構(gòu)建在一個(gè)超大規(guī)模集群上，實(shí)現(xiàn)對(duì)超大模型進(jìn)行并行訓(xùn)練。

機(jī)器學(xué)習(xí)推理芯片Inferentia，2019年推出了第一代用于機(jī)器學(xué)習(xí)的推理芯片Inferentia，所對(duì)應(yīng)的實(shí)例Inf1和同樣基于通用GPU的EC2實(shí)例相比，帶來了70%成本的降低；2022年又推出了第二代推理芯片Inferentia2，進(jìn)一步提升了4倍吞吐量，延遲只是之前的1/10，通過優(yōu)化，第二代Inferentia可以大規(guī)模部署復(fù)雜的模型，例如大型語言模型(LLM)和Diffusion類模型。

Inferentia在設(shè)計(jì)的時(shí)候就考慮到了“高吞吐率”和“延遲優(yōu)化”，使得用戶兩者可以兼得。以自然語言常見的BERT模型為例，In2實(shí)例的吞吐可以提升三倍，延遲降低了8.1倍，而成本只是通用GPU實(shí)例的1/4；以開源模型OPT-30B為例，相比于通用GPU EC2的實(shí)例，In2實(shí)例吞吐率增加了65%，而推理成本則降低了52%，如果用更大的660億參數(shù)的OPT-66B為例，通用GPU已經(jīng)力不從心，但I(xiàn)n2實(shí)例依然可以保持每秒351個(gè)token數(shù)的吞吐量；視覺類模型以Stable Diffusion 2.1的版本為例，Inf2實(shí)例可實(shí)現(xiàn)50%的成本節(jié)約。

其二，針對(duì)彈性資源供給，提供600多種不同的計(jì)算實(shí)例，從處理器、網(wǎng)絡(luò)和存儲(chǔ)等各種服務(wù)都能夠與計(jì)算進(jìn)行很好的結(jié)合，以積木的方式搭建出一個(gè)豐富靈活的計(jì)算實(shí)例的資源，滿足多種不同算力的要求。

以存儲(chǔ)為例，數(shù)據(jù)規(guī)模到達(dá)PB級(jí)別時(shí)存儲(chǔ)方式變得非常重要，“熱、溫、冷、凍”不同類型的存儲(chǔ)方式，成本和性能都有很大差別。Amazon S3對(duì)象存儲(chǔ)提供8種存儲(chǔ)層級(jí)，同時(shí)提供智能分層，自動(dòng)選擇最適合的存儲(chǔ)層級(jí)。

其三，針對(duì)簡(jiǎn)化算力應(yīng)用，推動(dòng)云服務(wù)全面邁向Serverless。

亞馬遜云科技在不斷探索如何將云的彈性、敏捷性、按需付費(fèi)的特性發(fā)揮到極致，在這個(gè)過程中，逐步推動(dòng)著云服務(wù)全面邁向Serverless?，F(xiàn)在，已經(jīng)實(shí)現(xiàn)了全棧數(shù)據(jù)服務(wù)的Serverless化，開啟了云服務(wù)全面Serverless的時(shí)代，讓客戶無需預(yù)置或管理基礎(chǔ)設(shè)施，就可以運(yùn)行幾乎任何類型的應(yīng)用程序或后端服務(wù)代碼，幫助客戶最大限度減輕運(yùn)維工作，并增加業(yè)務(wù)敏捷性，更好地應(yīng)對(duì)業(yè)務(wù)的各種不確定性。

陳曉建總結(jié)表示：“面對(duì)算力的需求井噴所帶來挑戰(zhàn)，我們通過自研芯片提供更好的性價(jià)比，通過各種豐富的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等各種產(chǎn)品的組合應(yīng)對(duì)突發(fā)的算力需求，通過Serverless有效降低運(yùn)維的復(fù)雜性，從而簡(jiǎn)化算力的使用，全面滿足用戶的多樣化的算力需求。”

“現(xiàn)今創(chuàng)新至關(guān)重要，云技術(shù)能更快、更高效地幫助企業(yè)創(chuàng)新，亞馬遜云科技廣泛和深入的服務(wù)可以讓客戶擺脫基礎(chǔ)架構(gòu)的束縛，專注于創(chuàng)新?！保ǘ】萍季W(wǎng)原創(chuàng)，轉(zhuǎn)載務(wù)必注明“來源：丁科技網(wǎng)”）