隨著AI大模型的參數(shù)規(guī)模不斷擴(kuò)大，其對(duì)算力的需求也在急劇提升。為了滿足這一需求，各行各業(yè)都在積極研發(fā)和建設(shè)大規(guī)模的算力基礎(chǔ)設(shè)施，導(dǎo)致多種專用AI加速芯片處于供不應(yīng)求狀態(tài)，不僅采購(gòu)困難且成本高昂。因此，一些企業(yè)將目光轉(zhuǎn)向目前最為普及的硬件產(chǎn)品——CPU（中央處理器）。近日，第五代英特爾至強(qiáng)可擴(kuò)展處理器的出現(xiàn)，讓業(yè)內(nèi)再一次看到，利用CPU同樣能提升AI的工作效率，在CPU上跑AI,也可以很“香”。

CPU在AI領(lǐng)域的新使命

據(jù)了解，與訓(xùn)練相比，AI推理對(duì)算力資源的需求相對(duì)較小，對(duì)于一些推理任務(wù)較輕的業(yè)務(wù)或行業(yè)來(lái)說(shuō)，相比專業(yè)的AI加速芯片，選擇CPU更具成本效益。同時(shí)，由于CPU是目前最為普及的硬件，因此大多數(shù)企業(yè)都樂(lè)于利用部署更為廣泛、基于CPU的IT基礎(chǔ)設(shè)施和架構(gòu)，避免異構(gòu)平臺(tái)的部署難題。在傳統(tǒng)架構(gòu)中引入AI加速，是CPU在這個(gè)時(shí)代的新使命。

第五代英特爾至強(qiáng)可擴(kuò)展處理器應(yīng)運(yùn)而生。該處理器的核心數(shù)量增加至64個(gè)，配備了320MB的L3緩存和128MB的L2緩存。不論單核性能還是核心數(shù)量，相比上一代處理器都有了明顯提升。在相同功耗下，第五代至強(qiáng)可擴(kuò)展處理器平均性能提升21%，內(nèi)存帶寬提升高達(dá)16%，三級(jí)緩存容量提升到了原來(lái)的近3倍。

同時(shí)，第五代至強(qiáng)可擴(kuò)展處理器的每個(gè)內(nèi)核均具備AI加速功能，與上代相比，其訓(xùn)練性能提升29%，推理能力提升42%。

在AI負(fù)載處理能力方面，第五代至強(qiáng)可擴(kuò)展處理器也有明顯提升。從第四代至強(qiáng)可擴(kuò)展處理器開(kāi)始，就引入了英特爾高級(jí)矩陣擴(kuò)展（英特爾AMX）作為內(nèi)置AI加速引擎，這一創(chuàng)新使得CPU能夠更高效地處理AI工作負(fù)載。五代至強(qiáng)中還同樣內(nèi)置了英特爾AVX-512指令集，配合運(yùn)行速度更快的內(nèi)核和速度更快的內(nèi)存，進(jìn)一步提升了AI性能，使得生成式AI無(wú)需獨(dú)立的AI專用加速器即可執(zhí)行更多工作負(fù)載。通過(guò)在自然語(yǔ)言處理推理方面的性能飛躍，它能更好地幫助企業(yè)支持智能助手、聊天機(jī)器人、預(yù)測(cè)性文本、語(yǔ)言翻譯等工作負(fù)載的響應(yīng)速度。采用該處理器之后，開(kāi)發(fā)者能夠推理和調(diào)優(yōu)多達(dá)200億參數(shù)量的大語(yǔ)言模型，且在運(yùn)行參數(shù)量低于200億模型的響應(yīng)時(shí)延不超過(guò)100毫秒。

為云服務(wù)廠商保駕護(hù)航

生成式AI的爆發(fā)在給云計(jì)算產(chǎn)業(yè)帶來(lái)全新機(jī)遇的同時(shí)，也帶來(lái)了挑戰(zhàn)。由于大模型需要龐大的算力支持，云廠商需要盡快升級(jí)數(shù)據(jù)中心算力以應(yīng)對(duì)AI需求，并持續(xù)降低TCO（總擁有成本），為用戶提供價(jià)格合理的算力資源。此外，AI應(yīng)用開(kāi)發(fā)還涉及大量隱私敏感數(shù)據(jù)的云端存儲(chǔ)和使用，云廠商需要對(duì)已有硬件基礎(chǔ)設(shè)施進(jìn)行更新?lián)Q代，以保障這些數(shù)據(jù)的安全可靠，打消用戶的后顧之憂。
第五代英特爾至強(qiáng)可擴(kuò)展處理器從軟硬兩方面來(lái)為云服務(wù)廠商搭建良好的生態(tài)環(huán)境。在硬件方面，通過(guò)英特爾SGX/TDX解決方案為云端數(shù)據(jù)提供端到端的硬件級(jí)防護(hù)能力。在軟件方面，英特爾已經(jīng)在Pytorch、Tensorflow和OpenVINO工具套件的行業(yè)標(biāo)準(zhǔn)框架中提供了針對(duì)第五代至強(qiáng)可擴(kuò)展處理器的優(yōu)化，使得云廠商和用戶能夠以較低的門檻，快速利用如英特爾AMX等處理器功能，打通AI應(yīng)用的算力瓶頸。

第五代英特爾至強(qiáng)可擴(kuò)展處理器如同一個(gè)強(qiáng)大的后盾，為云服務(wù)廠商提供了堅(jiān)實(shí)的算力支持。它不僅降低了運(yùn)營(yíng)成本，還為數(shù)據(jù)安全筑起了一道堅(jiān)固的屏障。更重要的是，它優(yōu)化了AI應(yīng)用開(kāi)發(fā)，讓云服務(wù)廠商也能體會(huì)到在CPU上跑AI的“香甜”。
企業(yè)開(kāi)啟“嘗鮮”模式
英特爾CEO帕特·基辛格在2023英特爾ON技術(shù)創(chuàng)新大會(huì)中曾表示：“在這個(gè)人工智能技術(shù)與產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型飛速發(fā)展的時(shí)代，英特爾保持高度的責(zé)任心，助力開(kāi)發(fā)者，讓AI技術(shù)無(wú)處不在，讓AI更易觸達(dá)、更可見(jiàn)、透明并且值得信任?！?br> 據(jù)了解，數(shù)據(jù)中心如今有70%的推理運(yùn)行采用英特爾至強(qiáng)可擴(kuò)展處理器。隨著第五代至強(qiáng)可擴(kuò)展處理器的誕生，一些企業(yè)開(kāi)啟了“嘗鮮”模式，其產(chǎn)品也在AI性能方面有明顯提升。
11.11期間，京東云便通過(guò)基于第五代英特爾至強(qiáng)可擴(kuò)展處理器的新一代服務(wù)器，成功應(yīng)對(duì)了業(yè)務(wù)量激增，與上一代服務(wù)器相比，整機(jī)性能提升達(dá)123%，AI計(jì)算機(jī)視覺(jué)推理性能提升至138%，Llama 2推理性能提升至151%。輕松 hold 住用戶訪問(wèn)峰值同比提高170%、智能客服咨詢量超14億次的大促壓力。

基于第五代英特爾至強(qiáng)可擴(kuò)展處理器，火山引擎第三代彈性計(jì)算實(shí)例整機(jī)算力提升了39%，應(yīng)用性能最高提升了43%。在性能提升的基礎(chǔ)上，火山引擎已通過(guò)其獨(dú)有的潮汐資源并池能力，構(gòu)建百萬(wàn)核彈性能資源池，能夠以近似包月的成本提供按量使用體驗(yàn)，降低上云成本。
使用第五代至強(qiáng)可擴(kuò)展處理器的內(nèi)置加速器時(shí)，可將每瓦性能平均提升10倍，能耗低至105W，同時(shí)還能運(yùn)行針對(duì)工作負(fù)載優(yōu)化的高能效SKU。

在搭載第五代英特爾至強(qiáng)可擴(kuò)展處理器及其內(nèi)置的英特爾AMX、英特爾TDX加速引擎后，阿里云打造了“生成式AI模型及數(shù)據(jù)保護(hù)”的創(chuàng)新實(shí)踐，使第8代ECS實(shí)例在安全性和AI性能上都獲得了顯著提升，且保持實(shí)例價(jià)格不變，普惠客戶。
包括推理性能提高25%、QAT加解密性能提升20%、數(shù)據(jù)庫(kù)性能提升25%，以及音視頻性能提升15%。

如果將數(shù)據(jù)中心比喻為巨型計(jì)算機(jī)，那么CPU就是其“大腦”。第五代英特爾至強(qiáng)可擴(kuò)展處理器作為“超級(jí)大腦”，對(duì)于數(shù)據(jù)中心的高效運(yùn)行和AI應(yīng)用的實(shí)現(xiàn)都起著至關(guān)重要的作用。
AI落地的時(shí)代開(kāi)始了，CPU的“春天”也要來(lái)了。