人工智能橋接云基礎(chǔ)設(shè)施（ABCI）是用于AI處理的世界級計(jì)算基礎(chǔ)架構(gòu)，由日本產(chǎn)業(yè)技術(shù)綜合研究所（AIST）建造并 運(yùn)營。索尼公司近日宣布，已利用 ABCI和其深度學(xué)習(xí)開發(fā)框架“核心庫：神經(jīng)網(wǎng)絡(luò)庫”，刷新了全球深度學(xué)習(xí)技術(shù)速度。

深度學(xué)習(xí)是一種使用模仿人腦神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法。通過利用深度學(xué)習(xí)，近年來圖像和聲音識別能力得以迅速增長，甚至在某些領(lǐng)域的表現(xiàn)已優(yōu)于人類。 然而，由于用于學(xué)習(xí)的數(shù)據(jù)和用于提高識別準(zhǔn)確度的模型參數(shù)不斷加大，導(dǎo)致計(jì)算時間不斷增多。 在某些情況下，進(jìn)行一次學(xué)習(xí)需要數(shù)周甚至數(shù)月時間。由于AI開發(fā)是一個需要連續(xù)試錯的過程，縮短學(xué)習(xí)時間至關(guān)重要。因此，目前使用多個GPU縮短學(xué)習(xí)時間的分布式學(xué)習(xí)是一種普遍的解決方案。

當(dāng)增加用于分布式學(xué)習(xí)的GPU數(shù)量時，有時批量數(shù)據(jù)的增加（一次要處理的數(shù)據(jù)量）會讓學(xué)習(xí)過程暫停，或出現(xiàn)由于GPU之間的數(shù)據(jù)傳輸處理延遲導(dǎo)致學(xué)習(xí)速度降低等情況。通過利用可確定合理數(shù)據(jù)批量大小和適當(dāng)GPU數(shù)量的技術(shù)，索尼實(shí)現(xiàn)了在ABCI等大規(guī)模GPU環(huán)境中進(jìn)行學(xué)習(xí)，并提高了通過針對ABCI系統(tǒng)結(jié)構(gòu)優(yōu)化的數(shù)據(jù)同步技術(shù)而實(shí)現(xiàn)的GPU之間的傳輸速度。這些技術(shù)被運(yùn)用于“神經(jīng)網(wǎng)絡(luò)庫”中，并使用AIST的“ABCI Grand Challenge”ABCI計(jì)算資源進(jìn)行學(xué)習(xí)。因此，它能夠在大約3.7分鐘內(nèi)（當(dāng)使用多達(dá)2,176個GPU時）完成ImageNet / ResNet-50 （用于測量深度學(xué)習(xí)分布式學(xué)習(xí)速度的一般行業(yè)基準(zhǔn)），刷新了全球深度學(xué)習(xí)技術(shù)速度。點(diǎn)擊查閱該項(xiàng)研究結(jié)果。

該實(shí)驗(yàn)的結(jié)果表明，使用神經(jīng)網(wǎng)絡(luò)庫進(jìn)行的學(xué)習(xí)或執(zhí)行（深度學(xué)習(xí)）可以刷新全球深度學(xué)習(xí)技術(shù)速度，并且通過使用這一框架，可在更短試驗(yàn)期間內(nèi)，使用深度學(xué)習(xí)進(jìn)行技術(shù)開發(fā)。展望未來，索尼將繼續(xù)開發(fā)相關(guān)技術(shù)，并致力于利用人工智能技術(shù)為社會發(fā)展做貢獻(xiàn)。