快科技2月4日消息，DeepSeek V3、R1系列開(kāi)源AI大模型在多語(yǔ)言理解、復(fù)雜推理任務(wù)中展現(xiàn)了卓越性能，不僅推動(dòng)了AI技術(shù)的普及與發(fā)展，更是對(duì)開(kāi)源社區(qū)的極大貢獻(xiàn)。

目前，各家科技巨頭都已紛紛開(kāi)始支持、部署DeepSeek，國(guó)產(chǎn)硬件也在加速支持。

作為國(guó)產(chǎn)全功能GPU創(chuàng)新企業(yè)，摩爾線程快速實(shí)現(xiàn)了對(duì)DeepSeek蒸餾模型推理服務(wù)的高效部署，可讓更多開(kāi)發(fā)者基于摩爾線程全功能GPU，進(jìn)行AI應(yīng)用創(chuàng)新。

一鍵體驗(yàn)地址：

https://playground.mthreads.com

此外，用戶(hù)也可以基于摩爾線程MTT S80、MTT S4000顯卡，進(jìn)行DeepSeek-R1蒸餾模型的推理部署。

其實(shí)早在1月28日，就已經(jīng)有B站UP主在摩爾線程MTT S80上手動(dòng)完成實(shí)踐：

https://www.bilibili.com/video/BV18YfQYEEs2

通過(guò)DeepSeek提供的蒸餾模型，能夠?qū)⒋笠?guī)模模型的能力遷移至更小、更高效的版本，在國(guó)產(chǎn)GPU上實(shí)現(xiàn)高性能推理。

摩爾線程基于自研全功能GPU，通過(guò)開(kāi)源與自研雙引擎方案，快速實(shí)現(xiàn)了對(duì)DeepSeek蒸餾模型的推理服務(wù)部署。

開(kāi)源框架適配：

基于Ollama開(kāi)源框架，摩爾線程完成DeepSeek-R1-Distill-Qwen-7B蒸餾模型的部署，并在多種中文任務(wù)中展現(xiàn)了優(yōu)異的性能，驗(yàn)證摩爾線程自研全功能GPU的通用性與CUDA兼容性。

自研引擎加速：

通過(guò)摩爾線程自主研發(fā)的高性能推理引擎，結(jié)合軟硬件協(xié)同優(yōu)化技術(shù)，通過(guò)定制化的算子加速和內(nèi)存管理，顯著提升了模型的計(jì)算效率和資源利用率。

這一引擎不僅支持DeepSeek蒸餾模型的高效運(yùn)行，還為未來(lái)更多大規(guī)模模型的部署提供了技術(shù)保障。 

最后，摩爾線程即將開(kāi)放自主設(shè)計(jì)的夸娥（KUAE）GPU智算集群，全面支持DeepSeek V3、R1模型，以及新一代蒸餾模型的分布式部署。

夸娥集群集成先進(jìn)推理技術(shù)與分布式計(jì)算框架，將確保大規(guī)模模型的高效穩(wěn)定運(yùn)行，助力開(kāi)發(fā)者快速實(shí)現(xiàn)業(yè)務(wù)落地。