7B的模型也能玩轉(zhuǎn)AI Agents了？近期，快手開源了Kwai Agents，親測(cè)發(fā)現(xiàn)，問(wèn)它周末滑雪問(wèn)題，它不但能幫你找到場(chǎng)地，連當(dāng)天的天氣都幫你考慮周到了。

大語(yǔ)言模型（LLM）通過(guò)對(duì)語(yǔ)言的建模而掌握了大量知識(shí)，并具備一定認(rèn)知和推理能力。但由于無(wú)法跟世界保持實(shí)時(shí)的交互，在單獨(dú)使用的情況下，常會(huì)出現(xiàn)一本正經(jīng)地胡說(shuō)八道的現(xiàn)象。而AI Agents就是解決這個(gè)問(wèn)題的道路之一，它通過(guò)激發(fā)大模型任務(wù)規(guī)劃、反思、調(diào)用工具等能力，使大模型能夠借助現(xiàn)實(shí)世界工具提升生成內(nèi)容的準(zhǔn)確性，甚至有能力解決復(fù)雜問(wèn)題。

據(jù)了解，KwaiAgents是一個(gè)先進(jìn)的AI智能體系統(tǒng)，由快手聯(lián)合哈爾濱工業(yè)大學(xué)研發(fā)，通過(guò)使用大型語(yǔ)言模型來(lái)模仿人類認(rèn)知技能，可應(yīng)用于自然語(yǔ)言處理、語(yǔ)音識(shí)別等領(lǐng)域。Kwai Agents可以使7B/13B的“小”大模型也能達(dá)到超越GPT-3.5的效果，目前該項(xiàng)目已將系統(tǒng)、模型、數(shù)據(jù)、評(píng)測(cè)全部開源，使得更多的研究人員可以參與其中。

技術(shù)報(bào)告：https://arxiv.org/abs/2312.04889

項(xiàng)目主頁(yè)：https://github.com/KwaiKEG/KwaiAgents

從「KwaiAgents」的Github主頁(yè)中可以看到，本次開源內(nèi)容包含：

1.系統(tǒng)（KAgentSys-Lite）：輕量級(jí)AI Agents系統(tǒng)，并配備事實(shí)、時(shí)效性工具集；

2.模型（KAgentLMs）：Meta-Agent Tuning后，具有Agents通用能力的系列大模型及其訓(xùn)練數(shù)據(jù)；

3.評(píng)測(cè)（KAgentBench）：開箱即用的Agent能力自動(dòng)化評(píng)測(cè)Benchmark與人工評(píng)測(cè)結(jié)果。

KAgentBench通過(guò)人工精細(xì)化標(biāo)注的上千條數(shù)據(jù)，做到了開箱即用，讓大家能夠用一行命令評(píng)測(cè)一個(gè)大模型在不同模板下，各方面的Agents能力。下表顯示了經(jīng)過(guò)快手團(tuán)隊(duì)調(diào)優(yōu)后，7B-13B模型各項(xiàng)能力的提升，且超越了GPT-3.5的效果：

同時(shí)，作者們還請(qǐng)人類標(biāo)注者在200個(gè)事實(shí)性和時(shí)效性的問(wèn)題（如“劉德華今年幾歲了”），對(duì)不同的大模型和Agent系統(tǒng)進(jìn)行了交叉評(píng)估，可以看到KAgentSys系統(tǒng)和MAT之后模型提升顯著（百分號(hào)前為正確率，括號(hào)內(nèi)為5分制均分）。

通常僅依賴網(wǎng)頁(yè)搜索對(duì)一些長(zhǎng)尾問(wèn)題和熱門問(wèn)題返回結(jié)果不佳。比如問(wèn)到“安東內(nèi)拉比梅西大多少天？”這類長(zhǎng)尾問(wèn)題，往往搜索結(jié)果返回的都是一些兩者的八卦新聞，而返回不了一些關(guān)鍵信息。而KAgentSys 通過(guò)調(diào)用百科搜索工具獲取精準(zhǔn)的出生日期，再調(diào)用time_delta時(shí)間差工具算出年齡差，就能精準(zhǔn)回答這個(gè)問(wèn)題了。

快手技術(shù)人員表示，AI Agents是一條非常有潛力的道路，未來(lái)一方面會(huì)在這個(gè)方向持之以恒地沉淀核心技術(shù)，并為整個(gè)社區(qū)不斷地注入新的活力；另一方面，也會(huì)積極探索Agents技術(shù)與快手業(yè)務(wù)的結(jié)合，嘗試更多有趣、有價(jià)值的創(chuàng)新應(yīng)用落地。