引言

當前，越來越多的短視頻用戶不僅希望利用碎片化的時間來休閑娛樂，也開始希望能夠在短視頻平臺中獲取更多知識。2021年，快手泛知識內(nèi)容播放量同比增長58.11%，平臺全年有超過3300萬場泛知識直播 [1]。為了更好地理解和組織泛知識視頻，快手MMU聯(lián)合哈爾濱工業(yè)大學等提出業(yè)界首個多模態(tài)短視頻百科——“快知（Kuaipedia）”：通過多模態(tài)和知識圖譜技術從海量短視頻中挖掘大規(guī)模高質(zhì)量的知識視頻，并將其結構化，形成體系化的短視頻百科知識庫，為用戶提供更好的知識獲取體驗，同時激發(fā)創(chuàng)作者創(chuàng)造優(yōu)質(zhì)知識內(nèi)容，構建良性的知識分享生態(tài)。

 
●    論文鏈接：https://arxiv.org/abs/2211.00732
●    項目主頁：https://github.com/Kuaipedia/Kuaipedia

團隊從快手海量短視頻中挖掘出億級別知識類視頻，并對其進行了結構化，構建了千萬級詞條和知識點視頻百科體系?！翱熘↘uaipedia）”的提出有助于學界推動AI通過多模態(tài)信息理解世界知識，且在產(chǎn)業(yè)界落地有較大想象空間。

介紹

百科全書（Encyclopedia），可以追溯到希臘和羅馬，也是17-18世紀法國啟蒙運動的一個杰出的成果。知識百科通常是指一個是概要介紹人類全部知識或某一特定領域或學科的工具書或綱要，在互聯(lián)網(wǎng)急速發(fā)展的當下，網(wǎng)絡百科成為知識新的載體，如維基百科、百度百科等。但這些百科通常以圖文、表格為載體，比較難以表達一些需要生動演示的知識，比如教程（How-to）類知識。圖一展示了使用圖文講述 “柴犬”-“怎么畫” 這一知識的困境。而通過短視頻，我們能夠很好地對這些知識進行一個闡釋和學習。

具體視頻見https://www.gifshow.com/fw/photo/3xhcmzgr9fq492m。

圖一：圖文在how-to類知識上知識傳遞的困境，圖文來自短視頻的幀截圖

隨著內(nèi)容行業(yè)和媒體形態(tài)的不斷迭代，短視頻已經(jīng)越來越成為知識傳播者的主要媒介，尤其是在一些技能和特長類的知識傳播，天然就有它的一些優(yōu)勢。而在當下，盡管有公開的網(wǎng)絡百科中有視頻的內(nèi)容，但通常是偏簡介形式（如秒懂百科），沒有將短視頻最大程度的進行利用，因此短視頻在知識百科中的表達能力被嚴重低估。比如當人們講到“柴犬”，人們除了“簡介” 以外，還關注“怎么挑”、“怎么梳毛”、“怎么糾正護食”等。因此我們認為將知識類的短視頻結構化，構成結構化的短視頻百科是一條理解世界知識、幫助人類以更高效率傳播知識的有效途徑。
參考國家標準 [2] ，我們將事實（What）、原理（Why）類知識歸結為科普知識，技能（How）類歸結為教程知識，在快手海量的視頻中挖掘出高質(zhì)的知識視頻。此外，我們將短視頻中抽取的知識主體以詞條形式呈現(xiàn)（如柴犬），并抽取視頻中講解的該詞條具體的知識點（如柴犬-挑選、柴犬-護食糾正等），最終構成了一個短視頻的百科知識體系，如圖二所示。

圖二：快知——多模態(tài)短視頻百科概覽

“快知（Kuaipedia）”的提出有以下幾個貢獻：

1.    “快知”的定義：我們開創(chuàng)性地定義了一個全新的多模態(tài)知識百科庫，以詞條、知識點、知識類短視頻以及它們間的關系共同構成。這是業(yè)界首個結構化的多模態(tài)短視頻百科。

2.    構建大規(guī)模短視頻百科的方法：我們提出使用知識視頻識別、詞條知識點挖掘、多模態(tài)知識鏈接的組合來構建大規(guī)模的短視頻百科。并開創(chuàng)性提出“多模態(tài)知識鏈接”任務，作為傳統(tǒng)實體鏈接的一個外延和擴展。

3.    富有潛力和想象空間的應用：在學術上，“快知”以嶄新的知識點短視頻化組織形式，能夠突破目前機器僅靠圖文知識圖譜（KG）理解世界知識的上限，在KG的一些下游任務如實體鏈接、實體分類，或者NLP、CV等內(nèi)容理解下游任務上，有非常大的潛力。在產(chǎn)業(yè)界，“快知”這樣的形式能夠助力短視頻平臺進行高效地運營、組織內(nèi)容，提升用戶對知識的理解與消費效率。

技術概覽

為了實現(xiàn)上述的短視頻百科結構化，核心技術包括以下三個主要步驟，如圖三所示。

1.    知識視頻識別：通過多模態(tài)視頻預訓練模型，理解并識別海量視頻中知識類視頻；

2.    詞條和知識點挖掘：通過多源知識庫融合“自頂向下”構建詞條體系，再通過對用戶搜索query挖掘“自底向上”構建詞條與知識點關系，形成詞條知識點樹；

3.    多模態(tài)知識鏈接：創(chuàng)新性地擴展傳統(tǒng)“實體鏈接”任務，提出通過多模態(tài)內(nèi)容理解技術將視頻鏈接到詞條（如柴犬）的某一個知識點（如護食糾正）上的“多模態(tài)知識鏈接”任務。

圖三：快知構建技術鏈路

通過大量詳實的人工評測，快知所挖掘的知識點與視頻已具備較高的準確率和質(zhì)量。更詳細的算法和實驗數(shù)據(jù)具體參見論文或者我們的Github主頁（見文章開頭）。

應用

首先，“快知（Kuaipedia）”這樣的多模態(tài)短視頻百科體系，在學術界對于推動AI理解世界知識的技術發(fā)展有極大的潛力。一方面，“快知”突破圖文和表格的局限，通過更豐富的知識點和短視頻來描述某一個實體或者概念，這種方式能夠推動多模態(tài)知識圖譜技術的發(fā)展。另一方面，這些知識點和短視頻有助于AI更好地理解世界知識，尤其是一些圖文難表述的 How-to 類知識，這種多模態(tài)知識能夠增強AI對世界的理解，對KG、NLP、CV等領域的下游應用都很有幫助。我們在CCKS實體鏈指的任務上，證明“快知”多模態(tài)知識的簡單引入就能有效提升BERT在實體鏈接和在實體分類上的性能。

此外，“快知”在產(chǎn)業(yè)落地極具想象力，在短視頻生態(tài)向“泛知識”拓展的過程中，現(xiàn)有的形式約束了其傳播方式，“快知”通過結構化的內(nèi)容，能提升平臺的運營和分發(fā)效率，更好地滿足用戶的求知訴求。我們將該項技術首先在健康垂類進行了落地嘗試，快手健康團隊此前以病種為組織維度，純?nèi)斯ね诰蛄艘慌鷥?yōu)質(zhì)PUGC內(nèi)容，但是存在疾病知識體系不完善、權威性知識視頻量級小等痛點，難以高效率構建完整、大規(guī)模、結構化的疾病視頻體系。利用“快知”的技術后，自動化地挖掘出了一批高質(zhì)量、有快手特色的知識點和知識視頻，豐富了疾病類內(nèi)容，比純?nèi)斯嫿ㄌ嵝资?。目前這批內(nèi)容已經(jīng)在快手App精選頁上線：點擊精選視頻流中某個疾病類視頻的「底部通欄」，喚起「快手健康」半屏頁，用戶可以消費該視頻所屬詞條下的相關知識點和相關知識視頻，如圖四所示。

圖四：快知在健康場景落地

除健康外，“快知”還覆蓋了教育、美食、三農(nóng)、親子、法律、科技、金融等眾多領域的知識內(nèi)容，有著較大的應用潛力。

結語

面對泛知識類內(nèi)容在短視頻行業(yè)的發(fā)展前景，我們提出了“快知（Kuaipedia）”多模態(tài)短視頻百科體系，從存量的海量短視頻內(nèi)容入手，通過多模態(tài)知識圖譜構建技術挖掘出億級別高質(zhì)量的知識視頻，并將知識內(nèi)容結構化，構建業(yè)界首個大規(guī)模體系化的短視頻百科知識庫，其在學術界和產(chǎn)業(yè)界有較大的潛力和想象空間。