6月6日，2021全球人工智能技術(shù)大會(huì)“發(fā)展與挑戰(zhàn)”專題論壇在杭州舉行?？焓旨夹g(shù)副總裁、MMU&Y-tech負(fù)責(zé)人王仲遠(yuǎn)出席論壇并發(fā)表《音樂(lè)與技術(shù)的碰撞交融——藝術(shù)如何隨時(shí)代變遷》主題演講，分享快手在AI音樂(lè)方面的動(dòng)態(tài)與進(jìn)展，充分展現(xiàn)快手領(lǐng)先的人工智能技術(shù)，以及AI音樂(lè)為短視頻帶來(lái)的強(qiáng)大助力。

AI技術(shù)+音樂(lè)深度融合，快手持續(xù)提升短視頻觀看體驗(yàn)

作為國(guó)民短視頻APP，快手擁有海量?jī)?nèi)容、超大流量和高用戶粘性。數(shù)據(jù)顯示，平均每月快手用戶上傳的短視頻數(shù)量超11億，整體日活達(dá)3.7億+，用戶平均每日在快手平臺(tái)觀看短視頻和直播內(nèi)容的時(shí)長(zhǎng)近100分鐘。

在豐富的快手社區(qū)生態(tài)中，音樂(lè)成為激勵(lì)用戶創(chuàng)作的因素之一。在快手，76%的快手作品有配樂(lè)，90%的快手用戶期望大部分短視頻有配樂(lè)。

為何用戶在創(chuàng)作短視頻時(shí)，對(duì)于音樂(lè)有如此強(qiáng)的依賴性？王仲遠(yuǎn)表示：“對(duì)于短視頻的制作體驗(yàn)而言，音樂(lè)的正向影響至關(guān)重要。比如唯美風(fēng)短視頻如果去掉背景音樂(lè)只剩原始聲音，就會(huì)削弱其氛圍感，給用戶留下與之前截然不同的印象。”

對(duì)此，王仲遠(yuǎn)進(jìn)一步分析了音樂(lè)的獨(dú)特魅力。在他看來(lái)，音樂(lè)可以與人的思想情緒聯(lián)系在一起，能夠讓人感到歡喜，感到悲傷，感到期待等。當(dāng)中國(guó)人聽到春節(jié)序曲時(shí)，往往會(huì)產(chǎn)生一種春回大地、萬(wàn)物復(fù)蘇的感受，央視春晚主持人的開場(chǎng)詞也不自覺在腦海中浮現(xiàn)。

作為一種具有魔力的藝術(shù)表現(xiàn)形式，音樂(lè)也隨著技術(shù)的發(fā)展而產(chǎn)生新的形式。在工業(yè)化時(shí)代，制造工藝的改進(jìn)使得樂(lè)器可以發(fā)出的聲音更加豐富、層次化。在電子化時(shí)代，電子技術(shù)的發(fā)展創(chuàng)造出自然界機(jī)械無(wú)法發(fā)出的聲音，音樂(lè)的表現(xiàn)力更加多元化。

如今，步入人工智能時(shí)代，AI技術(shù)則幫助音樂(lè)實(shí)現(xiàn)全面的個(gè)性化和智能化，為音樂(lè)和短視頻帶來(lái)了新的發(fā)展空間。據(jù)王仲遠(yuǎn)介紹，前段時(shí)間火爆全網(wǎng)的《螞蟻呀嘿》正是將音樂(lè)和視覺AI技術(shù)進(jìn)行了創(chuàng)意融合，用戶只需要一張照片就可以自動(dòng)生成詼諧好玩的動(dòng)態(tài)唱歌視頻，再加上魔性的BGM，很快成為短視頻用戶爭(zhēng)相創(chuàng)作的模板。

AI技術(shù)推動(dòng)音樂(lè)大眾化，快手自建模型還原專業(yè)級(jí)演唱

在技術(shù)的加持下，音樂(lè)制作進(jìn)入大眾化時(shí)代。如何幫助更多用戶創(chuàng)作出個(gè)性化的音樂(lè)？快手自主研究了AI音樂(lè)創(chuàng)作模型和AI歌手。

從音樂(lè)制作流程上來(lái)看，大多偏向于流水線化、工程化和模塊化，首先是把握創(chuàng)作動(dòng)機(jī)，然后進(jìn)行作詞、作曲，之后進(jìn)行編曲，最后錄音和混音。而通過(guò)快手搭建的AI模型，其中的每一步都可以借助AI完成。

王仲遠(yuǎn)表示：“在AI時(shí)代，動(dòng)機(jī)變得十分簡(jiǎn)單。把隨機(jī)關(guān)鍵詞輸入快手AI音樂(lè)模型中，模型就能把詞轉(zhuǎn)換成動(dòng)機(jī)的一種表示，乃至于各種初始化的音樂(lè)?！?/span>

確定好動(dòng)機(jī)之后就可以利用快手AI模塊生成歌詞。在AI歌詞方面，快手針對(duì)數(shù)百萬(wàn)已有歌曲對(duì)模型進(jìn)行重新訓(xùn)練，以確保AI可以很好地理解詞義，讓用戶只需輸入一個(gè)主題、一個(gè)情感、一個(gè)風(fēng)格，就能在數(shù)秒內(nèi)生成數(shù)十首歌詞。

在AI旋律的創(chuàng)作上，快手也采用類似方法，搭建了數(shù)十萬(wàn)首曲譜和百萬(wàn)首歌曲音頻訓(xùn)練模型再通過(guò)迷你數(shù)據(jù)庫(kù)讓模型自監(jiān)督學(xué)習(xí)歌曲的內(nèi)在關(guān)聯(lián)，從而訓(xùn)練AI旋律生成的能力。

據(jù)了解，快手邀請(qǐng)了平臺(tái)內(nèi)的音樂(lè)人使用AI模型來(lái)創(chuàng)作新歌曲，已創(chuàng)作的流行音樂(lè)有《甜甜的味道》《夜》《勇往直前》等。

錄制一首高質(zhì)量的成品歌曲，對(duì)歌手的演唱水平要求極高。為了解決部分用戶面臨的唱歌跑調(diào)、音色不好聽等問(wèn)題，快手則推出了AI歌手輔助創(chuàng)作功能，并不斷提升其模型的精準(zhǔn)度。

據(jù)介紹，2020年5月，AI歌手的演唱還是KTV水平；到2020年12月，普通人已經(jīng)很難發(fā)現(xiàn)AI歌手演唱中的瑕疵；如今，模型會(huì)根據(jù)曲譜自動(dòng)調(diào)整音高、節(jié)拍和歌詞，AI歌手可以逼真地還原出專業(yè)級(jí)歌手的演唱水平。

演講最后，王仲遠(yuǎn)表示：“未來(lái)，快手還將探索更多新技術(shù)，豐富生成側(cè)的玩法。借助語(yǔ)音識(shí)別技術(shù)，快手希望AI歌手將來(lái)可以模仿個(gè)人音色，AI音樂(lè)則能夠把說(shuō)的話直接轉(zhuǎn)成歌曲，滿足用戶更個(gè)性化的音樂(lè)創(chuàng)作需求，持續(xù)助力短視頻領(lǐng)域創(chuàng)作?！?/span>