通信世界網(wǎng)消息（CWW）你是否經(jīng)歷過大語言模型一本正經(jīng)“胡說八道”？大模型在發(fā)展初期的幻覺問題尤為嚴(yán)重，所回答問題基本屬于“已讀亂回”，至于哪家企業(yè)的大模型不在本文探討之列，大家心知肚明，更重要的是大語言模型的幻覺問題有了最新進(jìn)展。

今日，百度創(chuàng)始人李彥宏公開表示，“大模型基本消除了幻覺”，這對于大語言模型來說是一個巨大的進(jìn)步，過去一年來大模型的幻覺問題為用戶造成了很多困擾，筆者在參加某次業(yè)內(nèi)會議時，有專家明確指出：“我們期望大模型即使不回答也不要輸出誤導(dǎo)性的錯誤答案?！?/p>

面對大語言模型的幻覺問題，各企業(yè)也在全力攻克，尤其頭部的一些大模型開發(fā)廠商。OpenAl CEO Sam Altman曾指出：“我們正在努力解決幻覺問題，這將需要一年半到兩年的時間?！?/p>

然而，信息技術(shù)行業(yè)發(fā)展到今天，已經(jīng)步入到“日日新”的階段，大型語言模型發(fā)展短短兩年時間，就已在該領(lǐng)域上取得了巨大突破。

那么，為什么LLM會出現(xiàn)幻覺？360創(chuàng)始人周鴻祎曾一針見血地指出：“目前人工智能存在一個全世界公認(rèn)的難題——它會產(chǎn)生幻覺，這是大模型本身固有的特性。”也就是說，幻覺問題是大語言模型與生俱來的。

此外，產(chǎn)生幻覺的原因可大致分為三個方面：數(shù)據(jù)源、訓(xùn)練過程、推理。

具體來看，大語言模型產(chǎn)生幻覺的原因包括數(shù)據(jù)質(zhì)量、算法、專業(yè)領(lǐng)域知識豐富度、是否擬合等。

從數(shù)據(jù)質(zhì)量上來看，大規(guī)模數(shù)據(jù)集中可能存在數(shù)據(jù)質(zhì)量問題，例如缺失值、異常值或不一致性，這些問題可能會導(dǎo)致大文本模型輸出錯誤結(jié)果。

從算法選擇來看，目前大模型已經(jīng)遍地開花，各家大模型選擇的算法各不相同，不同的算法對于大規(guī)模數(shù)據(jù)的處理方式各不相同，選擇不恰當(dāng)?shù)乃惴赡軐?dǎo)致對數(shù)據(jù)的錯誤建模，從而產(chǎn)生幻覺。

從專業(yè)領(lǐng)域的知識的豐富程度來看，大語言模型在涉及某些專業(yè)領(lǐng)域時，會因為知識儲備（語料）不充足或者不能理解專業(yè)領(lǐng)域的數(shù)據(jù)，產(chǎn)生對客觀事實的錯誤解讀。

從大語言模型訓(xùn)練的角度來看，存在過擬合的問題。模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但是對樣本外的數(shù)據(jù)進(jìn)行測試時表現(xiàn)效果不佳，欠擬合和過擬合的大模型出現(xiàn)幻覺的概率一般較高。

雖然大語言模型幻覺一度困擾開發(fā)者和用戶，但有人卻持有不同的觀點——大模型幻覺是非常寶貴的特性，之所以有這樣的觀點，是他們認(rèn)為因為“幻覺和創(chuàng)新其實只有一線之隔”，未來，如何破除幻覺和創(chuàng)新的壁壘將是大模型努力的方向。

其實大語言模型發(fā)展到今天，面臨的不止“幻覺”這一個挑戰(zhàn)，如未來隨著數(shù)據(jù)量的巨增，必須要進(jìn)行模型壓縮與優(yōu)化；多模態(tài)模型與大語言模型的結(jié)合，將自然語言處理與計算機(jī)視覺、語音處理等多模態(tài)信息相結(jié)合，擴(kuò)大應(yīng)用場景。