大模型已基本解決幻覺(jué)問(wèn)題?
今日,百度創(chuàng)始人李彥宏公開(kāi)表示,“大模型基本消除了幻覺(jué)”,這對(duì)于大語(yǔ)言模型來(lái)說(shuō)是一個(gè)巨大的進(jìn)步
2024-11-13 09:19:36
來(lái)源:通信世界全媒體 孫天??

通信世界網(wǎng)消息(CWW)你是否經(jīng)歷過(guò)大語(yǔ)言模型一本正經(jīng)“胡說(shuō)八道”?大模型在發(fā)展初期的幻覺(jué)問(wèn)題尤為嚴(yán)重,所回答問(wèn)題基本屬于“已讀亂回”,至于哪家企業(yè)的大模型不在本文探討之列,大家心知肚明,更重要的是大語(yǔ)言模型的幻覺(jué)問(wèn)題有了最新進(jìn)展。

今日,百度創(chuàng)始人李彥宏公開(kāi)表示,“大模型基本消除了幻覺(jué)”,這對(duì)于大語(yǔ)言模型來(lái)說(shuō)是一個(gè)巨大的進(jìn)步,過(guò)去一年來(lái)大模型的幻覺(jué)問(wèn)題為用戶(hù)造成了很多困擾,筆者在參加某次業(yè)內(nèi)會(huì)議時(shí),有專(zhuān)家明確指出:“我們期望大模型即使不回答也不要輸出誤導(dǎo)性的錯(cuò)誤答案。”

面對(duì)大語(yǔ)言模型的幻覺(jué)問(wèn)題,各企業(yè)也在全力攻克,尤其頭部的一些大模型開(kāi)發(fā)廠(chǎng)商。OpenAl CEO Sam Altman曾指出:“我們正在努力解決幻覺(jué)問(wèn)題,這將需要一年半到兩年的時(shí)間?!?/p>

然而,信息技術(shù)行業(yè)發(fā)展到今天,已經(jīng)步入到“日日新”的階段,大型語(yǔ)言模型發(fā)展短短兩年時(shí)間,就已在該領(lǐng)域上取得了巨大突破。

那么,為什么LLM會(huì)出現(xiàn)幻覺(jué)?360創(chuàng)始人周鴻祎曾一針見(jiàn)血地指出:“目前人工智能存在一個(gè)全世界公認(rèn)的難題——它會(huì)產(chǎn)生幻覺(jué),這是大模型本身固有的特性?!币簿褪钦f(shuō),幻覺(jué)問(wèn)題是大語(yǔ)言模型與生俱來(lái)的。

此外,產(chǎn)生幻覺(jué)的原因可大致分為三個(gè)方面:數(shù)據(jù)源、訓(xùn)練過(guò)程、推理。

具體來(lái)看,大語(yǔ)言模型產(chǎn)生幻覺(jué)的原因包括數(shù)據(jù)質(zhì)量、算法、專(zhuān)業(yè)領(lǐng)域知識(shí)豐富度、是否擬合等。

從數(shù)據(jù)質(zhì)量上來(lái)看,大規(guī)模數(shù)據(jù)集中可能存在數(shù)據(jù)質(zhì)量問(wèn)題,例如缺失值、異常值或不一致性,這些問(wèn)題可能會(huì)導(dǎo)致大文本模型輸出錯(cuò)誤結(jié)果。

從算法選擇來(lái)看,目前大模型已經(jīng)遍地開(kāi)花,各家大模型選擇的算法各不相同,不同的算法對(duì)于大規(guī)模數(shù)據(jù)的處理方式各不相同,選擇不恰當(dāng)?shù)乃惴赡軐?dǎo)致對(duì)數(shù)據(jù)的錯(cuò)誤建模,從而產(chǎn)生幻覺(jué)。

從專(zhuān)業(yè)領(lǐng)域的知識(shí)的豐富程度來(lái)看,大語(yǔ)言模型在涉及某些專(zhuān)業(yè)領(lǐng)域時(shí),會(huì)因?yàn)橹R(shí)儲(chǔ)備(語(yǔ)料)不充足或者不能理解專(zhuān)業(yè)領(lǐng)域的數(shù)據(jù),產(chǎn)生對(duì)客觀(guān)事實(shí)的錯(cuò)誤解讀。

從大語(yǔ)言模型訓(xùn)練的角度來(lái)看,存在過(guò)擬合的問(wèn)題。模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好,但是對(duì)樣本外的數(shù)據(jù)進(jìn)行測(cè)試時(shí)表現(xiàn)效果不佳,欠擬合和過(guò)擬合的大模型出現(xiàn)幻覺(jué)的概率一般較高。

雖然大語(yǔ)言模型幻覺(jué)一度困擾開(kāi)發(fā)者和用戶(hù),但有人卻持有不同的觀(guān)點(diǎn)——大模型幻覺(jué)是非常寶貴的特性,之所以有這樣的觀(guān)點(diǎn),是他們認(rèn)為因?yàn)椤盎糜X(jué)和創(chuàng)新其實(shí)只有一線(xiàn)之隔”,未來(lái),如何破除幻覺(jué)和創(chuàng)新的壁壘將是大模型努力的方向。

其實(shí)大語(yǔ)言模型發(fā)展到今天,面臨的不止“幻覺(jué)”這一個(gè)挑戰(zhàn),如未來(lái)隨著數(shù)據(jù)量的巨增,必須要進(jìn)行模型壓縮與優(yōu)化;多模態(tài)模型與大語(yǔ)言模型的結(jié)合,將自然語(yǔ)言處理與計(jì)算機(jī)視覺(jué)、語(yǔ)音處理等多模態(tài)信息相結(jié)合,擴(kuò)大應(yīng)用場(chǎng)景。

原創(chuàng)文章
最新文章
1
本田攜手亞馬遜云科技打造下一代軟件定義汽車(chē),并利用生成式AI提升充電體驗(yàn)
2
引領(lǐng)聚合力 共創(chuàng)好產(chǎn)品:2024中國(guó)家電行業(yè)“好產(chǎn)品”發(fā)布盛典在北京召開(kāi)
3
CES2025:中國(guó)“智”造新年秀實(shí)力第一站,長(zhǎng)虹攜多款A(yù)I產(chǎn)品描繪生活之美
4
新年新氣象,盤(pán)點(diǎn)2025年智能電視行業(yè)發(fā)展的趨勢(shì)和方向
5
國(guó)補(bǔ)擴(kuò)圍,洗碗機(jī)、凈水器市場(chǎng)即將迎來(lái)爆發(fā)式增長(zhǎng)?
6
融合科技與藝術(shù)之美,家電如何構(gòu)建幸福生活?
7
AI改為GPT-4o,999元賣(mài)爆的中國(guó)首款A(yù)I眼鏡出海了!
8
最新手機(jī)數(shù)碼類(lèi)國(guó)補(bǔ)政策出爐,最高補(bǔ)貼五百元,想換機(jī)的朋友直接沖!
9
CES 2025:六大手機(jī)廠(chǎng)商缺席 一加和TCL成明星
10
日本芯片公司Rapidus將向博通提供2nm芯片樣品:與臺(tái)積電競(jìng)爭(zhēng)
11
徹底告別劉海、藥丸屏!iPhone 18 Pro系列變成單挖孔
12
2024投影行業(yè)十大事件:4K+激光勢(shì)猛,LCoS挑戰(zhàn)DLP,車(chē)載成增長(zhǎng)點(diǎn)
13
2025家電明星品類(lèi),凈水器已經(jīng)鎖定一個(gè)席位?
14
海信羅馬假日mini斬獲CES 2025創(chuàng)新獎(jiǎng),引領(lǐng)精致健康洗護(hù)潮流
15
CES觀(guān)察:科技品牌兩翼齊飛,九號(hào)公司的“智造未來(lái)”
16
極米攜全新概念產(chǎn)品XGIMI Ascend亮相CES 2025
17
CES2025:全球最大RGB-Mini LED電視亮相,海信讓液晶電視首次發(fā)出彩色光源
18
BOE(京東方)全新概念級(jí)“AI視聽(tīng)中心”亮相CES 2025 攜手高通引領(lǐng)智慧家居娛樂(lè)新圖景
19
趨勢(shì)2025 | 投資產(chǎn)出雙向奔赴,算力布局不斷優(yōu)化
20
空調(diào)最多補(bǔ)3臺(tái),補(bǔ)貼擴(kuò)容至12類(lèi),2025家電國(guó)補(bǔ)繼續(xù)“賞飯吃”
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512