為了克制AI幻覺,硅谷迷上了檢索增強(qiáng)生成技術(shù)

極客網(wǎng)·人工智能6月18日 現(xiàn)在的生成式AI工具還不完美,經(jīng)常會(huì)“撒謊”,這就是所謂的幻覺。為了克制幻覺,開發(fā)者開發(fā)出一系列工具,最近在硅谷比較流行的工具是檢索增強(qiáng)生成(Retrieval-augmented Generation,簡稱RAG)。

RAG是一種結(jié)合檢索和生成技術(shù)的模型,它為大模型提供外部知識(shí)源,使得大模型具備從指定的知識(shí)庫中進(jìn)行檢索,并結(jié)合上下文信息,生成相對高質(zhì)量的回復(fù)內(nèi)容,減少模型幻覺問題。例如,企業(yè)可以將所有的HR政策和福利信息上傳到RAG數(shù)據(jù)庫,AI聊天機(jī)器人聚焦于可以從這些文件中找到的答案。

聽起來RAG似乎和ChatGPT技術(shù)沒有什么太大差異,實(shí)際上差異蠻大的。Thomson Reuters用RAG技術(shù)開發(fā)出一套面向法務(wù)工作者的AI工具,其公司高管Pablo Arredondo說:“RAG不會(huì)單純依靠初始訓(xùn)練生成的記憶來回答問題,它會(huì)利用搜索引擎收集真實(shí)文檔,比如判例法、論文等,然后根據(jù)這些文檔錨定模型的響應(yīng)?!?/p>

例如,我們可以將某本雜志的所有內(nèi)容上傳到數(shù)據(jù)庫,根據(jù)數(shù)據(jù)庫內(nèi)容回答問題。因?yàn)锳I工具關(guān)注的信息面比較窄,信息質(zhì)量更高,基于RAG開發(fā)的聊天機(jī)器人在回答問題時(shí)會(huì)比通用機(jī)器人更有深度。

RAG機(jī)器人會(huì)不會(huì)犯錯(cuò)呢?當(dāng)然會(huì),但它捏造內(nèi)容的概率會(huì)降低。

研究人員認(rèn)為,RAG方法有很大優(yōu)勢,在訓(xùn)練模型時(shí),它所接受的信息都是事實(shí),而且是可以追溯來源的事實(shí)。如果你能教模型對提供的數(shù)據(jù)進(jìn)行分類,并在每個(gè)輸出結(jié)果中使用、引用,那么人工智能工具就不太可能犯嚴(yán)重的錯(cuò)誤。

用了RAG技術(shù),幻覺能降低多少呢?一些研究者認(rèn)為,幻覺可以達(dá)到很低的程度,但無法完全消除。換言之,RAG不是萬能藥??傮w看,幻覺減少程度取決于兩個(gè)核心要素:一是整體RAG的部署質(zhì)量,二是對AI幻覺的定義。

并非所有的RAG都是一樣的。在自定義數(shù)據(jù)庫中,內(nèi)容的精度影響著結(jié)果質(zhì)量,但它并不是唯一影響因素。除了要關(guān)注內(nèi)容的質(zhì)量,還要關(guān)注搜索質(zhì)量及基于問題的正確內(nèi)容的檢索。掌握過程中的每一步都至關(guān)重要,因?yàn)橐粋€(gè)失誤就可能使模型完全偏離。

斯坦福教授Daniel Ho說:“凡是在某個(gè)搜索引擎中使用自然語言搜索的律師都會(huì)發(fā)現(xiàn),許多時(shí)候語義相似度影響巨大,它會(huì)導(dǎo)出完全不相關(guān)的資料。”

如何定義RAG應(yīng)用中出現(xiàn)的幻覺也很重要。一些專家認(rèn)為,判斷RAG系統(tǒng)是否出現(xiàn)幻覺主要是看輸出結(jié)果是否與數(shù)據(jù)檢索時(shí)模型找到的答案一致。斯坦福大學(xué)則認(rèn)為,要檢查結(jié)果,看它是否基于提供的數(shù)據(jù),是否符合事實(shí)。

在回答法律問題時(shí),RAG系統(tǒng)明顯比ChatGPT、Gemini更好,但它仍然有可能忽視細(xì)節(jié),隨機(jī)給出錯(cuò)誤答案。幾乎所有專家都認(rèn)為,即使有了RAG系統(tǒng),也需要人類參與,對引用信息進(jìn)行雙重檢查,判定結(jié)果的準(zhǔn)確率。

在法律領(lǐng)域RAG系統(tǒng)可以找到用武之地,在其它領(lǐng)域也一樣。凡是需要專業(yè)知識(shí)的專業(yè)領(lǐng)域,AI系統(tǒng)給出的答案都應(yīng)該錨定真實(shí)文件,所以RAG適合專業(yè)領(lǐng)域。

Daniel Ho說:“幻覺一直存在,我們還沒有找到好辦法真正消除幻覺。”雖然RAG可以降低錯(cuò)誤率,但還是需要人類來判斷結(jié)果如何。(小刀)

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2024-06-18
為了克制AI幻覺,硅谷迷上了檢索增強(qiáng)生成技術(shù)
RAG機(jī)器人會(huì)不會(huì)犯錯(cuò)呢?當(dāng)然會(huì),但它捏造內(nèi)容的概率會(huì)降低。

長按掃碼 閱讀全文