大評(píng)測(cè)！ChatGPT 、文心一言和Bard誰(shuí)更強(qiáng)？

撰文 | 蘇??舒

編輯 | 李信馬

題圖 | IC Photo

3月22日，谷歌悄悄公開(kāi)了Bard的測(cè)試版。

經(jīng)過(guò)上一次的翻車事件之后，谷歌明顯低調(diào)了很多。但是面對(duì)微軟的步步緊逼，谷歌也不得不站出來(lái)“打擂臺(tái)”。

不同于New Bing的大規(guī)模開(kāi)放策略，Bard的測(cè)試名額將被逐步放出，同時(shí)初始版本將只能對(duì)文本響應(yīng)。谷歌表示，Bard首先將面向美國(guó)和英國(guó)地區(qū)啟動(dòng)，隨著測(cè)試的推進(jìn)Bard也會(huì)逐步在其他地區(qū)上線。

在三大模型都開(kāi)放測(cè)試后，搶先體驗(yàn)了一下。我們分別就文學(xué)、翻譯、創(chuàng)作、藝術(shù)、哲學(xué)、邏輯推理等方向出題，來(lái)看看他們的回答是什么樣子的。

在此先注明，對(duì)三大語(yǔ)言模型提出的問(wèn)題，每一次生成的答案都有所不同，也因此造成了“一萬(wàn)個(gè)人有一萬(wàn)個(gè)哈姆雷特”，但總體來(lái)看，三大語(yǔ)言模型還是各有千秋。另外，由于Bard目前只支持英文，因此，Bard是用英文提問(wèn)，文心一言和ChatGPT（3.5版本）是用中文提問(wèn)。

一、互相評(píng)價(jià)一下

分別將“你認(rèn)為文心一言/ChatGPT/Bard怎么樣”拋給這三個(gè)大語(yǔ)言模型，讓他們給對(duì)方做一下評(píng)價(jià)。

Bard給出了相對(duì)客觀的回答，也肯定了文心一言在中文理解上的優(yōu)勢(shì)，以及ChatGPT在英文理解上的優(yōu)勢(shì)。

不過(guò)，咨詢了一下英語(yǔ)專業(yè)人士來(lái)解讀這段話，她表示，Bard回答很客觀但語(yǔ)言表述比較機(jī)械，“語(yǔ)言表述像是用機(jī)器翻譯的中文一般，有很多重復(fù)的內(nèi)容?！?/p>

為了更好的做對(duì)比，我們用英文在ChatGPT上和文心一言都問(wèn)了一下。

上圖為ChatGPT，下圖為文心一言

在這個(gè)問(wèn)題上，ChatGPT的英文表示是好于Bard。文心一言這邊就有意思的多并且“狡猾”一些，誰(shuí)也不得罪同時(shí)，還吹捧了人類。（最后一句話的意思是：地球上只有一個(gè)聰明的活物種：人類。）

上圖為ChatGPT，下圖為文心一言

用中文去問(wèn)，ChatGPT也好，文心一言也罷，和Bard的回答都差不多。先表明自己作為AI大模型角色，做不了任何評(píng)價(jià)，然后對(duì)其解釋一番。

二、文學(xué)創(chuàng)作能力

這里，我們用了一個(gè)有更多限定的問(wèn)題，寫一本像奧斯丁的《傲慢與偏見(jiàn)》同類型小說(shuō)的大綱。并且通過(guò)繼續(xù)提問(wèn)的方式，以便考量三大模型對(duì)話的連續(xù)度。

Bard對(duì)話持續(xù)度是正常的。但是它似乎并沒(méi)有理解這個(gè)問(wèn)題的限定詞——寫一篇類似《傲慢與偏見(jiàn)》的小說(shuō)。Bard給出來(lái)的大綱，依舊是按照《傲慢與偏見(jiàn)》的情節(jié)來(lái)寫的。換句話說(shuō)，Bard將這個(gè)題目理解成了概括《傲慢與偏見(jiàn)》的核心情節(jié)。

這一點(diǎn)，ChatGPT也比較類似，沒(méi)有完全脫離原著的影子。不過(guò)，ChatGPT提煉到了非常重要的核心要點(diǎn)，即“階級(jí)問(wèn)題”，這也是《傲慢與偏見(jiàn)》小說(shuō)呈現(xiàn)的主旨之一。

文心一言的優(yōu)勢(shì)在于，它理解到了同類型小說(shuō)，所以它給出了脫離《傲慢與偏見(jiàn)》故事之外的另外一段愛(ài)情故事的大綱，但是比較可惜的點(diǎn)在于，文心一言僅限于愛(ài)情故事，沒(méi)有呈現(xiàn)《傲慢與偏見(jiàn)》中的階級(jí)差異。

這三大模型有一個(gè)共同點(diǎn)，即故事主人公的名字依舊未能突破《傲慢與偏見(jiàn)》原著中的主人公名字。不過(guò)，這或許也與提問(wèn)的方式有關(guān)。

三、取個(gè)名字，寫個(gè)宣傳語(yǔ)

小編給三個(gè)大模型提出了這樣的要求：為具備川菜風(fēng)味的中式餐廳取名并且寫宣傳語(yǔ)。

Bard給出了這樣的名字——“四川風(fēng)味”、“天堂的味道”、“鎮(zhèn)上之最”、“舌尖上的中國(guó)”。沒(méi)有什么特色，且沒(méi)有給出宣傳語(yǔ)。

相比之下，文心一言在取名上更勝一籌。不過(guò)，這也與中文環(huán)境有關(guān)。但是，文心一言也并沒(méi)有給出廣告詞。

ChatGPT沒(méi)有給出很多選項(xiàng)，但是是唯一一個(gè)取了名字且寫了廣告詞的大模型。不得不承認(rèn)的是，“麻辣香坊”還是一個(gè)不錯(cuò)的名字。

四、邏輯推理

為了測(cè)試“邏輯推理”能力，我們將這樣一題拋給了三大模型，即“如果貓會(huì)爬樹(shù)，那么狗也會(huì)。”

左為Bard，右為ChatGPT

這一題Bard和ChatGPT更勝一籌，答案相似，認(rèn)為這個(gè)邏輯題本身有問(wèn)題，關(guān)鍵點(diǎn)在于，貓狗不是同一物種。

但是文心一言卻陷入了邏輯錯(cuò)誤中去，或者說(shuō)，并沒(méi)有完全理解題目意思。

但是，這也僅僅只能作為個(gè)案來(lái)呈現(xiàn)，在文心一言發(fā)布會(huì)上，李彥宏詢問(wèn)文心一言“雞兔同籠”的問(wèn)題，在題目數(shù)據(jù)錯(cuò)誤的前提下，文心一言通過(guò)推理證明了題目存在問(wèn)題。

五、寫一行代碼

為了測(cè)試這三大模型寫代碼的能力，我們?cè)儐?wèn)了一個(gè)非常簡(jiǎn)單的問(wèn)題——x+2=5，y-3=7，輸出x+y等于幾，用java做一個(gè)簡(jiǎn)單編程，并得出結(jié)果。

上圖為Bard，下圖為文心一言

就這個(gè)問(wèn)題，小編咨詢了一下公司程序員，他表示，Bard和文心一言生成的代碼是有問(wèn)題的，且最后得出來(lái)的結(jié)果也是有問(wèn)題的。

這一點(diǎn)，ChatGPT卻給出了正確的答案。

在這里，需要提及的是，此前也有媒體試用Bard時(shí)，表示其不會(huì)寫代碼。目前來(lái)看，Bard還是可以寫代碼，這里會(huì)產(chǎn)生完全不同的結(jié)果，或許在于提問(wèn)的方式。

六、中文理解能力

這一點(diǎn)，在測(cè)試之前，小編心里面對(duì)文心一言有很大的期待，事實(shí)證明，文心一言的確不負(fù)眾望，在中文語(yǔ)義的理解上可以在這三家中稱王，但是ChatGPT也不容小覷。

從這里來(lái)看，文心一言除了藏頭詩(shī)沒(méi)有按順序“藏頭”之外，其他回答的都相對(duì)比較好。ChatGPT也不相上下，但是卻無(wú)法理解藏頭詩(shī)的意思。

不過(guò)，Bard的問(wèn)題就比較多，雖然也解釋了“瞞天過(guò)?！钡囊馑?，但是更多地去講商業(yè)上對(duì)于“瞞天過(guò)?！钡膽?yīng)用，至于藏頭詩(shī)就更不用說(shuō)了。

七、理解哲學(xué)問(wèn)題

“闡述你對(duì)“無(wú)限”和“有限”這兩個(gè)概念的理解，并解釋為什么有時(shí)候我們會(huì)覺(jué)得自己的生命有限?！?/p>

我們把這個(gè)問(wèn)題分別問(wèn)了三大模型。Bard、ChatGPT、文心一言的回答都沒(méi)有什么邏輯問(wèn)題，并且對(duì)“無(wú)限”和“有限”做出了解釋。

上圖為Bard，中圖為ChatGPT，下圖為文心一言

不過(guò)，文心一言則更注重“理論”，并且提出了這是一個(gè)哲學(xué)問(wèn)題。

八、是否會(huì)取代人類？

關(guān)于ChatGPT是否會(huì)取代人類，我們將這個(gè)問(wèn)題就交給這三個(gè)大模型去回答。

上圖為Bard，中圖為ChatGPT，下圖為文心一言

這一次的體驗(yàn)，可以用這幾點(diǎn)來(lái)總結(jié)。

在生成速度上，文心一言的確是遙遙領(lǐng)先的。文心一言在300-500字左右的生成速度是14秒左右，但是ChatGPT即便是刨除網(wǎng)絡(luò)等問(wèn)題，生成同樣字?jǐn)?shù)的問(wèn)題至少超過(guò)了30秒時(shí)間。另外，不少用過(guò)Bard的人告訴小編，Bard的體驗(yàn)感也遠(yuǎn)不如ChatGPT。

在中文語(yǔ)義理解能力上，文心一言的的確是這三大模型中比較突出的。

不過(guò)，值得注意的是，每一次的提問(wèn)，生成的答案都不相同。此外，在提問(wèn)的方式、角度、限定詞也會(huì)影響答案的輸出。

并不是每一個(gè)答案都是充分正確的，這三大模型也會(huì)輸出并不完全正確的內(nèi)容，或者是“一本正經(jīng)的廢話”。

不過(guò)，就像三大模型最后回答“是否會(huì)取代人類”的問(wèn)題一樣，他們更像是作為輔助工具而存在。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。