比ChatGPT更牛？我們測(cè)試了下訊飛星火V3.0

撰文：李信馬

在科技圈，吹水是基本素養(yǎng)，畫(huà)餅PPT是必備技能，哪家公司的計(jì)劃能不跳票說(shuō)到做到，就算得上形象優(yōu)良，要是一點(diǎn)折扣也不打，那絕對(duì)值得交口稱(chēng)贊。

在剛剛過(guò)去的10月24日，科大訊飛就把5個(gè)月前的計(jì)劃，不打折扣的實(shí)現(xiàn)了。今年5月，科大訊飛發(fā)布了訊飛星火認(rèn)知大模型（以下簡(jiǎn)稱(chēng)“星火大模型”）V1.0，當(dāng)時(shí)董事長(zhǎng)劉慶峰宣布，將會(huì)在8月15日發(fā)布星火V2.0，在10月24日發(fā)布星火V3.0，對(duì)標(biāo)ChatGPT。

自然，這個(gè)計(jì)劃不但實(shí)現(xiàn)了，而且也做了現(xiàn)場(chǎng)演示。據(jù)現(xiàn)場(chǎng)介紹，新版本的星火大模型，不僅整體超越了ChatGPT，在醫(yī)療領(lǐng)域甚至超越了GPT-4。

不過(guò)現(xiàn)場(chǎng)演示也有一個(gè)遺憾——都是大廠，不好意思把友商的大模型也拿來(lái)過(guò)直接演示對(duì)比，萬(wàn)一打臉了就不好了。于是，決定，將這個(gè)遺憾給彌補(bǔ)上，用統(tǒng)一的問(wèn)題，來(lái)測(cè)試下星火大模型和ChatGPT，還有目前國(guó)內(nèi)一線的大模型——百度文心一言和阿里巴巴通義千問(wèn)——的表現(xiàn)，通過(guò)橫向?qū)Ρ?，真?shí)稱(chēng)量下星火大模型的實(shí)力。

對(duì)于大模型應(yīng)該具備的基礎(chǔ)能力，不同廠商有不同的看法，比如科大訊飛就提出了七大能力——文本生成、語(yǔ)言理解、知識(shí)問(wèn)答、邏輯推理、數(shù)學(xué)能力、代碼能力以及多模態(tài)。而像百度，則減少為理解、邏輯、生成、記憶四大能力。為了公平起見(jiàn)，我們準(zhǔn)備的問(wèn)題會(huì)盡量聚焦在目前業(yè)界公認(rèn)的幾項(xiàng)能力上，而且多題采用今年《行測(cè)》的真題，方便進(jìn)行比較。

首先，第一個(gè)問(wèn)題，也算是中文語(yǔ)言理解方面的“老熟人”了。

小明跟小亮說(shuō)小剛昨天參加了百米賽跑，這個(gè)時(shí)候小剛正好經(jīng)過(guò)，小亮就說(shuō)：“說(shuō)曹操到，曹操就到。” 分析一下，究竟是誰(shuí)到了？

以下分別是星火大模型、ChatGPT、文心一言和通義千問(wèn)的回答：

可以看到，ChatGPT依舊是不太懂中文，回答錯(cuò)誤，令人驚喜的是，三個(gè)國(guó)產(chǎn)大模型全部回答正確，儼然這個(gè)問(wèn)題已經(jīng)是個(gè)“小兒科”問(wèn)題了，星火大模型的答案尤為簡(jiǎn)潔。

接下來(lái)，我們將難度升級(jí)，從今年的國(guó)家公務(wù)員考試《行測(cè)》中扒來(lái)一道語(yǔ)言理解與表達(dá)試題，可以說(shuō)，這個(gè)不但要理解能力強(qiáng)，還要有好的表達(dá)能力。

每個(gè)企業(yè)都有自己的核心價(jià)值觀，它是企業(yè)一切理念、制度和技術(shù)的價(jià)值基礎(chǔ)。企業(yè)在重視財(cái)務(wù)、營(yíng)銷(xiāo)、技術(shù)的同時(shí)，更應(yīng)重視員工。員工是企業(yè)的主人，是企業(yè)的肯本，只有建立起以“重視員工”為核心價(jià)值觀的企業(yè)文化，企業(yè)才能凝聚員工、創(chuàng)造個(gè)性，為自身的發(fā)展提供目標(biāo)、方向和定力。 這段文字意在說(shuō)明什么？（國(guó)家公務(wù)員考試《行測(cè)》語(yǔ)言理解與表達(dá)試題）

以下分別是星火大模型、ChatGPT、文心一言和通義千問(wèn)的回答：

對(duì)這一題的回答，四家大模型都理解準(zhǔn)確，回答清晰，如果參加考試，估計(jì)都能拿分，可見(jiàn)目前一線大模型的理解和表達(dá)能力已經(jīng)足夠強(qiáng)大了。

再下一題，則是讓大模型頭疼不已的數(shù)學(xué)推斷計(jì)算題，也是來(lái)自《行測(cè)》。

甲、乙等16人參加乒乓球淘汰賽。每輪對(duì)所有未被淘汰選手進(jìn)行抽簽分組兩兩比賽，勝者進(jìn)入下一輪。已知除了甲以外，其余任意兩人比賽時(shí)雙方勝率均為50%。甲對(duì)乙的勝率為0%，對(duì)其他14人的勝率均為100%。則甲奪冠的概率是多少？（國(guó)家公務(wù)員考試《行測(cè)》數(shù)量關(guān)系試題）

這一題的回答，可謂慘不忍睹，由于計(jì)算步驟過(guò)于復(fù)雜，所以我們直接說(shuō)結(jié)果——四家全錯(cuò)，正確答案是11/15。

首先是星火大模型的回答，給出的答案是1/12，但在第一步就出錯(cuò)了，似乎沒(méi)能理解甲、乙等16人的含義。

接下來(lái)是ChatGPT，看起來(lái)頭頭是道，但實(shí)際卻是在胡說(shuō)八道，簡(jiǎn)化成為了拋硬幣的問(wèn)題，只能說(shuō)邏輯能力讓人失望。

然后是文心一言的回答，雖然錯(cuò)了，但能錯(cuò)到給出3.58這樣的概率，也是令人覺(jué)得很離譜——它理解什么是概率嗎？

最后是通義千問(wèn)，也是在題目理解上就出了問(wèn)題，即前提的第三條，得出的第一個(gè)結(jié)論也是錯(cuò)的，因?yàn)槿绻子龅揭?，那么在第一輪比賽中就?huì)輸?shù)簟?/p>

可以看到，如果數(shù)學(xué)題上了一定的難度，對(duì)目前的大模型來(lái)說(shuō)，還是比較大的挑戰(zhàn)。

接下來(lái)，我們考驗(yàn)一下大模型的生成能力，從之前的問(wèn)題可以看出，生成文字已經(jīng)很難拉開(kāi)差距，所以我們直接上強(qiáng)度——生成圖片。不少讀者應(yīng)該聽(tīng)說(shuō)過(guò)“踏花歸去馬蹄香”的典故，據(jù)說(shuō)曾經(jīng)是北宋皇帝宋徽宗趙佶給畫(huà)家們出的考題，最后被一位畫(huà)作中馬兒疾馳馬蹄高舉，幾只蝴蝶追逐著馬蹄蹁躚飛舞的畫(huà)家?jiàn)Z得頭籌。我們就以這個(gè)問(wèn)題，要求大模型作圖。

在這個(gè)環(huán)節(jié)，ChatGPT和通義千問(wèn)因?yàn)闊o(wú)法生成圖片，于是就變成了星火大模型和文心一言的比拼，以下分別是它們的作品：

兩幅畫(huà)作都很唯美，著重體現(xiàn)了花和馬的元素，區(qū)別在于星火大模型像是讀懂了詩(shī)句，直接做了一副國(guó)風(fēng)范的圖片，而文心一言的作品則更接近油畫(huà)風(fēng)。

經(jīng)過(guò)多輪的比拼，可以看到，在語(yǔ)義理解、邏輯和生成等大模型核心能力上，星火大模型絕對(duì)可以說(shuō)超過(guò)了ChatGPT，達(dá)到了世界領(lǐng)先的水平，國(guó)內(nèi)也可以說(shuō)至少前三了。不過(guò)，目前國(guó)產(chǎn)大模型與真正世界頂尖的大模型——GPT-4，仍還有一定的差距，這一點(diǎn)也得到了劉慶峰的承認(rèn)：“國(guó)產(chǎn)大模型在復(fù)雜知識(shí)推理、小樣本快速學(xué)習(xí)、超長(zhǎng)文本處理、跨模態(tài)統(tǒng)一理解上距GPT4還有差距。”

但這種差距正在以肉眼可見(jiàn)的速度縮進(jìn)，作為同樣免費(fèi)的大模型服務(wù)，星火大模型已經(jīng)超越了ChatGPT（GPT-3.5），并且還在多個(gè)領(lǐng)域快速落地應(yīng)用，本次本屆大會(huì)，就重點(diǎn)提到了編程、教育和醫(yī)療等領(lǐng)域的進(jìn)展，科大訊飛還宣布與法律、工業(yè)、智能汽車(chē)等12個(gè)行業(yè)龍頭聯(lián)合發(fā)布行業(yè)模型。

演講中，劉慶峰也為星火大模型立下了新的Flag——明年上半年對(duì)標(biāo)GPT-4?！艾F(xiàn)在就是把速度干得更快?！卑肽曛?，也許我們就能看到，新的星火大模型，在和GPT-4的評(píng)測(cè)對(duì)比中不相上下，甚至更勝一籌了。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。