前不久，娛樂(lè)資本論根據(jù)GPT-3.5、訊飛星火、文心一言、通義千問(wèn)和昆侖萬(wàn)維天工五款大模型發(fā)布了“萬(wàn)字橫評(píng)”，提出18個(gè)問(wèn)題得出90個(gè)回答，最終以測(cè)試評(píng)分表形式進(jìn)行打分。結(jié)果顯示，GPT-3.5以74分位列第一，訊飛星火以63分位列第二，文心一言以54份位列第三。其測(cè)試方法非常接地氣，側(cè)重于實(shí)際文本應(yīng)用場(chǎng)景的演練，更符合文字工作者的實(shí)際工作需求，而不是評(píng)測(cè)順口溜或回答哲學(xué)問(wèn)題。
在評(píng)測(cè)中，文本應(yīng)用場(chǎng)景被分為了小紅書(shū)帶貨文案、抖音直播文案、知乎問(wèn)答等十余類(lèi)，都是用戶應(yīng)用廣泛、且非常熟悉的文本應(yīng)用場(chǎng)景。如在面向小紅書(shū)平臺(tái)提交手機(jī)新品的帶貨文案創(chuàng)作中，訊飛星火在prompt未制定手機(jī)型號(hào)時(shí)，自己假定了一款型號(hào)，以幫助人類(lèi)更好地了解手機(jī)推銷(xiāo)所需的主要指標(biāo)，不僅條例清晰、內(nèi)容齊全、而且emoji具有相關(guān)性;與之對(duì)比的文心一言和天工大模型在prompt里指明小紅書(shū)文案要帶有emoji，但給出的答案卻并沒(méi)有。
因此在小紅書(shū)文案三類(lèi)測(cè)試中，星火累計(jì)得分高達(dá)11分，而其余國(guó)產(chǎn)大模型得分較低。
在虛構(gòu)熱點(diǎn)事件的新聞稿創(chuàng)作中，參與橫評(píng)的大模型都要以資深編輯身份，寫(xiě)一段周杰倫召開(kāi)鳥(niǎo)巢30場(chǎng)演唱會(huì)的800字演講稿。
結(jié)果GPT-3.5等文風(fēng)浮夸，而星火在不給事件細(xì)節(jié)的前提下，不僅虛構(gòu)了合情合理的演唱會(huì)主題、階梯式定價(jià)以及多種優(yōu)惠政策等描述，還“腦洞大開(kāi)”寫(xiě)了一段主辦方推出“虛擬看臺(tái)”創(chuàng)新服務(wù)的延展，與當(dāng)下熱門(mén)的元宇宙概念緊密相連，成為了唯一一個(gè)單項(xiàng)滿分的大模型。而在淘寶商品詳情頁(yè)描述文案、廣告片宣傳文案、公關(guān)稿生成等場(chǎng)景應(yīng)用中，訊飛星火在國(guó)產(chǎn)大模型中都排名第一。
娛樂(lè)資本論強(qiáng)調(diào)：“使用AI工具盡可能減少人力投入，是我們做這個(gè)橫評(píng)的終極目標(biāo)”。通過(guò)橫評(píng)測(cè)試可知，訊飛星火生成文本完成度最高，只需少量人工修改即可使用。所以說(shuō)訊飛星火能夠幫助記者、編輯、文案、新媒體從業(yè)者以及設(shè)計(jì)師等創(chuàng)作人群利用有限線索、高效創(chuàng)作可用內(nèi)容，實(shí)現(xiàn)事半功倍的效率躍遷。
與此同時(shí)從華東師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院EduNLP團(tuán)隊(duì)發(fā)布的教育領(lǐng)域大模型測(cè)評(píng)框架與國(guó)內(nèi)大模型評(píng)測(cè)情況來(lái)看，訊飛星火大模型在K12教育領(lǐng)域的總體表現(xiàn)較為出色，在教學(xué)知識(shí)與學(xué)生發(fā)展方面的性能對(duì)比中，多項(xiàng)任務(wù)性能表現(xiàn)甚至超越了ChatGPT。
過(guò)去一個(gè)月，筆者也從對(duì)訊飛星火的“淺嘗輒止”變成了“愛(ài)不釋手”，習(xí)慣用它輔助創(chuàng)意文案創(chuàng)作與編輯類(lèi)工作開(kāi)展。
6月6日凌晨，蘋(píng)果發(fā)布了首款MR頭顯設(shè)備Vision Pro，這么重磅的新聞非常考驗(yàn)發(fā)布的時(shí)效性。為了加速創(chuàng)作，筆者用訊飛星火來(lái)輔助創(chuàng)作了一篇新聞稿，并羅列了四項(xiàng)要求。結(jié)果訊飛星火寫(xiě)的文章非常工整，涵蓋了豐富的信息，簡(jiǎn)單修改就能成稿發(fā)布了，這對(duì)于搶首發(fā)流量的媒體工作者來(lái)說(shuō)，大模型就成為了顛覆生產(chǎn)力的輔助工具。
訊飛星火自5月6日發(fā)布以來(lái)，距今剛好“滿月”， 無(wú)論是權(quán)威媒體橫向評(píng)測(cè)還是通過(guò)筆者的親身使用，可以確定的是，訊飛星火在輔助文案創(chuàng)作、創(chuàng)意文案生成等實(shí)用場(chǎng)景表現(xiàn)出色，絕對(duì)是文案、策劃以及編輯等群體的好幫手。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
