BERT和ERNIE誰(shuí)更強(qiáng)？這里有一份4大場(chǎng)景的細(xì)致評(píng)測(cè)

BERT和ERNIE，NLP領(lǐng)域近來(lái)最受關(guān)注的2大模型究竟怎么樣?剛剛有人實(shí)測(cè)比拼了一下，結(jié)果在中文語(yǔ)言環(huán)境下，結(jié)果令人意外又驚喜。具體詳情究竟如何?不妨一起圍觀下這篇技術(shù)評(píng)測(cè)。

1.寫(xiě)在前面

隨著2018年ELMo、BERT等模型的發(fā)布，NLP領(lǐng)域終于進(jìn)入了“大力出奇跡”的時(shí)代。采用大規(guī)模語(yǔ)料上進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練的深層模型，在下游任務(wù)數(shù)據(jù)上微調(diào)一下，即可達(dá)到很好的效果。曾經(jīng)需要反復(fù)調(diào)參、精心設(shè)計(jì)結(jié)構(gòu)的任務(wù)，現(xiàn)在只需簡(jiǎn)單地使用更大的預(yù)訓(xùn)練數(shù)據(jù)、更深層的模型便可解決。

隨后在2019年上半年，百度的開(kāi)源深度學(xué)習(xí)平臺(tái)PaddlePaddle發(fā)布了知識(shí)增強(qiáng)的預(yù)訓(xùn)練模型ERNIE，ERNIE通過(guò)海量數(shù)據(jù)建模詞、實(shí)體及實(shí)體關(guān)系。相較于BERT學(xué)習(xí)原始語(yǔ)言信號(hào)，ERNIE直接對(duì)先驗(yàn)語(yǔ)義知識(shí)單元進(jìn)行建模，增強(qiáng)了模型語(yǔ)義表示能力。

簡(jiǎn)單來(lái)說(shuō)，百度ERNIE采用的Masked Language Model是一種帶有先驗(yàn)知識(shí)Mask機(jī)制?？梢栽谙聢D中看到，如果采用BERT隨機(jī)mask，則根據(jù)后綴“龍江”即可輕易預(yù)測(cè)出“黑”字。引入了詞、實(shí)體mask之后，“黑龍江”作為一個(gè)整體被mask掉了，因此模型不得不從更長(zhǎng)距離的依賴(“冰雪文化名城”)中學(xué)習(xí)相關(guān)性。

除此之外，百度ERNIE還引入了DLM(對(duì)話語(yǔ)言模型)任務(wù)，通過(guò)這種方式來(lái)學(xué)習(xí)相同回復(fù)對(duì)應(yīng)的query之間的語(yǔ)義相似性。實(shí)驗(yàn)證明DLM的引入對(duì)LCQMC(文本相似度計(jì)算)系列任務(wù)帶來(lái)了較大的幫助。最終ERNIE采用多源訓(xùn)練數(shù)據(jù)，利用高性能分布式深度學(xué)習(xí)平臺(tái)PaddlePaddle完成預(yù)訓(xùn)練。

2.親測(cè)

到底百度ERNIE模型所引入訓(xùn)練機(jī)制有沒(méi)有起到作用，只有實(shí)踐了以后才知道。為此，我親自跑了BERT和ERNIE兩個(gè)模型，在下面的幾個(gè)場(chǎng)景中得到了預(yù)測(cè)結(jié)果。

2.1完形填空

完形填空任務(wù)與預(yù)訓(xùn)練時(shí)ERNIE引入的知識(shí)先驗(yàn)Mask LM任務(wù)十分相似。從下圖的比較中我們可以看到，ERNIE對(duì)實(shí)體詞的建模更加清晰，對(duì)實(shí)體名詞的預(yù)測(cè)比BERT更準(zhǔn)確。例如BERT答案“周家人”融合了相似詞語(yǔ)“周潤(rùn)發(fā)”和“家人”結(jié)果不夠清晰;“市關(guān)村”不是一個(gè)已知實(shí)體;“菜菜”的詞邊界是不完整的。ERNIE的答案則能夠準(zhǔn)確命中空缺實(shí)體。

2.2 NER (命名實(shí)體識(shí)別)

在同樣為token粒度的NER任務(wù)中，知識(shí)先驗(yàn)Mask LM也帶來(lái)了顯著的效果。對(duì)比MSRA-NER數(shù)據(jù)集上的F1 score表現(xiàn)，ERNIE與BERT分別為93.8%、92.6%。在PaddleNLP的LAC數(shù)據(jù)集上，ERNIE也取得了更好的成績(jī)，測(cè)試集F1為92.0%，比BERT的結(jié)果90.3%提升了1.7%。分析二者在MSRA-NER測(cè)試數(shù)據(jù)中二者的預(yù)測(cè)結(jié)果。可以觀察到：

1.)ERNIE對(duì)實(shí)體理解更加準(zhǔn)確：“漢白玉”不是實(shí)體類型分類錯(cuò)誤;

2.)ERNIE對(duì)實(shí)體邊界的建模更加清晰：“美國(guó)法律所”詞邊界不完整，而“北大”、“清華”分別是兩個(gè)機(jī)構(gòu)。

Case對(duì)比：摘自MSRA-NER數(shù)據(jù)測(cè)試集中的三段句子。B_LOC/I_LOC為地點(diǎn)實(shí)體的標(biāo)簽，B_ORG/L_ORG為機(jī)構(gòu)實(shí)體的標(biāo)簽，O為無(wú)實(shí)體類別標(biāo)簽。下表分別展現(xiàn)了 ERNIE、BERT模型在每個(gè)字上的標(biāo)注結(jié)果。

2.3相似度

ERNIE在訓(xùn)練中引入的DLM能有效地提升模型對(duì)文本相似度的建模能力。因此，我們比較文本相似度任務(wù)LCQMC數(shù)據(jù)集上二者的表現(xiàn)。從下表的預(yù)測(cè)結(jié)果可以看出，ERNIE學(xué)習(xí)到了中文復(fù)雜的語(yǔ)序變化。最終ERNIE與BERT在該任務(wù)數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率為87.4%、87.0%.

2.4分類

最后，比較應(yīng)用最廣泛的情感分類任務(wù)。經(jīng)過(guò)預(yù)訓(xùn)練的ERNIE能夠捕捉更加細(xì)微的語(yǔ)義區(qū)別，這些句子通常含有較委婉的表達(dá)方式。下面展示了PaddleNLP情感分類測(cè)試集上ERNIE與BERT的打分表現(xiàn)：在句式“不是很…”中含有轉(zhuǎn)折關(guān)系，ERNIE能夠很好理解這種關(guān)系，將結(jié)果預(yù)測(cè)為“消極”。在ChnSentiCorp情感分類測(cè)試集上finetune后ERNIE的預(yù)測(cè)準(zhǔn)確率為95.4%，高于BERT的準(zhǔn)確率(94.3%)。

從以上數(shù)據(jù)我們可以看到，ERNIE在大部分任務(wù)上都有不俗的表現(xiàn)。尤其是在序列標(biāo)注、完形填空等詞粒度任務(wù)上，ERNIE的表現(xiàn)尤為突出，一點(diǎn)都不輸給Google的BERT。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。