BERT和ERNIE誰更強？這里有一份4大場景的細(xì)致評測

BERT和ERNIE，NLP領(lǐng)域近來最受關(guān)注的2大模型究竟怎么樣?剛剛有人實測比拼了一下，結(jié)果在中文語言環(huán)境下，結(jié)果令人意外又驚喜。具體詳情究竟如何?不妨一起圍觀下這篇技術(shù)評測。

1.寫在前面

隨著2018年ELMo、BERT等模型的發(fā)布，NLP領(lǐng)域終于進入了“大力出奇跡”的時代。采用大規(guī)模語料上進行無監(jiān)督預(yù)訓(xùn)練的深層模型，在下游任務(wù)數(shù)據(jù)上微調(diào)一下，即可達(dá)到很好的效果。曾經(jīng)需要反復(fù)調(diào)參、精心設(shè)計結(jié)構(gòu)的任務(wù)，現(xiàn)在只需簡單地使用更大的預(yù)訓(xùn)練數(shù)據(jù)、更深層的模型便可解決。

隨后在2019年上半年，百度的開源深度學(xué)習(xí)平臺PaddlePaddle發(fā)布了知識增強的預(yù)訓(xùn)練模型ERNIE，ERNIE通過海量數(shù)據(jù)建模詞、實體及實體關(guān)系。相較于BERT學(xué)習(xí)原始語言信號，ERNIE直接對先驗語義知識單元進行建模，增強了模型語義表示能力。

簡單來說，百度ERNIE采用的Masked Language Model是一種帶有先驗知識Mask機制?？梢栽谙聢D中看到，如果采用BERT隨機mask，則根據(jù)后綴“龍江”即可輕易預(yù)測出“黑”字。引入了詞、實體mask之后，“黑龍江”作為一個整體被mask掉了，因此模型不得不從更長距離的依賴(“冰雪文化名城”)中學(xué)習(xí)相關(guān)性。

除此之外，百度ERNIE還引入了DLM(對話語言模型)任務(wù)，通過這種方式來學(xué)習(xí)相同回復(fù)對應(yīng)的query之間的語義相似性。實驗證明DLM的引入對LCQMC(文本相似度計算)系列任務(wù)帶來了較大的幫助。最終ERNIE采用多源訓(xùn)練數(shù)據(jù)，利用高性能分布式深度學(xué)習(xí)平臺PaddlePaddle完成預(yù)訓(xùn)練。

2.親測

到底百度ERNIE模型所引入訓(xùn)練機制有沒有起到作用，只有實踐了以后才知道。為此，我親自跑了BERT和ERNIE兩個模型，在下面的幾個場景中得到了預(yù)測結(jié)果。

2.1完形填空

完形填空任務(wù)與預(yù)訓(xùn)練時ERNIE引入的知識先驗Mask LM任務(wù)十分相似。從下圖的比較中我們可以看到，ERNIE對實體詞的建模更加清晰，對實體名詞的預(yù)測比BERT更準(zhǔn)確。例如BERT答案“周家人”融合了相似詞語“周潤發(fā)”和“家人”結(jié)果不夠清晰;“市關(guān)村”不是一個已知實體;“菜菜”的詞邊界是不完整的。ERNIE的答案則能夠準(zhǔn)確命中空缺實體。

2.2 NER (命名實體識別)

在同樣為token粒度的NER任務(wù)中，知識先驗Mask LM也帶來了顯著的效果。對比MSRA-NER數(shù)據(jù)集上的F1 score表現(xiàn)，ERNIE與BERT分別為93.8%、92.6%。在PaddleNLP的LAC數(shù)據(jù)集上，ERNIE也取得了更好的成績，測試集F1為92.0%，比BERT的結(jié)果90.3%提升了1.7%。分析二者在MSRA-NER測試數(shù)據(jù)中二者的預(yù)測結(jié)果?？梢杂^察到：

1.)ERNIE對實體理解更加準(zhǔn)確：“漢白玉”不是實體類型分類錯誤;

2.)ERNIE對實體邊界的建模更加清晰：“美國法律所”詞邊界不完整，而“北大”、“清華”分別是兩個機構(gòu)。

Case對比：摘自MSRA-NER數(shù)據(jù)測試集中的三段句子。B_LOC/I_LOC為地點實體的標(biāo)簽，B_ORG/L_ORG為機構(gòu)實體的標(biāo)簽，O為無實體類別標(biāo)簽。下表分別展現(xiàn)了 ERNIE、BERT模型在每個字上的標(biāo)注結(jié)果。

2.3相似度

ERNIE在訓(xùn)練中引入的DLM能有效地提升模型對文本相似度的建模能力。因此，我們比較文本相似度任務(wù)LCQMC數(shù)據(jù)集上二者的表現(xiàn)。從下表的預(yù)測結(jié)果可以看出，ERNIE學(xué)習(xí)到了中文復(fù)雜的語序變化。最終ERNIE與BERT在該任務(wù)數(shù)據(jù)的預(yù)測準(zhǔn)確率為87.4%、87.0%.

2.4分類

最后，比較應(yīng)用最廣泛的情感分類任務(wù)。經(jīng)過預(yù)訓(xùn)練的ERNIE能夠捕捉更加細(xì)微的語義區(qū)別，這些句子通常含有較委婉的表達(dá)方式。下面展示了PaddleNLP情感分類測試集上ERNIE與BERT的打分表現(xiàn)：在句式“不是很…”中含有轉(zhuǎn)折關(guān)系，ERNIE能夠很好理解這種關(guān)系，將結(jié)果預(yù)測為“消極”。在ChnSentiCorp情感分類測試集上finetune后ERNIE的預(yù)測準(zhǔn)確率為95.4%，高于BERT的準(zhǔn)確率(94.3%)。

從以上數(shù)據(jù)我們可以看到，ERNIE在大部分任務(wù)上都有不俗的表現(xiàn)。尤其是在序列標(biāo)注、完形填空等詞粒度任務(wù)上，ERNIE的表現(xiàn)尤為突出，一點都不輸給Google的BERT。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。