華為云登頂HotpotQA多跳知識推理問答評測

日前,華為云在知識計(jì)算領(lǐng)域的多跳知識推理問答取得重大進(jìn)展。基于自然語言處理領(lǐng)域的領(lǐng)先技術(shù)積累,華為云語音語義創(chuàng)新Lab聯(lián)合華為諾亞方舟實(shí)驗(yàn)室在國際權(quán)威的HotpotQA評測Fullwiki Setting賽道榮登榜首,在答案模糊準(zhǔn)確率和聯(lián)合模糊準(zhǔn)確率(Joint F1)等指標(biāo)上均達(dá)到第一。

華為云登頂HotpotQA多跳知識推理問答評測

HotpotQA評測(Fullwiki Setting賽道)最新榜單(截至2021年1月20日)

作為企業(yè)重要的信息載體,數(shù)字化文檔記錄了大量企業(yè)知識,如何快速幫助企業(yè)員工從數(shù)字化文檔中獲得答案,是企業(yè)文檔維護(hù)人員的痛點(diǎn)。為解決此問題,一方面需要較強(qiáng)的閱讀理解技術(shù),另一方面還需要構(gòu)建一套復(fù)雜的開放域問答流程。

HotpotQA評測數(shù)據(jù)是斯坦福、CMU和蒙特利爾大學(xué)聯(lián)合推出的新型問答數(shù)據(jù)集,由斯坦福的Manning教授和深度學(xué)習(xí)三巨頭之一的Bengio牽頭構(gòu)建,該數(shù)據(jù)集由多跳復(fù)雜問題以及對應(yīng)的答案組成,同時(shí)包含佐證證據(jù)用來解釋答案的來源。在斯坦福此前公布的SQUAD評測任務(wù)中,機(jī)器已經(jīng)多次超過人類,該評測僅需要從單個(gè)篇章中找到與問題有關(guān)的答案即可,故相對簡單。然而,HotpotQA評測需要從整個(gè)wikipedia或者多篇文章中找出問題相關(guān)的答案,同時(shí)要求返回問題到答案的推理鏈,難度大大增加更具有挑戰(zhàn)性。該評測也吸引了來自谷歌、微軟、Facebook等知名研究機(jī)構(gòu)以及CMU、Stanford、華盛頓大學(xué)、清華大學(xué)、北京大學(xué)等知名高校。

挑戰(zhàn)多跳知識推理技術(shù)高點(diǎn)

HotpotQA評測的難點(diǎn)在于機(jī)器要結(jié)合多篇文章進(jìn)行多跳推理才能得出答案,并返回佐證證據(jù)。該評測分為Distractor Setting和 Fullwiki Setting兩個(gè)賽道。Fullwiki Setting相較于Distractor Setting更為復(fù)雜也更接近實(shí)用價(jià)值,需要從整個(gè)維基百科文檔中抽取文檔,然后再從文檔中提取段落,最后從段落中抽取答案,而Distractor Setting賽道會提供10篇備選的篇章。如何從大量文檔段落中去多跳搜索候選,然后理解候選段落的內(nèi)容提取佐證證據(jù)成為比賽的關(guān)鍵。

華為云聯(lián)合華為諾亞方舟實(shí)驗(yàn)室,提出了新的檢索目標(biāo)hop,用于收集維基百科中隱藏的推理證據(jù),解決復(fù)雜多跳問題,同時(shí)結(jié)合beam search對答案進(jìn)行排序和融合。

華為云登頂HotpotQA多跳知識推理問答評測

從維基百科文本圖譜中檢索跳轉(zhuǎn)(Hops)

如今,企業(yè)面臨著數(shù)字化、知識化轉(zhuǎn)型,知識化轉(zhuǎn)型重要的關(guān)鍵技術(shù)就是知識的理解和推理,該技術(shù)對企業(yè)知識轉(zhuǎn)型具有重大的意義和推動作用。2020年華為云推出知識計(jì)算解決方案,企業(yè)可以基于華為云知識計(jì)算解決方案打造自己的知識計(jì)算平臺,用于研發(fā)、生產(chǎn)、運(yùn)營、銷售、售后服務(wù)等企業(yè)核心流程。目前,該方案已在石油、汽車、醫(yī)療、化纖、煤焦化、鋼鐵、交通等行業(yè)率先實(shí)踐。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )