無(wú)聲的AI：昇騰AI如何用大模型破解手語(yǔ)學(xué)習(xí)的難題？

原標(biāo)題：無(wú)聲的AI：昇騰AI如何用大模型破解手語(yǔ)學(xué)習(xí)的難題？

你是否遇到過(guò)這種較為特殊的外賣或快遞，僅能通過(guò)短信而無(wú)法使用電話提醒送達(dá)。此時(shí)如果短信被忽略，語(yǔ)言交流的難題就出現(xiàn)了。

“為什么不接電話？”“為什么未經(jīng)我的允許就把快遞放到驛站？”這些對(duì)于聽(tīng)人來(lái)說(shuō)可以輕松解釋溝通的問(wèn)題，聾人工作者卻因無(wú)法聽(tīng)到客戶電話傳遞的需求，而令雙方產(chǎn)生誤解。

當(dāng)遇到急需辯白或者法律訴訟這種強(qiáng)調(diào)溝通嚴(yán)謹(jǐn)性的場(chǎng)合，聾人則更為弱勢(shì)。在這些場(chǎng)合聾人如果使用書(shū)面表達(dá)，不僅效率降低，翻譯得不準(zhǔn)確反而會(huì)帶來(lái)更多波折。有訴訟需求的聾人能否使用手語(yǔ)表達(dá)意愿且被準(zhǔn)確理解，將直接關(guān)系到他們自身權(quán)益的維護(hù)結(jié)果。

據(jù)第二次殘疾人抽樣調(diào)查，目前我國(guó)聽(tīng)力障礙人數(shù)接近3000萬(wàn)，是國(guó)內(nèi)最大的殘障群體。其中，聽(tīng)力障礙兒童總數(shù)達(dá)460多萬(wàn)人，7歲以下聽(tīng)障兒達(dá)80萬(wàn)人，每年新增加聽(tīng)障新生兒2-3萬(wàn)余名。對(duì)于如此龐大的人群，手語(yǔ)是他們打開(kāi)與世界交流的“窗戶”，但手語(yǔ)的學(xué)習(xí)之路似乎并不那么簡(jiǎn)單順暢。

千萬(wàn)聽(tīng)力障礙者的溝通障礙

在新聞聯(lián)播中，我們都見(jiàn)過(guò)這個(gè)場(chǎng)景，電視畫(huà)面左下角的手語(yǔ)主持人，她們上下翻飛的熟練手勢(shì)快起來(lái)和舞蹈一樣美麗。但據(jù)北師大2012年針對(duì)接近一萬(wàn)名聾人開(kāi)展的跨地區(qū)調(diào)查顯示，只有8%的聾人能看懂很多電視臺(tái)的手語(yǔ)新聞，56%的聾人能看懂一些，29%的聾人基本看不懂。

央視主播的普通話，讓南北操持各種方言的人群都能聽(tīng)得懂，央視的手語(yǔ)主播手勢(shì)竟然有一小半的聾人看不懂？這個(gè)問(wèn)題是手語(yǔ)學(xué)習(xí)與教育中長(zhǎng)存的挑戰(zhàn)。

1.手語(yǔ)標(biāo)準(zhǔn)不統(tǒng)一。手語(yǔ)有國(guó)標(biāo)手語(yǔ)與自然手語(yǔ)的區(qū)別，與漢語(yǔ)的普通話和方言類似，并且國(guó)標(biāo)手語(yǔ)并不像普通話那樣在全國(guó)風(fēng)行，僅出現(xiàn)在新聞、大會(huì)翻譯以及學(xué)校教學(xué)中，大多數(shù)聾人群體使用的都是自然手語(yǔ)。而國(guó)標(biāo)手語(yǔ)與自然手語(yǔ)、不同地域之間的自然手語(yǔ)差異也很大，導(dǎo)致聾人與聾人、聾人與聽(tīng)人之間的溝通并不順暢。

2.師資力量相對(duì)缺乏。特殊學(xué)校的手語(yǔ)老師多半是來(lái)自特殊教育專業(yè)背景的聽(tīng)人，對(duì)于不斷增長(zhǎng)的聾人群體來(lái)說(shuō)，師資力量總體較為緊張。再加上特殊教育學(xué)校的老師打的是國(guó)標(biāo)手語(yǔ)，并不是學(xué)生們自小習(xí)慣的自然手語(yǔ)，因此手語(yǔ)教學(xué)的效率受到一定影響。

3.手語(yǔ)詞匯匱乏。目前，手語(yǔ)詞匯共約有8000個(gè)，能滿足日常學(xué)習(xí)、交流，但卻較難涵蓋所有場(chǎng)景。例如一些專業(yè)詞匯“人工智能”或新興詞匯“元宇宙”等，很難使用手語(yǔ)進(jìn)行充分表達(dá)，僅能使用近義詞的形式逐字組合成詞進(jìn)行傳遞，對(duì)聾人來(lái)說(shuō)無(wú)法輕松理解組合詞的表意，此外，手語(yǔ)教學(xué)中尚無(wú)通用手語(yǔ)語(yǔ)法標(biāo)準(zhǔn)，這也對(duì)學(xué)習(xí)、使用手語(yǔ)造成困難。

這些手語(yǔ)溝通中的阻礙與高昂的學(xué)習(xí)成本，讓聾人與外界的交流仿佛隔了一層巨大的透明外殼，外面的人不容易進(jìn)去，里面的人也很難走出。

如何讓聾人能夠高效學(xué)習(xí)手語(yǔ)、實(shí)現(xiàn)順暢溝通、縮短信息交流的“時(shí)差”，成為許多科技公司努力的方向。越來(lái)越多的企業(yè)也開(kāi)始借助AI技術(shù)的力量將數(shù)字包容的“種子”撒向這片廣袤的土地。

手語(yǔ)學(xué)習(xí)的智能“靈魂”——昇騰昇思MindSpore AI框架

千博信息基于華為昇騰AI和昇思MindSpore AI框架，利用中科院自動(dòng)化所的紫東.太初三模態(tài)大模型，打造了手語(yǔ)教考一體機(jī)，專門(mén)用來(lái)幫助有聽(tīng)力障礙的學(xué)生隨學(xué)、隨練、隨考，助力提升聾人群體的溝通質(zhì)量。

那么昇騰AI和昇思MindSpore AI框架是如何成為手語(yǔ)教考一體機(jī)注入的智能“靈魂”呢？

1. 高性能小模型的部署，是支撐教考一體機(jī)的核心能力。手語(yǔ)大模型通過(guò)知識(shí)蒸餾形成可用的高性能小模型，部署在搭載昇騰AI芯片的手語(yǔ)教考一體機(jī)上，為其提供核心支撐。

2. 以文生圖與表情及唇語(yǔ)的識(shí)別能力，讓理解與翻譯更加精準(zhǔn)。基于昇騰AI基礎(chǔ)軟硬件平臺(tái)支撐的手語(yǔ)大模型中的表情驅(qū)動(dòng)及唇語(yǔ)計(jì)算，手語(yǔ)虛擬人能夠結(jié)合表情、唇語(yǔ)來(lái)表達(dá)手語(yǔ)，使其翻譯更加生動(dòng)精準(zhǔn)，實(shí)現(xiàn)圖文聯(lián)想。

3.小樣本學(xué)習(xí)，提升手語(yǔ)翻譯可懂度。在有限的語(yǔ)料環(huán)境下，手語(yǔ)大模型中的小樣本學(xué)習(xí)能提升手語(yǔ)翻譯的可懂度，讓手語(yǔ)虛擬人的翻譯習(xí)慣更加貼近聾人的認(rèn)知，目前已初步實(shí)現(xiàn)實(shí)時(shí)的手語(yǔ)詞匯識(shí)別能力。

對(duì)于聽(tīng)障學(xué)生來(lái)說(shuō)，他們可以借助設(shè)備學(xué)習(xí)動(dòng)畫(huà)版本的手勢(shì)動(dòng)作、表情、唇語(yǔ)，甚至是更為抽象概念；對(duì)于教學(xué)機(jī)構(gòu)來(lái)說(shuō)，手語(yǔ)教考一體機(jī)能夠?qū)崿F(xiàn)學(xué)習(xí)、考核、出題、綜合評(píng)價(jià)等自動(dòng)化教學(xué)過(guò)程，減輕老師們的基礎(chǔ)教學(xué)壓力，釋放更多的人文關(guān)懷與創(chuàng)新教育能力。

手語(yǔ)教考一體機(jī)可以為聾人以及手語(yǔ)翻譯人群提供國(guó)標(biāo)手語(yǔ)的學(xué)習(xí)、訓(xùn)練、考核能力。不僅讓聾人群體之間順暢交流，更好地享受社會(huì)生活與公共服務(wù)，同時(shí)還能幫助聾人與不懂手語(yǔ)的聽(tīng)人進(jìn)行溝通，讓所有人享受數(shù)智生活的便捷。

數(shù)字包容“種子”的無(wú)限未來(lái)

我們都聽(tīng)說(shuō)過(guò)這句話：檢驗(yàn)現(xiàn)代社會(huì)的文明程度，從來(lái)不是看城市多么繁華，文化多么豐富，而是看這個(gè)社會(huì)是否關(guān)注、照顧少數(shù)弱勢(shì)群體。隨著人工智能的發(fā)展，技術(shù)的“果實(shí)”正在普惠整個(gè)社會(huì)，在數(shù)字包容的公益倡導(dǎo)下，追求人文關(guān)懷與實(shí)現(xiàn)社會(huì)價(jià)值，成為越來(lái)越多有擔(dān)當(dāng)企業(yè)的選擇。

基于昇騰AI和昇思MindSpore AI框架的大模型成果，通過(guò)大模型的強(qiáng)泛化能力，賦能產(chǎn)業(yè)生態(tài)中的眾多企業(yè)，助力應(yīng)用在行業(yè)場(chǎng)景中落地開(kāi)花。

千博信息推出的手語(yǔ)教考一體機(jī)就是產(chǎn)業(yè)大模型落地的典型應(yīng)用之一。除了對(duì)特殊群體的關(guān)照外，AI除了在公益領(lǐng)域能夠幫助到障礙人士，在短臨天氣預(yù)測(cè)上也能有所作為。短臨天氣預(yù)測(cè)與日常生活緊密相連，隨著全球變暖、各類氣象災(zāi)害頻發(fā)，及時(shí)準(zhǔn)確的預(yù)測(cè)能有效指導(dǎo)防災(zāi)減災(zāi)工作。華為與高原所、電子科大的合作打造的短臨天氣預(yù)測(cè)模型，能夠提升短臨天氣預(yù)測(cè)的準(zhǔn)確性以減少生命健康和財(cái)產(chǎn)損失，這將帶來(lái)巨大經(jīng)濟(jì)、社會(huì)和生態(tài)價(jià)值。

在學(xué)術(shù)界，大模型創(chuàng)新層出不窮，但真正走到規(guī)?；a(chǎn)業(yè)部署的寥寥無(wú)幾，科研創(chuàng)新和產(chǎn)業(yè)應(yīng)用存在斷點(diǎn)。

華為打通產(chǎn)學(xué)研用，聯(lián)合科研院所、企業(yè)共同建立圍繞大模型的產(chǎn)業(yè)聯(lián)盟平臺(tái)，促進(jìn)產(chǎn)業(yè)內(nèi)各類企業(yè)基于大模型孵化行業(yè)應(yīng)用，讓大模型真正賦能產(chǎn)業(yè)，實(shí)現(xiàn)產(chǎn)業(yè)聚集，創(chuàng)造更大的價(jià)值。

我們可以看到，基于昇騰AI和昇思MindSpore AI框架打造的大模型在產(chǎn)業(yè)落地，不僅賦能傳統(tǒng)行業(yè)提質(zhì)增效，也惠及社會(huì)公益領(lǐng)域。文中的兩個(gè)案例只是大模型產(chǎn)業(yè)化落地的“冰山一角”，但卻讓我們看到華為踐行數(shù)字包容的不同切片。

讓生活更有溫度，科技從未停止探索的腳步。華為不斷聚集產(chǎn)業(yè)勢(shì)能，通過(guò)科技改善社會(huì)民生，讓技術(shù)與公益的跨界連接越來(lái)越緊密。科技力量，正在打破過(guò)去人文環(huán)境的“孤島”，讓社會(huì)變得更加溫暖。未來(lái)，數(shù)字包容的“種子”也會(huì)逐漸增多，飄得更遠(yuǎn)，隨著這些“種子”蔚然成林，我們離更加幸福的智能生活也會(huì)越來(lái)越近。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。