用一次與百度飛槳的協(xié)作，英特爾彰顯芯片技術的時代溫度

語言是人類進行溝通交流的表達方式，其儲存著豐富的文化信息，傳承著民族血脈，也支撐著文明的發(fā)展與演進。然而，一些少數(shù)民族語言、方言卻正在無聲無息地消失，與之密切相連的地域文化、歷史文化也正面臨瀕危風險。

“大約平均兩周就會有一種語言消亡“，聯(lián)合國教科文組織的這一調查數(shù)據(jù)讓人觸目驚心，且世界上正在使用的約6,000種語言，至少有43%面臨瀕危[1]。而在中國，也有25種語言使用人口已不足千人[2]。

搶救瀕危少數(shù)民族語言對保持漢語的豐富性、多元性，保護文化記憶、文化基因意義重大。因此，中國早在2015年就啟動了語言資源保護工程，借助田野調查，建立起龐大的口語語料庫，保存了原始聲音文件和國際音標標注等豐富素材。

然而，僅僅依靠這些單語數(shù)據(jù)，研究者難以獲知其背后所傳達的語義，無法有效開展相關學習與研究，更罔論留存這些少數(shù)民族瀕危語言與背后地方文化的生命力。

人工智能技術為復活這些語言，挖掘多元文化價值，傳承璀璨的歷史文化，提供了新思路和新手段。2022年國際母語日也將“利用技術促進多語言學習：挑戰(zhàn)與機遇”作為主題，指出了技術對推進多語言教育以及文化傳承與保護的作用。

百度飛槳深度學習平臺攜手英特爾，基于第三代英特爾? 至強? 可擴展處理器進行深度優(yōu)化，通過完善的模型壓縮方法和量化加速技術，支持全自動生成大規(guī)?！皾h語-少數(shù)民族語言”雙向詞典，對用技術幫助保護瀕危少數(shù)民族語言，推動民族互通互融，做出了積極探索，展現(xiàn)了“科技向善”的現(xiàn)實意義和歷史價值。

采用百度飛槳深度學習平臺，全自動構建大規(guī)模雙向詞典

構建雙向詞典項目，采用了規(guī)模大、范圍廣、語種多、內容豐富的瀕危語言博物館館藏源語料庫，語料全部來自于田野調查與實地采集。

通過分析，項目研發(fā)人員選取了中國少數(shù)民族語言中的獨龍、爾蘇、嘉絨、撒拉這四種數(shù)據(jù)較為豐富的語言作為實驗對象。

為基于百度飛槳實現(xiàn)對齊算法，項目團隊首先開發(fā)了民間故事漢語數(shù)據(jù)集。開發(fā)過程中，充分利用飛槳PaddleOCR開發(fā)套件識別精度高、推理速度快等特性，對跨度8年的《故事會》雜志掃描樣本進行數(shù)據(jù)化處理，構建出規(guī)模達950萬字的文本數(shù)據(jù)集，也是全球首個民間故事漢語數(shù)據(jù)庫，且具有很強的口語化風格，適合與少數(shù)民族語言語料進行對齊。

然后，實施低資源詞向量訓練，應對四個少數(shù)民族語料句子數(shù)量普遍不足五千條的挑戰(zhàn)，以及《故事會》語料小于二十萬條句子的問題，為下游的雙語對齊提供了強有力的支持。

繼之，依據(jù)拓撲特征，對兩種語言的詞向量進行旋轉和對齊，實施雙語詞典自動化抽取，最終導出了獨龍、爾蘇、嘉絨、撒拉這四種語言和漢語的雙向詞典。

目前，這四部雙向詞典已在中國社科院民族學和人類學研究所志愿者的協(xié)助下，進行了內部評測，僅發(fā)現(xiàn)含有少量誤差。這一可喜成果，驗證了基于百度飛槳深度學習平臺，智能生成大規(guī)模漢語-少數(shù)民族語言詞典的可行性和便捷性，展現(xiàn)了人工智能對于應對語言瀕危日益嚴峻挑戰(zhàn)的高效性和高價值。

英特爾與百度飛槳軟硬協(xié)同優(yōu)化，用智能探索文化保護新路

雙向詞典項目依托飛槳深度學習技術，高效實現(xiàn)了瀕危語言詞典的自動化生成，極大減輕了語保工作者的負擔。而其背后是英特爾所提供的英特爾? 至強? 可擴展平臺具備的強勁算力和多種優(yōu)化措施，為飛槳平臺高效支撐項目運作提供了基礎能力和量化加速。

業(yè)界盡知，人工智能應用不僅需要高算力作為支撐，而且源于大多數(shù)深度學習模型使用32位浮點精度（FP32）構建，復雜度高，模型參數(shù)量大，限制了其在一些場景和設備進行部署，需要實施軟硬結合優(yōu)化，才能突破性能瓶頸，高效承載諸如上文雙向詞典生成等多類應用。

針對上述問題，英特爾攜手百度飛槳，基于第三代英特爾? 至強? 可擴展處理器、英特爾? oneAPI工具套件等軟硬件組合，在為飛槳平臺提供充裕算力的同時，也對整個深度學習流程實施全方位優(yōu)化，幫助加速各類應用開發(fā)和量化部署。

第三代英特爾? 至強? 可擴展處理器依托出色的微架構，發(fā)揮多核心、多線程和大容量高速緩存等特性，很好地滿足了飛槳平臺對通用算力的苛刻需求，同時加持以其內置的英特爾? AVX-512提供的增強矢量處理能力，提升AI 推理和訓練效率，為圖像分類、自然語言處理、語音識別、語音翻譯等廣泛的應用開發(fā)和部署提供穩(wěn)健基石。而最新一代的第四代英特爾? 至強? 可擴展處理器更內置一系列加速器，包括全新的AI加速器——英特爾?高級矩陣擴展（英特爾?AMX），覆蓋包括訓練和微調在內的更多深度學習使用場景，可以為不斷變化且要求日益增高的應用提供更為可觀的計算性能。

為滿足模型快速“瘦身”之需，百度飛槳打造了PaddleSlim深度學習模型壓縮工具庫，以及為用戶提供靈活的壓縮策略，而英特爾? 至強? 可擴展處理器內置的AI加速技術--英特爾? 深度學習加速（英特爾? DL Boost），可通過矢量神經網絡指令（VNNI）充分提高計算資源和緩存的利用率，減少潛在的帶寬瓶頸，為INT8等低精度計算提供優(yōu)化支持，顯著加速AI 推理。由此，幫助飛槳PaddleSlim所支持的量化訓練和靜態(tài)離線量化方法，更好地適用于計算機視覺（CV）和自然語言處理 （NLP）等模型優(yōu)化過程，這無疑也為雙向詞典AI方案的開發(fā)提供了便利，同時提高了項目運作效率。

同時為激活 VNNI 加速功能，百度飛槳深度學習平臺在量化方案實施中還廣泛使用英特爾? oneAPI 工具套件，如英特爾? oneAPI 深度神經網絡庫 (Intel? oneAPI Deep Neural Network Library，英特爾? oneDNN)。借助其統(tǒng)一、簡化的編程模型，飛槳用戶得以在CPU、GPU和FPGA等不同的架構上方便地調用通用接口來使用平臺內置的AI加速技術，而無需擔心平臺兼容問題。

得益于英特爾? 至強? 可擴展平臺與多項優(yōu)化工具的支持，百度飛槳深度學習平臺實現(xiàn)了深度優(yōu)化，并不斷豐富模型資源及應用開發(fā)套件，為用戶提供了優(yōu)異的模型及硬件加速體驗。而雙向詞典項目在推動少數(shù)民族語言保護領域展現(xiàn)的神奇魔力，就是其典型案例。

“十四五”規(guī)劃把“強化重要文化和自然遺產、非物質文化遺產系統(tǒng)性保護、推動中華優(yōu)秀傳統(tǒng)文化創(chuàng)造性轉化、創(chuàng)新性發(fā)展”，作為提高社會文明程度的重要舉措；今年的工作報告也強調了“傳承中華優(yōu)秀傳統(tǒng)文化，滿足人民日益增長的精神文化需求”，對鑄就文化新輝煌的重要作用。

英特爾攜手百度飛槳踐行“科技向善”，優(yōu)化開源平臺，促進瀕危語言保護，不僅延續(xù)和發(fā)揚了語言背后蘊含的文化、知識遺產及其價值，更探索出智能技術賦能的新路；也是英特爾繼用人工智能助力長城修繕，通過計算、存儲、網絡全棧優(yōu)化解決方案幫助云岡石窟文物保護等，持續(xù)展現(xiàn)創(chuàng)新技術對挖掘與傳承璀璨歷史文化、實現(xiàn)創(chuàng)新創(chuàng)造的新動能的又一成功實踐，有助于在讓歷史智慧照進未來，讓寶貴文化遺產豐富人們精神世界的同時，進一步加速人工智能的拓展應用，助力擁抱數(shù)字化浪潮，創(chuàng)造更美好的生活。

[1] 如欲了解更多詳情請訪問：https://www.un.org/zh/observances/mother-language-day%20

[2]如欲了解更多詳情請訪問：https://epaper.gmw.cn/zhdsb/html/2022-01/19/nw.D110000zhdsb_20220119_1-06.htm

生成海報

免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。