復(fù)活唐音,是一味怎樣的菜?

啟功先生說,唐詩都是嚷出來的。

但大唐盛世的風(fēng)流才子們,坐在一起嚷嚷,這畫風(fēng)顯然十分違和。所以更準(zhǔn)確地說,唐詩是唱出來的。

王之渙與高適、王昌齡共飲,最后聽歌女唱《涼州詞》的故事家喻戶曉;李白的《戰(zhàn)城南》《將進(jìn)酒》等都是直接化用漢樂府;劉禹錫的《竹枝詞》直接就是南方山野民歌。

這些詩人都用邏輯告訴我們,唐詩是有曲的,能唱的。那么問題來了,1300多年過去了,這些唐曲今安在?

最近華為Mate 20 Pro研發(fā)團(tuán)隊(duì)和上海音樂學(xué)院趙維平教授等研究人員合作,完成了一次嘗試:通過AI技術(shù)和華為Mate 20 Pro提供的終端AI算力,聯(lián)手“再現(xiàn)”了唐詩背后消失的音符,讓唐曲在耳邊回響。

這里想為大家講解一下這道“唐味大菜”的做法?;蛟S很多朋友都曾有這樣的疑問:AI聽起來很厲害,實(shí)際到底能干嘛?

答案呢,也許就在《春江花月夜》的某個(gè)韻腳里。

唐音在哪里?

夏天到了,喜歡古音律的小伙伴們準(zhǔn)備出門尋找食材。通常來說他們會(huì)發(fā)現(xiàn),唐代音律簡(jiǎn)直比松茸還難采。

中國(guó)一直是個(gè)注重音律,且善于記載音律的國(guó)度。新石器時(shí)代出土的編鐘,其實(shí)就是對(duì)當(dāng)時(shí)古人所感知音律的“石制內(nèi)存”。而早在《管子》中,就已經(jīng)有了對(duì)“宮商”概念的記載和準(zhǔn)確描述。

歷朝歷代關(guān)于音律的記載并不少。但唯獨(dú)到了唐朝,這個(gè)繁盛的朝代或許是因?yàn)榘菪蕴珡?qiáng),不喜歡一板一眼記錄音律這種事。最終唐代音韻變成了一個(gè)“文獻(xiàn)黑洞”。隋有“劉焯律”,五代有“王樸律”,唐代應(yīng)用特定音律的制度卻少有記載,幾乎只能從民間音樂、西域中亞音樂中搜尋一星半點(diǎn)盛唐的影子。

還有一種可能,就是從中古時(shí)期的文獻(xiàn)里尋找唐音。由于缺乏直接文獻(xiàn)記載,學(xué)術(shù)界往往只能依靠古曲譜來恢復(fù)唐音?!敖郧俾煽甲C各代律制的研究頗有成效。但目前尚無傳世的唐代琴譜,只有南朝的梁丘明所傳之《碣石調(diào)·幽蘭》譜系唐人所抄,可算唐譜。這是目前唯一唐代實(shí)際用律的佐證。”

這個(gè)《碣石調(diào)·幽蘭》可就厲害了,它不僅是目前唯一存世的唐代曲譜實(shí)物,并且還是唯一存世的古曲文字譜。

之所以《碣石調(diào)·幽蘭》是唯一的文字譜,并非因?yàn)槠渌抛V都被毀棄,而是因?yàn)樽灾型硖浦?,曲家開始通用減字譜來記錄琴曲。

所謂減字譜,形式上看像是由漢字減少筆畫后組合而成的復(fù)合字。沒有古琴基礎(chǔ)的人來看,基本就是一張張?zhí)鞎?。這種譜式的基本邏輯,是把一個(gè)字塊分為上下兩大部分。上半部表示左手指法及徽位,下半部表示弦次及右手指法。說白了,減字譜是把彈琴的手法用漢字來表示,這種譜只能記指法動(dòng)作和弦序、徽位,而沒有像歐洲樂譜一樣記錄節(jié)拍和節(jié)奏。所以即使是有音樂基礎(chǔ)的人也很難把握其音樂走向。

相傳,減字譜是由唐代曹柔發(fā)明的,但是也有很多其他傳說,甚至有人將減字譜的專利歸于大名鼎鼎的曹植。明代袁均哲據(jù)南宋田芝翁《太古遺音》輯《太音大全集》中的“字譜”篇,記述了古琴譜的發(fā)展過程:“制譜始于雍門周、張敷,因而別譜不行于后代。趙耶利出譜兩帙,名參古今,尋者易知。先賢制作,意取周備,然其文極繁,動(dòng)越兩行,未成一句。后曹柔作減字法,尤為易曉也?!?/p>

但由于文獻(xiàn)年代甚早,這種“音樂密碼”的真正發(fā)明家已經(jīng)難考。而始于唐,興于宋,至明代開始出現(xiàn)大量整理譜集的減字譜,也就客觀上成為了保存唐音唐曲的希望。想要“重現(xiàn)”唐曲,減字譜和古琴曲也就成為了最合適的原材料。

食材找到了,下一步,是把它放在AI里燉煮一會(huì)。

把“減字譜”放到AI湯汁里,煮成酸甜可口的“規(guī)則”

找到了好的食材,想要開始烹飪卻并不容易。想要用減字譜為底料“重構(gòu)唐曲”,第一步是必須讓AI能夠自動(dòng)識(shí)別減字譜。

目前來看,相傳屬于唐代的減字譜數(shù)量并不多。但是這一時(shí)期的琴譜,普遍還沒有形成宋代以后相對(duì)統(tǒng)一的減字規(guī)律。各琴家可能使用不同的減字規(guī)則,最終形成了各種不同的減字體系。雖然這個(gè)時(shí)期的指法相對(duì)簡(jiǎn)單,但命名方式不統(tǒng)一,敘述格式復(fù)雜,給AI留下了不少難題。

在趙維平教授等研究人員的幫助下,華為Mate 20 Pro的研發(fā)團(tuán)隊(duì),必須抽絲剝繭般完成用AI識(shí)別古譜的任務(wù)??傮w來說,AI識(shí)別減字譜,總共分三步:

1、圖像預(yù)處理。減字譜大多屬于影印本,圖像模糊,并且注釋與曲譜常常雜糅交錯(cuò),AI很難識(shí)別清晰。這個(gè)步驟中,需要技術(shù)團(tuán)隊(duì)調(diào)用華為手機(jī)上HiAI Engine的文檔檢測(cè)、文檔矯正、圖像和文字超分辨率增強(qiáng)等AI能力,保證手機(jī)可以清晰地識(shí)別每一張古譜并快速地完成古譜文檔的采集和數(shù)字化。而對(duì)研發(fā)團(tuán)隊(duì)來說,這是個(gè)可以“偷懶”的任務(wù),因?yàn)槿A為手機(jī)包括Mate 20 Pro中內(nèi)置有HiAI Engine,直接調(diào)用開放的相應(yīng)AI能力接口,便可用它來拍攝減字譜達(dá)到事半功倍的效果。

2、訓(xùn)練減字譜的譜符檢測(cè)和識(shí)別模型,構(gòu)建編解碼規(guī)則與字符庫(kù)。團(tuán)隊(duì)的最終目標(biāo),是通過對(duì)減字譜進(jìn)行特征提取,直接轉(zhuǎn)換成簡(jiǎn)譜。然而在轉(zhuǎn)化規(guī)則層面,團(tuán)隊(duì)將要面臨一個(gè)全新的問題:過往的AI文字識(shí)別,主要是通過OCR識(shí)別+自然語言理解。但是減字譜不是文字,不能使用通用的OCR識(shí)別,因此團(tuán)隊(duì)專門訓(xùn)練了針對(duì)減字譜符的檢測(cè)和識(shí)別AI模型。最終通過構(gòu)建基于減字譜的編解碼規(guī)則,研發(fā)團(tuán)隊(duì)成功完成了這個(gè)所有流程中的最大挑戰(zhàn)。

3、基于AI技術(shù),建立減字譜的翻譯程序。最后,利用訓(xùn)練好的AI模型,研發(fā)團(tuán)隊(duì)得以將大量減字譜快速地轉(zhuǎn)換為現(xiàn)代簡(jiǎn)譜。至此,減字譜的AI識(shí)別與翻譯工作算告一段落。

把“模型”,翻炒成大唐風(fēng)味的“音樂”

這個(gè)年頭,成熟的AI應(yīng)該自己會(huì)作曲。

雖然聽起來這完全是難為AI們,但這確實(shí)是“重構(gòu)唐曲”的必經(jīng)之路。在得到唐曲曲譜的大量數(shù)字化樣本后,開啟在云端進(jìn)行大量訓(xùn)練,最終得到了一個(gè)能理解唐音唐曲編譯規(guī)則的深度學(xué)習(xí)模型。

之后,研發(fā)團(tuán)隊(duì)將訓(xùn)練好的模型遷移到華為Mate 20 Pro上,僅僅利用端側(cè)AI的算力,來完成本地推理,也就是AI編曲工作。

事實(shí)上,AI編曲和作曲近兩年已經(jīng)成為了業(yè)界的熱點(diǎn)。自2017年,美國(guó)流行歌手 Taryn Southern 發(fā)表了名為《I am AI》的AI編曲作品后,相關(guān)的算法模型可謂層出不窮。

比如,OpenAI 發(fā)布了 MuseNet。這個(gè)模型AI從幾十萬個(gè) MIDI 檔案中學(xué)習(xí),理解了合聲、節(jié)奏和風(fēng)格等元素,最終可以使用不同樂器不同曲風(fēng)自己作曲。

而在中國(guó)科技界,用AI作曲的代表產(chǎn)品之一就是華為Mate 20 Pro。

所謂AI編曲和作曲,本質(zhì)上是運(yùn)行一個(gè)復(fù)雜的AI模型,來對(duì)不同的音樂、樂器、節(jié)奏、樂理等規(guī)則進(jìn)行學(xué)習(xí)和反向輸出。這類任務(wù),恰好可以證明華為Mate 20 Pro的端側(cè)AI算力。

而通過對(duì)古譜中音樂的分析和理解,一段屬于大唐的音樂就被AI“吟唱”了出來。

在視頻中我們可以看到,被聞一多先生譽(yù)為“以孤篇壓倒全唐”的《春江花月夜》,最終以歌者的聲音和古譜中“再現(xiàn)”的唐曲,一起出現(xiàn)在耳畔。

一部手機(jī),一整間AI廚房

這里插一段題外話。用AI“重構(gòu)唐曲”的流程跑下來,我們或許可以發(fā)現(xiàn)這樣一個(gè)問題:

與一般的AI開發(fā)不同,華為手機(jī)的這次AI跨界實(shí)驗(yàn),基本是依靠華為Mate 20 Pro的本地環(huán)境來進(jìn)行的。

這當(dāng)然一方面是對(duì)HUAWEI HiAI開放能力平臺(tái)的檢驗(yàn),其中HiAI Foundation的麒麟980提供AI模型推理算力,HiAI Engine提供了各種可直接調(diào)用的AI能力API,HIAI Services提供語音助手和語音識(shí)別服務(wù),同時(shí)或許也能看到這樣一個(gè)趨勢(shì):越來越多的復(fù)雜AI任務(wù),將在終端產(chǎn)品中部署和應(yīng)用。在“重構(gòu)唐曲”的案例里,我們可以看到這樣幾個(gè)趨勢(shì):

1、華為手機(jī)上的HiAI Engine已經(jīng)開放了大量AI能力,比如語音識(shí)別、文字識(shí)別、語義理解等等,這些能力可以讓AI應(yīng)用更簡(jiǎn)單快速地被開發(fā)出來,成為開發(fā)者的助力,未來還會(huì)有更多的AI能力開放出來。

2、基于隱私保護(hù)的需要,應(yīng)用中涉及的用戶數(shù)據(jù)更應(yīng)該留在本地?!爸貥?gòu)唐曲”的案例中,最終需要研發(fā)人員完成一段朗誦。雖然一般意義上來說聲音并不屬于隱私數(shù)據(jù),但其最好還是留在本地,避免上傳云端帶來不必要的麻煩,因此會(huì)有越來越多的AI模型會(huì)部署在端側(cè)。

3、端側(cè)AI模型加速,需要保證實(shí)時(shí)性體驗(yàn)。試想一下,如果我們歌唱了一段唐詩,但是配樂版本卻遲遲無法呈現(xiàn),就會(huì)導(dǎo)致體驗(yàn)不佳。為保證實(shí)時(shí)性體驗(yàn),移動(dòng)端AI模型加速也是必不可少的,HIAI Foundation提供的NPU算力可支撐AI模型在移動(dòng)端高效運(yùn)算。

這三大趨勢(shì),并不僅僅表現(xiàn)于“重構(gòu)唐曲”的案例中,隨著越來越多的移動(dòng)端更加智慧化,HUAWEI HiAI開放能力平臺(tái)將賦能更多AI場(chǎng)景,助力開發(fā)者快速開發(fā)和部署AI應(yīng)用。

味道,還在形外

最后,或許我們有必要聊一聊,“重構(gòu)唐曲”這件事,在引起大家無盡的“盛唐遐思”之外,還有哪些實(shí)際用處。

整個(gè)“重構(gòu)唐曲”項(xiàng)目,給學(xué)術(shù)界留下了快速的減字譜識(shí)別和轉(zhuǎn)換系統(tǒng),以及直觀的古曲研究應(yīng)用。接下來,這些AI應(yīng)用將長(zhǎng)期供相關(guān)領(lǐng)域的研究者使用。

推而廣之,還有大量學(xué)術(shù)應(yīng)用亟待類似技術(shù)的落地。減字譜識(shí)別帶來的“非文字符號(hào)識(shí)別”,也可以應(yīng)用于少數(shù)民族文獻(xiàn)、金石文獻(xiàn),以及特殊文獻(xiàn)的識(shí)別和翻譯中。比如將蘇州碼子轉(zhuǎn)換為財(cái)經(jīng)金融資料等等。而文獻(xiàn)識(shí)別-語音生成的技術(shù)邏輯,則可以在“重構(gòu)唐曲”之外,作用于現(xiàn)歷代語音、音韻和音樂。

目前這個(gè)階段,大多數(shù)終端用戶都認(rèn)為AI和聲音的結(jié)合,只能做語音識(shí)別和語義理解。然而從“重構(gòu)唐曲”的案例中看,識(shí)別古譜、推理旋律、“再現(xiàn)”消失的音樂——還有更多AI與聲音的潛力等待挖掘。

歸根結(jié)底,華為Mate 20 Pro研發(fā)團(tuán)隊(duì)是在做這么一件事:把AI和那些天馬行空的奇妙想法聯(lián)系在一起。無論是熱帶雨林里,故紙堆中,還是生活里的點(diǎn)點(diǎn)滴滴,AI都能完成一些令人意想不到的任務(wù)。

所謂拋磚引玉,亦可拋唐曲而引眾聲。AI需要由萬千聰明的頭腦去開發(fā),億萬有趣的靈魂去享受。

“重構(gòu)唐曲”這道菜的背后,移動(dòng)AI的真味在于:每個(gè)人,每件事,都可以關(guān)乎AI。

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-07-17
復(fù)活唐音,是一味怎樣的菜?
說白了,減字譜是把彈琴的手法用漢字來表示,這種譜只能記指法動(dòng)作和弦序、徽位,而沒有像歐洲樂譜一樣記錄節(jié)拍和節(jié)奏。食材找到了,下一步,是把它放在AI里燉煮一會(huì)。

長(zhǎng)按掃碼 閱讀全文