近日
在深蘭科技的官方抖音上
發(fā)布了這樣一個視頻
這是利用人工智能技術(shù)，將電影《魔獸》中的片段轉(zhuǎn)成了動漫的畫面。本就科幻的劇情，在動漫場景下，不禁讓人重回游戲，再次走入兩個世界的種族為了各自的生存和家園奮起而戰(zhàn)的故事……
深蘭科學(xué)院的算法專家借助計算機視覺技術(shù)，基于機器學(xué)習(xí)和生成對抗網(wǎng)絡(luò)（GAN），對圖像進行了風(fēng)格遷移處理，可將真實世界的圖像直接轉(zhuǎn)換為高品質(zhì)動漫風(fēng)格。由此，畫師便可將節(jié)省下來的大量時間，用于更多富有創(chuàng)造性的工作，從而產(chǎn)生更大的價值。而經(jīng)典老電影，也可以利用去燥、上色、轉(zhuǎn)動畫等一系列人工智能方法進行處理，來一次二次元的穿越，滿足人們越來越多元化的視覺需求。
真實場景轉(zhuǎn)動畫
1．技術(shù)背景
漫畫是在日常生活中我們能夠廣泛接觸到的一種藝術(shù)形式。除了藝術(shù)本身之外，它的適用范圍從出版媒體到兒童教育，和其他藝術(shù)形式一樣，很多著名的漫畫形象都是基于現(xiàn)實世界的場景創(chuàng)作的。圖1－1展示了真實照片轉(zhuǎn)換成漫畫的效果。
圖1－1人物變卡通
為什么要把真實場景轉(zhuǎn)換成卡通呢？在現(xiàn)實工作中，使用卡通風(fēng)格手繪重現(xiàn)現(xiàn)實世界的場景是一個費時費力的工作，而且需要很多專業(yè)的繪畫技能。為了獲得高質(zhì)量的畫面，原畫作者必須仔細(xì)繪制每個線條，并對目標(biāo)場景的每種顏色區(qū)域進行涂色。
目前看來，具有標(biāo)準(zhǔn)特征的現(xiàn)有藝術(shù)編輯軟件和算法無法產(chǎn)生令人滿意的漫畫效果。因此，如果有專業(yè)技術(shù)能夠自動將真實世界的照片轉(zhuǎn)換為高品質(zhì)的動漫風(fēng)格畫面，對于畫師來說是非常有幫助的一件事：這可以為他們節(jié)省大量時間，讓他們專注于更有意義和創(chuàng)造性的工作。
以藝術(shù)方式對圖片進行處理的研究一直是計算機視覺的熱門方向。此前的傳統(tǒng)方式通常針對特定樣式開發(fā)特定的算法。然而，這意味著需要做出大量技術(shù)上的努力才能做出模仿個人藝術(shù)家的細(xì)致風(fēng)格。而基于機器學(xué)習(xí)的風(fēng)格遷移方法，可以通過示例圖片對圖像進行風(fēng)格化，已經(jīng)引起了很多人的關(guān)注。特別是生成對抗網(wǎng)絡(luò)（GAN）引入了循環(huán)方式訓(xùn)練，進一步探索并提高了風(fēng)格遷移的質(zhì)量，GAN的獨特之處在于可以使用不成對照片和風(fēng)格化圖像進行訓(xùn)練。
盡管基于學(xué)習(xí)的風(fēng)格遷移已經(jīng)有了很多成果，但最好的風(fēng)格遷移方法仍無法生產(chǎn)具有可接受質(zhì)量的漫畫風(fēng)格圖像。
究其原因：
首先，漫畫風(fēng)不是添加紋理和邊界線，而是需要從現(xiàn)實世界圖像的復(fù)雜構(gòu)造中高度簡化；
其次，盡管藝術(shù)家之間風(fēng)格各異，但卡通圖像具有一些明顯共通之處：邊緣清晰、顏色遮罩平滑、質(zhì)地相對簡單——這與其他形式的藝術(shù)作品截然不同。
這次我們要介紹的技術(shù)是清華大學(xué)提出CartoonGAN，一個基于GAN的全新照片漫畫化方法。該方法需要一組照片和一組漫畫圖像進行訓(xùn)練。為了讓訓(xùn)練數(shù)據(jù)易于獲得，同時獲得高質(zhì)量的結(jié)果，我們不需要讓兩組圖像互相配對或?qū)?yīng)。從計算機視覺算法的角度來看，漫畫風(fēng)格化的目標(biāo)是將照片流型映射到漫畫流型中，同時確保其中的內(nèi)容不變。
2．技術(shù)細(xì)節(jié)
2．1 網(wǎng)絡(luò)結(jié)構(gòu)
CartoonGAN作者提出了一個專用的GAN網(wǎng)絡(luò)架構(gòu)，包括生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D，都比較直觀基礎(chǔ)，如圖2－1所示：
圖2－1CartoonGAN的生成器（上）／判別器（下）的網(wǎng)絡(luò)結(jié)構(gòu)
生成器網(wǎng)絡(luò)
生成器網(wǎng)絡(luò)G用于將輸入圖像映射到漫畫流型中。在模型經(jīng)過訓(xùn)練后，漫畫風(fēng)格化任務(wù)就可以執(zhí)行了。如圖2－1所示，G從平卷積階段開始，隨后是兩個下采樣卷積模塊，以對圖像進行空間壓縮和編碼。隨后使用相同布局的八個殘差區(qū)塊來構(gòu)建內(nèi)容和流形特征。最后，通過兩個上卷積模塊重構(gòu)輸出的漫畫風(fēng)格圖像。
判別器網(wǎng)絡(luò)
為了與生成器網(wǎng)絡(luò)形成互補，判別器網(wǎng)絡(luò)D用于判斷輸入圖像是否是「真實的」漫畫圖。由于判斷圖像是否為漫畫是個要求不高的任務(wù)，因此使用D中參數(shù)較少的簡單判別器。與圖像分類任務(wù)不同，漫畫風(fēng)格鑒別任務(wù)依賴于圖像的局部特征，所以判別器網(wǎng)絡(luò)D被設(shè)計得較淺。如圖2－1所示，在平層之后，網(wǎng)絡(luò)采用兩個步長的卷積塊來降低分辨率并編碼用于分類的基本局部特征。隨后，使用特征構(gòu)造塊和3×3卷積層來獲得分類返回。
123下一頁>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
