抖音視頻里那些被驚呼“美爆了”、“酷斃了”、“真想焊在臉上”的特效，到底是怎么開發(fā)出來(lái)的?為何抖音特效能夠在多個(gè)平臺(tái)的比拼中脫穎而出?
7月28日，抖音聯(lián)合火山引擎在北京舉辦智能特效技術(shù)開放日。火山引擎特效技術(shù)專家在場(chǎng)分享了抖音特效的生產(chǎn)流程和技術(shù)原理。
據(jù)介紹，抖音特效主要使用了計(jì)算機(jī)視覺(CV)和計(jì)算機(jī)圖形學(xué)(CG)技術(shù)。CV代表對(duì)現(xiàn)實(shí)世界的理解，CG的作用是將渲染虛擬元素疊加到畫面，特效就是用CV和CG技術(shù)的互動(dòng)把現(xiàn)實(shí)和虛擬連接起來(lái)，經(jīng)過大量工程與產(chǎn)品化的迭代，最終為用戶呈現(xiàn)出生動(dòng)有趣的視覺效果。
CV技術(shù)：數(shù)據(jù)驅(qū)動(dòng)、場(chǎng)景豐富、算法全面
據(jù)火山引擎特效技術(shù)專家介紹，抖音特效的CV技術(shù)主要有三大特點(diǎn)。
首先，通過用戶的反饋推動(dòng)CV算法的優(yōu)化，是一大核心優(yōu)勢(shì)。
抖音擁有龐大的用戶規(guī)模，任何算法上的升級(jí)、迭代，都會(huì)影響到海量用戶，最終反饋到產(chǎn)品的使用數(shù)據(jù)上。其中某些指標(biāo)的上升或者下降往往與某個(gè)算法的某一次改動(dòng)之間有著深層次關(guān)聯(lián)。
其次，更豐富的使用場(chǎng)景，讓CV算法適用性更強(qiáng)。
除了抖音之外，字節(jié)跳動(dòng)其他眾多的APP和業(yè)務(wù)線，比如視頻拍攝、視頻剪輯、視頻會(huì)議等，其他垂類行業(yè)如游戲、廣告、房產(chǎn)、汽車等，都會(huì)產(chǎn)生非常豐富的使用場(chǎng)景。不同的使用場(chǎng)景，會(huì)產(chǎn)生各種差異化的需求，在同時(shí)滿足這些需求的過程中，也在助推CV算法能具備更好的適應(yīng)面。
以智能電視為例，客戶需要在電視攝像頭上應(yīng)用到一些特效。但這個(gè)場(chǎng)景和抖音的差別非常明顯：電視和手機(jī)，畫面的占比差別很大。所以一開始CV算法的效果很差。但正是在針對(duì)智能電視這一場(chǎng)景進(jìn)行算法優(yōu)化的過程，反而推動(dòng)了CV算法的進(jìn)步，最終很好地適應(yīng)了這一場(chǎng)景。后來(lái)，火山引擎發(fā)現(xiàn)抖音里面有很多場(chǎng)景也有類似智能電視場(chǎng)景的需求，就直接把相關(guān)成果拿過來(lái)用就行了。
此外，火山引擎CV算法覆蓋的技術(shù)能力也非常全面。
抖音特效里面使用了100多個(gè)不同的CV算法，如果把每一個(gè)算法都認(rèn)為是對(duì)真實(shí)場(chǎng)景的理解，在特效中就可以理解為100多種不同的真實(shí)場(chǎng)景，基本包含了各種不同的技術(shù)方向。從另一方面看，也證明了火山引擎技術(shù)團(tuán)隊(duì)人才的儲(chǔ)備也是非常全面的。
CG技術(shù)：為特效量身打造的輕量級(jí)渲染引擎
火山引擎的CG技術(shù)團(tuán)隊(duì)通過近兩年的打磨，完成了一個(gè)從零到一、自主研發(fā)的渲染引擎。這一引擎也有三個(gè)特點(diǎn)。
首先是體積小。
提到渲染引擎，大家比較熟悉的是Unity等非常成熟的商業(yè)化渲染引擎。與他們不同，抖音特效的渲染引擎，是針對(duì)短視頻AI特效的渲染場(chǎng)景，并不需要很多游戲行業(yè)的功能，所以是輕量級(jí)的渲染引擎，相比Unity的體積小得多。
其次是具備非常好的跨平臺(tái)能力。
火山引擎的CG技術(shù)除了可以用在移動(dòng)端的安卓和iOS平臺(tái)上，還可以用在PC上，包括Windows、MacOS、Linux等不同的操作系統(tǒng)。同時(shí)，同一個(gè)平臺(tái)也會(huì)有不同的圖形API的版本，這些主流的圖形API版本，火山引擎的CG技術(shù)全都可以支持。
另外一點(diǎn)就是可以做到出色的渲染效果。
以下面五個(gè)具體的特效為例，
第一個(gè)特效，是材質(zhì)領(lǐng)域的展示，PBR可以簡(jiǎn)單理解為偏向真實(shí)場(chǎng)景的材質(zhì)，可以明顯的感受到金屬的質(zhì)感。
第二個(gè)特效，是半透明以及有一定反射折射效果的材質(zhì)。
第三個(gè)特效，是自發(fā)光的效果。
第四個(gè)特效，應(yīng)用了GPU粒子系統(tǒng)。
在之前大家更為熟悉的“控雨特效”里，抖音特效第一次用到“粒子”的概念，但“控雨”里面的雨滴并不多。但是在GPU粒子系統(tǒng)中，光煙花里面用的粒子數(shù)量就達(dá)到上萬(wàn)，遠(yuǎn)遠(yuǎn)大于之前的控雨特效。這是因?yàn)橹?ldquo;控雨”的“粒子”要用到CPU來(lái)計(jì)算，而“GPU粒子系統(tǒng)”則使用的是GPU來(lái)完成上萬(wàn)粒子的計(jì)算。
最后一個(gè)演示里綜合性地包含了很多技術(shù)，可以理解為近乎真實(shí)的渲染效果。
在分享抖音特效背后的技術(shù)之外，火山引擎相關(guān)負(fù)責(zé)人也表示，作為字節(jié)跳動(dòng)的技術(shù)服務(wù)平臺(tái)，火山引擎不僅支持了抖音、今日頭條等公司內(nèi)部產(chǎn)品，也在向外部企業(yè)開放，為客戶提供特效創(chuàng)作工具套件、定制算法、工程化部署和對(duì)接聯(lián)調(diào)等產(chǎn)品及服務(wù)。此外，火山引擎資源商城提供了上萬(wàn)款抖音同款特效，企業(yè)可以根據(jù)熱度、類型等方式選擇使用。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
