抖音視頻里那些被驚呼“美爆了”、“酷斃了”、“真想焊在臉上”的特效，到底是怎么開發(fā)出來的?為何抖音特效能夠在多個平臺的比拼中脫穎而出?
7月28日，抖音聯(lián)合火山引擎在北京舉辦智能特效技術開放日。火山引擎特效技術專家在場分享了抖音特效的生產流程和技術原理。
據(jù)介紹，抖音特效主要使用了計算機視覺(CV)和計算機圖形學(CG)技術。CV代表對現(xiàn)實世界的理解，CG的作用是將渲染虛擬元素疊加到畫面，特效就是用CV和CG技術的互動把現(xiàn)實和虛擬連接起來，經過大量工程與產品化的迭代，最終為用戶呈現(xiàn)出生動有趣的視覺效果。
CV技術：數(shù)據(jù)驅動、場景豐富、算法全面
據(jù)火山引擎特效技術專家介紹，抖音特效的CV技術主要有三大特點。
首先，通過用戶的反饋推動CV算法的優(yōu)化，是一大核心優(yōu)勢。
抖音擁有龐大的用戶規(guī)模，任何算法上的升級、迭代，都會影響到海量用戶，最終反饋到產品的使用數(shù)據(jù)上。其中某些指標的上升或者下降往往與某個算法的某一次改動之間有著深層次關聯(lián)。
其次，更豐富的使用場景，讓CV算法適用性更強。
除了抖音之外，字節(jié)跳動其他眾多的APP和業(yè)務線，比如視頻拍攝、視頻剪輯、視頻會議等，其他垂類行業(yè)如游戲、廣告、房產、汽車等，都會產生非常豐富的使用場景。不同的使用場景，會產生各種差異化的需求，在同時滿足這些需求的過程中，也在助推CV算法能具備更好的適應面。
以智能電視為例，客戶需要在電視攝像頭上應用到一些特效。但這個場景和抖音的差別非常明顯：電視和手機，畫面的占比差別很大。所以一開始CV算法的效果很差。但正是在針對智能電視這一場景進行算法優(yōu)化的過程，反而推動了CV算法的進步，最終很好地適應了這一場景。后來，火山引擎發(fā)現(xiàn)抖音里面有很多場景也有類似智能電視場景的需求，就直接把相關成果拿過來用就行了。
此外，火山引擎CV算法覆蓋的技術能力也非常全面。
抖音特效里面使用了100多個不同的CV算法，如果把每一個算法都認為是對真實場景的理解，在特效中就可以理解為100多種不同的真實場景，基本包含了各種不同的技術方向。從另一方面看，也證明了火山引擎技術團隊人才的儲備也是非常全面的。
CG技術：為特效量身打造的輕量級渲染引擎
火山引擎的CG技術團隊通過近兩年的打磨，完成了一個從零到一、自主研發(fā)的渲染引擎。這一引擎也有三個特點。
首先是體積小。
提到渲染引擎，大家比較熟悉的是Unity等非常成熟的商業(yè)化渲染引擎。與他們不同，抖音特效的渲染引擎，是針對短視頻AI特效的渲染場景，并不需要很多游戲行業(yè)的功能，所以是輕量級的渲染引擎，相比Unity的體積小得多。
其次是具備非常好的跨平臺能力。
火山引擎的CG技術除了可以用在移動端的安卓和iOS平臺上，還可以用在PC上，包括Windows、MacOS、Linux等不同的操作系統(tǒng)。同時，同一個平臺也會有不同的圖形API的版本，這些主流的圖形API版本，火山引擎的CG技術全都可以支持。
另外一點就是可以做到出色的渲染效果。
以下面五個具體的特效為例，
第一個特效，是材質領域的展示，PBR可以簡單理解為偏向真實場景的材質，可以明顯的感受到金屬的質感。
第二個特效，是半透明以及有一定反射折射效果的材質。
第三個特效，是自發(fā)光的效果。
第四個特效，應用了GPU粒子系統(tǒng)。
在之前大家更為熟悉的“控雨特效”里，抖音特效第一次用到“粒子”的概念，但“控雨”里面的雨滴并不多。但是在GPU粒子系統(tǒng)中，光煙花里面用的粒子數(shù)量就達到上萬，遠遠大于之前的控雨特效。這是因為之前“控雨”的“粒子”要用到CPU來計算，而“GPU粒子系統(tǒng)”則使用的是GPU來完成上萬粒子的計算。
最后一個演示里綜合性地包含了很多技術，可以理解為近乎真實的渲染效果。
在分享抖音特效背后的技術之外，火山引擎相關負責人也表示，作為字節(jié)跳動的技術服務平臺，火山引擎不僅支持了抖音、今日頭條等公司內部產品，也在向外部企業(yè)開放，為客戶提供特效創(chuàng)作工具套件、定制算法、工程化部署和對接聯(lián)調等產品及服務。此外，火山引擎資源商城提供了上萬款抖音同款特效，企業(yè)可以根據(jù)熱度、類型等方式選擇使用。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
