隨著人們文化娛樂消費(fèi)的逐年增加,泛娛樂社交行業(yè)也迎來了爆發(fā)式增長(zhǎng)。同時(shí),云計(jì)算、人工智能、5G、物聯(lián)網(wǎng)等新一代信息通信技術(shù)的快速發(fā)展,以及硬件技術(shù)的變革,都為泛娛樂產(chǎn)業(yè)帶來廣闊的發(fā)展機(jī)會(huì)。在新一輪娛樂社交賽道的角逐中,成功的機(jī)遇藏在哪里?
近日,在網(wǎng)易智企主辦的MCtalk泛娛樂科技峰會(huì)上,火山引擎AI組計(jì)算機(jī)視覺方向負(fù)責(zé)人范青發(fā)表了主題為《AI智能互動(dòng)美化特效促進(jìn)內(nèi)容生產(chǎn)與創(chuàng)新》的演講,分享了字節(jié)跳動(dòng)多年來在“特效引擎+CV算法”與互動(dòng)娛樂場(chǎng)景的結(jié)合與落地經(jīng)驗(yàn),以及智能互動(dòng)美化特效作為增長(zhǎng)工具服務(wù)企業(yè)的技術(shù)能力。
以下為范青演講全文:
大家好,我是來自字節(jié)跳動(dòng)火山引擎AI組計(jì)算機(jī)視覺方向的范青。今天是一個(gè)泛娛樂峰會(huì),我想先跟大家分享一下在娛樂方向上我們所做的工作。
首先我想介紹一下我們的火山引擎AI計(jì)算機(jī)視覺團(tuán)隊(duì),我們是面向企業(yè)的智能技術(shù)團(tuán)隊(duì),可以通過火山引擎把字節(jié)多年沉淀的有經(jīng)驗(yàn)的組件提供給企業(yè)的開發(fā)者們,6月10日有一場(chǎng)火山引擎的品牌發(fā)布大會(huì),歡迎大家關(guān)注。
特效場(chǎng)景篇
我想從特效的場(chǎng)景切入正題。字節(jié)跳動(dòng)是一家擁有多產(chǎn)品矩陣的公司,在很多的業(yè)務(wù)場(chǎng)景下都落地了互動(dòng)美效的功能,比如大家很熟悉的抖音上的特效,像國(guó)漫動(dòng)畫風(fēng),日漫動(dòng)畫風(fēng)以及虛擬人相關(guān)的特效,在我們的業(yè)務(wù)里面隨處可見。
以抖音為例,作為內(nèi)容平臺(tái),消費(fèi)者同時(shí)也是生產(chǎn)者,想提升平臺(tái)的活躍度,一方面需要把消費(fèi)者轉(zhuǎn)化成生產(chǎn)者:我們的智能視覺特效和智能創(chuàng)作就可以助力用戶以低門檻高效率的方式生產(chǎn)內(nèi)容;另一方面,在消費(fèi)端通過推薦算法進(jìn)行精準(zhǔn)的內(nèi)容分發(fā),提升視頻的消費(fèi),從而形成生產(chǎn)和消費(fèi)的閉環(huán)。字節(jié)的算法能力大家也比較了解,我就不贅述了。
在直播場(chǎng)景,分為開播端和觀眾端,開播端的主要用戶是主播,對(duì)主播而言,刷禮物是直接的直播收入來源。我們的特效能力可以幫主播定制化禮物,比如可以生成帶有主播照片的禮物,給主播進(jìn)行排面展示。這種定制化的禮物在排行榜上同級(jí)別禮物中銷量排名前二,購買率非常高。
同時(shí),直播場(chǎng)景觸發(fā)云渲染的技術(shù),現(xiàn)在還是有非常多的下沉市場(chǎng)用戶使用的手機(jī)配置較為有限,為避免用戶因終端算力的問題而影響了互動(dòng)的體驗(yàn),我們也做了一些研發(fā)的工作,使渲染工作在云端上完成。
另外,也有一些主播不愿意露臉,Animoji虛擬形象功能可以貼合主播自身的形象,上線之后也得到了非常好的用戶收益。
最后是觀看體驗(yàn)上的提升,我們采用自研的算法實(shí)現(xiàn)自適應(yīng)銳化,讓觀看端以高清檔位(720P)自適應(yīng)的方式觀看,使整個(gè)畫質(zhì)更加透亮清晰,從而提升觀感。
在短視頻的場(chǎng)景下,抖音上近期投稿火熱的玩法是“芳心收割攻略”,這個(gè)是特效與運(yùn)營(yíng)聯(lián)動(dòng)實(shí)現(xiàn)的,通過運(yùn)營(yíng)的同學(xué)運(yùn)營(yíng)起來,有相關(guān)的用戶參與和相關(guān)的熱點(diǎn),才能發(fā)揮最大的價(jià)值。
另一個(gè)近期的爆款特效是用到了生成對(duì)抗網(wǎng)絡(luò)算法的“只有淡妝”,這個(gè)特效只上線了18天就在抖音的內(nèi)部評(píng)級(jí)達(dá)到了“S”級(jí),這是近半年來比較明顯的成績(jī)。
除此之外還有地標(biāo)AR,這也是我們?cè)谏虡I(yè)化的探索,我們對(duì)成都IFS(國(guó)際金融中心)的建筑物做了特效的附著,整個(gè)流程涉及到了采集、云端渲染等相關(guān)的能力去進(jìn)行展示,這個(gè)實(shí)踐也能夠融合到文旅方案,為旅游產(chǎn)業(yè),或者是博物館帶來一些體驗(yàn)和商業(yè)上的升級(jí)。
此外,在一些泛互娛樂場(chǎng)景下,比如在線教育,瓜瓜龍英語的趣味游戲功能卡能讓年紀(jì)較小的孩子在初級(jí)體驗(yàn)課里展示自己的學(xué)習(xí)成果,這個(gè)功能卡片的受歡迎度排名第二,孩子們非常喜歡用這個(gè)卡片和老師互動(dòng)。
還有智慧大屏的應(yīng)用,現(xiàn)在的電視上一些攝像頭幫助大家進(jìn)行家庭的娛樂體驗(yàn),后疫情時(shí)代有很多涉及到健身和電商購物的場(chǎng)景,我們?cè)诖笃岭娨暽弦沧隽艘恍┞涞?大屏電視的情況比較特殊,因?yàn)榻K端算力本身就不強(qiáng),它的CPU的能力落后移動(dòng)手機(jī)的一到兩代。在這樣的較極端的終端場(chǎng)景下的落地特效也是目前在攻克的方向。
特效算法篇
講完了落地的場(chǎng)景,我想和大家分享關(guān)于特效的算法,有三個(gè)非常重要的關(guān)鍵詞——深耕場(chǎng)景、數(shù)據(jù)驅(qū)動(dòng)、落地為先。
大家提到人工智能算法,會(huì)有非常多的聯(lián)想,我們進(jìn)行場(chǎng)景的細(xì)化,讓算法可以更好的服務(wù)用戶,關(guān)于算法適配相關(guān)的是我們非常關(guān)注的點(diǎn)。因?yàn)樵诓煌挠脩趔w驗(yàn)下,它會(huì)分中近遠(yuǎn)距離,全身半身,橫豎屏,以及實(shí)時(shí)、非實(shí)時(shí)的處理的要求等等因素,都會(huì)影響到算法的結(jié)果,因?yàn)樗惴ū旧硎且粋€(gè)比較敏感的模型,模型本身雖然適配很重要,或者泛化能力很重要,但我們?cè)诓煌膱?chǎng)景下有不同的優(yōu)化,比如說會(huì)議場(chǎng)景或者是短視頻場(chǎng)景都會(huì)進(jìn)行不同的模型適配,同時(shí)搭配不同的分發(fā)策略,這個(gè)模型到了大家的手機(jī)上也會(huì)因?yàn)槭謾C(jī)的評(píng)分去進(jìn)行不同的模型分發(fā),這是一個(gè)非常重的生產(chǎn)工作。
在工程優(yōu)化方面,不同機(jī)型的處理能力又不一樣,GPU的表現(xiàn)又不一樣,對(duì)于機(jī)型的評(píng)分我們非常關(guān)注,我們工程也要對(duì)移動(dòng)端或者是大屏端進(jìn)行適配。
我們的算法在解決實(shí)際問題的時(shí)候,也會(huì)有不一樣的要求,比如特效玩法的環(huán)節(jié)里面,3D的人臉,就會(huì)有口紅的適配、帽子、耳機(jī)這樣的場(chǎng)景,在某些場(chǎng)景下帽子的材質(zhì)沒有那么重要,但如果這個(gè)東西在電商場(chǎng)景下去落地,比如說我想看看口紅的顏色,想看看珠光、啞光什么樣子,不同的顏色是什么樣子的,都需要AI的能力非常逼真,算法在不同的場(chǎng)景下也要去做不同的適配,讓它更貼合當(dāng)下的業(yè)務(wù)場(chǎng)景。
特效引擎篇
我們經(jīng)常聽到“跨平臺(tái)聯(lián)動(dòng)”、“熱點(diǎn)追蹤”和“熱點(diǎn)覆蓋”這些說法。做移動(dòng)端的生意,就必須在你的業(yè)務(wù)下能轉(zhuǎn)得起來,能支撐所有的用戶。這就需要多平臺(tái)支持,需要我們的算法既能落地在App上,也能落地在瀏覽器上,同時(shí)還可以落地在小程序上。我們需要進(jìn)行移動(dòng)端SDK的開發(fā),甚至使用云渲染這種比較重的方法去解決多平臺(tái)跨平臺(tái)支持的問題。
3D引擎跟虛擬形象以及智能創(chuàng)作相關(guān),3D引擎剛才也提到了,比如說物理引擎的模擬,比如說動(dòng)畫系統(tǒng),比如說粒子,TOF攝像頭,像谷歌和蘋果自己有AR的工具,他們從2D到3D的轉(zhuǎn)化也做了很多的工作,也許是下一個(gè)轉(zhuǎn)化是使用習(xí)慣的改變。
特效內(nèi)容篇
內(nèi)容也是我很想分享的,除了技術(shù)上的東西,其實(shí)我們認(rèn)為,運(yùn)營(yíng)是在娛樂場(chǎng)景下可能是最重要的一環(huán)。
我們生產(chǎn)了非常多的貼紙,生產(chǎn)了非常多的素材,這么好玩的貼紙和素材都需要有一個(gè)平臺(tái)去支撐它,并且去評(píng)估它到底能夠起到多大的作用。我們會(huì)有一個(gè)平臺(tái)進(jìn)行綜合管理,第一個(gè)關(guān)鍵詞就是平臺(tái)管理;
第二塊是數(shù)據(jù)監(jiān)控相關(guān)的,這需要多個(gè)維度的數(shù)據(jù)監(jiān)控,包括熱度,它的衰減曲線,地區(qū)熱度,抽象規(guī)則,使下一次特效上線之前有充分的經(jīng)驗(yàn)可以借鑒,去評(píng)估我們每一個(gè)玩法能達(dá)到的效果;
最后是關(guān)于商業(yè)化運(yùn)營(yíng),特效除了提升用戶體驗(yàn)之外,怎樣才能給企業(yè)或者是給產(chǎn)品帶來新的增長(zhǎng)。我們的很多業(yè)務(wù)都有商業(yè)化特效,比如說跟品牌相關(guān)的一些貼紙,小游戲,之前跟肯德基合作過一個(gè)射擊游戲,因?yàn)橛挟嫷牡胤蕉伎梢再Nlogo,每一個(gè)明顯的特效欄都是自然的廣告位,并且這樣的方式是廣告主非常喜歡的,因?yàn)閺V告的形式真的太多了,像我們這一類的廣告貼紙又能觀測(cè)到點(diǎn)擊又能產(chǎn)生實(shí)際的效果。
特效工具篇
最后我想談?wù)劵鹕揭娴奶匦a(chǎn)工具,特效生產(chǎn)工具在我們整個(gè)的鏈路里面是非常非常重要的環(huán)節(jié)。
我認(rèn)為特效的生產(chǎn)效率對(duì)于特效能不能落地業(yè)務(wù)起著決定性的作用,在這一個(gè)環(huán)節(jié)里,我會(huì)跟大家分享三個(gè)關(guān)鍵詞,第一個(gè)是提升生產(chǎn)效率,第二個(gè)是完善設(shè)計(jì)生態(tài),最后一個(gè)是引擎同步升級(jí)。
像我們的2D、3D,甚至美顏等特效如何快速生產(chǎn),如果需要一個(gè)人干好幾天來生產(chǎn),是無法支撐業(yè)務(wù)的。我們自己有一個(gè)生產(chǎn)工具,這個(gè)工具的底層和SDK都是同樣的引擎,它可以幫助我們的設(shè)計(jì)師用無代碼的方式,快速地生產(chǎn)一個(gè)特效,比如一天生產(chǎn)2D特效,5天生產(chǎn)3D特效。并且,因?yàn)楣ぞ呤浅橄蟮?我們也可以向外部提供,讓外部的設(shè)計(jì)師生產(chǎn)了素材之后反哺我們的平臺(tái),外部設(shè)計(jì)師愿意在我們的生態(tài)上繼續(xù)生產(chǎn)貼紙可以實(shí)現(xiàn)變現(xiàn),同時(shí)也提升了我們的效率。
最后是工具和引擎的聯(lián)動(dòng),算法創(chuàng)新了馬上會(huì)上到引擎。按照傳統(tǒng)的工作流程,一個(gè)開發(fā)設(shè)計(jì)師為了對(duì)接引擎和渲染之間關(guān)鍵點(diǎn)的東西就需要好幾天,是非常浪費(fèi)時(shí)間的。我們的工具就是為了提升生產(chǎn)效率,讓外部的用戶也能使用到我們的工具,得到效率的提升。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
