手機(jī)廠商們的真假AI相機(jī)


手機(jī)廠商們的真假AI相機(jī)


美國消費(fèi)電子協(xié)會首席經(jīng)濟(jì)學(xué)家肖恩?杜布拉瓦茨在他那本《數(shù)字命運(yùn)》中提到了這樣一個觀點(diǎn):

數(shù)字技術(shù)和設(shè)備的蓬勃發(fā)展,預(yù)示著一個人類新時代的開始。除了數(shù)字硬件的風(fēng)靡,人類未來十年的生活將以“全數(shù)字化”和“物聯(lián)網(wǎng)”為特色。數(shù)字化所帶來的數(shù)據(jù)浪潮將以聞所未聞的量級席卷我們的世界,滲透進(jìn)我們的生活。

可不是,多數(shù)人想不到的我們一張自拍照的背后,都在不斷融入數(shù)字化和AI

2017年谷歌在Pixel 2代手機(jī)上加入了自研AI單元,首次實踐“AI計算拍照”。此后,用AI改善拍照質(zhì)量似乎就成了手機(jī)廠商們的共識。

谷歌此舉甚至還在“倒逼”華為海思、聯(lián)發(fā)科等廠商在最新的SoC硬件上提供AI組件,方便手機(jī)廠商進(jìn)行AI相關(guān)的功能開發(fā)。

一股芯片級AI相機(jī)的潮流席卷而來,不同流派、不同公司在標(biāo)準(zhǔn)、技術(shù)之間相互爭鳴,共同推動了技術(shù)的演進(jìn)。

AI相機(jī)流派

營銷也好,實打?qū)嵉倪M(jìn)步也好,為了追趕AI這個概念,手機(jī)廠商、處理器廠商都在打AI牌。以至于芯片甚至在相機(jī)這個點(diǎn)上都在拼AI。不過,出于成本考量,AI相機(jī)正在形成不同流派。

1、APP算法加強(qiáng)派。算法加強(qiáng)派只能算是營銷噱頭,主要集中在千元機(jī)上。

和美圖秀秀這類應(yīng)用通過算法修改圖片差不多,可以理解為手機(jī)相機(jī)APP自帶算法調(diào)整功能。紅米Note5、vivo X21這類市面上的“千元雙攝”大多用的是是這種方式。

APP自帶算法調(diào)節(jié)的確可以讓照片增強(qiáng)對比度或是通過算法加強(qiáng)景深。問題在于,本身硬件有限,芯片和攝像頭里都沒有專門的AI處理單元,一到夜晚就會導(dǎo)致畫質(zhì)不佳,原圖成像不佳,APP也很難有太大的作為。

2、攝像頭+云計算派,在攝像頭區(qū)域里有一顆專用圖像處理協(xié)處理器。

即ImageProcessing Unit (IPU),專門用來結(jié)合云計算與算法集群處理AI拍照與視頻任務(wù),谷歌Pixel 2就是最典型的案例,這也是為什么Pixel 2單攝像頭就能搞定其他雙攝像頭背景虛化的主要原因。

這顆IPU是一顆可編程處理器,共有8個核心,每個核心有512算術(shù)邏輯單元(ALU)。在移動設(shè)備上,ALU每秒能進(jìn)行超過3萬億次運(yùn)算。ALU主要是用Halide來進(jìn)行圖像處理,用TensorFlow處理機(jī)器學(xué)習(xí)。


手機(jī)廠商們的真假AI相機(jī)


從營銷的角度來看,這套技術(shù)基本只有谷歌能用,能實現(xiàn)的功能及支持的第三方應(yīng)用有限,須要搭載谷歌自研芯片也增加額外成本,基本上只會被Pixel的極客用戶認(rèn)可。國產(chǎn)手機(jī)廠商的雙攝、三攝、四攝可以在直接觀感上征服用戶,何必用單攝。

3、芯片處理器派,也就是在芯片處理器中,加入了一顆用于AI計算的芯片。

華為、蘋果、三星接連在處理器中加入了獨(dú)立神經(jīng)網(wǎng)絡(luò)處理單元,稱作為NPU——比如華為麒麟980。

聯(lián)發(fā)科其實比高通、三星都走得更快一些。早在2018年3月,聯(lián)發(fā)科就改進(jìn)加強(qiáng)了AI硬件處理單元,將其稱之為APU。當(dāng)時發(fā)布的Helio P60直接加入了雙核APU——也就是兩個獨(dú)立AI處理單元。這樣的處理單元專門用于應(yīng)付拍照、視頻操作。2018年底發(fā)布的Helio P90,其中AI專核已升級為APU2.0,為手機(jī)提供了強(qiáng)大的邊緣AI算力。

手機(jī)廠商們的真假AI相機(jī)


聯(lián)發(fā)科在這幾個派別的爭論中還提出了真AI相機(jī)的標(biāo)準(zhǔn),實現(xiàn)芯片級的真AI相機(jī)——從圖像傳感器sensor尺寸、AI性能、ISP技術(shù)三個維度為用戶打造真正的AI相機(jī)。

高通依舊執(zhí)著于CPU/GPU/DSP模式期間,聯(lián)發(fā)科已經(jīng)迭代了三代APU產(chǎn)品,已經(jīng)在芯片中采用了提升AI性能,改善用戶相機(jī)體驗的策略。

在APU 2.0 架構(gòu)的支持下,當(dāng)手機(jī)在多核多線程處理AI 任務(wù)時,手機(jī)反應(yīng)速度能更快、更省電。AI運(yùn)算效率提升了,功耗和所需的帶寬更少了。

芯片派的崛起

在2018年年末,APP算法加強(qiáng)派基本已經(jīng)被主流手機(jī)廠商淘汰,至少是在旗艦機(jī)上淘汰。攝像頭+云計算派太過小眾,而且不適應(yīng)國內(nèi)營銷環(huán)境,同樣沒能成為主流。芯片處理器派則是躍升為了所有手機(jī)廠商的第一選擇。

原因很簡單,手機(jī)相機(jī)硬件、用戶應(yīng)用需求以及相機(jī)自身玩法越來越多樣了,很多問題只能靠硬件來解決。

就像過去手機(jī)處理器“核戰(zhàn)”的年代,雙核、四核、八核、十核就是帶動性能的最佳方式。用AI芯片這種硬件思路面對所有用戶問題,同樣是最簡單、最直接、最干脆也最有效,但也需要技術(shù)積累的作法。

1、手機(jī)相機(jī)成像的整體升級

手機(jī)相機(jī)CMOS有個核心參數(shù),是CMOS的整體尺寸,俗話說“底大一級壓死”,好的旗艦機(jī)Sensor像素尺寸≥1.55μm,大底往往在暗光環(huán)境中可以捕捉到更多信號,畫面更純凈,噪點(diǎn)也更少,夜晚表現(xiàn)往往非常突出。目前市場上符合這一標(biāo)準(zhǔn)的傳感器有MIX586,MIX378,MIX380等。

大底當(dāng)然也有壞處——它需要處理的數(shù)據(jù)更多。過去原本做ISP影像處理的相機(jī)DSP在Sensor像素尺寸≥1.55μm的大底上就會顯得相對吃力,容易導(dǎo)致相機(jī)發(fā)熱,功耗增加。除非手機(jī)性能真的足夠強(qiáng)勁,才能帶得動≥1.55μm的大底。

手機(jī)廠商們的真假AI相機(jī)


(高通驍龍845的圖像處理策略)

未來≥1.55μm的大底必然是中高端手機(jī)的標(biāo)配,想要施展人工智能的作用,必須要有強(qiáng)大的AI性能支撐。同時,芯片上的ISP帶來強(qiáng)勁圖像處理能力可以提升畫質(zhì)表現(xiàn)。聯(lián)發(fā)科提出的“真AI相機(jī)”概念:CMOS Sensor傳感器像素≥1.55μm,AI性能跑分≥21000分,Imagiq 三核ISP技術(shù),三個指標(biāo)加持,才是“真AI相機(jī)”,的確是保障手機(jī)AI相機(jī)的功能性和成像表現(xiàn)的基礎(chǔ)。

聯(lián)發(fā)科Helio P90的三核ISP技術(shù)帶來了強(qiáng)勁的圖像處理能力,可以提升畫質(zhì)表現(xiàn),能夠輕而易舉帶動≥1.55μm的大底。所以你可以看到,2018年年末,高通在驍龍720以及驍龍855上都加入了NPU模塊,目的就是跟上行業(yè)潮流。

2、短視頻、直播創(chuàng)作的風(fēng)潮

短視頻、直播的風(fēng)潮同樣在側(cè)面壯大了AI芯片派。2018年,互聯(lián)網(wǎng)行業(yè)最熱的概念除了AI,就是短視頻——抖音、快手、微博、微信都在加強(qiáng)短視頻功能。用戶通過短視頻創(chuàng)作內(nèi)容、分享生活已經(jīng)成了一股潮流。短視頻社交甚至也在成為巨頭們發(fā)力的方向。今日頭條推出了多閃,微信則是在推出即刻視頻。

不過,我們不得不說,現(xiàn)在大部分視頻都是“AV畫質(zhì)”。不僅分辨率不夠高,畫面抖動也太厲害。原因就在于大部分手機(jī)的攝像頭沒辦法處理如此大體量的數(shù)據(jù),而且受到了網(wǎng)絡(luò)帶寬的影響。


手機(jī)廠商們的真假AI相機(jī)


隨著2019年5G手機(jī)的發(fā)布,未來用戶使用短視頻的需求只會愈加龐大。芯片廠商也不得不跟進(jìn)——加上了專門的攝像頭AI處理單元。

像聯(lián)發(fā)科Helio P90這樣的處理器,因為具備AI智能ROI區(qū)域偵測技術(shù),可以實現(xiàn)重點(diǎn)區(qū)域編碼,提升視頻碼率和壓縮質(zhì)量,直播畫面時可以更清晰。在多個直播平臺都有明顯的畫面質(zhì)量提升。5G時代即將到來,視頻必將是內(nèi)容層面的主流趨勢,這項技術(shù)抓住了視頻平臺的痛點(diǎn)。

我們可以斷言,2019年-2020年,AI處理單元的視頻處理能力會成處理器標(biāo)配。

3、相機(jī)的玩法越來越豐富多樣

事實上,相機(jī)的玩法也越來越多樣豐富,比如說蘋果的FaceID和Animoji等一系列功能。甚至連百度輸入法之類的第三方軟件也在安卓機(jī)上照搬Animoji。

Animoji的原理是通過一個ARKit應(yīng)用來記錄實時更新的面部網(wǎng)格。使用深度映射來繪制臉部的二維紋理。最終的效果十分逼真,模仿出3A級游戲中的那種動畫效果。玩過3A級游戲的用戶都知道,游戲畫面渲染對處理器要求非常高。挪到手機(jī)上拍攝時同樣如此——這對相機(jī)處理的能力要求也極高。


手機(jī)廠商們的真假AI相機(jī)


另外,安卓廠商還在探索其他玩法,比如實時虛擬化身、實時多物識別、焦點(diǎn)直播、人像留色、人臉偵測、AI降噪抓拍、AI降噪夜拍——這些都需要芯片級的AI處理能力來支撐,聯(lián)發(fā)科 P90這樣的處理器恰恰具備這些功能,能夠過往旗艦機(jī)上才具備的功能,搬運(yùn)到中高端手機(jī)上,讓大眾都能享受這些玩法。

新的超車賽道

過去芯片處理器市場是個簡單的上下游關(guān)系——上游處理器廠商供貨,下游手機(jī)廠商采購。在這種關(guān)系之中,處理器廠商往往掌握了話語權(quán),一款芯片采購量、采購價,基本都是由處理器廠商說了算。

但是在今天,處理器的CPU+GPU性能已經(jīng)不再是評價一款芯片的唯一因素。在處理器甚至還要考慮AI處理器的性能。

像在AI Benchmark上的跑分中:麒麟980為21526分,聯(lián)發(fā)科Helio P90為25645分,剛刷新的高通驍龍855為27356分,位居榜首。

可以說,AI芯片正在成為處理器戰(zhàn)場的超車賽道。過去芯片廠商在和手機(jī)廠商的關(guān)系,在生態(tài)鏈中的地位是絕對領(lǐng)頭羊,掌握了壟斷式的話語權(quán)。但現(xiàn)在已經(jīng)不是單個廠商自娛自樂,控制CPU、GPU性能就能左右手機(jī)廠商時代了。

因為芯片廠商不僅僅需要根據(jù)手機(jī)廠商的需求去提升AI算法、算力,還需要和互聯(lián)網(wǎng)巨頭以及人工智能公司合作,推進(jìn)AI的生態(tài)發(fā)展。因為很多AI應(yīng)用也需要處理器廠商和第三方互聯(lián)網(wǎng)廠商共同合作實現(xiàn)。

比如說AI處理器的人體姿態(tài)識別這樣的技術(shù),并不是靠處理器廠商一家實現(xiàn)的,它需要曠視這樣的廠商作支撐。曠視科技就和芯片廠商共同合作開發(fā)出了包含安全人臉識別解鎖、先進(jìn)影像處理、單鏡頭背景虛化、智能物體以及手勢識別、智能相冊分類等AI 應(yīng)用。

在類似這樣的合作中,產(chǎn)業(yè)鏈?zhǔn)莻€相對平等互動、攜手共進(jìn)的關(guān)系,它更像是一個開放合作的生態(tài),而不是過去壟斷打壓的一言堂。真AI相機(jī),并不是靠一家廠商自己悶頭開發(fā)而成的,而是更多廠商共同合作、對接、制定標(biāo)準(zhǔn)形成的。聯(lián)發(fā)科在這方面恰恰比一些壟斷性巨頭姿態(tài)更平,做得更好。

壟斷、霸權(quán),在AI產(chǎn)業(yè)鏈與手機(jī)芯片日益融合的環(huán)境下,對用戶、對自身并沒有太多好處,甚至還在阻礙行業(yè)的進(jìn)步。開放、合作,才是保持行業(yè)進(jìn)步的動力。


極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-01-24
手機(jī)廠商們的真假AI相機(jī)
美國消費(fèi)電子協(xié)會首席經(jīng)濟(jì)學(xué)家肖恩?杜布拉瓦茨在他那本《數(shù)字命運(yùn)》中提到了這樣一個觀點(diǎn):數(shù)字技術(shù)和設(shè)備的蓬勃發(fā)展,預(yù)示著一個人類新時代的開始。

長按掃碼 閱讀全文