詳解 OPPO“明星級”技術(shù)能力:Breeno 和 ARunit

在目前的手機(jī)產(chǎn)業(yè)中，OPPO 憑借其對用戶需求的準(zhǔn)確把握和將需求轉(zhuǎn)化為產(chǎn)品賣點的能力，已迅速成為主流智能手機(jī)品牌，在全球市場份額排名中位居第四，占據(jù)了移動互聯(lián)時代的流量入口。

從 2016 年開始，OPPO 把重點放在開放平臺建設(shè)上，旨在為開發(fā)者打造技術(shù)、平臺、資源和終端一站式的服務(wù)閉環(huán)。不久前，OPPO 正式開放 Breeno 語音技能平臺的接入，同時不斷拓展 ARunit 相關(guān)能力，助力開發(fā)者打造更加優(yōu)質(zhì)的產(chǎn)品。

4 月 13 日在北京舉行的 OPPO 技術(shù)開放日，OPPO 相關(guān)技術(shù)和產(chǎn)品負(fù)責(zé)人現(xiàn)場為大家詳細(xì)解讀 Breeno 和 ARunit 框架的技術(shù)能力和開發(fā)流程，小編為大家整理了以下內(nèi)容。

1

如何開發(fā)一款語音技能產(chǎn)品？

語音交互技能是這幾年才興起的新鮮事物。它使產(chǎn)品和服務(wù)可以覆蓋用戶的語音交互場景，并快速做出合理的響應(yīng)。由于支持語音交互的產(chǎn)品和服務(wù)，極大地方便了人們的生活，這使語音技能開發(fā)成為了新一輪內(nèi)容及服務(wù)的創(chuàng)業(yè)藍(lán)海。

語音的技能幾乎可以支持現(xiàn)在互聯(lián)網(wǎng)所有的產(chǎn)品類型，包括信息的查詢、益智的游戲、問答等。同時也支持多元化的資源載體，包括 APP、快應(yīng)用、H5 等。

那么，語音技能究竟是怎么開發(fā)的?在哪開發(fā)?怎么發(fā)布? 什么樣的語音技能效果好?我們可以從 OPPO 的語音技能平臺 Breeno 上尋找答案。

Breeno 語音技能平臺，是一個為開發(fā)者提供技能創(chuàng)建、測試、部署的工具平臺。通過該平臺，開發(fā)者可享受完全免費的平臺服務(wù)，更加簡單高效地創(chuàng)建優(yōu)質(zhì)語音技能，實現(xiàn)了終端用戶使用自然語言即可喚醒和使用語音技能的目的，在降低開發(fā)成本的同時，又能提高開發(fā)效率。

Breeno 語音技能平臺框架

Breeno 語音技能平臺主要分為三部分：平臺工具、審核和上線部分。

在平臺工具層中，「基礎(chǔ)支撐」是最基礎(chǔ)的底層能力，有海量數(shù)據(jù)和算法支持;「技能形態(tài)」是對多元化資源內(nèi)容的接入形態(tài)支持，并提供通用性很強(qiáng)的標(biāo)準(zhǔn)卡片模板，具有廣泛性和包容性;「核心流程」是整個框架中最核心的部分，也是開發(fā)者能做出優(yōu)秀語音技能的過程支持。

在審核層中，「審核后臺」具有審核流程和標(biāo)準(zhǔn)、審核機(jī)制、基本功能支持和技能統(tǒng)計四個模塊，審核后臺的價值是在技能上線前，幫助開發(fā)者把控技能體驗。

在上線層中，「技能商店」是直接面向用戶的，所以需要具備豐富的信息內(nèi)容。此外，平臺方面會幫助開發(fā)者做技能的運營和推薦。

在 Breeno 上創(chuàng)建一個語音技能的流程是怎樣的?

創(chuàng)建一個語音技能，可以分為六個步驟：語音技術(shù)→對話管理→接入方式→在線測試→一鍵部署→統(tǒng)計監(jiān)控。Breeno 可以全程提供技術(shù)支持。

第一步，語音技術(shù)支持。語音技術(shù)支持分為四個環(huán)節(jié)：語音喚醒、語音識別、語音理解和語音合成。在這些環(huán)節(jié)中，Breeno 為開發(fā)者提供的支持有：

在語音喚醒方面，支持包括“打開 + 技能名稱”的喚醒，還有“包括喚醒和意圖需求的一句話”的喚醒;

在語音識別方面，采用了科大訊飛語音識別模型，識別準(zhǔn)確率 95% 以上;

在語義理解方面，提供多種通用系統(tǒng)意圖和詞典支持，提供在線技能意圖的訓(xùn)練模型，提高意圖識別準(zhǔn)確率;

在語音合成方面，提供中文普通話 TTS 語音播報，還有多種 SMML 播報標(biāo)簽語持續(xù)更新中。

第二步，對話管理支持。對話管理部分主要是指語音對話中用到的自然語言處理：

支持單輪和上下文多輪語音交互對話配置;

多輪對話中上下文槽位信息自動繼承，從而能高效率管理對話服務(wù)。

第三步，接入方式支持。接入方式就是交互展現(xiàn)，用戶收到的回復(fù)如果只有文本內(nèi)容，未免太過簡陋。Breeno 提供了多種形式的展現(xiàn)模板，并幫助開發(fā)者在各種交互形態(tài)下進(jìn)行試驗和自適應(yīng)調(diào)整，整體降低了開發(fā)者的開發(fā)成本。包括：

提供多種卡片的選擇，包括：純文本、圖文等基本信息模版，支持點擊鏈接跳轉(zhuǎn)，例如新聞類的技能;還有適合音頻內(nèi)容的多媒體模版;如果針對知識問答，可以選擇 FAQ 自動問答配置等;

提供各種交互形態(tài)自適應(yīng)，包括：無屏交互，有屏交互，微屏交互。

第四步，在線測試支持。當(dāng)整套技能開發(fā)完畢后，最讓人頭疼的問題就是測試。Breeno 提供了模擬器在線模擬測試和真機(jī)測試，還支持測試正例上傳和存儲。

第五步，一鍵部署支持。技能發(fā)布時，支持一次發(fā)布多個終端同時部署，減少多次發(fā)布的過程。同時，還提供在線資源和內(nèi)容存儲管理，以及線上代碼編輯和服務(wù)一鍵配置能力。

第六步，統(tǒng)計監(jiān)控支持。技能上線后，開發(fā)者需要實時了解應(yīng)用表現(xiàn)，所以需要進(jìn)行數(shù)據(jù)監(jiān)控和統(tǒng)計。Breeno 會把真實的數(shù)據(jù)和用戶操作信息同步給開發(fā)者，方便及時升級和優(yōu)化。

OPPO 有一句很有名的廣告語：充電 5 分鐘，通話 2 小時。其實，在 Breeno 上創(chuàng)建語音技能也只需要 5 分鐘，具體內(nèi)容大家可以參考 Breeno 語音技能平臺官方文檔去體驗一下。https://open.oppomobile.com/wiki/doc#id=10205

2

如何為你的應(yīng)用增加 AR 功能？

現(xiàn)在 VR 給人們的印象就是：頭帶一個密封的頭盔。很多人以為 AR 也會是這樣。當(dāng)然微軟也有 AR 頭盔，但是 AR 最大的市場在于移動設(shè)備。原因在于，AR 硬件在成本方面有一定的局限性，目前并未普及;另一方面，AR 技術(shù)已經(jīng)可以和智能手機(jī)兼容，用戶沒必要購買專用的 AR 硬件就可以體驗 AR 內(nèi)容。而且大部分情況下，消費者用 AR 移動設(shè)備就足夠滿足需求了。

那么，AR 究竟是怎么做到“虛實結(jié)合”的?

由于 AR 是現(xiàn)實場景和虛擬場景的結(jié)合，所以基本都需要攝像頭，在攝像頭拍攝的畫面基礎(chǔ)上，結(jié)合虛擬畫面進(jìn)行展示和互動，那么需要實現(xiàn)的是：

了解真實相機(jī)的實時姿態(tài)。

將虛擬相機(jī)的位姿視角與真實相機(jī)對齊，這樣才能感受到虛擬物品的真實存在。

虛擬對象到真實環(huán)境的渲染要夠真實，所以要很強(qiáng)大的 AR 渲染功能，實現(xiàn)虛擬物體與現(xiàn)實環(huán)境場景相融合。

人與虛擬物體實現(xiàn)交互，包括手勢、軀體、骨架識別等，更有趣味性和深度。這里的交互可以基于攝像頭、頭盔、手表等介質(zhì)完成。

那么從技術(shù)角度，這個過程該怎么完成呢?

一套完整的 AR 系統(tǒng)包括四個模塊：運動追蹤、環(huán)境理解、目標(biāo)追蹤和虛實融合。

1、運動追蹤系統(tǒng)該系統(tǒng)

可以在移動過程中，實時跟蹤手機(jī)的自身的位置，并構(gòu)建自身對周圍環(huán)境的理解。ARunit 的追蹤技術(shù)使用攝像頭來標(biāo)識興趣點(也稱特征點)，并跟蹤這些點隨著時間變化在屏幕上的移動。通過結(jié)合這些點的移動信息與手機(jī)慣性傳感器的數(shù)據(jù)，ARunit 能夠在手機(jī)移動時確認(rèn)自身的位置和屏幕朝向。

2、環(huán)境理解能力

我們在用手機(jī)掃描現(xiàn)實場景時，需要尋找到水平平面或者數(shù)字平面，再選擇虛擬物體放置位置，然后生成虛擬物體。在這個過程中，系統(tǒng)會檢測環(huán)境中的平坦表面(如桌面、墻面)，并估測目標(biāo)區(qū)域中的平均光照強(qiáng)度，結(jié)合標(biāo)識的關(guān)鍵點，進(jìn)而構(gòu)建起自身對周圍環(huán)境的理解。據(jù)了解，OPPO 的 AR 團(tuán)隊正在不斷擴(kuò)展能力邊界，正在結(jié)合深度攝像頭對現(xiàn)實場景進(jìn)行 3D 建模，生成現(xiàn)實場景的三維模型。如此一來，虛擬物體可以被放在任何表面，包括斜面和角落。此外，OPPO AR 將針對三維重建做數(shù)字化描述得到現(xiàn)場地圖，通過結(jié)合這種地圖可以做到遮擋和碰撞，使用戶有更進(jìn)一步的交互體驗。

3、目標(biāo)追蹤

目標(biāo)追蹤主要是對現(xiàn)實場景中一些感興趣的物體的追蹤，可以增加 AR 的趣味性。比如對圖象標(biāo)志的追蹤，通過在 APP 里錄入一些商標(biāo)模型，進(jìn)行追蹤掃描，生成一個虛擬品牌宣傳形象或標(biāo)語。此外還有物體追蹤、人臉追蹤等，包括可以對人臉做一個 3D 美妝，游戲中的虛擬人物的服裝造型等。這樣可以幫助開發(fā)者將 APP 做的更有趣。

4、虛實融合

如果簡單的把三維虛擬物體，放在某現(xiàn)實場景中會顯的很假。這里需要用到三維渲染光，通過我們對現(xiàn)實環(huán)境光源光強(qiáng)的估計，對現(xiàn)實場景中虛擬物體放置位置材質(zhì)的理解，渲染出來的虛擬物體才更加逼真。

ARunit 架構(gòu)和調(diào)用流程

開發(fā)前，開發(fā)者需要選擇合適的平臺和開源工具。OPPO ARunit 就是一個跨平臺支持的增強(qiáng)現(xiàn)實應(yīng)用框架。它具有較強(qiáng)的兼容性，其中包括 C、java、Unity3D 等版本 sdk，能夠提供實時跟蹤與建圖、尺度估計、多平面檢測、光照估計、命中檢測等功能。它可以幫助開發(fā)者快速搭建自己的 AR 應(yīng)用，并極大的釋放 AR 應(yīng)用方面的創(chuàng)意和靈活性，同時開發(fā)成本也很低。

OPPO 手機(jī)都會內(nèi)置 ARunit 的功能，并逐漸普及同時支持 2D 和 3D 的設(shè)備。開發(fā)者可以通過 ARunit 調(diào)用能力、支撐應(yīng)用本身的功能和場景。這些能力上文中提到的位姿跟蹤、環(huán)境理解、光照估計、遮擋、擊中測試、手勢交互等，并在持續(xù)增加更多新的能力。

ARunit 的調(diào)用過程比較簡單，如下圖所示：

ARunit 的接口設(shè)計也很友好，與 ARcore 類似，之前有過 ARsdk 開發(fā)經(jīng)驗的，都可以很輕松的切換到 ARunit 上，無需很多重復(fù)性學(xué)習(xí)。具體文檔見：https://open.oppomobile.com/wiki/doc#id=10171

AR 應(yīng)用案例及場景探討

目前，在應(yīng)用中開通 AR 功能已成為趨勢。對于開發(fā)者來說，AR 有哪些應(yīng)用場景可以去落地?

從支撐 AR 應(yīng)用的終端設(shè)備發(fā)展來看，增長速度是極快的，2016 到 2018 年間的手機(jī)增長了 37 倍，預(yù)計在 2020 年的時候全球?qū)?6 億臺手機(jī)具備 AR 的功能，而大部分的手機(jī)都可能具備探測高精度深度信息的攝象頭。

在 2018 年，OPPO ARunit 已經(jīng)完成了 100 項技術(shù)研發(fā)，并基于攝像頭的能力設(shè)計了 AR 尺子和 3D 掃描應(yīng)用。之后，ARunit 與合作伙伴不斷創(chuàng)新，從不同角度帶給用戶新的體驗和內(nèi)容：

「ARunit + 高德地圖 = AR 實景導(dǎo)航」，用戶可以開啟 AR 導(dǎo)航，通過手機(jī)看到周圍的真實環(huán)境和導(dǎo)航路徑，能看到指引員“小歐”在向你招手，這對于方向不容易辨別的路況很實用。

「ARunit + 王者榮耀 = 王者榮耀 AR 相機(jī)」，用戶可以在任何桌面和地面上同王者榮耀里的英雄合影，也可以調(diào)整照片的濾鏡、美顏效果和燈光，甚至可以與你喜歡的英雄進(jìn)行互動。

「ARunit + 神奇 AR = AR 短視頻」，用戶可以將模型素材和特效放在現(xiàn)實場景做融合，多種內(nèi)容的組合可以產(chǎn)生新奇玩法，可以看到真實二次元出現(xiàn)在三次元里的樣子。

此外，OPPO 一直持續(xù)關(guān)注 AR 領(lǐng)域的布局，重點關(guān)注游戲、購物、拍攝、地圖、生活、教育等與用戶有緊密聯(lián)系的場景，并通過 AR 技術(shù)的能力為用戶開發(fā)者傳統(tǒng)的商業(yè)模式賦能新形態(tài)。并針對 AR 開發(fā)者設(shè)立了 TOP100 的計劃，專門為 AR 應(yīng)用開發(fā)者提供多種資源的支持，包括技術(shù)支持、聯(lián)合營銷和商店推廣等，幫助 AR 開發(fā)者在早期迅速獲得市場認(rèn)知和盡可能多的用戶量。

隨著未來技術(shù)的不斷提升，開發(fā)者們會有更多的想法和創(chuàng)新，也會有更多新的場景和應(yīng)用誕生，希望 OPPO 能與廣大開發(fā)者一起，在未來技術(shù)的探索和實踐上，共同前進(jìn)。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。