天津移動(dòng)“AI荷爾蒙” ，打造基于計(jì)算機(jī)視覺技術(shù)的智慧零售系統(tǒng)

團(tuán)隊(duì)介紹

天津移動(dòng)“AI荷爾蒙”團(tuán)隊(duì)，專注人工智能產(chǎn)品研究，研發(fā)的三項(xiàng)成果已入選中國人工智能產(chǎn)業(yè)聯(lián)盟的2018年人工智能應(yīng)用案例TOP100，累計(jì)獲得國家專利7項(xiàng)。

團(tuán)隊(duì)產(chǎn)品經(jīng)理趙東明：

人工智能專業(yè)博士，長期鉆研人工智能技術(shù)研發(fā)，有高級工程師職稱和中國移動(dòng)集團(tuán)專家認(rèn)證；

團(tuán)隊(duì)數(shù)據(jù)科學(xué)家田雷：

北大數(shù)學(xué)系碩士學(xué)歷，精于數(shù)據(jù)庫開發(fā)、智能算法、邏輯設(shè)計(jì)。負(fù)責(zé)產(chǎn)品系統(tǒng)架構(gòu)、系統(tǒng)軟件開發(fā)。

一．前言

“AI荷爾蒙”

是天津移動(dòng)IT和支撐中心開發(fā)的一款基于人臉識別技術(shù)的視覺智慧零售系統(tǒng)，包括WEB版和移動(dòng)終端版，其中WEB版面向廳店運(yùn)營，移動(dòng)版面向流動(dòng)式營銷。

通過引入機(jī)器視覺、智慧推薦等人工智能技術(shù)，“AI荷爾蒙”以人臉識別快速獲取客戶身份、年齡、性別、行為軌跡，通過靈活的流動(dòng)式營銷場地部署，實(shí)現(xiàn)流動(dòng)式營銷場景中客戶的駐留信息收集，以深度分析最終實(shí)現(xiàn)精準(zhǔn)營銷推薦，確保商家的智慧運(yùn)營拓展到廳店外的廣闊空間，也幫助客戶更加快捷地完成商品了解、選購商品、交易、結(jié)算的購物流程。

二、產(chǎn)品介紹

目前市場上的新零售系統(tǒng)都是基于會員或APP用戶的固定應(yīng)用場景，利用互聯(lián)網(wǎng)產(chǎn)品優(yōu)勢采集到客戶人臉圖像來實(shí)現(xiàn)客戶識別，但無法識別非會員客戶，無法適用戶外或隨機(jī)場景。“AI荷爾蒙”利用電信運(yùn)營商大數(shù)據(jù)優(yōu)勢和人臉識別模型優(yōu)勢，有效解決以上局限性，實(shí)現(xiàn)了非會員客戶全場景的智慧營銷。

AI荷爾蒙廳店版系統(tǒng)以攝像頭為核心設(shè)備進(jìn)行進(jìn)廳客戶識別和推薦，但是受到場地、電力、顯示等限制，存在部署的局限性。零售場景中常用的社區(qū)推廣，小區(qū)推銷，校園營銷等戶外場景，也需要有相應(yīng)的系統(tǒng)形態(tài)去獲取客戶身份，主動(dòng)推薦。因此，AI荷爾蒙團(tuán)隊(duì)打造了移動(dòng)終端版系統(tǒng)?；诎沧渴謾C(jī)或Pad，由設(shè)備自帶的屏幕進(jìn)行信息顯示，由內(nèi)置攝像頭進(jìn)行全景視頻采集，完成主體的人臉識別和智能商品推薦功能。

Web版系統(tǒng)圖示

移動(dòng)終端版

三、核心優(yōu)勢

將固定場景推廣到流動(dòng)場景，突破了固定位置限制和硬件約束，只需要手機(jī)安裝軟件就可以實(shí)現(xiàn)智慧營銷能力

將會員或產(chǎn)品客戶范圍推廣到全部客戶，把智慧零售從體驗(yàn)期帶到了實(shí)用期。

依賴電信運(yùn)營商大數(shù)據(jù)優(yōu)勢，可以獲取客戶產(chǎn)品推薦信息，為客戶量身定做推薦產(chǎn)品，提升營銷效率和成功率的同時(shí)，確保客戶感知體驗(yàn)。

系統(tǒng)的客戶體驗(yàn)流程：

四、研發(fā)過程

AI荷爾蒙團(tuán)隊(duì)2年來一直致力于能從視覺世界中學(xué)習(xí)的AI算法研究，通過打造一款產(chǎn)品，讓計(jì)算機(jī)能夠辨別不同的人，理解行為的關(guān)聯(lián)，推斷人的情緒、動(dòng)作和意圖，迅速判斷出畫面中人物、行為、喜好，進(jìn)而推薦最適合的商品。

實(shí)現(xiàn)這一目標(biāo)的第一步，就是讓計(jì)算機(jī)快速而精準(zhǔn)的識別人臉。過移動(dòng)的人臉圖像庫來訓(xùn)練個(gè)性化模型，客戶無感式完成人臉檢測-特征點(diǎn)估計(jì)-特征比對的全過程，結(jié)合識別的身份進(jìn)行個(gè)性化推薦。

工作難點(diǎn)體現(xiàn)在數(shù)據(jù)、模型、技術(shù)方法三個(gè)方面：

首先， AI荷爾蒙的訓(xùn)練集，必須比之前使用過的任何一種數(shù)據(jù)庫都要龐大。因此，下載了900萬天津移動(dòng)用戶的人臉圖片，并去除水印，過濾劣質(zhì)圖片，生成多角度人臉。天津公司近百人的團(tuán)隊(duì)，輔助計(jì)算機(jī)完成了千萬級的圖片處理工作，最終得到讓計(jì)算機(jī)精準(zhǔn)識別人臉的千萬級高質(zhì)量圖像數(shù)據(jù)庫。

之后，在研究院九天深度學(xué)習(xí)平臺的GPU集群支持下，通過卷積神經(jīng)網(wǎng)絡(luò)框架進(jìn)行了100輪次2000小時(shí)的訓(xùn)練，模型優(yōu)化再優(yōu)化，參數(shù)精調(diào)再精調(diào)，最終得到個(gè)性化模型。

最后，為了客戶的無感式體驗(yàn)，引入先進(jìn)的目標(biāo)檢測框架YOLO，來提升人臉檢測精度，確保廣角視頻中人臉不漏檢。通過網(wǎng)絡(luò)MR信令數(shù)據(jù)，圈定小范圍的用戶集，將檢索范圍由1:900萬降到1:500，顯著提升檢索速度。在原有WEB版系統(tǒng)基礎(chǔ)上，針對社區(qū)直銷、校園營銷的需求，開發(fā)了移動(dòng)終端版，基于安卓手機(jī)或pad，在流動(dòng)式營銷中實(shí)現(xiàn)人臉識別和商品推薦功能。

系統(tǒng)的大數(shù)據(jù)運(yùn)營界面

五、應(yīng)用場景

在新零售背景下， AI荷爾蒙移動(dòng)終端版在流動(dòng)式營銷場景中，有極大應(yīng)用潛力，具體包括：

1. 社區(qū)銷售場景

越來越多的渠道營銷需要在傳統(tǒng)業(yè)務(wù)專區(qū)外開辟了新的直銷專區(qū)，例如：小區(qū)公共區(qū)域的營銷，商場公共空間的營銷，地鐵入口營銷，戶外廣場營銷等。社區(qū)營銷最大的問題，就是客戶匆匆而過，或者咨詢后猶豫離開，無法有效留下客戶信息，不能后續(xù)深入營銷，重點(diǎn)客戶流量，客戶精確位置無法獲取，對精細(xì)化運(yùn)營也不利。

因此，本系統(tǒng)是以安卓手機(jī)、Pad為載體，幫助流動(dòng)式營銷中無感式完成客戶身份鑒別，留存客戶人臉、身份、位置，為后續(xù)精準(zhǔn)營銷積累重要的精細(xì)化數(shù)據(jù)。在此場景下，社區(qū)內(nèi)攤位后可布放以手機(jī)攝像頭為載體的系統(tǒng)，全程拍攝營銷過程并截取人臉，傳送到后臺服務(wù)器進(jìn)行識別，并聯(lián)合大數(shù)據(jù)微營銷，計(jì)算最適應(yīng)的營銷方案后續(xù)發(fā)送。

2. 體驗(yàn)式新零售場景

目前，各大手機(jī)品牌均傾向于開設(shè)線下的終端體驗(yàn)區(qū)，尤其是新手機(jī)發(fā)布時(shí)，會結(jié)合時(shí)下熱點(diǎn)事件進(jìn)行流動(dòng)式營銷，例如世界杯期間，各大商家結(jié)合世界杯主題開設(shè)手機(jī)、啤酒、飲料品牌的公共空間布展?fàn)I銷，例如：在大悅城一層廣場進(jìn)行華為手機(jī)、三星手機(jī)、百威啤酒的銷售展覽。

在類似場景中，AI荷爾蒙移動(dòng)終端版可以發(fā)揮成本低、攜帶方便、體驗(yàn)良好的特性，以PAD+支架方式，在零售區(qū)內(nèi)設(shè)置智慧視覺體驗(yàn)區(qū)：

一方面將客戶識別結(jié)果展示在界面，給客戶全新體驗(yàn)；

另一方面可以獲取客戶身份，結(jié)合售賣的商品進(jìn)行實(shí)時(shí)營銷。

本產(chǎn)品目前已立足天津移動(dòng)營銷進(jìn)行了產(chǎn)品使用推廣，已應(yīng)用于天津移動(dòng)“萬場直銷”活動(dòng)，支撐營銷人員到小區(qū)等場景進(jìn)行現(xiàn)場營銷，有效提升了營銷效率，并支撐在營銷活動(dòng)后自動(dòng)生成營銷記錄和快速營銷總結(jié)，目前正在18年校園營銷中應(yīng)用。經(jīng)過驗(yàn)證可以有效提升現(xiàn)場營銷效率12%，節(jié)省客戶記錄時(shí)間20%，提升產(chǎn)品推薦成功率8%。

六、近期產(chǎn)出的成果

進(jìn)入2018年中國移動(dòng)自主開發(fā)大賽半決賽10強(qiáng)

入選人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟TOP100優(yōu)秀應(yīng)用案例

天津市科技成果轉(zhuǎn)化中心科技成果鑒定為“國內(nèi)領(lǐng)先”項(xiàng)目

集團(tuán)公司人工智能試點(diǎn)二期項(xiàng)目

集團(tuán)公司研發(fā)計(jì)劃項(xiàng)目

中國移動(dòng)研發(fā)云支撐項(xiàng)目，中國移動(dòng)研究院“九天”深度學(xué)習(xí)平臺重點(diǎn)支撐項(xiàng)目

獲推薦參加2018年天津市科學(xué)技術(shù)獎(jiǎng)項(xiàng)目，獲推薦參加2018年中國移動(dòng)業(yè)務(wù)服務(wù)創(chuàng)新獎(jiǎng)項(xiàng)目

完成天津移動(dòng)核心能力回收項(xiàng)目結(jié)題

中國移動(dòng)自主開發(fā)大賽半決賽現(xiàn)場

七、應(yīng)用效果

人臉識別系統(tǒng)已應(yīng)用到天津移動(dòng)2個(gè)自辦營業(yè)廳（新興路、民航大學(xué)）的到廳客戶身份識別、現(xiàn)場服務(wù)、業(yè)務(wù)推薦工作中，并直接參與了天津移動(dòng)萬場地推和校園營銷活動(dòng)，深入一線，以人工智能技術(shù)提升移動(dòng)用戶的客戶感知。經(jīng)過統(tǒng)計(jì)，客戶的業(yè)務(wù)受理時(shí)間減少40%，銷售效率提升25%，單位業(yè)務(wù)效益提升28%，客戶滿意度提升到99.5%，營業(yè)廳整體運(yùn)營效率提升30%以上，社會效益顯著，客戶評價(jià)良好。

系統(tǒng)還在持續(xù)迭代中，目前已經(jīng)通過AI技術(shù)教會計(jì)算機(jī)通過人臉去觀察顧客，鑒別顧客，推薦預(yù)設(shè)的方案，下一步，會在人體行為分析領(lǐng)域繼續(xù)探索，讓計(jì)算機(jī)讀懂人的形態(tài)，不同動(dòng)作的內(nèi)在關(guān)聯(lián)，真正理解客戶，感受客戶，希望大家繼續(xù)關(guān)注AI荷爾蒙，讓AI給生活多點(diǎn)荷爾蒙。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。