機器看到圖像或視頻就能像人類一樣進行精準地表述，這看似不可能，但已在深蘭科學院誕生的“智慧交通協(xié)管員”，已把它變?yōu)榱爽F(xiàn)實。
這段視頻的場景就是在城市繁忙的十字路口，尤其上下班高峰，行人違章現(xiàn)象非常多，即使有交警在路口執(zhí)勤也很難做到面面俱到，此時“智慧交通協(xié)管員”將大大發(fā)揮作用。
利用自主研發(fā)的圖像語義識別算法，“智慧交通協(xié)管員”可以實時識別行人和非機動車違章行為，可識別的行為包括：
1． 行人闖紅燈； 2． 非機動車闖紅燈； 3． 非機動車在逆行； 4． 非機動車在斑馬線騎行； 5． 非機動車在人行道騎行；
還可精確描述違章者特征，進行語音播報提醒，識別率可達80％以上。同時，支持個性化語音定制，可以利用現(xiàn)有的視頻攝像頭資源進行人臉識別違章抓拍，方便處罰，還可輔助對接車路協(xié)同系統(tǒng)。
其中涉及到的技術比較多，概括起來就是視覺理解、認知推理、自然語言生成和語音合成。接下來，我們會對其中的關鍵技術視覺理解和認知推理進行展開。
視覺理解＋認知推理
一、認知智能概述
人工智能的發(fā)展可以粗略劃分為三個階段：計算智能、感知智能和認知智能。
計算智能通俗來說就是計算機能存儲、記憶會運算，這方面，計算機的智能水平早已經(jīng)遠遠超過人類。
感知智能就是計算機具備類似于人類的視覺和聽覺等方面的能力，比如，聽到了什么，對應語音識別；看到了什么，對應圖像的分類檢測和語義分割。其中人臉識別就是包含感知智能技術的一種人工智能應用，近年來，隨著深度學習技術在視覺感知領域的蓬勃發(fā)展，目前機器感知智能的性能已經(jīng)可與人類媲美，甚至在許多場景下已經(jīng)超過人類。
認知智能強調知識、推理等技能，要求機器能理解、會思考，目前機器遠不及人類。從計算智能到感知智能，標志著人工智能走向成熟；從感知智能到認知智能，是人工智能質的飛躍。認知智能，與人的語言、知識、邏輯相關，是人工智能的更高階段，涉及到語義理解、知識表示、小樣本學習甚至零樣本學習、聯(lián)想推理和自主學習等等。相比于計算智能和感知智能，認知智能是更復雜和更困難的任務，也是未來數(shù)十年最重要的任務。
二、視覺理解與推理
Image captioning的發(fā)展歷程
1996－2000年 符號規(guī)則方法
追溯到1996年，Gerber發(fā)表了一篇知識表示的論文，限定于交通場景，在圖像序列中用知識表示來進行自然語言描述的問題。2010年時，朱松純（S．－C．Zhu）教授團隊首次提出與或圖（And－Or Graph）的模型。進一步與 D． Mumford 合作進行了框架的完善，融入隨機上下文相關語法（Stochastic Context Sensitive Grammar），能對復雜物體的多層次構造特性（Hierarchical Compositionality）建模，完全表示圖像語法（Image Grammar）。
與或圖表示突破了傳統(tǒng)單一模板（Template）的表示方法，對每類物體用多個圖結構表示，該結構可以通過語法（Grammar）、產(chǎn)生規(guī)則（Production Rule）進行動態(tài)調制，從而可以用相對小的視覺字典（Visual Vocabulary），表達大量類間結構變化很大的物體的圖像表現(xiàn)形式（Configuration）。
這些方法實際上都基于邏輯體系和規(guī)則的系統(tǒng)，對圖像的內容設計很多規(guī)則，繼而產(chǎn)生自然語言描述。由于強依賴于手工定制，人工特征工程的工作量就非常大，這也是當時亟待改善的問題。
2011－2013年 無明顯進展
2014年至今 深度學習方法等
2014年，谷歌的Oriol Vinyals 等人公開論文《Show and Tell： A Neural Image Caption Generator》，并發(fā)表于2015年CVPR，開了深度學習在Image captioning中使用的先河。該方法來源于以前的機器翻譯。
輸入圖形后，深度卷積神經(jīng)網(wǎng)絡對圖形特征進行提取，通過固定長度矢量形成輸入（Input）進入循環(huán)神經(jīng)網(wǎng)絡（RNN），經(jīng)過一系列訓練后，輸出一段描述性的自然語言文字。按照時間序列的順序，逐個詞進行輸出，條件依附于之前的詞。
使用如下公式最大化給定圖像的正確描述概率：
Encoding－Decoding 靈感來源于翻譯模型。
基于更復雜的視覺特征提取模型的Image Captioning。其中利用人的常識構建了一個知識庫（ConceptNet），然后把它加入Encoding－Decoding模型里，賦予模型一定程度的常識能力。我們一直希望機器能有所謂的認知智能，實際上就是希望機器能夠像人一樣具有常識。
123下一頁>（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
