由中國高科技行業(yè)門戶OFweek維科網和高科會主辦、OFweek人工智能網承辦“OFweek（第二屆）國際人工智能產業(yè)大會”于8月30日盛大召開。此次大會，隨著上千名AI學術領袖、政府領導、領軍企業(yè)與業(yè)界精英的到來，會場氣氛持續(xù)高漲。
大會持續(xù)兩天，其中中科創(chuàng)達副總裁兼智能視覺事業(yè)全執(zhí)行總裁孫力作為演講嘉賓之一出席了第一天的主論壇，給大家?guī)砹恕督馕錾疃葘W習的前沿研究以及應用出口》的主題演講，介紹了嵌入式人工智能人工智能的挑戰(zhàn)與實踐。
孫力先生
中科創(chuàng)達副總裁兼智能視覺事業(yè)全執(zhí)行總裁孫力首先分享了建筑設計的三個主題， 分別是嵌入式AI方面的發(fā)展趨勢、嵌入式人工智能的挑戰(zhàn)與落地、中科創(chuàng)達做的一些實踐。
其次分享了嵌入式人工智能的一些應用、落地挑戰(zhàn)、壓縮網絡和常見技術。最終再介紹了中科創(chuàng)達在人工智能視覺方面的工作。
以下是中科創(chuàng)達副總裁兼智能視覺事業(yè)全執(zhí)行總裁孫力的現(xiàn)場演講內容，OFweek小編作了不改變原意的整理和編輯：
各位業(yè)界的朋友，大家好，我今天分享的主題是嵌入式人工智能的挑戰(zhàn)和實踐。 因為大家都說到，人工智能最后免不了要落地，不管你跑到云上還是跑到設備上，或者是跑在邊緣側。
今天我要聚焦的是一個建筑設計方面的一個分享，大約有三個主題，第一個是嵌入式AI方面的發(fā)展，因為你不管叫它什么，總而言之人工智能要落地，你得跑在這些設備上。第二個是嵌入式人工智能的一些挑戰(zhàn)，還有應用的落地上遇到的一些經驗分享。第三個是中科創(chuàng)達做的一些實踐。
在嵌入式AI發(fā)展這塊，大約有三個話題，首先我們看看嵌入式和云端的區(qū)別，它們二者是共存的，并不矛盾，根據(jù)需要以及所處場景，有一些需要跑在端側，有的可以純粹跑在云端。
嵌入式能帶來一些好處，比如說更快的響應或者更低的功耗，還有更好的數(shù)據(jù)隱私，因為有些數(shù)據(jù)并不希望被傳到云端。
另外大家都知道，目前的物聯(lián)網雖然非常碎片化，但是從整體來講的話，其數(shù)量還是相當龐大。而對于AI來說，未來這些物聯(lián)網的硬件設備，再加上AI的算法，還有云端的結合，便可以使人工智能滲透到越來越多的場景里。
對于整個視覺市場和嵌入式這一塊，首先中科創(chuàng)達做了很多關于視覺這塊的業(yè)務，目前視覺方面都是指視覺的終端，比如帶攝像頭的設備，并且數(shù)量呈現(xiàn)快速增長的趨勢，語音方面更不用說了，已經取得了非常大的成就。
那么接下來，不管是在安防、汽車、小機器人等很多的設備上面，攝像頭都會快速地增加。而且大家看到，不管是給開發(fā)者還是企業(yè)用的，邊緣側的智能視覺設備也越來越多，有的為了投放教育市場，有的是可以用來做開發(fā)的一些設備，當然很多設備的工業(yè)設計或者結構等會不一樣，可能針對不同的場景需要定制化。
為此，中科創(chuàng)達推出了我們自己的TurboX AI Kit，來做這些人工智能的開發(fā)，設計基于高通驍龍845平臺來安置，我們提供豐富的嵌入式 AI 開發(fā)、分析、優(yōu)化和調試工具，加速端側 AI 的實現(xiàn)與普及，助力生態(tài)系統(tǒng)構建。
我再說一些嵌入式人工智能的應用和落地挑戰(zhàn)。實際上人工智能最后要落地到嵌入式這一塊，市場上有那么多的芯片，密度不同，操作系統(tǒng)不同，但運算力卻那么有限，甚至有的人在挑戰(zhàn)一些操作系統(tǒng)來部署人工智能生態(tài)系統(tǒng)，這樣做對于一些比較小的封閉的生態(tài)系統(tǒng)來說的話，對于算法的開發(fā)者就會比較困難。
對于嵌入式AI算法的部署本身，比較簡單，你要做訓練，訓練完要轉換模型，要把它放入嵌入式，然后讓它跑起來。最麻煩的就在于當你放到不同的芯片上，你到底是放在CPU，還是DSP上，或者GPU上？所以這些都帶來非常大的一些挑戰(zhàn)。
對于嵌入式算法的優(yōu)化策略，無非就是說要針對你所使用的tag的芯片硬件，來做深度的硬件和軟件的優(yōu)化。那么對于硬件的話，你先要考慮的就是它的功耗和成本。你不能把芯片給吹爆了，因為它的算力是有限的。但是如果你把這些網絡裁剪太厲害，它的精度又不夠了，實際上這就是一個迭代的流程，要不停的去迭代，而且一定要壓榨干所有芯片上的DSP、GPU。首先就要跟芯片平臺有非常深度的合作，另外在軟件方面一定要降低算法模型的運算量。
實際上不管什么樣的嵌入式終端，首先你都要根據(jù)你要落地的芯片，先看這個算力有多少，而后才能知道你的神經網絡的層數(shù)、神經網絡的大小。然后你再看它的KPI是多少，根據(jù)這些給你的目標平臺和芯片做一個性能的評估。最終你要看到你的算法復雜度的上限，并且你一定要摸到底，但是基于限制的神經，網絡神經模型可能會很大，這樣在嵌入式里面會跑不動，接著你要把它進行裁剪。
你要給網絡做很多的裁剪和壓縮。之后利用一些工具來測量它的真實性能，也即檢測你裁剪完之后跑的效果。如果不能滿足性能，裁剪就沒有用。如果在滿足這些性能之后，然后再進行迭代，不停的迭代，一定不要浪費掉你的DSP和GPU。
另外在嵌入式這一塊的算法進行優(yōu)化，一定要對網絡的模型進行 paper上的重訓練，然后使用不同參數(shù)進行反復的調，再測量它的性能。另外還要修改神經網絡的一些通道，找到準確率和速度的最佳平衡點。
再跟大家分享一些關于嵌入式上的壓縮網絡和常見技術，網絡上大家都能看得到一些工友的paper，大家可以針對這些模型進行一些深度優(yōu)化，在類似的精度上面，大家可以去做裁剪嘗試。另外就是所謂的裁剪，不管你剪的什么也好，網絡太復雜，就意味著大腦太大。那么你在嵌入式的設備上就跑不動，那就還需要進行減值。
最后，我再分享一下中科創(chuàng)達在視覺方面的一些工作，因為我們有非常龐大的視覺團隊，包括圖像整理團隊，我們整體加起來有四五百人，我們跟高通是戰(zhàn)略合作關系，還有跟ARM等公司都有在平臺層面的深度合作。中科創(chuàng)達有AI平臺架構，我們有自己的算法。
但是各種操作系統(tǒng)太碎片化了，有的客戶說我一定要跑在DSP上，因為功耗比GPU要好。有的客戶說我就跑到GPU上。面對各種不同的操作系統(tǒng)，故視覺工作面臨非常大的挑戰(zhàn)。在這種情況下，實際我們公司擁有有非常多的經驗，我們在很多的芯片，很多的操作系統(tǒng)的碎片化上進行服務。加上中科創(chuàng)達是服務型公司，所以我們接觸的這些案例相當多。
我分享幾個比較有趣的案例給大家，我們在今年剛交付給我們一個歐洲的客戶，其公司是做微波爐的， 產品是用高通的芯片，但是芯片算力太差。比如微波爐想要要識別里邊的食物，從而自動選擇加熱的方法，其實這種情況下對算法的精度要求不是很高的。比如你到底是三皇雞還是土雞不重要，是個雞就可以了，你是黃牛肉還是澳洲產的牛肉也不重要，能識別出牛肉就可以，所以在那種情況下，你要先知道客戶的需求，你就可以將很差的芯片進行裁剪，從而滿足客戶的要求。
但是其實解決這些面臨挺大挑戰(zhàn)的，假如你真的要做食物方面的識別。其實有很多東西很難，因為有時候人都看不太出來，你到底是一個小狗還是個餅干，所以實際上，真正的一個算法，從一個demo給大家秀一下到商用化，其中“最后一公里”是特別困難的，測試過程總是能夠找到bug，所以必須來反復的調整。
如果再將這些產品放到市場，那挑戰(zhàn)更大。我們曾做了這些產品給食堂，包括關于面包店的一些解決方案，雖然這個面包，看起來很容易，但是有各種不同的面包，你不能說光把面包識別出來就完了，如果說今天新推出一個面包，你怎么辦？
另外其實我們還接到大量的工業(yè)上的一些需求，比如說瑕疵的檢測，現(xiàn)在有很多的工廠，比如說液晶面板，有的工廠里還有大量工人在做質檢。雖然實際上現(xiàn)在的人工智能不是萬能的，他必須得結合傳統(tǒng)的圖像處理的方法，不能純粹用人工智能，但這樣就可以把部分人類解放出來。雖然說有些人要失業(yè)，但是他可以做更有趣的一些工作，因為質檢要輪班，并且對視力、對精神實際上都有很大的壓力。
好，這就是我今天的分享，謝謝。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
