人工智能有三大要素，分別是算法、算力和大數(shù)據(jù)，而大數(shù)據(jù)更是被譽為新時代的“原油”。在6月28日舉辦的2019人工智能技術峰會，大數(shù)據(jù)和AI技術應用分論壇上，來自Arm China、中安信業(yè)、賽靈思、雪湖科技、巨龍創(chuàng)視、以及EIOT大數(shù)據(jù)實驗室的專家就大數(shù)據(jù)分析和AI的技術應用的發(fā)展趨勢及解決方案與現(xiàn)場工程師進行了分享。

Arm中國AI產(chǎn)品經(jīng)理楊磊分享的主題是《周易AIPU賦能邊緣AI設備》，在他看來，AI芯片的基礎技術格局可分為云端和邊緣端，目前AI訓練基本上都是在云端進行的，需要用到的芯片主要是CPU、GPU和TPU等計算能力相對更強的芯片；但AI推理就不同了，有在云端進行的，也有在設備端進行的，而且現(xiàn)在越來越多的推理被放到了邊緣側實現(xiàn)。

圖：Arm中國AI產(chǎn)品經(jīng)理楊磊。

因為現(xiàn)在人工智能應用正面臨這下面三大挑戰(zhàn)：

一是數(shù)據(jù)隱私性的問題。目前人工智能應用最多的領域是視頻和圖片，以及自然語音處理，這些數(shù)據(jù)的處理基本都是在云端進行的，但這些數(shù)據(jù)傳到云端后會有一個隱私問題，有些數(shù)據(jù)人們其實是不想傳送到云端的。

二是算力問題。由于AI需要做的事情很多，比如物體檢測、人體檢測和識別、跟蹤，以及行為分析等等，加上現(xiàn)在的攝像頭分辨率越來越高，從720p 到 1080p ，再到4K， 使得AI對算力的要求越來越高。這就要求芯片具有更高的性能，從幾百GOPS到幾TOPS。

三是功耗問題。因為邊緣側功耗限制，設備一般只有幾瓦，?留給AI運算的部分只有幾百mW 到2W，這就需要新技術來應對這個難題。

為了應對這三大挑戰(zhàn)，Arm中國提出了一個解決方案，那就是周易人工智能平臺。該平臺使用的AI處理器Zhouyi?AIPU，采用了全新的為AI設計的專用指令集，具有高性能和高靈活性，單核有0.5、1、2、4TOPS可選，還支持多核；是一個具有硬件IP、軟件SDK和NBB的全棧解決方案；更重要的是，它支持安全擴展。

那全新的專用指令集是如何實現(xiàn)高性能和高靈活性的呢？楊磊解釋說，這是因為Arm采用了不同顆粒度的指令集，客戶可以根據(jù)自己的需求用類似搭積木的方式來設計自己的AI處理器。

“指令集根據(jù)運算能力從小到大，可分為標量指令、向量指令和面向AI硬件加速的AI固定指令?！睏罾诒硎?。

為了滿足定制化和差異化需求，周易人工智能平臺還支持用戶根據(jù)特定場景，自定義擴展AI Fix?Function指令。

楊磊還特別指出，在人工智能開發(fā)過程中工具鏈也是相當重要的，Arm可以提供完整的工具鏈供工程師使用。其“一鍵式”周易軟件工具鏈，包括比如Build?Tool/Driver、性能優(yōu)化庫、軟件仿真器，以及AI算法示例等?？梢詫崿F(xiàn)一鍵從算法模型到周易可執(zhí)行文件生成。

圖：具有周易AIPU的參考芯片框架圖。

在《如何使用Google?Coral來構建終端側AI》的主題演講中，中安信業(yè)的大數(shù)據(jù)部大數(shù)據(jù)總監(jiān)張巖則介紹了Google?Coral開發(fā)平臺、TensorFlow Lite模型、如何使用Coral開發(fā)板和預編譯模型來快速進行驗證，以及如何構建模型等。

在他看來，傳統(tǒng)的IoT應用，主要集中在傳感器的數(shù)據(jù)采集，僅做初步分析，或不做分析，就將數(shù)據(jù)傳送至云端，設備的ROI較低。而AIoT就是AI加上IoT，即在物聯(lián)網(wǎng)設備中加入人工智能元素，使物聯(lián)網(wǎng)設備更加智能，從而解決實際問題。

圖：中安信業(yè)的大數(shù)據(jù)部大數(shù)據(jù)總監(jiān)張巖。

AIoT增強了邊緣側的處理能力，縮短了系統(tǒng)的反應時間、節(jié)省了海量數(shù)據(jù)傳輸及帶寬耗用，提高了隱私性和安全性。

張巖表示，現(xiàn)在AI算法模型有輕量化的趨勢。模型設計方面，主流算法輕量化趨勢明顯，計算量及權重大小減少了幾十倍；模型壓縮方面，模型壓縮方法層出不窮，有權重量化、剪枝、共享、哈夫曼編碼、低秩分解、遷移/壓縮卷積濾波器，以及知識蒸餾等。

通過這些技術，谷歌將在云端的自然語音處理包的大小從500G降低到了500M。從而可以使自然語音處理在邊緣側就能實現(xiàn)。

在張巖看來，智能設備和物聯(lián)網(wǎng)是未來幾年的最大潛力增長點，而人工智能將是推動高速增長的關鍵。隨著AL/ML研究的持續(xù)發(fā)展，將會有更多的AI能力在智能設備上應用，更多的AI能力從“云”上，遷移到設備中。

因此，在軟件上，需要更適合終端設備的更小、更快和更強的算法模型；在硬件上，需要可在終端上做機器學習推理的硬件解決方案。

圖：google?Coral是一個用于開發(fā)智能設備的機器學習應用平臺。

而Google?Coral是一個用于開發(fā)智能設備的機器學習應用平臺，它包括Google的TPU，支持TensorFlow框架，可以用來做人工智能的訓練和推理。開發(fā)者可以利用成熟的模型來快速實現(xiàn)原型和產(chǎn)品驗證。

Coral產(chǎn)品套件包括硬件和組件，硬件包括一個開發(fā)板和一個USB加速棒。開發(fā)板可以支持TFLite模型在上面直接做機器學習推理的功能；也可以將它作為一個單板計算機使用，直接接上IO外設來做原型開發(fā)。部署AI應用和只用SoM板來擴展到生產(chǎn)中，綁定相應的軟件和定制化的硬件。

在使用Coral機器學習模型方面，主要有三種模式。一是使用預訓練模型來訓練；二是使用遷移學習，也就是使用預訓練模型+自己的數(shù)據(jù)來訓練模型；三是使用自己的模型來進行訓練。

賽靈思的AI市場開發(fā)總監(jiān)劉競秀分享的主題是《FPGA------智能計算加速引擎》，他在演講中表示，目前AI應用的處理器主要有CPU、GPU、FPGA和ASIC，其中ASIC的效率是最高，但也有很多限制，比如做一顆ASIC的成本比較高，必須要有很大的出貨量才能分攤掉這些成本，二是要求算法不變。但現(xiàn)實是，現(xiàn)在的AI算法還在不斷演進當中，每隔幾個月就可能會有一個新的算法架構出現(xiàn)。

因此，在這個特定的時間窗口，F(xiàn)PGA的半定制方案成為了AI的一個選擇。

圖：賽靈思的AI市場開發(fā)總監(jiān)劉競秀。

據(jù)劉競秀介紹，目前賽靈思的戰(zhàn)略是數(shù)據(jù)中心優(yōu)先，加速核心市場發(fā)展，驅動自適應的計算。而數(shù)據(jù)中心的業(yè)務包括計算加速、存儲和smartNIC與網(wǎng)絡加速。

比如其Alveo 加速器卡，可以用來大幅提升云端和本地數(shù)據(jù)中心中業(yè)界標準服務器的性能。利用?Alveo，客戶在運行實時機器學習推斷以及視頻處理、基因組學、數(shù)據(jù)分析等關鍵的數(shù)據(jù)中心應用時，有望以較低時延實現(xiàn)突破性的性能提升。

Alveo 加速器卡針對各種類型的應用提供顯著的性能優(yōu)勢。就機器學習而言，Alveo U250實時推斷吞吐量比高端CPU高出20倍，相對于高端GPU等固定功能的加速器，能讓2毫秒以下的低時延應用性能提升4倍以上。此外，Alveo加速器卡相對于GPU能將時延減少 3 倍，在運行實時推斷應用時提供顯著的性能優(yōu)勢。數(shù)據(jù)庫搜索等一些應用可從根本上得到加速，性能比CPU高90倍以上。

劉競秀在演講中表示，賽靈思的數(shù)據(jù)中心計算生態(tài)系統(tǒng)正在不斷擴大。在技術與系統(tǒng)方面，有AMD、Arm、華為、IBM、Mellanox，以及Qualcomm等合作伙伴的支持；在云端開發(fā)與部署方面，有亞馬遜、阿里巴巴、百度、華為、Nimbix和騰訊云的共同參與；在應用、工具與社區(qū)方面，則有Bitfusion、深鑒科技、Ngcodec等公司的共同合作。

圖：賽靈思的人工智能整體解決方案。

他同時還介紹了賽靈思在人工智能方面的解決方案，其中包括底層各種硬件，有賽靈思的平臺化產(chǎn)品，也有客戶開發(fā)的產(chǎn)品；以及FPGA IP、軟件堆棧和模型。

劉競秀強調，賽靈思會提供有些算法模型供客戶選擇，這些算法可以讓客戶更靈活地把FPGA用好。比如常用的目標檢測分類、人臉識別、行為分析、視頻分析等。他承認這些算法其實很多公司都有，賽靈思提供的這些算法模型也并不是說精度更好，只是對賽靈思的平臺更友好。

他同時還列舉了賽靈思人工智能在視頻分析和醫(yī)學影像分析方面的應用。

最后，他總結說，賽靈思不論是從器件，還是開發(fā)板，抑或FPGA即服務方面都將賦能開發(fā)者，讓開發(fā)者更容易地開發(fā)出適合自己需求的產(chǎn)品。

雪湖科技市場總監(jiān)李冬冬的分享主題是《深度學習網(wǎng)絡&FPGA協(xié)同設計，彌補AI、BIGDATEA、CLOUD算力缺口》，目前，摩爾定律已經(jīng)進入暮年，以CPU為主的芯片性能迭代速度放緩，AI、BIGDATEA、CLOUD對于算力的的需求呈指數(shù)級增長，然而面對算力缺口的問題，需要通過GPU、FPGA、ASIC等用計算加速方式來彌補。

圖：雪湖科技市場總監(jiān)李冬冬

在演講中，李冬冬對比了GPU、FPGA、ASIC作為主流加速平臺各自的不足和優(yōu)勢，市場目前普遍認為，ASIC將會成為主流，因為ASIC效率、邏輯密度和性能功耗比都是最好的，但它面臨兩大問題，研發(fā)費用非常高，開發(fā)周期長達2-3年，跟不是市面上很多網(wǎng)絡的迭代3-4個月的迭代時間，因此GPU和FPGA有很大的市場空間。

對比FPGA 和GPU可以發(fā)現(xiàn)，GPU因為它通用性非常高，各個算法都可以支持，市場應用空間很大，但問題是，GPU因為通用性非常高，導致落地密度和性能都比較低。

李冬冬在演講中表示，目前FPGA的的性能和靈活性都介于GPU和ASIC中間，雪湖科技可以提升邏輯使用效率，簡短邏輯開發(fā)時間，補齊FPGA的傳統(tǒng)短板，進而拓展FPGA應用場景，加速人工智能落地。

據(jù)介紹，F(xiàn)PGA可以對各種算法網(wǎng)絡進行硬件加速，包括且不限于FastRCNN、Yolo、RestNet、MobileNet、SSD、FaceNet、IncepTIon、R FCN、Deeplab、NLP、etc等等，F(xiàn)PGA硬件加速效果顯著，比如FastRCNN可以從1FPS增加到24FPS，Yolo_V3 TIny 從8FPS增加到66FPS。

雪湖科技成立于2017年，已獲得美圖在內的兩輪風險投資，公司專注于基于FPGA的加速器開發(fā)，李冬冬表示，雪湖科技研發(fā)方向主要是將深度學習神經(jīng)網(wǎng)絡（算法）和FPGA相結合，雪湖科技的產(chǎn)品類型有三類，標準神經(jīng)網(wǎng)絡加速器、定制神經(jīng)網(wǎng)絡加速器和科學計算加速器，產(chǎn)品主要應用在公有云、私有云、邊緣計算和自動駕駛等方面，未來，工業(yè)控制、機器人、無人機等應用方向也會規(guī)劃在內。

巨龍創(chuàng)視技術支持工程師吳亮的演講主題是《安防+AI，如何落地？》，近十幾年來，安放領域發(fā)生了不少的變化，2002年開始進入數(shù)字化安防，主要是板卡和DVR，2009年，高清IP化，主要是IPC和NVR，2016年進入智能化，主要是IIC和IVR。

圖：巨龍創(chuàng)視技術支持工程師吳亮

在談到安防行業(yè)現(xiàn)狀時，吳亮認為，大工程、高利潤大項目集中在行業(yè)巨頭手中；渠道性產(chǎn)品價格越來越低；品牌越來越集中，設備越來越便宜，價格越來越透明，多年行業(yè)經(jīng)驗價值逐漸消失；AI產(chǎn)品當前市場占比很低，出貨量不高，落地的不多。

而AI安防產(chǎn)品又面臨怎樣的市場現(xiàn)狀呢？吳亮表示，AI安防的時代已經(jīng)到來，AI產(chǎn)品第一波落地主要集中在大工程、大項目、大應用上，雪亮布控，新零售、智慧社區(qū)、智慧校園已經(jīng)開始規(guī)模使用，但是大部分安防廠商反而沒有參與；當前大部分AI產(chǎn)品價格高，落地難，魚目混雜，普通用戶無法為之買單。

面對如此的市場現(xiàn)狀，吳亮認為，AI對于華南廠商來說存在諸多市場機會。

? ? ? ?首先，AI對于我們華南廠商是個絕對的利好，傳統(tǒng)的IPC，NVR產(chǎn)品格局基本確定，AI的到來提供了更多的產(chǎn)品可能；

? ? ? ?其次，AI產(chǎn)品與傳統(tǒng)安防有完全不同的分別，它已經(jīng)由被動防御變?yōu)橹鲃邮褂?，是直接面對用戶問題與剛需的產(chǎn)品；

? ? ? ?第三，每一次技術發(fā)展都拓展了產(chǎn)品的應用，可以發(fā)展華南企業(yè)的創(chuàng)造力，創(chuàng)造出新的市場機遇。廠商應該通過加大研發(fā)、關注客戶需求、了解國內外市場行情等等方法抓住機遇。

巨龍是一家以智能視頻為核心的智能產(chǎn)品及智能系統(tǒng)解決方案提供商，公司面向全球提供安防行業(yè)解決方案、智能視頻類產(chǎn)品、智能大數(shù)據(jù)及互聯(lián)網(wǎng)智能設備和服務。

? ? ? ?在會議上，吳亮重點介紹了公司的四顆智能芯片，3516CV500、3516DV300、3519A、3559A，以及人臉抓拍模組、人臉識別網(wǎng)關、人臉比對模組，雙目活體門禁系列模組和人臉抓拍機芯。

EIOT大數(shù)據(jù)實驗室首席技術官鮑鎮(zhèn)博士分享的主題是《城市能源互聯(lián)網(wǎng)——基于AI的社區(qū)和家庭能源管理平臺》，目前，城市能源方面存在近兩大問題，商區(qū)和社區(qū)能源管理系統(tǒng)缺失，以及環(huán)保和用電行為之間的鴻溝。鮑鎮(zhèn)博士介紹到，他們找到了三個切入點，電力供需側改革售電公司、能耗優(yōu)化類商業(yè)建筑和家電信息個人消費者。

圖：EIOT大數(shù)據(jù)實驗室首席技術官鮑鎮(zhèn)博士

鮑鎮(zhèn)表示，售電企業(yè)都在爭先恐后為客戶提供相關的電能計量服務，為開展自己的售電業(yè)務提供數(shù)據(jù)支持，但是硬件設計開發(fā)和安裝工程服務的成本過高，所以都在尋求低成本的解決方案；商業(yè)建筑目前采用傳統(tǒng)的入戶表計來監(jiān)測能耗，但是無法分解到各個回路和設備的能耗情況，導致公司管理者無法形成明確的能耗優(yōu)化意見；智能家居類產(chǎn)品門檻相對較低，行業(yè)已經(jīng)形成白熱化競爭的局面，個人消費者反映每個設備都自成一體，是信息孤島，因而無法形成很好的數(shù)據(jù)生態(tài)和相應服務。

鮑鎮(zhèn)還分享了他們的解決方案，怎么實現(xiàn)呢？通過低成本、多種形態(tài)、插件式、數(shù)據(jù)可視化的方法為社區(qū)和家庭用戶解決精細化能源數(shù)據(jù)采集和分析的功能-非侵入式負荷監(jiān)測。

? ? ? ? 技術原理是基于機器學習和電器機理知識，對單點（對應到家庭電表和工業(yè)中的配電柜抽屜）能源數(shù)據(jù)進行分解和識別，進而得到單點下級的每個電器的精細化實時用電數(shù)據(jù)。這些數(shù)據(jù)可以用于售電公司做負荷預測，電網(wǎng)公司做需求側響應，智能家居公司用于提升消費者的家居生活體驗。

該技術是通過檢測電流的暫態(tài)變化來發(fā)現(xiàn)相應的電器功率變化事件，算法主要特點在于：加入了獨創(chuàng)的自學習標簽識別系統(tǒng)，減少了傳統(tǒng)算法中的打標簽99%的工作量；設計了多尺度驗證算法和機制，從時間、相似度、發(fā)生頻率等角度提升非侵入式負荷監(jiān)測算法的信心度。

目前，中國約14億人，平均每3個人形成一個家庭，總的市場規(guī)模約4萬億+，北上廣深（用電需求相對旺盛）一線城市中的收入中上等家庭，有一定的消費能力和環(huán)保意識，對新事物充滿好奇心的人群是主要的用戶群體，客戶主要集中在售電公司、地產(chǎn)公司和物業(yè)公司。

EIOT大數(shù)據(jù)實驗室該項目的產(chǎn)品主要包含基本的硬件和軟件產(chǎn)品、基于云端的API服務和信息服務，包括為終端用戶提供基本的硬件和軟件產(chǎn)品；為中間服務商提供API服務，幫助客戶完成終端產(chǎn)品，通過按量付費的形式收取服務費。對終端用戶的數(shù)據(jù)進行二次封裝，為中間服務商提供信息服務，并按使用時長、次數(shù)和規(guī)模收取服務費。

本次論壇，上述六位專家的分別從各個領域做了精彩分享，但是關于大數(shù)據(jù)和AI技術應用還存在很多問題和探索空間，未來將會持續(xù)為行業(yè)搭建更好的交流平臺，輸出更多有價值的內容。