h1_key

  NPU芯片有什么用，算力是怎么評估的?

  算力簡單說就是計算能力，按《中國算力發(fā)展指數(shù)白皮書》中的定義算力是設(shè)備通過處理數(shù)據(jù)，實(shí)現(xiàn)特定結(jié)果輸出的計算能力。2018年諾貝爾經(jīng)濟(jì)學(xué)獎獲得者William D. Nordhau濾《計算過程》一文中提出：“算力是設(shè)備根據(jù)內(nèi)部每秒可處理的信息數(shù)據(jù)量"。算力實(shí)現(xiàn)的核心是CPU、GPU等各類計算芯片，并由計算機(jī)、服務(wù)器、高性能計多集群和各類智能終端等承載，海量數(shù)據(jù)處理和各種數(shù)字化應(yīng)用都離不開算力的加工和計算。

  以AI為例，CPU、GPU、DSP等都可以運(yùn)行，但是還是有專用的AI芯片，為什么呢?也跟算力有關(guān)。

  CPU(central processing unit)是通用處理器，可以處理一切事物，就像一把瑞士軍刀，哪方面都能做但都不是專業(yè)高效的。

  GPU(Graphics Processing Unit)是專門用來處理圖形圖像相關(guān)的處理器，與CPU相比GPU處理的數(shù)據(jù)類型單一，因?yàn)檫\(yùn)算與AI相似以及容易組成大的集群，所以進(jìn)行AI運(yùn)算時在性能、功耗等很多方面遠(yuǎn)遠(yuǎn)優(yōu)于CPU，經(jīng)常被拿來處理AI運(yùn)算。

  DSP(digital signal processor)，是專門用來處理數(shù)字信號的，DSP與GPU情況相似，也會被拿來做AI運(yùn)算，比如高通的手機(jī)SoC。

  AI芯片是專門用來處理AI相關(guān)運(yùn)算的芯片，這與CPU、GPU、DSP的“兼職”做AI運(yùn)算不同，即便是最高效的GPU與AI芯片相比也是有差距的，AI芯片在時延、性能、功耗、能效比等方面全面的超過上面提到的各種處理器。以知名的谷歌的TPU為例，如下圖所示，TPU的主要計算資源為：

  Matrix Multiply Unit：矩陣乘單元

  Accumulators：存儲矩陣乘加輸出的中間結(jié)果

  Activation：激活單元

  Unified Buffer：統(tǒng)一緩存

  當(dāng)時谷歌資深硬件工程師Norman Jouppi表示，谷歌的專用機(jī)器學(xué)習(xí)芯片TPU處理速度要比GPU和CPU快15-30倍(和TPU對比的是英特爾Haswell CPU以及Nvidia Tesla K80 GPU)，而在能效上，TPU更是提升了30到80倍，這并不意外，因?yàn)門PU運(yùn)行的CNN運(yùn)算主要就是矩陣乘，專用芯片好處就是這樣。其實(shí)對于對于AI來說，又分為訓(xùn)練和推理，訓(xùn)練就像AlphaGo一樣需要學(xué)很多的棋譜(數(shù)據(jù))，通常采用數(shù)據(jù)精度為FP32。

  FP32(Full Precise Float 32，單精度)占用4個字節(jié)，共32bit，

  FP16(float，半精度)占用2個字節(jié)，共16bit，

  INT8，占用1個字節(jié)，也就是8bit，精度更低，因此數(shù)據(jù)量小、能耗低，計算速度相對更快，更符合端側(cè)運(yùn)算的特點(diǎn)。

  不同精度計算消耗的Bill Dally 在ACMMM 2017 上的《Efficient Methods and Hardware for Deep Learning》演講中曾經(jīng)列過一個不同精度計算的消耗能量和硅片面積對比，可以看出一個FP32精度的乘法運(yùn)算消耗是INT8精度的18.5倍。因此同樣一塊芯片運(yùn)算INT8的數(shù)據(jù)與運(yùn)算FP32的數(shù)據(jù)在同一時間內(nèi)運(yùn)算次數(shù)相差很多，也就是說不同精度OPS不同，算力不同。

  這樣的精度如果運(yùn)行在手機(jī)等終端上是不行的，所以在在手機(jī)、汽車、安防等終端領(lǐng)域，都是執(zhí)行模型的推理，現(xiàn)有的推理芯片有很多，比如特斯拉FSD、寒武紀(jì)NPU、地平線BPU、OPPO的馬里亞納、榮耀使用的AI-ISP等。與訓(xùn)練階段不同，在推理的時候，精度要求并不高，以知名的對象監(jiān)測算法YOLO(You Only Look Once)為例，F(xiàn)P32的精度與INT8的精度相差甚小，但是因?yàn)槟Ｐ透?，神?jīng)網(wǎng)絡(luò)模型的推理速度卻大幅加快。這在終端上很重要，比如在汽車的自動駕駛上，如果推理計算的數(shù)據(jù)慢了會造成巨大的影響。

  當(dāng)然在安防等對精度要求更低的地方，還有很多采用的是INT4精度的，比如愛芯科技的AX630A在INT4精度下的算力達(dá)到了28.8TOPS，可應(yīng)用于智能盒子，運(yùn)動相機(jī)，智能加速卡，工業(yè)攝像頭等領(lǐng)域，如果是INT8精度就是7.2TOPS(這里要注意的是并不是所有的AI芯片支持不同精度下的算力轉(zhuǎn)換，這需要硬件實(shí)現(xiàn)上的支持)

  在終端芯片上，廠商宣稱的算力有時候甚至不是AI芯片的算力，因?yàn)镃PU、GPU、DSP都可以進(jìn)行AI的運(yùn)算，所以在宣傳算力的時候采用的是CPU算力 + GPU算力 + DSP算力的算法，雖然這些處理單元都在一顆芯片上但是在實(shí)際使用上不可能同時進(jìn)行AI運(yùn)算。

  因?yàn)橐恍┦謾C(jī)芯片的AI處理能力不足，以及處理流程在YUV域較為靠后，所以像OPPO等廠商開始推出馬里亞納這樣的AI芯片，18TOPS并前置在手機(jī)SOC之前在RAW域進(jìn)行 AI降噪的處理，可以大幅的提升夜景拍攝能力，保留更多細(xì)節(jié)。

  榮耀采用的AI-ISP也是一樣的道理，其實(shí)這類芯片本質(zhì)上是一個處理AI運(yùn)算的NPU，從業(yè)務(wù)上來說更好的叫法是Pre-ISP，并不是真正的ISP芯片。