深入淺出理解EdgeBoard中NHWC數(shù)據(jù)格式

在深度學(xué)習(xí)中,為了提升數(shù)據(jù)傳輸帶寬和計(jì)算性能,經(jīng)常會(huì)使用NCHW、NHWC和CHWN數(shù)據(jù)格式,它們代表Image或Feature Map等的邏輯數(shù)據(jù)格式(可以簡單理解為數(shù)據(jù)在內(nèi)存中的存放順序)。本文以百度的AI端上推理設(shè)備EdgeBoard為原型,介紹EdgeBoard選擇NHWC數(shù)據(jù)格式的技術(shù)考量。

EdgeBoard簡介

EdgeBoard是百度基于FPGA芯片研發(fā)的嵌入式AI解決方案,高性能的加速引擎可提供3.6Tops的強(qiáng)大算力,完整的嵌入式參考設(shè)計(jì)使硬件集成輕松便捷。目前EdgeBoard提供了FPGA軟核和計(jì)算卡模塊兩種形態(tài)供硬件集成,面向項(xiàng)目部署也提供了抓拍機(jī)和計(jì)算盒兩種基礎(chǔ)硬件產(chǎn)品。EdgeBoard深度兼容百度大腦模型資源與工具平臺(tái)(EasyDL/AI Studio),極大降低了開發(fā)驗(yàn)證、產(chǎn)品集成、科研教學(xué)、項(xiàng)目部署門檻,適用于安防監(jiān)控、工業(yè)質(zhì)檢、醫(yī)療診斷、農(nóng)作物生長監(jiān)控、無人駕駛、無人零售等場景

數(shù)據(jù)格式的邏輯表示與物理表示

深度學(xué)習(xí)中經(jīng)常會(huì)使用NCHW、NHWC和CHWN數(shù)據(jù)格式來表示數(shù)據(jù),其中N、H、W、C定義如下:

N:一個(gè)batch內(nèi)圖片的數(shù)量,一次處理的圖片數(shù)量

H:垂直高度方向的像素個(gè)數(shù),圖片的高

W:水平寬度方向的像素個(gè)數(shù),圖片的寬

C:通道數(shù)。例如灰度圖像為1, 彩色RGB圖像為3

下圖表示N=2,C=16,H=5,W=4的數(shù)據(jù)排列,其中左圖是邏輯表示,右圖是物理表示。

以NCHW為例,其邏輯表示如左上圖,n=0時(shí),三個(gè)坐標(biāo)分別標(biāo)識了C、H、W的方向。第一個(gè)元素是000,第二個(gè)元素沿著w方向,即001,隨后是002, 003;然后沿H方向,即004, 005, 006, 007...如此反復(fù)到019后;再沿C方向,020,021, 022 .....一直到319;再沿N方向,也就是n=1,然后重復(fù)W方向,H方向和C方向。

根據(jù)以上NCHW的劃分,物理地址表示定義如下(如右上圖):

[a:0] 表示W(wǎng)方向,在一行內(nèi)從左到右

[a:1] 表示從H方向,一行一行的從上到下

[a:2] 表示在C方向,從一個(gè)通道到另外一個(gè)通道

[a:3] 表示從N方向,從n=0 到n=1

最終NCHW數(shù)據(jù)格式的物理分布(在內(nèi)存中的一維表示)表示為000 001 002 003 004 ... 018 019 020 ... 318 319 320 ... ... 637 638 639?？梢岳斫獬砂岩粋€(gè)通道的所有像素一行一行地排列起來,然后排下一個(gè)通道,即n=0排列完后再排n=1。

同理NHWC表示是先沿C方向,再沿W方向,再沿H方向,最后沿N方向。所以在內(nèi)存的存放順序是,第一個(gè)元素是000,第二個(gè)沿C方向,即020,040, 060 ...一直到300,之后切換到W方向,001 021 041 061...301..到了303后再切換到H方向,即004, 024 ... 304,最后到了319,再切換到N方向,320,340 ...一直到639。

[b:0] 表示C方向,第一個(gè)像素從一個(gè)通道到另外一個(gè)通道

[b:1] 表示從W方向,最后一個(gè)通道第一個(gè)像素回到第一個(gè)通道的第二個(gè)像素

[b:2] 表示在H方向,最后一個(gè)通道第一行最后一個(gè)像素回到第一個(gè)通道的第二行的第一個(gè)像素

[b:3] 表示從N方向,從n=0 到n=1

NHWC其物理表示為000 020 ... 300 001 021 ... 283 303 004 ... 319 320 340 ... ... 339 359 ... 639?？梢岳斫獬砂岩粋€(gè)batch的一個(gè)像素的所有通道先排列起來,然后排下一個(gè)像素。n=0排列完成后,再排n=1。

同理CHWN其邏輯表示,先沿N方向,再沿W方向,再沿H方向,最后是沿C方向。

[c:0] 表示從N方向,從n=0的第一個(gè)像素到n=1的第一個(gè)像素

[c:1] 表示從N方向,從n=1的第一個(gè)像素回到n=0的第二個(gè)像素

[c:2] 表示在H方向,從n=1的第一行最后一個(gè)像素回到n=0的第二行第一個(gè)像素

[c:3] 表示從N方向,從n=1的第一個(gè)通道最后一個(gè)像素回到n=0的第二個(gè)通道第一個(gè)像素

CHWN其物理表示為 000 032 001 321 ... 003 323 004 324 ... ... 019 339 020 ...。可以理解成先把一個(gè)batch中N幅圖像的第一個(gè)通道第一個(gè)像素排列起來,然后排第二個(gè)像素;再排第二個(gè)通道,第三個(gè)通道...

數(shù)據(jù)在內(nèi)存中的偏移地址

深度學(xué)習(xí)中涉及大量的數(shù)據(jù)計(jì)算,計(jì)算需要從內(nèi)存中取出數(shù)據(jù),因此需要計(jì)算出數(shù)據(jù)的偏移地址以便進(jìn)行取數(shù)。有了上面的邏輯表示和物理表示,可以推導(dǎo)出4維邏輯表示(n,c,h,w)映射到一維內(nèi)存中偏移地址的公式。

定義位置(n,c,h,w)表示第n個(gè)batch的第c通道的第h行的第w列,那么該位置在不同數(shù)據(jù)格式下,在內(nèi)存中的偏移地址計(jì)算公式如下: NCHW: offset_nchw(n, c, h, w) = n * CHW + c * HW + h * W + w NHWC: offset_nhwc(n, c, h, w) = n * HWC + h * WC + w * C + c CHWN: offset_chwn(n, c, h, w) = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量,n、c、h、w為變量

在NCHW中,CHW=C*H*W,表示一個(gè)Batch,可以理解成一個(gè)BGR 3通道的圖片,表達(dá)的是一個(gè)立方體。HW=H*W,表示一個(gè)平面,可以理解成是BGR 3通道圖片的一個(gè)通道(灰度圖就是一個(gè)通道圖片)。W是一行,可以理解成一個(gè)通道上的一行。

以上圖為例,如果想計(jì)算出綠色圈,即341的位置(n=1,c=1, h=0, w=1)。我們需要先跳過n=0的數(shù)據(jù)(CHW),圖中箭頭1指向的藍(lán)色框區(qū)域;再跳過n=1的第一個(gè)通道(HW),圖中箭頭2指向藍(lán)色框區(qū)域;這時(shí)進(jìn)入到了n=1的第二個(gè)通道,跳過h=0行(0*W);最后跳過w個(gè)數(shù)到達(dá)偏移位置。

EdgeBoard為何使用NHWC

下面來分析EdgeBoard選擇NHWC數(shù)據(jù)格式的原因。

上圖表示卷積的計(jì)算過程。根據(jù)卷積的運(yùn)算特點(diǎn),相同位置窗口所有通道數(shù)與卷積的參數(shù)相乘后累加,可以有下面兩種計(jì)算方式:

先通道后像素:先把一個(gè)像素點(diǎn)的所有通道數(shù)與卷積的參數(shù)相乘后累加,再進(jìn)行下一個(gè)像素,直到卷積核窗口乘累加完成。比如第一次滑窗的計(jì)算公式 (w0,0,0)*(x0,0,0) + (w1,0,0)*(x1,0,0) + (w2,0,0)*(x2,0,0) + (w0,0,1)*(x0,0,1) + (w1,0,1)*(x1,0,1) + (w2,0,1)*(x2,0,1) + (w0,0,2)*(x0,0,2) + (w1,0,1)*(x1,0,2) + (w2,0,2)*(x2,0,2) + (w0,1,0)*(x0,1,0) + (w1,1,0)*(x1,1,0) + (w2,1,0)*(x2,1,0) + (w0,1,1)*(x0,1,1) + (w1,1,1)*(x1,1,1) + (w2,1,1)*(x2,1,1) + (w0,1,2)*(x0,1,2) + (w1,1,1)*(x1,1,2) + (w2,1,2)*(x2,1,2) + (w0,2,0)*(x0,2,0) + (w1,2,0)*(x1,2,0) + (w2,2,0)*(x2,2,0) + (w0,2,1)*(x0,2,1) + (w1,2,1)*(x1,2,1) + (w2,2,1)*(x2,2,1) + (w0,2,2)*(x0,2,2) + (w1,2,1)*(x1,2,2) + (w2,2,2)*(x2,2,2) = 0*-1 + 0*-1 + 0*0 + 0*1 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*1 + 1*0 + 2*1 + 1*0 + 0*0 +1*0 + 0*0 + 0*0 + 0*1 + 2*1 + 0*-1 + 1*-1 + 2*1 + 0*0 + 0*-1 + = 5

先像素后通道:先把一個(gè)通道滑動(dòng)窗口與卷積參數(shù)相乘后累加,再進(jìn)行下一個(gè)通道,直到所有通道乘累加完成。比如第一次滑窗計(jì)算公式

(w0,0,0)*(x0,0,0) + (w0,0,1)*(x0,0,1) + (w0,0,2)*(x0,0,2) + (w0,1,0)*(x0,1,0) + (w0,1,1)*(x0,1,1) + (w0,0,2)*(x0,1,2) + (w0,2,0)*(x0,2,0) + (w0,0,1)*(x0,2,1) + (w0,0,2)*(x0,2,2) + (w1,0,0)*(x1,0,0) + (w1,0,1)*(x1,0,1) + (w1,0,2)*(x1,0,2) + (w1,1,0)*(x1,1,0) + (w1,1,1)*(x1,1,1) + (w1,0,2)*(x1,1,2) + (w1,2,0)*(x1,2,0) + (w1,0,1)*(x1,2,1) + (w1,0,2)*(x1,2,2) + (w2,0,0)*(x2,0,0) + (w2,0,1)*(x2,0,1) + (w2,0,2)*(x2,0,2) + (w2,1,0)*(x2,1,0) + (w2,1,1)*(x2,1,1) + (w2,0,2)*(x2,1,2) + (w2,2,0)*(x2,2,0) + (w2,0,1)*(x2,2,1) + (w2,0,2)*(x2,2,2) = 0*-1 + 0*1 + 0*0 + 0*0 +0*1 + 1*0 + 0*0 + 2*1 + 2*1 + 0*-1 + 0*-1 + 0*0 + 0*0 + 1*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 2*1 + 1*0 + 0*1 + 1*-1 + 0*-1 = 5

可以看出兩種方式計(jì)算的結(jié)果是一樣。

而對于NHWC格式,即先通道后像素,是把一個(gè)像素的所有通道的數(shù)據(jù)放在一起。這樣對應(yīng)上圖第一個(gè)像素的3個(gè)通道值,第二個(gè)像素的3個(gè)通道值,第三個(gè)像素的3個(gè)通道值,它們在內(nèi)存中的地址都是連續(xù)的,也就是說一次就可以把kernel第一行需要計(jì)算的數(shù)取出,3x3的kernel需要3次取數(shù)。

而對于NCHW格式,即先像素后通道,是把一個(gè)通道的所有像素按順序排列,這樣對于一個(gè)3*3的卷積核,需要每取3個(gè)數(shù)就需要跳躍n個(gè)數(shù)后,再取3個(gè)數(shù)。一個(gè)通道需要取3次,3個(gè)通道需要取9次。

在實(shí)際網(wǎng)絡(luò)中,通常通道數(shù)會(huì)遠(yuǎn)大于卷積kernel數(shù)(不會(huì)像上圖只有3個(gè)通道,通常是幾十、幾百個(gè)通道)。這樣對于NHWC格式來說說,取數(shù)的次數(shù)會(huì)比NCHW少很多。對EdgeBoard來說,為了增加其所支持網(wǎng)絡(luò)的廣泛性,減少對大輸入尺寸和高存儲(chǔ)量權(quán)重網(wǎng)絡(luò)的限制,采用NHWC的格式可以實(shí)現(xiàn)分批次地把Feature Map和Weight數(shù)據(jù)讀取到FPGA的片上緩存,例如對于3x3的Kernel,我們可以只讀取三行(3WC)Feature Map的數(shù)據(jù)到FPGA內(nèi)進(jìn)行計(jì)算,即可得到一行輸出數(shù)據(jù),并傳輸?shù)狡獯笕萘烤彺鍰DR,而不需依賴下一個(gè)3WC的Feature Map輸入數(shù)據(jù)就可完成每一批次的輸入輸出數(shù)據(jù)傳輸。

再例如,我們也可將Weight數(shù)據(jù)根據(jù)FPGA片上緩存的不同大小分割成N份,一份一份發(fā)送到FPGA分別做卷積運(yùn)算后,再傳輸回DDR做相應(yīng)拼接,這等同于做一次大的卷積運(yùn)算,好處在于可以根據(jù)不同容量的FPGA器件做不同匹配,大大提高了代碼的硬件適配性。此外,由于C維度之間數(shù)據(jù)相關(guān)性較弱,采用NHWC格式更能發(fā)揮FPGA高并行度的計(jì)算特點(diǎn),充分利用FPGA的算力。

下表為EdgeBoard使用NHWC數(shù)據(jù)格式的網(wǎng)絡(luò)性能:

福利

據(jù)可靠消息:EdgeBoard正在打折中,歷史最低價(jià),直降1000元。