TMS320C6678 存儲(chǔ)器訪問(wèn)性能（下）

本文作者：德州儀器 馮華亮

1. DMA 訪問(wèn)存儲(chǔ)器的性能

EDMA3 架構(gòu)支持很多功能，可以實(shí)現(xiàn)高效的并行數(shù)據(jù)傳輸。本節(jié)討論影響它性能的很多因素，如存儲(chǔ)器類型，地址偏移等。

1.1 DMA 傳輸?shù)念~外開銷

一般的傳輸時(shí)延被定義為EDMA 被觸發(fā)到真正的數(shù)據(jù)傳輸開始的時(shí)間。由于數(shù)據(jù)傳輸開始的時(shí)間無(wú)法用簡(jiǎn)單的方法測(cè)量，所以我們用最小數(shù)據(jù)單元的傳輸完成時(shí)間來(lái)代表DMA 傳輸?shù)臅r(shí)延或額外開銷。根據(jù)不同源/目的地址的組合，這個(gè)值會(huì)有所不同。表4 列出了在1GHz C6678 EVM (64-bit 1333MTS DDR)上測(cè)得的從EDMA 觸發(fā)(寫ESR)最小數(shù)據(jù)傳輸(1 word)到EDMA 傳輸結(jié)束(讀到IPR=1) 的平均的時(shí)鐘周期數(shù)。

表4 EDMA CC0 傳輸?shù)念~外開銷

表5 EDMA CC1 和EDMA CC2 傳輸?shù)念~外開銷

由于EDMA CC0 連接到離SL2 和DDR 比較近的內(nèi)部總線交換網(wǎng)絡(luò)，因此它訪問(wèn)SL2 和DDR 額外開銷比較小。而EDMA CC1 和CC2 連接到離DSP 核的L1 和LL2 比較近的內(nèi)部總線交換網(wǎng)絡(luò)，所以它們?cè)L問(wèn)L1 和LL2 的額外開銷比較小。

IDMA 一般用來(lái)在LL2 內(nèi)部拷貝數(shù)據(jù)，測(cè)試得到的IDMA 的平均額外開銷是61 個(gè)時(shí)鐘周期。

傳輸?shù)念~外開銷是小數(shù)據(jù)量傳輸要考慮的重要因素。單個(gè)數(shù)據(jù)單元的傳輸時(shí)間完全由DMA 的額外開銷決定。所以，對(duì)于小數(shù)據(jù)量的拷貝，我們需要在用DMA 和用DSP 核之間做權(quán)衡選擇。

1.2 EDMA 10 個(gè)傳輸引擎的區(qū)別

C6678 上包含10 個(gè)EDMA3 TC (Transfer Controller)。這10 個(gè)傳輸引擎并不完全相同。Table 6 總結(jié)了它們之間的區(qū)別。

表6 EDMA 傳輸引擎之間的區(qū)別

表7 比較了在1GHz C6678 EVM(64-bit 1333MTS DDR)上測(cè)得的各個(gè)EDMA TC 的最大吞吐量。測(cè)試的參數(shù)是ACNT=1024，BCNT=128，AB_Sync(一次傳完ACNTxBCNT)。

表7 1GHz C6678 上EDMA TC 吞吐量比較

對(duì)SL2 和DDR 之間的傳輸，TC0_0 和TC0_1 能達(dá)到的吞吐量是其它TC 的兩倍。在本文其它部分，如果沒有特殊說(shuō)明，EDMA 性能數(shù)據(jù)都是在TC0_0 上測(cè)得的。

1.3 EDMA 帶寬和傳輸靈活性的權(quán)衡

EDMA3 支持很多靈活的傳輸參數(shù)配置。多數(shù)配置情況下EDMA 可以充分利用存儲(chǔ)器帶寬;但在某些情況下，傳輸性能可能會(huì)有所下降。為了設(shè)計(jì)高效的系統(tǒng)，我們需要理解什么樣的配置能夠?qū)崿F(xiàn)高效的傳輸，而某些情況下必須在靈活性和效率之間做權(quán)衡。

1.3.1 第一維大小 (ACNT)的考慮(突發(fā)數(shù)據(jù)塊大小)

為了充分利用傳輸引擎的帶寬，傳輸盡量大的數(shù)據(jù)塊是非常重要的。

為了充分利用128-bit 或256-bit 的總線，ACNT 應(yīng)該是16 bytes 的整數(shù)倍;為了充分利用EDMA的突發(fā)數(shù)據(jù)塊，ACNT 需要是64 bytes 的整數(shù)倍;為了充分利用EDMA FIFO，ACNT 應(yīng)該至少是512 bytes。

圖7 畫出了在1GHz C6678 EVM(64-bit 1333MTS DDR)上，從SL2 到DDR 傳輸1~24K bytes 數(shù)據(jù)時(shí)測(cè)得的吞吐量。

圖7 ACNT 對(duì)EDMA 效率的影響

從測(cè)試結(jié)果可以看出，ACNT 越大，帶寬的利用率越高。

1.3.2 二維傳輸?shù)目紤](傳輸優(yōu)化)

如果2D 傳輸 (AB_Sync)是線性的 (BIDX=ACNT)，并且ACNT 是2 的冪次方，EDMA 會(huì)把這個(gè)2D 傳輸優(yōu)化為1D 傳輸。我們?cè)?GHz C6678 EVM(64-bit 1333MTS DDR)上測(cè)試了不同的ACNT 和BCNT 的組合;圖 8是線性2D 傳輸?shù)臏y(cè)試結(jié)果，它說(shuō)明，不管BCNT 是多少，帶寬由ACNTxBCNT的乘積決定。

圖8 線性 2D 傳輸

如果2D 傳輸不是線性的，帶寬的利用率完全有ACNT 決定(參見圖 7)。

1.3.3 地址偏移的考慮

地址偏移會(huì)顯著地影響EDMA 的吞吐量。

圖 9說(shuō)明了地址偏移對(duì)EDMA 吞吐量的影響，它是在1GHz C6678 EVM(64-bit 1333MTS DDR)上從 SL2 到 DDR 傳輸1024 行(BCNT= 1024) 2D 數(shù)據(jù)時(shí)測(cè)得的。

圖9 偏移量對(duì)EDMA 帶寬的影響

從測(cè)試結(jié)果可以看出，線性傳輸 (Index= ACNT)能充分利用帶寬;其它Index 設(shè)置會(huì)降低EDMA性能。最壞的情況是地址偏移為奇數(shù)時(shí)。如果地址偏移大于8 并且是2 的冪次方，性能的下降則比較小。

請(qǐng)注意，Index= ACNT，并且ACNT 是2 的冪次方時(shí)，2D 傳輸被優(yōu)化為1D 傳輸，因此性能比其它情況好很多。

除非特殊說(shuō)明，本文列出的所有性能數(shù)據(jù)都是在Index= ACNT 的情況下測(cè)得的。

1.3.4 地址對(duì)齊

地址對(duì)齊對(duì)EDMA 效率稍有影響。EDMA3 缺省突發(fā)數(shù)據(jù)塊大小是64 bytes 或128 bytes，如果傳輸跨越64 或128 bytes 邊界，EDMA3 TC 會(huì)把大小為ACNT 數(shù)據(jù)塊分割成64 或128 bytes 的突發(fā)數(shù)據(jù)塊。這對(duì)1～256 bytes 的數(shù)據(jù)傳輸影響會(huì)比較明顯，而對(duì)更大塊數(shù)據(jù)的傳輸?shù)挠绊憚t不明顯。

除非特殊說(shuō)明，本文所有性能數(shù)據(jù)都是在地址對(duì)齊的情況下測(cè)得的。

2. 多個(gè)主模塊共享存儲(chǔ)器的性能

由于C6678 有8 個(gè)核和很多DMA 主模塊，它們可能會(huì)同時(shí)訪問(wèn)存儲(chǔ)器。本節(jié)討論多個(gè)主模塊共享存儲(chǔ)器的性能。[!--empirenews.page--]

2.1 多個(gè)主模塊共享SL2 的性能

圖10 列出了數(shù)據(jù)在SL2 中的組織結(jié)構(gòu)。

圖10 SL2 bank 組織結(jié)構(gòu)

所有主模塊都可以通過(guò)MSMC (Multicore Shared Memory Controller)獨(dú)立地訪問(wèn)4 個(gè)SL2 bank中的任一個(gè)。多個(gè)主模塊可以并行地訪問(wèn)不同的bank;如果多個(gè)主模塊要同時(shí)訪問(wèn)相同的bank，那就需要根據(jù)優(yōu)先級(jí)仲裁。

表8 列出了在1GHz C6678 上測(cè)得的多個(gè)主模塊同時(shí)訪問(wèn)SL2 的性能數(shù)據(jù)。每個(gè)主模塊反復(fù)訪問(wèn)自己在SL2 中的數(shù)據(jù)buffer，在相同的時(shí)間內(nèi)(大概2 秒)，每個(gè)主模塊傳輸?shù)臄?shù)據(jù)量被統(tǒng)計(jì);而每個(gè)主模塊獲得的帶寬則由數(shù)據(jù)量除以時(shí)間計(jì)算出來(lái)。

在這個(gè)測(cè)試中，每個(gè)核的L1D cache 大小是32KB，沒有使用L2 cached，prefetch buffer 被使能。

在下面的表中，每列是一個(gè)測(cè)試場(chǎng)景的結(jié)果，不同測(cè)試場(chǎng)景的主要區(qū)別是同時(shí)訪問(wèn)存儲(chǔ)器的主模塊的個(gè)數(shù)，格子中的數(shù)據(jù)代表相應(yīng)的主模塊在這個(gè)測(cè)試場(chǎng)景下獲得的帶寬，一列中的空格代表對(duì)應(yīng)的主模塊在這個(gè)測(cè)試場(chǎng)景下未被使用。最后一行中的數(shù)據(jù)是在這個(gè)測(cè)試場(chǎng)景下所有主模塊獲得的帶寬的總和。

表8 多個(gè)DSP 核共享SL2 的性能

以上測(cè)試結(jié)果證明SL2 不會(huì)成為多個(gè)DSP 核同時(shí)訪問(wèn)的瓶頸。SL2 有足夠的帶寬 (500M x 32 x 4 = 64000MB/s)來(lái)支持所有DSP核的同時(shí)訪問(wèn)。每個(gè)DSP 核的吞吐量受限于它自己。

由于SL2 的帶寬足夠支持所有核同時(shí)訪問(wèn)，所以核的優(yōu)先級(jí)在這種情況下基本不起作用。

表9 多個(gè)EDMA 共享SL2 的性能

由于總共有10 個(gè)EDMA TC，而只有8 個(gè)DSP 核，在這些測(cè)試?yán)铮? 個(gè)TC 在SL2 和8 個(gè)核的LL2 之間傳輸數(shù)據(jù)，另兩個(gè)TC 則在SL2 和DDR 之間傳輸數(shù)據(jù)。

盡管SL2 本身的帶寬非常高，但所有EDMA 訪問(wèn)SL2 時(shí)都需要經(jīng)過(guò)內(nèi)部總線交換網(wǎng)絡(luò)的一個(gè)相同的端口，這個(gè)端口就成了這種情況下的瓶頸。這個(gè)端口的理論帶寬是500MHz x 32 bytes = 16000MB/s。如果所有EDMA 傳輸?shù)膬?yōu)先級(jí)相同，帶寬會(huì)在這些傳輸之間平均分配。而當(dāng)優(yōu)先級(jí)不同時(shí)(上表中第二列是每個(gè)主模塊的優(yōu)先級(jí))，優(yōu)先級(jí)低的EDMA 傳輸?shù)玫降膸挶容^小。對(duì)負(fù)載很高的情況下，一些低優(yōu)先級(jí)的傳輸可能會(huì)被“餓死”，也就是說(shuō)，得到的帶寬為0。

根據(jù)Table 6中列出的不同EDMA TC 的區(qū)別，EDMACC1 TC1 和TC3，EDMACC2 TC1 和TC2在某些情況下獲得的帶寬會(huì)比其它TC 小，即使優(yōu)先級(jí)相同。

2.2 多個(gè)主模塊共享DDR 的性能

多個(gè)主模塊同時(shí)訪問(wèn)DDR 時(shí)，DDR 控制器會(huì)根據(jù)主模塊的優(yōu)先級(jí)進(jìn)行仲裁。

C6678 的DDR 控制器支持包含1，2，4，或8 個(gè)banks 的DDR 存儲(chǔ)器。現(xiàn)在大多數(shù)DDR3 存儲(chǔ)器都包含8 個(gè)bank，以C6678 EVM 上的DDR 存儲(chǔ)器為例，它的組織結(jié)構(gòu)如圖11 所示。請(qǐng)注意，對(duì)不同的DDR 存儲(chǔ)器，每一行的大小可能會(huì)不同。

圖11 DDR bank 數(shù)據(jù)組織結(jié)構(gòu)

盡管DDR 存儲(chǔ)器有多個(gè)bank，但與SL2 的bank 不同的是，它們并沒有獨(dú)立的總線與控制器相連，而是共享相同的總線接口。所以，DDR 存儲(chǔ)器bank 的個(gè)數(shù)并不直接的影響帶寬，但它卻顯著的影響多個(gè)主模塊共享DDR 的效率。

DDR SDRAM 的訪問(wèn)以行或頁(yè)為基礎(chǔ)。一個(gè)主模塊在訪問(wèn)某個(gè)頁(yè)中的數(shù)據(jù)之前，這一頁(yè)必須首先被“打開”，然后這一頁(yè)中的內(nèi)容才可以被隨意訪問(wèn)。如果主模塊想訪問(wèn)同一個(gè)bank 中另一頁(yè)中的數(shù)據(jù)，必須先關(guān)閉原先的頁(yè)，然后打開新的一頁(yè)。而頁(yè)切換(關(guān)閉/打開)操作需要消耗額外的時(shí)鐘周期。

每個(gè)bank 只可以有一頁(yè)被打開，DDR 存儲(chǔ)器的bank 數(shù)越多，頁(yè)切換的概率就越小。例如，一個(gè)主模塊在訪問(wèn)了bank0 的0 頁(yè)后，它可以訪問(wèn)bank1 的1 頁(yè)而不用關(guān)閉之前訪問(wèn)的bank0 的0頁(yè)，然后這個(gè)主模塊可以自由的在這兩頁(yè)之間訪問(wèn)而不會(huì)產(chǎn)生頁(yè)切換。包含8 個(gè)bank 的DDR 存儲(chǔ)器可以有8 頁(yè)同時(shí)被打開。

為了測(cè)試頁(yè)切換的影響，我們定義了兩種測(cè)試的數(shù)據(jù)結(jié)構(gòu)。

圖12 多個(gè)主模塊訪問(wèn)相同DDR bank 的不同頁(yè)

上面的情況是最壞的情況，頁(yè)切換的額外開銷被最大化。每換一個(gè)主模塊訪問(wèn)就會(huì)導(dǎo)致一次頁(yè)切換。

下面的情況則是最佳情況，每個(gè)主模塊始終訪問(wèn)打開的頁(yè)，而不會(huì)有任何頁(yè)切換發(fā)生。

圖13 多個(gè)主模塊訪問(wèn)不同DDR bank 的不同頁(yè)

2.2.1 多個(gè)DSP 核共享DDR 的性能

下面的表格列出了不同場(chǎng)景下多個(gè)DSP 核共享1GHz C6678 EVM 上64-bit 1333MTS DDR 的性能。每個(gè)主模塊反復(fù)訪問(wèn)自己在DDR 中的數(shù)據(jù)buffer，在相同的時(shí)間內(nèi)(大概2 秒)，每個(gè)主模塊傳輸?shù)臄?shù)據(jù)量被統(tǒng)計(jì);而每個(gè)主模塊獲得的帶寬則由數(shù)據(jù)量除以時(shí)間計(jì)算出來(lái)。

在這些測(cè)試中，DDR 是cacheable 且prefetchable的，L1D cache 是32KB，L2 cache 是256KB，prefetch buffer 被使能。我們沒有測(cè)試Non-cacheable 的情況是因?yàn)镹on-cacheable 情況下每個(gè)核需要的帶寬比cacheable 的情況下要少很多。[!--empirenews.page--]

在下面的表中，每列是一個(gè)測(cè)試場(chǎng)景的結(jié)果，不同測(cè)試場(chǎng)景的主要區(qū)別是同時(shí)訪問(wèn)存儲(chǔ)器的主模塊的個(gè)數(shù)，格子中的數(shù)據(jù)代表相應(yīng)的主模塊在這個(gè)測(cè)試場(chǎng)景下獲得的帶寬，一列中的空格代表對(duì)應(yīng)的主模塊在這個(gè)測(cè)試場(chǎng)景下未被使用。最后一行中的數(shù)據(jù)是在這個(gè)測(cè)試場(chǎng)景下所有主模塊獲得的帶寬的總和。

表10 多個(gè)DSP 核共享DDR 的性能

從上面的測(cè)試結(jié)果可以看出，多核同時(shí)訪問(wèn)相同DDR bank 中不同頁(yè)的性能比多核同時(shí)訪問(wèn)不同DDR bank 中不同頁(yè)的性能差很多，原因就是頁(yè)切換的額外開銷。

從上面的測(cè)試結(jié)果還可以看出，DDR 的帶寬 (1333 x 8 = 10666MB/s)對(duì)所有DSP 核同時(shí)訪問(wèn)來(lái)說(shuō)是不夠的，DSP 核的優(yōu)先級(jí)對(duì)它獲得的帶寬有明顯影響。當(dāng)優(yōu)先級(jí)相同時(shí)，帶寬在多個(gè)核之間平均分配;而當(dāng)優(yōu)先級(jí)不同時(shí)(上表中第二列是每個(gè)主模塊的優(yōu)先級(jí))，優(yōu)先級(jí)低的核得到的帶寬比較小。

為了防止低優(yōu)先級(jí)的主模塊被“餓死”，DDR 控制器提供了老請(qǐng)求優(yōu)先級(jí)臨時(shí)提高的功能。我們可以通過(guò)配置一個(gè)計(jì)數(shù)器，當(dāng)一個(gè)老的請(qǐng)求的等待時(shí)間超過(guò)這個(gè)計(jì)數(shù)值時(shí)，它的優(yōu)先級(jí)會(huì)被臨時(shí)提高。如果沒有特殊說(shuō)明，本文所有測(cè)試中這個(gè)計(jì)數(shù)周期都被配置成4x16=64 個(gè)DDR3CLKOUT 時(shí)鐘周期。在64 個(gè)DDR3CLKOUT 時(shí)鐘周期內(nèi)，可以傳輸64x2x8=1024 bytes。

表11 是在1GHz C6678 EVM(64-bit 1333MTS DDR)上用不同的優(yōu)先級(jí)提升計(jì)數(shù)值測(cè)得的數(shù)據(jù)。表中第二列是每個(gè)主模塊的預(yù)設(shè)優(yōu)先級(jí)。

表11 DDR 優(yōu)先級(jí)提升計(jì)數(shù)值的影響

從上面的測(cè)試結(jié)果可以看出，優(yōu)先級(jí)提升計(jì)數(shù)值=0 實(shí)際上使得預(yù)設(shè)的優(yōu)先級(jí)不起作用。當(dāng)這個(gè)計(jì)數(shù)值越大是，預(yù)設(shè)的優(yōu)先級(jí)起的作用越大。所以，在實(shí)際應(yīng)用中，設(shè)計(jì)者需要根據(jù)應(yīng)用的需求來(lái)選擇一個(gè)合適的值。

2.2.2 多個(gè)EDMA 共享DDR 的性能

下面的表格列出了不同場(chǎng)景下多個(gè)EDMA TC 共享1GHz C6678 EVM 上64-bit 1333MTS DDR 的性能。

表12 多個(gè)EDMA 共享DDR 的性能

由于總共有10 個(gè)EDMA TC，而只有8 個(gè)DSP 核，在這些測(cè)試?yán)铮? 個(gè)TC 在DDR 和8 個(gè)核的LL2 之間傳輸數(shù)據(jù)，另兩個(gè)TC 則在DDR 和SL2 之間傳輸數(shù)據(jù)。

從上面的測(cè)試結(jié)果可以看出，DDR 的帶寬 (1333 x 8 = 10666MB/s)對(duì)所有EDMA 同時(shí)訪問(wèn)來(lái)說(shuō)是不夠的，EDMA TC 的優(yōu)先級(jí)對(duì)它獲得的帶寬有明顯影響。優(yōu)先級(jí)低的EDMA 傳輸?shù)玫降膸挶容^小。對(duì)負(fù)載很高的情況下，一些低優(yōu)先級(jí)的傳輸可能會(huì)被“餓死”，也就是說(shuō)，得到的帶寬為0。

根據(jù)Table 6中列出的不同EDMA TC 的區(qū)別，EDMACC1 TC1 和TC3，EDMACC2 TC1 和TC2在某些情況下獲得的帶寬會(huì)比其它TC 小，即使優(yōu)先級(jí)相同。

從上面的測(cè)試結(jié)果還可以看出，多個(gè)DMA 同時(shí)訪問(wèn)相同DDR bank 中不同頁(yè)的性能比多個(gè)DMA同時(shí)訪問(wèn)不同DDR bank 中不同頁(yè)的性能差很多，原因就是頁(yè)切換的額外開銷。當(dāng)DDR 負(fù)載加重時(shí)結(jié)果變得更差。最壞的情況下，頁(yè)切換的額外開銷會(huì)占用整體傳輸時(shí)間的絕大部分，從而使總吞吐量急劇下降。

頁(yè)切換的概率，也就是，多個(gè)主模塊訪問(wèn)相同DDR bank 的概率取決于同時(shí)訪問(wèn)的主模塊的個(gè)數(shù)和DDR bank 個(gè)數(shù)。例如，4 個(gè)DMA 隨機(jī)訪問(wèn)8 個(gè)bank 的DDR 存儲(chǔ)器，至少兩個(gè)TC 訪問(wèn)相同的bank 的概率是:

表13 列出了理論上，多個(gè)主模塊訪問(wèn)相同bank 的概率：

表13 多個(gè)主模塊訪問(wèn)相同bank 的概率

為了減少DDR 頁(yè)切換次數(shù)，如果有多個(gè)傳輸，有的要訪問(wèn)已經(jīng)打開的頁(yè)，有的要訪問(wèn)沒有打開的頁(yè)，C6678 的DDR 控制器一般情況下會(huì)讓對(duì)已經(jīng)打開的頁(yè)的訪問(wèn)先執(zhí)行。

3. 總結(jié)

總的來(lái)說(shuō)，DSP 核可以高效地訪問(wèn)內(nèi)部存儲(chǔ)器，而用DSP 核訪問(wèn)外部數(shù)據(jù)則不是有效利用資源的方式;IDMA 非常適用于DSP 核本地存儲(chǔ)器(L1D，L1P，LL2)內(nèi)連續(xù)數(shù)據(jù)塊的傳輸，但它不能訪問(wèn)共享存儲(chǔ)器(SL2, DDR);而外部存儲(chǔ)器的訪問(wèn)則應(yīng)盡量使用EDMA。為了充分利用cache，DSP 核應(yīng)盡量連續(xù)訪問(wèn)。

EDMA 的ACNT 越大，效率越高。

SL2 有足夠的帶寬來(lái)支持所有核的同時(shí)訪問(wèn)。DDR 的帶寬對(duì)所有核同時(shí)訪問(wèn)來(lái)說(shuō)是不夠的，DSP核的優(yōu)先級(jí)對(duì)它獲得的帶寬有明顯影響。

DDR 性能受頁(yè)切換的影響很大，為了減少DDR 頁(yè)切換應(yīng)該盡量每次訪問(wèn)大塊數(shù)據(jù)。[!--empirenews.page--]

參考文獻(xiàn)

TMS320C66x DSP CorePac User Guide (SPRUGW0)

KeyStone Architecture Multicore Shared Memory Controller (MSMC) User Guide (SPRUGW7)

KeyStone Architecture DDR3 Memory Controller User Guide (SPRUGV8)

KeyStone Architecture Enhanced Direct Memory Access (EDMA3) Controller User Guide (SPRUGS5)

TMS320TCI6608 data manual (SPRS623)