ARM核920T性能優(yōu)化之Cache
程序在執(zhí)行過(guò)程中會(huì)頻繁的運(yùn)行小范圍的循環(huán)代碼,而這些循環(huán)又會(huì)對(duì)數(shù)據(jù)存儲(chǔ)器的局部區(qū)域反復(fù)訪問(wèn)。
Cache同時(shí)使用了時(shí)間和空間的局部性原理。如果對(duì)存儲(chǔ)器的訪問(wèn)受時(shí)間影響,在時(shí)間上有連續(xù)性,則這種時(shí)間上密集的訪問(wèn)被稱為時(shí)間局部性訪問(wèn);如果多次對(duì)存儲(chǔ)器的地址訪問(wèn)相近,則這種空間上鄰近的訪問(wèn)被稱為空間局部性訪問(wèn)。
一.存儲(chǔ)層次:
最頂層:存儲(chǔ)層次的最頂層在處理器內(nèi)核中,該存儲(chǔ)器被稱為寄存器文件。這些寄存器被集成在處理器內(nèi)核中,在系統(tǒng)中提供最快的存儲(chǔ)訪問(wèn)。
一級(jí)存儲(chǔ):緊耦合存儲(chǔ)器(TCM),一級(jí)cache和主存在這一級(jí)。
二級(jí)存儲(chǔ):輔助存儲(chǔ)器(輔助存儲(chǔ)器),用來(lái)存儲(chǔ)正在運(yùn)行的較大的程序未被使用的部分,或者存放當(dāng)前沒(méi)有運(yùn)行的程序。
二.寫(xiě)緩沖器作為臨時(shí)緩沖幫助cache釋放存儲(chǔ)空間。
[!--empirenews.page--]三.邏輯MMU與物理MMU
如果帶cache的處理器核支持虛擬存儲(chǔ),那么cache就可以放在處理器內(nèi)核和存儲(chǔ)管理單元MMU之間或者M(jìn)MU與物理存儲(chǔ)器之間。
邏輯cache在虛擬地址空間存儲(chǔ)數(shù)據(jù),它位于處理器和MMU之間。處理器可以直接通過(guò)邏輯cache訪問(wèn)數(shù)據(jù)而無(wú)需通過(guò)MMU。
物理cache使用物理地址存儲(chǔ)數(shù)據(jù),它位于MMU和主存之間。當(dāng)處理器訪問(wèn)存儲(chǔ)器時(shí),MMU必須先把虛擬地址轉(zhuǎn)化為物理地址,cache存儲(chǔ)器才可向內(nèi)核提供數(shù)據(jù)。
從arm7~arm10都是使用邏輯cache,arm11使用物理cache。
四.Cache的結(jié)構(gòu)
帶有cache的ARM內(nèi)核采用了2種總線結(jié)構(gòu):馮諾依曼結(jié)構(gòu)和哈佛結(jié)構(gòu)。在使用馮諾依曼結(jié)構(gòu)的處理器內(nèi)核中,只有一個(gè)數(shù)據(jù)和指令公用的cache,這種cache被稱作統(tǒng)一cache。哈佛結(jié)構(gòu)將指令總線和數(shù)據(jù)總線分離,存在指令cache(I-cache)和數(shù)據(jù)cache(D-cache),這種類型的cache被稱作分離cache。上邊的圖是統(tǒng)一cache,cache的兩個(gè)主要組成部分cache控制器和cache存儲(chǔ)器。Cache存儲(chǔ)器是一個(gè)專用的存儲(chǔ)器陣列,其訪問(wèn)單元稱為cache行。Cache有3個(gè)主要的部分:目錄存儲(chǔ)段(directory store),狀態(tài)信息段(status information),數(shù)據(jù)項(xiàng)段(data section)。每一個(gè)cache行都由這3部分組成。Cache使用目錄存儲(chǔ)段來(lái)記錄每個(gè)cache行是由主存的什么地方拷貝而來(lái)。該目錄項(xiàng)被稱為“cache標(biāo)簽”。狀態(tài)位用來(lái)記錄狀態(tài)信息,2個(gè)常見(jiàn)的狀態(tài)位是有效位(valid bit)和臟位(dirty bit)。Cache存儲(chǔ)器必須存儲(chǔ)來(lái)自主存的信息,這些信息被放在數(shù)據(jù)項(xiàng)段里。
五.Cache與主存的關(guān)系
1)直接映射
主存的每個(gè)地址都對(duì)應(yīng)著cache存儲(chǔ)器的唯一的一行。如圖,組索引(set index)可以確切的指出所有以0x824結(jié)尾的內(nèi)存地址在cache中所唯一對(duì)應(yīng)的存儲(chǔ)地址;數(shù)據(jù)索引域可以確定字,半字或者字節(jié)在該cache行中的位置;標(biāo)簽域用來(lái)與cache行中的cache-tag相比較。
直接映射這種設(shè)計(jì)使每個(gè)主存塊在cache中只有一個(gè)特定的行可以存放,那么如果程序同時(shí)用到對(duì)應(yīng)于cache同一行的2個(gè)主存塊,那么就會(huì)發(fā)生沖突。沖突的結(jié)果就是導(dǎo)致cache行的頻繁置換。這就是直接映射cache的顛簸問(wèn)題(Thrashing)。重復(fù)的cache失效導(dǎo)致cache控制器連續(xù)不斷的將當(dāng)前不用的過(guò)程置換出cache,這就是cache顛簸。
2)組相聯(lián)
為了減少cache的顛簸頻率,某些cache使用了其他設(shè)計(jì)。將cache分成一些容量相同的小單元,稱作路(way)。這里一個(gè)組索引對(duì)應(yīng)多個(gè)cache行,即在每一路里都有一個(gè)cache行與之對(duì)應(yīng),組索引相同的cache行被稱作處于同一個(gè)組(set)里,這也是組索引命令的由來(lái)。擁有相同組索引的cache行稱為組相聯(lián)的。在cache的同一個(gè)組當(dāng)中,數(shù)據(jù)放置的位置具有排他性,可以防止同樣的數(shù)據(jù)被重復(fù)放在一個(gè)組的不同的cache行。
3)全聯(lián)
隨著cache控制器的相聯(lián)度提高,沖突的可能性減小了。理想的目標(biāo)是,盡量提高組相聯(lián)程度,使主存地址能夠映射到任意cache行,這樣的cache被稱為全相聯(lián)cache。
硬件設(shè)計(jì)者提高相聯(lián)度的一種方法就是使用內(nèi)容尋址存儲(chǔ)器CAM(Content Addressable Memory)。在ARM920T處理器核中,ARM使用了CAM來(lái)定位cache-tag。ARM920T中的cache是64路組相聯(lián)的。CAM使用一組比較器,以比較輸入的標(biāo)簽地址和存儲(chǔ)在每一個(gè)有效cache行中的cache-tag。CAM采用了與RAM相反的工作方式:RAM是得到一個(gè)地址后再給出數(shù)據(jù);而CAM則是在檢測(cè)到給定的數(shù)據(jù)值在存儲(chǔ)器中后,再給出該數(shù)據(jù)的地址。如圖是ARM940T的cache結(jié)構(gòu)圖。訪問(wèn)地址的tag部分被作為4個(gè)CAM的輸入,輸入標(biāo)簽同時(shí)與存儲(chǔ)在64路中的所有cache標(biāo)簽相比較。如果有一個(gè)匹配,那么數(shù)據(jù)就由cache存儲(chǔ)器提供;如果沒(méi)有匹配,存儲(chǔ)器控制器就會(huì)產(chǎn)生一個(gè)失效(miss)信號(hào)。
六.Cache策略
Cache策略包括寫(xiě)策略,替換策略及分配策略。
1)寫(xiě)策略
寫(xiě)策略包括直寫(xiě)法(writethrough)和回寫(xiě)法(writeback)。
直寫(xiě)法:
如果cache控制器使用直寫(xiě)策略,那么處理器核寫(xiě)cache命中時(shí),將同時(shí)修改cache和主存中的內(nèi)容,以確保cache和主存數(shù)據(jù)的一致性。
回寫(xiě)法:
如果cache控制器使用回寫(xiě)策略,那么處理器核寫(xiě)cache命中時(shí),只向cache存儲(chǔ)器寫(xiě)數(shù)據(jù)而不立即寫(xiě)入主存。配置成回寫(xiě)法的cache要使用到cache行的狀態(tài)信息塊中的一個(gè)或多個(gè)臟位(dirty bit)。當(dāng)回寫(xiě)cache控制器向cache存儲(chǔ)器中某一行寫(xiě)入數(shù)據(jù)時(shí),它會(huì)將臟位設(shè)置為1。如果cache控制器要將一個(gè)臟位被置位的cache行替換出cache存儲(chǔ)器,那么該cache行數(shù)據(jù)會(huì)自動(dòng)被寫(xiě)到主存單元中去。
2)替換策略
帶cache的ARM核支持兩種替換策略:偽隨機(jī)替換法和輪轉(zhuǎn)法。當(dāng)一個(gè)cache訪問(wèn)失效時(shí),cache控制器必須從當(dāng)前有效的組中選擇一個(gè)cache行來(lái)存儲(chǔ)從主存中取得的新信息。被選中的cache行被稱為丟棄者(victim)。如果丟棄者中包含有效的臟數(shù)據(jù),那么在該cache行被寫(xiě)入新數(shù)據(jù)之前,控制器必須把該行的數(shù)據(jù)寫(xiě)入到主存。選擇和替換丟棄cache行的過(guò)程被稱作淘汰(eviction)。
3)分配策略
在cache失效發(fā)生時(shí),ARM的cache可以采取兩種策略來(lái)分配cache行:第一種叫做讀操作分配(read-allocate)策略;第二種叫做讀/寫(xiě)操作分配(read-write-allocate)策略。如果cache未命中,那么對(duì)于讀操作分配策略,只有進(jìn)行存儲(chǔ)器讀操作時(shí),才分配cache行。如果被替換的cache行包含有效數(shù)據(jù),那么在該行被新的數(shù)據(jù)替換之前,要先把原來(lái)的內(nèi)容寫(xiě)入主存中。
采用讀/寫(xiě)操作分配策略時(shí),不管是存儲(chǔ)器讀操作,還是存儲(chǔ)器寫(xiě)操作,在cache未命中時(shí),都將分配cache行。
七.清除(flush)和清理(clean)cache
清除cache的意思是清除cache中存儲(chǔ)的全部數(shù)據(jù),對(duì)處理器而言,清除操作只要清零相應(yīng)cache的有效位即可。然而,對(duì)于采用回寫(xiě)策略的D-cache,就需要使用清理(clean)操作。
八.Cache鎖定
Cache鎖定是將cache中的部分代碼和數(shù)據(jù)標(biāo)記為非替換(exempt of eviction)的。被鎖定的代碼和數(shù)據(jù)有更快的系統(tǒng)反應(yīng)能力,因?yàn)檫@些數(shù)據(jù)和代碼一直存放在cache中。Cache在正常操作時(shí),經(jīng)常會(huì)涉及到行替換,這種替換會(huì)帶來(lái)代碼執(zhí)行時(shí)間不確定的問(wèn)題,而cache鎖定會(huì)避免這種不確定性。ARM內(nèi)核為cache鎖定分配固定的cache單元。一般來(lái)講,分配cache鎖定的cache單元是一個(gè)路(way)。