【補(bǔ)充】ARM MMU頁(yè)表框架

學(xué)習(xí)于此

先上一張arm mmu的頁(yè)表結(jié)構(gòu)的通用框圖（以下的論述都由該圖來(lái)逐漸展開(kāi)）：

以上是arm的頁(yè)表框圖的典型結(jié)構(gòu)：即是二級(jí)頁(yè)表結(jié)構(gòu)：

其中第一級(jí)頁(yè)表（L1）是由虛擬地址的高12bit（bits[31：20]）組成,所以第一級(jí)頁(yè)表有4096個(gè)item，每個(gè)item占4個(gè)字節(jié)，所以一級(jí)頁(yè)表的大小為16KB，而在第一級(jí)頁(yè)表中的每個(gè)entry的最低2bit可以用來(lái)區(qū)分具體是什么種類的頁(yè)表項(xiàng)，2bit可以區(qū)分4種頁(yè)表項(xiàng)，具體每種頁(yè)表項(xiàng)的結(jié)構(gòu)如下：

簡(jiǎn)而言之L1頁(yè)表的頁(yè)表項(xiàng)主要有兩大類:

第一大類是指向第二級(jí)頁(yè)表（L2頁(yè)表）的基地址;

第二類直接指向1MB的物理內(nèi)存。

在L1頁(yè)表中每個(gè)表項(xiàng)可以覆蓋1MB的內(nèi)存，由于有4096K個(gè)選項(xiàng)（item），所以總計(jì)可以覆蓋4096K*1MB=4GB的內(nèi)存空間。

具體對(duì)應(yīng)到linux，由于linux的軟件架構(gòu)是支持3級(jí)頁(yè)表結(jié)構(gòu)，而arm架構(gòu)實(shí)際只有2級(jí)的頁(yè)表結(jié)構(gòu)，所以linux代碼中的中間級(jí)頁(yè)表的實(shí)現(xiàn)是空的。在linux代碼中，第一級(jí)的頁(yè)表的頁(yè)目錄表項(xiàng)用pgd表示，中間級(jí)的頁(yè)表的頁(yè)目錄表項(xiàng)用pud表示（arm架構(gòu)其實(shí)不需要），第三級(jí)的頁(yè)表的頁(yè)目錄表項(xiàng)用pmd表示（由于中間pud是空的，所以pgd=pmd），另外目前arm體系的移動(dòng)設(shè)備中RAM的page大小一般都是4KB/page，所以L1頁(yè)表中的頁(yè)表項(xiàng)都是指向fine page table的。

但在linux內(nèi)核啟動(dòng)的初始化階段，臨時(shí)建立頁(yè)表（initial page tables）以供linux內(nèi)核初始化提供執(zhí)行環(huán)境，這時(shí)L1的頁(yè)表項(xiàng)使用的就是第二種頁(yè)表項(xiàng)（section enty），他直接映射的是1M的內(nèi)存空間。具體的可以參考arch/arm/kernel/head.S中的__create_page_tables函數(shù)，限于篇幅，這里就不展開(kāi)說(shuō)了。

針對(duì)這種section page translation，mmu硬件執(zhí)行虛擬地址轉(zhuǎn)物理地址的過(guò)程如下：

以上在初始化過(guò)程使用的臨時(shí)頁(yè)表（initial page tables），在內(nèi)核啟動(dòng)的后期會(huì)被覆蓋掉，即在paging_init--->map_lowmem函數(shù)中會(huì)重新建立頁(yè)表，該函數(shù)為物理內(nèi)存從0地址到低端內(nèi)存（lowmem_limit）建立一個(gè)一一映射的映射表。所謂的一一映射就是物理地址和虛擬地址就差一個(gè)固定的偏移量，該偏移量一般就是0xc0000000（呵呵，為什么是0xc0000000？）

說(shuō)到這里引入一個(gè)重要的概念，就是與低端內(nèi)存相對(duì)的高端內(nèi)存，什么是高端內(nèi)存？為什么需要高端內(nèi)存？為了解析這個(gè)問(wèn)題，我們假設(shè)我們使用的物理內(nèi)存有2GB大小，另外由于我們內(nèi)核空間的地址范圍是從3G-4G的空間，并且前面也說(shuō)到了，linux內(nèi)核的低端內(nèi)存空間都是一一映射的，如果不引入高端內(nèi)存這個(gè)概念，全部都使用一一映射的方式，那內(nèi)核只能訪問(wèn)到1GB的物理內(nèi)存，但實(shí)際上，我們是需要內(nèi)核在內(nèi)核空間能夠訪問(wèn)所有的4GB的內(nèi)存大小的，那怎么做到呢？

方法就是我們不讓3G-4G的空間都使用一一映射，而是將物理地址的[0x00，fix_addr]（fix_addr<1GB）映射到內(nèi)核空間虛擬地址[0x00+3G，fix_addr+3G]，然后將[fix_addr+3G，4G]這段空間保留下來(lái)用于動(dòng)態(tài)映射，這樣我們可以通過(guò)這段虛擬地址來(lái)訪問(wèn)從fix_addr到4GB的物理內(nèi)存空間。怎么做到的呢？

譬如我們想要訪問(wèn)物理地址[fix_addr，4GB]這段區(qū)間中的任何一段，我就用寶貴的內(nèi)核虛擬地址[fix_addr+3G，4G]的一段去映射他，建立好mmu硬件使用的頁(yè)表，訪問(wèn)完后，將映射清除，將內(nèi)核的這段虛擬地址釋放，以供下次訪問(wèn)其他的物理內(nèi)存使用。這樣就可以達(dá)到訪問(wèn)所有4GB的物理內(nèi)存的目的。

那么內(nèi)核代碼是如何建立映射表的呢？

我們著重從arch/arm/mm/mmu.c中的create_mapping函數(shù)來(lái)分析。在分析之前我們先看下arm mmu硬件是如何在二級(jí)頁(yè)表結(jié)構(gòu)中，實(shí)現(xiàn)虛擬地址轉(zhuǎn)物理地址的。

先貼出原代碼（arch/arm/mm/mmu.c）：

該函數(shù)的功能描述如下：

? Create the page directory entries and any necessary
? page tables for the mapping specified by `md'. ?We
? are able to cope here with varying sizes and address
? offsets, and we take full advantage of sections and
? supersections.

line737-line742:參數(shù)合法性檢查，該函數(shù)不為用戶空間的虛擬地址建立映射表（記得多問(wèn)自己一個(gè)為什么？）

line744-line750：如果是iomemory，則映射的虛擬地址范圍應(yīng)屬于高端內(nèi)存區(qū)間，由于我們這里是常規(guī)的memory，即type為MT_MEMORY，所以不會(huì)進(jìn)入該分支

line775： 獲得該虛擬地址addr屬于第一級(jí)頁(yè)表（L1）的哪個(gè)表項(xiàng)，詳細(xì)跟蹤pgd_offset_k函數(shù)（定義在：arch/arm/include/asm/pgtable.h），你會(huì)發(fā)現(xiàn)，我們內(nèi)核的L1頁(yè)目錄表的基地址位于0xc0004000，而我們的內(nèi)核代碼則是放置在0xc0008000開(kāi)始的位置。而從0xc0004000到0xc0008000區(qū)間大小是16KB，剛好就是L1頁(yè)表的大?。ㄒ?jiàn)文章開(kāi)頭的描述）

在這里需要注意一個(gè)概念：內(nèi)核的頁(yè)目錄表項(xiàng)和進(jìn)程的頁(yè)目錄表項(xiàng)，內(nèi)核的頁(yè)目錄表項(xiàng)是對(duì)系統(tǒng)所有進(jìn)程都是公共的；而進(jìn)程的頁(yè)目錄表項(xiàng)則是跟特定進(jìn)程相關(guān)的，每個(gè)應(yīng)用進(jìn)程都有自己的頁(yè)目錄表項(xiàng)，但各個(gè)進(jìn)程對(duì)應(yīng)的內(nèi)核空間的頁(yè)目錄表相都是一樣的。正是由于每個(gè)進(jìn)程都有自己的頁(yè)目錄表相，所以才能做到每個(gè)進(jìn)程都可以獨(dú)立擁有屬于自己的[0，3GB]的內(nèi)存空間。

line778?pgd_addr_end()確保[addr，next]地址不會(huì)跨越一個(gè)L1表項(xiàng)所能映射的最大內(nèi)存空間2MB（為什么是2MB而不是1MB呢？這個(gè)是linux的一個(gè)處理技巧，以后再詳細(xì)展開(kāi)說(shuō)）

line780?alloc_init_pud()函數(shù)為定位到的L1頁(yè)目錄表項(xiàng)pgd所指向的二級(jí)頁(yè)表（L2）建立映射表

line784 pdg++下移L1頁(yè)目錄表項(xiàng)pgd，映射下一個(gè)2MB空間的虛擬地址到對(duì)應(yīng)的2MB的物理空間。

在這里解析下，為什么L1頁(yè)目錄表項(xiàng)pgd能夠映射2MB的虛地地址空間。

在本文的第一個(gè)圖中，他是arm典型的mmu映射框架圖，但并不是linux的，linux映射框架圖在它的基礎(chǔ)做了些調(diào)整和優(yōu)化。

linux所做的調(diào)整描述如下（以下摘自linux內(nèi)核：arch/arm/include/asm/pgtable-2level.h中提供的注釋說(shuō)明）：

/*
?* Hardware-wise, we have a two level page table structure, where the first
?* level has 4096 entries, and the second level has 256 entries. ?Each entry
?* is one 32-bit word. ?Most of the bits in the second level entry are used
?* by hardware, and there aren't any "accessed" and "dirty" bits.
?*
?* Linux on the other hand has a three level page table structure, which can
?* be wrapped to fit a two level page table structure easily - using the PGD
?* and PTE only. ?However, Linux also expects one "PTE" table per page, and
?* at least a "dirty" bit.
?*
?* Therefore, we tweak the implementation slightly - we tell Linux that we
?* have 2048 entries in the first level, each of which is 8 bytes (iow, two
?* hardware pointers to the second level.) ?The second level contains two
?* hardware PTE tables arranged contiguously, preceded by Linux versions
?* which contain the state information Linux needs. ?We, therefore, end up
?* with 512 entries in the "PTE" level.
?*
?* This leads to the page tables having the following layout:
?*

重要調(diào)整說(shuō)明如下：

L1頁(yè)表從4096個(gè)item變?yōu)?048個(gè)item，但每個(gè)item的大小從原來(lái)的4字節(jié)變?yōu)?個(gè)字節(jié)。

一個(gè)page中，放置2個(gè)L2頁(yè)表，每個(gè)還是256項(xiàng)，每項(xiàng)是4個(gè)字節(jié)，所以總計(jì)是256*2*4=2KB，放置在page頁(yè)的下半部，而上部分放置對(duì)應(yīng)的linux內(nèi)存管理系統(tǒng)使用的頁(yè)表，mmu硬件是不會(huì)去使用它的。所以剛好 占滿一個(gè)page頁(yè)的大?。?KB），這樣就不浪費(fèi)空間了。

? ? ?有了上面基礎(chǔ)，下面再詳細(xì)的分析以上的line780的函數(shù)alloc_init_pud，該函數(shù)會(huì)最終調(diào)用到alloc_init_pte函數(shù)：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

line598?early_pte_alloc函數(shù)判斷對(duì)應(yīng)的pmd所指向的L2頁(yè)表是否存在，如果不存在就分配L2頁(yè)表，如果存在就返回L2頁(yè)表所在page頁(yè)的虛地址。

line572 判斷pmd所指向的L2頁(yè)表是否存在，不存在則通過(guò)early_alloc 函數(shù)分配PTE_HWTABLE_OFF（512*4=2KB）+PTE_HWTABLE_SIZE（512*4=2KB）總計(jì)4KB的一個(gè)物理頁(yè)來(lái)存儲(chǔ)2個(gè)linuxpet 頁(yè)表+2個(gè)hwpte頁(yè)表。

line574返回這個(gè)物理頁(yè)所在虛擬地址

回到alloc_init_pte函數(shù)的line599：

line183?pte_index用來(lái)確定該虛擬地址在L2頁(yè)表中的偏移量。即虛擬地址的bit[12~21]共計(jì)9個(gè)bit，剛好用于尋址兩個(gè)L2頁(yè)表（總計(jì)512項(xiàng)）

回到alloc_init_pte函數(shù)，其中l(wèi)ine605行，是設(shè)置L2頁(yè)表中addr所定位到的頁(yè)表項(xiàng)（即pte），主要工作就是填充對(duì)應(yīng)物理頁(yè)的物理地址，以供mmu硬件來(lái)實(shí)現(xiàn)地址的翻譯。

line604~line607循環(huán)填充完兩個(gè)hwpte頁(yè)表，完成一個(gè)2M物理內(nèi)存的映射表的建立。

line608 將最終調(diào)用如下函數(shù)：static inline void __pmd_populate(pmd_t *pmdp, phys_addr_t pte,?pmdval_t prot)

在執(zhí)行這個(gè)函數(shù)之前，2個(gè)L2頁(yè)表已經(jīng)建立，該函數(shù)的作用就是設(shè)置L1頁(yè)表的對(duì)應(yīng)表項(xiàng)，使其指向剛建立的2個(gè)L2頁(yè)表（hwpte0，hwpte1），正如前面所說(shuō)，由于linux的L1頁(yè)表項(xiàng)是8個(gè)字節(jié)大小，所以：

line133 將頭4個(gè)字節(jié)指向hwpte0頁(yè)表，

line135 將后4個(gè)字節(jié)指向hwpte1頁(yè)表，至此L1---〉L2頁(yè)表的關(guān)聯(lián)已經(jīng)建立。

line137 是刷新TLB緩沖，使系統(tǒng)的cpu都可以看見(jiàn)該映射的變化

至此已完成struct map_desc *md結(jié)構(gòu)體所指定的虛擬地址到物理地址的映射關(guān)系的建立，以供硬件mmu來(lái)自動(dòng)實(shí)現(xiàn)虛擬到物理地址的翻譯。

以上過(guò)程，有選擇的將某些細(xì)節(jié)給省略了，限于篇幅，另外如果明白了這個(gè)過(guò)程，很細(xì)節(jié)的可以自己去看相關(guān)的代碼。譬如上面的set_pte_ext函數(shù)，會(huì)調(diào)用的匯編函數(shù)來(lái)實(shí)現(xiàn)pte表項(xiàng)的設(shè)置。